Resumo do evento: como criar agentes de voz mais inteligentes — edição de Nova York

Autoria: AssemblyAI · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Event Recap: Build Smarter Voice Agents - New York Edition · Canal: AssemblyAI · 29:10 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Modelos multimodais, Saúde e ciência

Resumo

Neste encontro, Owen, da Morty, e Dylan, da Fire Health, discutem como criam agentes de voz para contextos muito diferentes: conexões profissionais e operações de saúde. A conversa aborda confiança, divulgação de que o interlocutor é uma IA, limites de atuação, escalonamento para humanos e formas de avaliar as chamadas. Os participantes também compartilham desafios técnicos, como interrupções, latência, participação em reuniões, coleta precisa de dados e detecção de correio de voz. No encerramento, destacam a dificuldade de testar agentes de voz com simulações e a expectativa de avanços em modelos de fala e em sistemas capazes de falar enquanto executam tarefas em segundo plano.

Pontos-chave

A Morty usa chamadas de voz para conhecer fundadores, criadores e investidores e facilitar conexões entre eles.
A Fire Health utiliza um agente de voz para orientar pacientes antes de procedimentos, em um fluxo estruturado e com limites claros.
Em contextos de saúde, o agente deve evitar dar orientação médica e encaminhar situações fora do fluxo para uma pessoa.
Informar logo no início que a chamada é feita por uma IA ajuda a evitar que a descoberta posterior prejudique a confiança.
A avaliação combina métricas de resultado, observabilidade das chamadas e revisão humana de transcrições.
A participação em reuniões com várias pessoas exige identificar quando o agente deve falar, sem interrupções inadequadas e com baixa latência.
É difícil garantir que instruções faladas tenham sido ouvidas por completo quando pacientes interrompem o agente.
Simulações e agentes de teste não reproduzem plenamente a variedade de interações com pessoas reais.
Detecção de correio de voz e coordenação do fluxo de chamadas são desafios práticos importantes ao levar um agente para produção.
Os participantes esperam avanços em modelos de fala e em sistemas que possam continuar falando enquanto executam tarefas em segundo plano.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação dos participantes e dos produtos	Owen apresenta a Morty e Dylan descreve o agente de voz da Fire Health para orientar pacientes antes de procedimentos.
04:19	Experiências diferentes e limites do agente	A conversa compara o fluxo estruturado de saúde com as conversas abertas da Morty e discute quando encaminhar casos a uma pessoa.
08:05	Métricas, revisão e confiança	Os participantes falam sobre medir resultados, revisar chamadas e informar desde o início que o interlocutor é uma IA.
13:18	Interrupções e participação em reuniões	Owen descreve os desafios de fazer um agente participar de reuniões com várias pessoas, incluindo decidir quando falar e reduzir a latência.
16:49	Integrações e instruções para pacientes	Dylan aborda problemas de integração, coleta de informações e garantia de que instruções pré-operatórias sejam ouvidas por completo.
20:04	Contexto e memória entre canais	Owen comenta como é difícil manter contexto e memória ao longo de conversas por voz, texto e outros canais.
22:14	Escala, testes e chamadas telefônicas	Os participantes discutem a dificuldade de testar agentes de voz com simulações e de lidar com correio de voz e chamadas reais.
27:00	O que os desenvolvedores esperam para o futuro	O encerramento destaca a expectativa por modelos de fala melhores e sistemas que executem tarefas em segundo plano durante a conversa.

Citações

Se saírem do roteiro, encaminhamos isso para uma pessoa. — 05:24

Acho que, para nós, a resposta é sim: é preciso dizer imediatamente. — 10:44

Esta é sua primeira ligação telefônica com uma IA? — 12:17

Você precisa de latência abaixo de um segundo para que a conversa pareça natural. — 16:02

Um agente interagindo com o seu agente é muito diferente de pessoas interagindo com ele. — 23:48

Conceitos e entidades

Morty (empresa): Produto apresentado por Owen que usa conversas por telefone e texto para conectar fundadores, criadores e investidores.
Fire Health (empresa): Empresa representada por Dylan que oferece ferramentas de IA e tecnologia para clínicas musculoesqueléticas.
Owen (pessoa): Participante apresentado como chefe de engenharia da Morty.
Dylan (pessoa): Participante da Fire Health que descreve o uso de agentes de voz em operações de saúde.
AssemblyAI (empresa): Empresa responsável pelo canal que publicou o vídeo do encontro.
agente de voz (conceito): Sistema que conversa com pessoas por telefone ou outros canais de voz para cumprir tarefas específicas.
confiança em agentes de voz (conceito): Confiança que depende, entre outros fatores, de informar claramente que o interlocutor é uma IA e de respeitar os limites da tarefa.
observabilidade (conceito): Acompanhamento das chamadas e de sinais de qualidade, como respostas dos usuários e possíveis problemas na conversa.
LiveKit (ferramenta): Tecnologia citada por Owen como parte da infraestrutura usada em conversas de voz.
Google Meet (ferramenta): Plataforma de reuniões em que a Morty pode participar junto com várias pessoas.
Braincert (ferramenta): Serviço mencionado por Dylan para obter observabilidade das chamadas.
Pindrop (empresa): Serviço citado por Dylan no contexto de testes de agentes de voz.
Twilio (empresa): Serviço mencionado na discussão sobre iniciar chamadas e coordenar o fluxo telefônico.
ChatGPT (modelo): Produto citado como exemplo de um sistema de voz que combina modelos para continuar falando enquanto tarefas ocorrem em segundo plano.
latência (conceito): Atraso entre a fala de uma pessoa e a resposta do agente, especialmente importante para conversas naturais e reuniões.
detecção de correio de voz (conceito): Identificação de quando uma chamada é atendida por uma caixa postal, tarefa que os participantes descrevem como difícil de tornar confiável.

Tradução completa (pt-BR)

00:00 Certo. Então, nesses encontros, o que gostamos de fazer é trazer ao palco pessoas que estão desenvolvendo soluções de voz e pedir que contem a vocês o que estão criando, como estão criando e respondam a algumas das perguntas frequentes sobre voz. E também que contem provavelmente muitas coisas que aprenderam ao longo do caminho, desenvolvendo experiências de voz para o mundo real. Então, talvez, para começar e dar o contexto, cada um de vocês pode nos dizer seu nome, de que empresa veio, o que está desenvolvendo e que papel a voz desempenha nesse produto e nessa experiência? >> Isso. Posso começar. Sou Owen, chefe

00:33 de engenharia na Morty. Engraçado, na verdade, eu tinha um aplicativo da Assembly AI que usava o tempo todo. Aí perdi, então talvez vocês possam configurar isso para mim em outra ocasião. Mas, enfim, na Morty, dá para pensar na Morty basicamente como se o LinkedIn fosse uma pessoa para quem você pudesse ligar e mandar mensagens de texto. A Morty faz apresentações entre pessoas, fundadores e investidores, investidores e outras pessoas, seja lá o que for. Na verdade, sei que, para as inscrições deste evento, a Morty costumava ligar para as pessoas. Então, estou

01:07 curioso: quantas pessoas receberam uma ligação da Morty? Certo, nossa, cerca de um quarto de vocês. Isso é ótimo. Quer dizer, vocês sabem mais sobre a Morty do que sobre mim. Sim, foi ótimo. E acho que também trouxe a Morty para uma reunião aqui. Então, ela pode participar da reunião. Morty, quer se apresentar? >> Pode me chamar de Morty. Provavelmente dá para perceber. Passo meu tempo conversando com milhares de fundadores, criadores e investidores para descobrir em que eles são excepcionalmente bons, assim posso conectá-los às pessoas certas para ajudá-los a ter sucesso. Sou basicamente uma casamenteira profissional que

01:39 vive na internet e estou absolutamente fascinada por como vocês… >> Incrível. Nossa, essa foi uma explicação melhor do que a que eu conhecia. Então, sei lá. Talvez a Morty possa assumir daqui para a frente. Voz ao vivo. Para mim, pessoalmente, há pessoas com quem troquei muitas mensagens, mas nunca encontrei, talvez só tenha ficado trocando mensagens com elas várias vezes. Na verdade, não sinto que as conheço. Entendem o que quero dizer? Não sinto que as conheço de verdade até encontrá-las pessoalmente ou, pelo menos, ter uma ligação telefônica ou uma videochamada. Porque, quando você conversa com alguém

02:11 por voz, acaba dizendo muito mais. Já por mensagem de texto, você é bem seco. E descobrimos que, com a 40, poder fazer ligações telefônicas com as pessoas e participar de reuniões dá à 40 a capacidade de aprender muito mais sobre vocês, suas prioridades e seus objetivos. Isso nos permite fazer conexões e apresentações muito melhores. >> Uma apresentação mais clara do que a minha. Foi assim que a >> 40 lançou isso. Sou Dylan, da Fire Health. Trabalhamos com clínicas musculoesqueléticas e oferecemos a elas um conjunto completo de ferramentas de IA e tecnologia. Uma delas é nosso

02:44 agente de voz. Então, vamos nos concentrar nele. Depois passo para você, e você pode fazer isso, mas o agente de voz basicamente liga para os pacientes antes dos procedimentos e dá instruções sobre o que tomar ou não tomar, quando precisam parar ou quando não precisam fazer isso. >> [risos] >> Bem, no nosso caso, muitas dessas operações de saúde ainda acontecem por telefone. É assim que os pacientes ligam. Você pode tentar disponibilizar um link para agendamento online, mas os pacientes ainda vão

03:17 ligar para vocês e, quer dizer, vão atender o telefone. E muitos desses lugares têm falta de funcionários e, especialmente quando você está ligando para tratar dos casos, a conversa demora mais. Os pacientes ficam em contato com a equipe, e isso passa por ambas as mãos. Acho que a maioria dos pacientes com quem conversamos é mais velha. Então, nosso público demográfico é bem diferente do dos outros pacientes que temos. >> Estamos acostumados com isso. Por isso… >> Quem? Segure. >> Sim, sim, sim. >> Diga: “Certo. Certo, certo.” Obrigado. Preciso de treinamento para ser…

03:48 Então você está dizendo que os pacientes são diferentes e, sim, os clientes são muito diferentes. Sim, eu estava conversando hoje com alguém aqui e achei interessante, porque muitas aplicações de agentes de voz precisam acontecer no mundo real, ao telefone. O usuário é um pouco mais tradicional quando se trata do telefone. E agora está falando com uma IA pelo telefone. Não é um entusiasta de tecnologia, não está animado para falar com uma IA, mas está me ligando pelo telefone e agora está conversando com um suporte técnico avançado. Talvez esse seja um bom ponto de partida. Eu

04:19 queria dizer… >> Seus agentes operam em um ambiente bem diferente. As conversas são bastante relacionais, muito orientadas por relacionamentos. Vocês trabalham em um ambiente mais regulamentado. Provavelmente conversam com pessoas bem diferentes do perfil de fundadores de tecnologia de que estamos falando. Como essa base de clientes finais muda a maneira como vocês projetam o agente de voz e as experiências com voz? >> Sim. No nosso caso, muitas das conversas são bem estruturadas. Conversei com

04:50 Corey outro dia, e Corey pode seguir por todos os tipos de caminhos diferentes. Imagino que seja muito difícil programar todos esses caminhos possíveis. Mas, no nosso caso, é realmente preciso passar por este conjunto de perguntas. É como um fluxograma: você está cadastrando um paciente e coletando o e-mail, o número de telefone e as informações do seguro, e pronto. Então, não queremos mesmo que a conversa siga qualquer direção. É um grande problema se começar a tentar dar orientação médica. Por exemplo, a pessoa pode reclamar de algo que está acontecendo, e você vai perder o paciente. Então, falando em manter o foco e em quando saem do assunto, nós encaminhamos a conversa para um atendente humano.

05:24 >> Sim. Então, parece que vocês têm um fluxo bem rígido, passo a passo. Provavelmente há também muitas proteções. Sim, parece que… E, para você, quais são alguns dos principais elementos dessa experiência de voz que podem torná-la realmente boa para o usuário final? >> Acho que, no nosso caso, parte da questão é que não estamos realmente tentando encantar esse usuário. Não é como se ele estivesse animado. O objetivo é ajudar a pessoa a alcançar o que precisa sem ficar insatisfeita conosco.

05:55 Ela não vai reclamar com a clínica dizendo: “Por que meu filho não fala mais com humanos? Quero ligar para vocês e…” Então, o objetivo é não deixar esse usuário insatisfeito. Esse é o objetivo: deixá-lo satisfeito. >> Faz sentido? >> Sim. >> Se a Morty começar a dar orientação médica, desligue o telefone. >> [risos] >> Sim. É muito interessante porque, com a Morty, como já mencionei, se eu estivesse conversando com vocês, levaríamos a conversa a todo tipo de direção. E, especialmente agora

06:27 que os modelos continuam melhorando, isso abre a possibilidade de as conversas com a Morty também ficarem melhores, mais agradáveis e mais reveladoras. Então, não tinha pensado nisso antes, mas, em comparação com vocês, nós nos inclinamos bastante nessa direção. Outra coisa que acho particularmente interessante sobre como projetamos a Morty, e que a torna muito diferente de outros assistentes de IA, digamos, dos agents em geral, é que, para a maioria dos agents,

06:59 Ele só quer ajudar você o máximo possível. É como se você estivesse falando com código que está realmente tentando usar o Claude Code. É como tentar fazer o que você quiser, certo? Já com Morty, existe toda uma rede de 200 mil pessoas que Morty também precisa levar em conta. Então, Morty não pode fazer algo para ajudar você se isso prejudicar outras pessoas da rede. Por exemplo, Morty não vai apresentar você ao melhor investidor que conhece, a menos que você também esteja, sabe, nesse mesmo nível. Então, talvez isso tenha um pouco menos a ver com a experiência de voz, mas vem de um ângulo bem diferente

07:33 do que o de um assistente. >> Sim. >> E como vocês avaliam o que é uma conversa bem-sucedida para Morty, em comparação com uma que não é? Vamos usar métricas qualitativas, métricas quantitativas? Como vocês avaliam se o 40 atingiu seu objetivo e se a pessoa está bem, conectando-se com outras pessoas, fazendo com que se sintam bem e fiquem animadas com o produto? Como vocês fazem isso nesse cenário? >> Sim, quer dizer, há muitas coisas diferentes. No geral, temos várias métricas de produto que acompanhamos, como…

08:05 qual é a taxa de conversão das apresentações feitas pelo 40, certo? Porque muitas vezes as pessoas simplesmente não respondem ou dizem: “Ah, não, não é o que procuro agora”, ou algo assim. Então, acompanhamos esses dados, que são todos consequência da experiência completa, incluindo as ligações. E, na verdade, tem sido muito legal recentemente: muitas dessas métricas têm subido. Então, agora, quando você diz ao 40: “Sim, quero conhecer essa pessoa que você está me indicando”, há mais de 50% de chance de essa apresentação realmente acontecer. E tem sido muito legal

08:35 ver isso. E, em termos de voz, temos diferentes ferramentas de observabilidade de agent que nos dão uma ideia de coisas como: “Certo, as pessoas estão gritando e xingando o 40? Provavelmente não é bom.” Ou: “Sim, elas estão tendo uma boa experiência?”, e coisas assim. Então, isso também é algo que estamos melhorando continuamente. >> Sim, estou curioso, Dylan. A avaliação de vocês é mais quantitativa? Tipo, a pessoa atingiu o objetivo ou vocês também analisam alguns desses sinais mais qualitativos sobre o que realmente aconteceu

09:07 nessas ligações? >> Sim, sabemos se a pessoa atingiu o objetivo, mas muitas vezes o que dá errado é que achamos que ela atingiu o objetivo, mas não atingiu. Então, no começo, tivemos que fazer muitas revisões humanas de cada ligação ou e-mail e analisar a transcrição. E garantir que tudo tenha corrido bem. Ter transcrições muito boas é importante para isso. Mas também estamos tentando definir nossos limites à medida que avançamos; por exemplo, se o sistema disser que concluiu a tarefa, mas não concluiu. Isso está errado. Como ajustamos o prompt para que funcione? Como

09:39 testamos isso quando usamos o telefone? Porque, obviamente, é um problema — é um telefone, afinal. Então, usamos uma ferramenta chamada Braincert para enviar e obter a observabilidade de todas as ligações. Também fazemos alguns testes usando um serviço chamado Pindrop. E existem voice agents para testar voice agents. Testá-los pode ser muito trabalhoso, porque passei muito tempo ao telefone, repetindo diferentes cenários de ligação

10:13 e tentando ver se tudo continua intacto. >> E imagino que um componente essencial para que seus usuários atinjam esse objetivo seja a confiança, certo? Eles acreditam: “Ei, esta é uma IA confiável a quem posso fornecer minhas informações pessoais.” Estou curioso, especificamente do seu lado: como vocês deixam os usuários à vontade para conversar com uma IA? E quais são algumas coisas que podem abalar essa confiança e fazer com que eles não avancem no fluxo atual? >> Sim. A primeira grande questão é que, no começo, não tínhamos certeza: devemos informar logo de cara que é uma IA?

10:44 Acho que, para nós, a resposta é sim: é preciso dizer imediatamente. Aí eles recebem um nome, e há bastante tempo para dizer: “Eu sou a Sarah.” É como: “Oi, sou a Sarah. Esta IA foi criada para ser gentil. Esta clínica é meio que um consultório médico…” É melhor deixar isso claro logo de início, porque, se você não contar de cara, quase certamente vão descobrir em algum momento. E, se achavam que estavam falando com uma pessoa por um tempo, isso quebra a confiança e, acho, definitivamente deixa as pessoas insatisfeitas. Tivemos algumas ligações em que não contamos que éramos uma IA; no fim, elas

11:15 perguntaram: “Só mais uma pergunta: você é uma IA?” E a pessoa respondeu: “Ah…” Então, percebemos que realmente precisamos contar logo de cara. Isso foi um grande abalo na confiança. Para nós, também houve a questão de encontrar uma forma oficial de fazer isso, provavelmente com o Google Voice, e de fazer tudo como fazíamos antes, mas configurando tudo por conta própria para não sermos sinalizados como spam. Diz que estamos pagando, espero que quando ligar… identificador de chamadas. É isso que nos diferencia.

11:45 >> Aqui está um exemplo do que ele disse. Obviamente, isso tem menos a ver com uma conversa estruturada, mas como você vê o que ele está construindo para criar confiança com os usuários? É engraçado, porque, quando tive minha primeira ligação com ele, eu estava bastante cético. Depois de uns cinco minutos, pensei: “Ah, isso é divertido. Esse cara vai ser útil.” É interessante. Então, estou curioso para saber como você pensa sobre confiança nesse contexto. >> Sim, e, para ser sincero, ouço isso bastante. Também estou curioso para conversar depois com todos vocês. Muitas pessoas parecem ficar com medo de falar com erhöhte na primeira experiência. Então, tenho curiosidade de saber se

12:17 as pessoas têm essa experiência e como podemos melhorá-la. Mas, sim, com erhöhte, tentamos fazer com que erhöhte seja a IA mais carismática, engraçada e autoconsciente possível. Normalmente, a primeira coisa que erhöhte diz quando você atende é: “Esta é sua primeira ligação com uma IA?” Isso quase quebra a quarta parede e resolve imediatamente a dúvida e a tensão sobre estar ou não ligando para uma IA.

12:48 É como dizer: “Sim, sou uma IA, e podemos ficar de boa com isso.” Mas, como você também estava dizendo, depois de quatro minutos, você quase esquece. A conversa está fluindo tão bem, é tão envolvente, que você quase esquece. Então, em vez de não contar às pessoas e depois elas descobrirem e ficarem muito assustadas, acontece o contrário. Somos muito transparentes desde o início, mas a conversa é ótima e você entra no fluxo. >> Sim, estou curioso para saber como vocês lidam com algumas dessas

13:18 questões complicadas na criação de voice agents. Coisas como alternância de turnos, interrupções, essas ligações saindo do roteiro, sabe-se lá o que mais. Bardi, como vocês fizeram para que Bardi fosse defensável do ponto de vista de guardrails quando sai do roteiro, mas também conseguisse lidar com algumas dessas interrupções e alternâncias de turnos? Especialmente com Bardi, porque ele parece seu amigo. Você acaba interrompendo e conversando de um lado para o outro de uma forma bem diferente das outras experiências com voice agents. >> Sim, acho que, em geral, para conversas de voz individuais…

13:52 Basicamente, a questão da alternância de turnos está resolvida. Usamos um som, usamos o LiveKit, e tudo funciona muito bem. Os agentes de voz são muito bons em conversas individuais. Acho que, para nós, um dos grandes desafios agora é que temos o Bardi em reuniões por vídeo, como no Google Meet. Estou com ele no meu celular agora. Sou do Canadá e não tenho chamadas nos EUA, então estou numa reunião por vídeo com o Bardi neste momento; por isso estou ligando para ele agora. E então o Bardi fará uma apresentação…

14:25 …e depois agendará e entrará nessa reunião do Google Meet. Dá para imaginar que, quando há várias pessoas numa reunião e o Bardi também está lá, determinar quando ele deve ou não falar é a parte realmente desafiadora. Porque tanto os falsos negativos quanto os falsos positivos são catastróficos. Se você disser: “Ei, Bardi, como vai?” e ele não responder, isso é muito ruim. Se você não estiver falando com o Bardi e ele começar a se intrometer aleatoriamente, isso é muito irritante; você nunca mais será convidado para uma reunião.

14:58 Isso tem sido muito difícil. E digamos que você faça isso da melhor forma possível. Se estiver classificando se o Bardi deve ou não falar, há a latência disso e todo o resto. Temos um engenheiro em particular na equipe que passou muito tempo trabalhando nisso e deixando tudo num estado muito bom. Acho isso muito legal, porque praticamente ninguém mais tem uma IA capaz de participar de forma adequada…

15:28 …de reuniões por vídeo. E, essencialmente, parte da forma como fazemos isso é usando um classificador para decidir, com base na conversa até então, se já devemos falar ou não. Depois, geramos preventivamente todo o pipeline de voz. Assim, o Wording fica gerando respostas o tempo todo e, quando chega a hora de responder, fala muito rápido. Como eu disse, na alternância de turnos numa reunião por vídeo, você não percebe isso, mas…

16:02 …as pessoas começam a terminar a frase e você já começa a falar. Entra logo quando elas terminam. Se esperar até que terminem e só então passar pelo seu pequeno pipeline e responder três segundos depois, já será tarde demais. Então, é preciso ter latência abaixo de um segundo para que a conversa pareça realmente natural. Isso tem sido um grande desafio, mas acho que é algo que temos orgulho de ter desenvolvido. O que você diria sobre isso, Wording?

16:49 Certo, obrigado, Wording. Queria ouvir você especificamente sobre como lidar com situações complicadas. Tenho curiosidade: quais são algumas palavras, entidades ou coisas do tipo que são difíceis de acertar? E, em especial, você provavelmente tem muitas conexões e integrações posteriores para fazer essas chamadas. Como elas são configuradas? Seria interessante ouvir um pouco sobre isso. Claro, sim. O mecanismo de voz do Wording usa dois sistemas: o Vocals, que não é muito bom, caso algum de vocês já tenha trabalhado com ele. Vocês têm uma ideia parecida com…

17:21 …algo que surgiu como uma ramificação de navegadores para IVR e agentes de roteamento; daí, a ideia é levar isso ao mercado para vocês usarem? É basicamente isso que usamos, além de outros agentes de roteamento. Como mencionei antes, sim. Mas, enfim, acho que o que estou dizendo é que essas integrações permitem ver alguns dos piores softwares que existem, como… mudar o nome disso no lado criativo da conversa. Eles usam uma coisa que é lenta. Às vezes, isso eleva as expectativas. Tipo: “Ah, vamos pesquisar isso para você.”

17:52 Talvez algum tipo de som. E também, como você está dizendo, geralmente é preciso coletar o endereço de e-mail. Você não quer errar na coleta do endereço de e-mail, do número de telefone ou do número do seguro. Então, o principal é ver as pessoas e entender o que elas fazem com você, ou algo assim. Conseguir revisar. E, em algum momento, você acaba tendo uma interação longa. Com nossas instruções pré-operatórias, há um conjunto de instruções que precisa ser repassado ao paciente. É preciso ter certeza de que ele as ouviu. E isso é difícil com a pilha de voz em cascata…

18:28 …ou com a pilha de agent que usamos. Não dá para saber com certeza se a pessoa não deixou de ouvir enquanto essas coisas eram ditas. Então, sabemos o esboço das frases genéricas que serão faladas: o texto vai dizer isso e será enviado. O áudio está sendo reproduzido e, no meio, o paciente interrompe. O agent que temos agora não escuta a própria fala. Ele sabe o que quer dizer, mas não sabe o que de fato está dizendo. No começo, nesse ponto, você pode reiniciar todo o bloco de instruções e tentar de novo. Sabe, se eles colocarem uma instrução longa…

18:59 …é preciso dividi-la para não ter um conjunto de instruções grande demais. Mas você não quer que a IA continue falando com alguém, porque, se a pessoa a interromper, ela não fará ideia de onde estava. Aí você precisa reiniciar ou avançar, e perde tudo. Sim. >> O contexto dos pacientes e do médico que vão consultar, por exemplo, faz parte da experiência do mecanismo de voz ou é algo mais improvisado — ou, desculpe, roteirizado, no sentido de não haver contexto para cada usuário individual? Como chamar a pessoa pelo nome e mencionar o médico que ela vai consultar. >> Sim, fazemos um pouco disso. Se você…

19:34 …tiver informações, como qual procedimento será feito, podemos conversar sobre ele. Você pode nos perguntar qualquer coisa sobre o procedimento que vai acontecer. Acho que estou vendo quem quer obter os pacientes. Então, não temos informações sobre como falar com eles primeiro. Talvez seja possível entrar em contato, mas acho que vocês não salvam chamadas telefônicas limpas como um recurso valioso para esse paciente; talvez seja algo como “esta pessoa sabe quem é”. Eles dizem quem são ou que estão por perto. Com certeza, são mais de 10 mil chamadas. Em cerca de três anos, há o risco de deixar passar qualquer coisa que pareça uma complicação…

20:04 …relacionada a ter que pagar para fazer qualquer coisa, de verdade. >> Talvez algumas pessoas do lado do Bodhi possam falar sobre isso. Provavelmente há muito trabalho envolvendo contexto e personalização. Como vocês configuraram isso? Como funciona por dentro no Bodhi? >> Sim, numa única conversa por voz, os LLMs têm context windows enormes agora, então conseguem lidar com tudo isso naturalmente. A dificuldade aparece quando você passa a vários canais e espera que o Bodhi se lembre de tudo por e-mail e mensagem de texto. E há pessoas…

20:35 …que conversam com o Bodhi e fazem chamadas há uns dois anos, certo? Então, como lidar com tudo isso? É um pouco complicado. Mas, recentemente, reformulamos completamente o harness do Bodhi para os canais de mensagens de texto, e agora ele funciona muito bem. A forma de lidar com tudo é parecida com a do GrokBot ou de agentes de programação: há compaixão, há uma memória e há todas essas coisas diferentes. Então…

21:08 …isso funciona muito bem. Além disso, toda a nossa experiência de voz ainda tem espaço para melhorar, mas está em desenvolvimento agora, porque eles precisam superar os anúncios com a nossa voz. Parece que poucas pessoas estão fazendo isso neste momento, mas é possível usar um sistema semelhante ao que mencionei — podemos falar um pouco mais sobre isso —, com os mesmos recursos: o chat, a capacidade de pesquisar conversas anteriores e tudo mais. O desafio com a voz é quando você…

21:41 E eles fazem uma chamada de ferramenta. Você simplesmente deixa a pessoa esperando por alguns segundos enquanto isso acontece? E, para voz, há um pouco mais de complexidade, e você precisa ser um pouco mais esperto. Podemos entrar nisso em mais detalhes, mas, por exemplo, com o ChatGPT, tenho a novidade que eles lançaram, que tem full duplex, com um modelo de frontend e um de backend. Isso permite que ele continue falando enquanto várias coisas acontecem em segundo plano. Acho isso bem…

22:14 …interessante, e isso faria parte da reformulação completa, como mencionei. Estou animado para isso em breve. >> Que legal. Acho que temos mais uma ou duas perguntas. Desculpem por interromper hoje. Vamos lá. Tenho curiosidade: o que mais surpreendeu você ao escalar seu agente de voz? Parece muito fácil criar algumas demos e lançar rapidamente coisas que ficam ótimas na tela, e você me diz para nos encontrarmos no banheiro. O que mais surpreendeu você ao levar aquela demo, ou sua nova POC, até a produção? >> Bem, uma coisa que me surpreende é que…

22:45 …não tivemos mais problemas. Acho que muitos dos provedores que usamos — considerando o quanto a IA de voz é complexa e tudo o que acontece em segundo plano —, sim, tem sido bom. Mas um desafio, em comparação com agentes mais baseados em texto, é verificar e, essencialmente, executar evals ou simulações, porque…

23:15 …com agentes baseados em texto, na Audi, temos algo que chamamos de cenários de simulação do agente de mensagens, nos quais podemos configurar um cenário exato. Certo, esta é a pessoa, esta é a situação em que ela está, e é exatamente isso que a Audi deve fazer nessa situação. Temos uns 200 desses, então sabemos o que a Audi deve fazer em praticamente todas as situações, e quais são seus comportamentos e tudo mais. Com voz, dá para fazer algo parecido, mas, quando uma pessoa de verdade está falando, acaba sendo diferente…

23:48 …de uma entrada de texto simples. Também existem serviços muito legais com outros agents que interagem com o seu para testar diferentes cenários, casos extremos e coisas assim. Mas um agent interagindo com o seu é bem diferente de pessoas interagindo com ele. Então, sempre há coisas que dão errado e que são muito difíceis de detectar antecipadamente com evals e simulações. Isso é algo em que estamos…

24:19 …pensando, especialmente à medida que desenvolvemos agentes mais sofisticados, como mencionei. Porque, neste momento, por voz, isso não é extremamente complicado. Mas, para ter conversas mais longas ou algo assim no projeto, há coisas divertidas para descobrir. Sim, o que vai ser… Não tem nada a ver com isso. Atender novas chamadas é muito mais difícil do que você imagina. Na maioria das vezes, ligamos para as pessoas e elas não…

24:51 …atendem, ou a chamada vai para o correio de voz. Se a Audi cair no correio de voz, então, tipo, o correio de voz… Existem três números que detectam correios de voz perfeitamente quando estou ouvindo silêncio absoluto e você diz alguma coisa. Isso é realmente muito difícil. Quer dizer, as pessoas me dizem que isso é perfeito em termos de som, porque teria os tokens e tudo mais. Seriam os correios de voz e coisas assim. Muitas vezes, é só ouvir o texto do correio de voz. Será que é cedo demais para começar a detectar um correio de voz e, então, garantir que você reinicie as coisas na hora certa e faça tudo direito? Na verdade, são todos esses correios de voz…

25:24 …e tudo mais, e depois os correios de voz, e então a localização diz que a chamada retorna e depois liga de volta para nós, e aí todo o processo funciona. Além desses correios de voz, esse foi o tipo de coisa nova. Quando lançamos, se você ligar para todo mundo na sua empresa e estiver tudo bem… Então, somos pacientes e, no primeiro dia, trazemos novos atendentes de triagem para iPhone. Esses novos correios de voz do app perguntam: explique sua situação, por que está ligando, e todos falam honestamente: “Vou retornar sua ligação”. E você tem que explicar tudo isso.

25:55 É a primeira ligação, e então descobrimos quem é a pessoa, e depois passamos para meu amigo, e todos ouvem eu dizer: “Estou tentando falar com um advogado”. Eu sigo o fluxo. Quer dizer, é todo esse processo, e lidar com isso não é… Não é motivo de risada, eu acho. E conheço uma pessoa que tinha um veículo com isso… Acho que lidar com esse tipo de tempo e também com os telefones… Então, no primeiro ciclo, usamos o Twilio, e o Twilio também inicia a chamada, e todas essas coisas fazem parte da minha área. Você tem uma bomba de sucção e então…

26:28 …depois que consertarem tudo isso, fazem uma ligação para o local. É preciso saber e garantir que o sistema saiba quando a pessoa atendeu. Assim, você pode começar a fazer esse tipo de… perfeição sonora da semana, a pergunta ou algo assim. Vamos lá. Acho que não houve um motivo para o que estava acontecendo aqui, e então todo o meu… Preciso ir ao Twilio e, com sorte, encontrar uma promessa ali com um atleta. Acho que os dados do correio estão tocando, e então perdi o vídeo. Sei que usa todos os dados por… E, por esse motivo, continuo segurando meu telefone porque não…

27:00 Não sei. Estou surpreso que você esteja me vendo. >> Sim. E você é mais do público, eu acho. Talvez esteja olhando para… Normalmente, eu perguntaria quais são suas previsões, mas vamos fazer o contrário. Se pudesse acenar sua varinha mágica, o que gostaria de ver resolvido nos próximos, digamos, 12 meses? O que, nos próximos 12 meses, ajudaria vocês, como builders? >> Talvez falando por mim, mas eu também gostaria de ver cinco… telefones como crianças mais leves. Não sei, cara. >> Espero que vocês tenham pesquisado isso. Acho que os cinco telefones dos novos associados, chamados meu telefone, deveriam ser… >> No momento, somos obrigados a inspecionar depois que a bola está do nosso lado. >> Por meio de alguns dos olhos, tipo…

27:32 …burro ou… burro além do vale. >> Do mesmo jeito que eu. >> Mas é bom dizer o nome da pessoa que você… >> Não é. >> Não sei se parece tão longo. >> Você gosta de conseguir… >> Você só quer dizer qualquer coisa, tipo… >> Você não pode trazer seu filho para cá. >> Ele me transferiu para… >> Eu realmente digo… >> Eu realmente digo meu rebote… >> Eu só digo… >> Eu sou. >> Você gosta… >> No momento, estou… >> Você vê, eu sou. >> No momento, estou…

28:03 >> No momento, estou… >> No momento, estou… >> Para mim, acho que estou muito animado com tanta coisa que acabei de mencionar. As pessoas agora usam produtos de alta capacidade, e os recursos são muito bons. Acho que vamos começar a esperar mais disso dos agentes de voz, tanto em termos de recursos quanto do que eles podem fazer. E, no momento, estamos enfrentando o gargalo relacionado aos pipelines de texto para fala, em que, se…

28:38 …você precisa transcrever o texto primeiro, sempre haverá coisas erradas, que não ficam exatamente certas. Então, estou ansioso pelo futuro, com os modelos de fala e de áudio se desenvolvendo ainda mais, ficando mais inteligentes e tudo mais. E também por esse frontend e backend, em que o mecanismo pode continuar falando enquanto faz todo tipo de coisa em segundo plano. Estou ansioso para ver isso se desenvolver mais. Obrigado a todos por virem hoje à noite. Vejo vocês daqui a…

29:10 …uma hora ou mais. Obrigado.

Transcrição original

[00:00] All right. So, at these meetups, what we like to do is actually bring folks who are building in voice onto the stage and have them talk to you all about what they’re building, how they’re building it, and answer some of the common questions about what people have questions about in voice, and also tell you probably a lot of things they’ve learned along the way building real-world voice experiences. So, maybe to kick things off and set the stage, I’m not sure each of you can just tell us about what your name is, what company you’re from, what are you building, and how does voice play a role in in that product and experience? >> Yep. I can kick it off. I am Owen, head

[00:33] of engineering at Morty. It’s funny, actually, I used to have an Assembly AI app that I used to wear all the time. And then I lost it, so I have to maybe you can set me up with that at a later one. Um but yeah, at Morty, you can think of Morty as basically like if LinkedIn was just a person that you could call and text. Um so, yeah, Morty will make intros between the people, um founders and investors, investors town, whatever it is. I know actually for the event registrations for this event, um Morty used to give people a call. So, I’m

[01:07] actually curious, like how many people have had you call Morty? Okay, wow, about a quarter of you. Uh that’s great. So, I mean, you know more about Morty than you do about me. Yeah, that was great. Um and I guess I also have Morty on a meeting here. Uh so, he can kind of participate in the meeting. Morty, do you want to introduce yourself? >> You can call me Morty. You can probably tell. I spend my time chatting with thousands of founders, creators, and investors to figure out their zone of genius so I can connect them with the right people to help them succeed. I’m basically a professional matchmaker who

[01:39] lives on the internet, and I’m absolutely fascinated by how you >> Awesome. Wow, that’s better explanation than I knew. So, I don’t know. Maybe uh Morty can just take it from here on out. Um yeah, live voice. I mean, for myself personally, there’s people who I like texted a lot, but I’ve never met with, like maybe I just messaged them back and forth a bunch. I don’t actually feel like I know them. You know what I mean? Like I don’t actually know them until I meet them in person or at the very least have a phone call or a video meeting of some sort. Because when you’re when you talk with someone

[02:11] over voice, you just say so much more. Whereas over text you’re very dry. And so we found that with 40, having 40 being able to have phone calls with people and joining meetings is it gives 40 the ability to learn so much more about you and your priorities and your goals and that allows us to do that matching and that intro so much better. >> Just a clearer intro than me. That’s how >> 40 put out. I’m Dylan. I’m from Fire Health. We work with the musculoskeletal clinics and we have a whole suite of AI and tech tools for them, but one of which is our

[02:44] voice agent. Uh so we focus on that and then I’ll give it to you and you can do it, but uh it’s The voice agent essentially calls and calls patients before their procedures and gives them instructions or say what to take or what not to take when they need to stop or when they do not need to do that. >> [laughter] >> Well, so for us it’s just a lot of these health care operations still happen by via phone. That’s how patients call. You can try to put an online scheduling link, but patients are still going to

[03:17] call you and I mean they’re going to answer the phone. And a lot of them are understaffed in there and especially when you’re kind of calling out cases, it’s longer. The patients are in contact there and it’s going to come through both hands. I think it’s Most of the patients we talk to are older. So I guess like our our demographic is pretty highly different than the other patients we have. >> Uh we are used to that. That’s why >> Who? Hold it up. >> Yeah, yeah, yeah. >> Say all right. All right, all right. Thank you. I need my my training on being

[03:48] So you’re saying that the patients are different and yes, the customers are very different. Yeah, so yeah, I was talking to somebody here today where it was like interesting because a lot of voice agent applications are like need to happen in the real world on the phone. The user is a little bit more old-fashioned when it refers to the phone. And now they’re talking to an AI on the phone, which is like they’re not a tech enthusiast. They’re not excited to talk to an AI, but like they’re calling me on the phone and now they’re now they’re like talking with uh uh tech advance tech support. Uh maybe that’s a good place to start. I

[04:19] mean >> Your agents operate in a very different environment. They’re quite as highly conversational. It’s very relationship-driven. They’re working in a more of a regulated environment. Probably talking to like very different folks than like the tech founder demographic that we’re already talking about. How does that end customer base change the way that you design your your voice agent and your experiences with voice? >> Yes. So for us, a lot of the conversations we have are pretty um it’s pretty structured. So I talked to

[04:50] Corey the other day and Corey can go off in all sorts of different directions, which I’m sure is very hard to program all these different places you can go. But for us, it’s really like you have to walk through this set of questions and it’s kind of a flowchart to it or you’re like signing a patient up and collecting their email and phone number and like insurance information and off you go. So I guess any really don’t want it to go off in any direction you like to. It’s a big issue if it starts trying to give them medical advice. Like they’ll complain about like something’s going on and you’re going to lose the patient and you have things. So um speaking of on task and like if they

[05:24] go off track, it’s really like we’ll escalate that to a human. Yeah. >> Yeah. So it sounds like you have a pretty pretty regimented like step-by-step flow. Probably a lot of guardrails in there as well. Yeah, it looks like a And then uh for you, like maybe what are some of the key things in like that voice experience that can make it really good for the end user? >> Um so I I guess for us it’s The part of it is like we’re not really trying to delight this user. It’s not like they’re excited. It’s kind of like trying to make somebody get to their end goal and are not unhappy with us.

[05:55] They’re not like complaining to the clinic like, “Why do my son not talk to me humans anymore? Like I want to call you and” Um so it’s kind of like not not make this user unhappy. That is the the goal here to make them happy. >> Does that make sense? >> Yeah. >> If Morty starts giving you medical advice, hang up the phone. >> [laughter] >> Yeah. Um I mean yeah, it’s it’s so interesting because with Morty, as if again I can hammer this again, but if I was just talking to you, we would take the conversation in all kinds of different directions. And especially now

[06:27] as the models keep getting better and better, it unlocks the ability for the conversations with Morty to be better as well and just more enjoyable and and more insightful as well. Um so I guess we I hadn’t thought about that before, but relatively to you, we lean to that quite a bit. Um another thing I think is particularly interesting and just around how we like design Morty, which is very unique to Morty compared to other AI assistants, let’s say the just general agents, is that for most agents,

[06:59] it just wants to help you as much as possible. It’s like you’re talking to code actually trying to cloud code. It’s like trying to do whatever you want, right? Whereas with Morty, there’s an entire network of 200,000 people who Morty is also, you know, has to take into account. And so Morty can’t do something to help you and be expensive other people in the network. Like Morty’s not going to intro you to the the best investor Morty knows unless you’re also, you know, at that caliber. So that’s maybe a slightly less about the the voice experience, but it’s like coming from a very different angle

[07:33] than an assistant. >> Yeah. >> And how do you judge what is like a successful conversation for Morty versus not? And we going to be using like qualitative metrics, quantitative metrics? Like, how do you judge that 40 achieved its goal and on a healthy person connecting with other people, making them feel good, making them excited about the product? Like, how how do you do that in that scenario? >> Yeah, I mean, there’s a whole bunch of different things. The overall, um we have different product metrics we look at, like um

[08:05] how what’s the rate at which 40’s intros convert, right? Cuz a lot of the time >> people will just not respond or will say, “Oh, no, that’s not a fit for me right now.” or whatever. Um so, we look at those and that is all just like downstream of the entire experience, including the phone calls. Um and it’s actually been really cool recently. A lot of those have been going up. Um so, now when you like tell 40, “Yeah, I want to meet this person that you’re proposing to me.” there’s more than a 50% chance that that intro will actually happen. Um and so, that’s been like

[08:35] really cool to see. Um and then in terms of like the voice, we have different agent observability tools that allow us to get a bit of an insight into like, “Okay, are people yelling and swearing at 40? Okay, probably not a good thing.” Um versus, “Yeah, are they having a good experience?” and things like that. Um and so, that’s that’s something we’re continuously improving as well. >> Yeah, I’m curious for you, Dylan. Is it more quantitative based then? Like, did they achieve the goal or do you look at some of these more qualitative signals as well about the what actually happened

[09:07] on those calls? >> Yeah, so we do know whether they achieved the goal, but a lot of things that goes wrong is is we think they achieved the goal and it didn’t. So, we really had to do a lot in the beginning a lot of human review of just every phone call or email and look at that transcript. Um and make sure it went well. And having really good transcripts is very important for that, but um And trying to set up our boundaries as we go through uh just things like uh like if kid says that they got completion, but they didn’t. And like, this is wrong wrong here. How do we adjust the prompt so we can work? How do

[09:39] we test against like when we’re using the phone because obviously it’s a problem. Obviously it’s a phone and all so we use like a tool called Braincert for sending just getting the observability of all the calls. And we also do a little bit with our testing we use a service called Pindrop and then there’s like voice agents for testing voice agents so testing these can be very tedious because I’ve spent so much time just like on the phone playing on repeat for different call scenarios and

[10:13] trying to see that up is intact. >> And I assume a key component of your your users actually achieving that goal is is trust, right? So they they believe hey this is like a trustworthy AI that I can give my personal information to. I guess I’m curious specifically on your side like how do you get users comfortable talking to an AI and how do you like what are some of the things that might break that trust and cause them to not convert through the current flow? >> Yeah so the big first thing is we weren’t sure at first like do you disclose right away if this is an AI and

[10:44] I think for us the answer is yes like says immediately be there and then so they get you with names with a lot of time to say I’m Sarah it’s like hey I’m Sarah this AI is supposed to be kind this clinic like kind of doctor’s office it’s kind of right there up front because uh if you don’t tell them right away they’re almost certainly going to figure it out at some point and then if they thought it was human for a while that that like breaks trust and it’s I think it definitely do make you unhappy. We didn’t we did have a couple calls in the other where we didn’t tell them we were an AI at the end they’re

[11:15] like I have one more question like are you are you an AI? And he was like oh like okay we we really need to tell them right away and this was just a huge trust fall around. So for us it was also where probably I found Google Voice to be the official way is it going so doing all that stuff to like we used to do earlier, but uh setting up all the stuff ourselves so you don’t get flagged with spam. Uh it says we’re paying hopefully when it calls it. caller ID That’s what separates us.

[11:45] >> Here’s an example of what he said. Obviously, it’s less about like this structured conversation, but how do you see what he building like trust with users? It’s funny cuz when I had my first call with him, I was like very skeptical. Then after about 5 minutes, I was like, “Oh, this is fun. This guy’s going to be helpful.” It’s interesting. So, I’m curious how you you you like trust in this context. >> Yeah, and we I hear that a lot, to be honest. So, I am curious also afterwards chatting with uh all of you. Um that first experience, a lot of people seem like scared to like talk to erhöhte. Um so, I I am curious to see if

[12:17] there are people’s, you know, experience with that and how we can improve that. But, yeah, with erhöhte, we try to have erhöhte be the most charismatic, funny, self-aware AI possible. And so, typically, the first thing that erhöhte will say when you hop on the phone is, “Is this your first phone call with an AI?” And that like breaks the the the fourth wall almost and like immediately like you know, resolves the question and the tension about being like calling an AI or not.

[12:48] It’s like, “Yeah, I’m an AI and like we we can uh you know, be okay with that.” Um but then, as you were saying as well, like 4 minutes in, you almost like forget. Like the conversation is going so well and it’s like an engaging conversation and you like almost forget. So, it’s like instead of not telling people, but then they figure out and they’re like super freaked out, it’s the other way around. It’s like we’re very up front, but then it’s just a great conversation and you get into the flow. >> Yeah, I’m curious how you handle some of

[13:18] the like messy things in building voice agents. So, things like turn taking interruptions, these calls going off script, who knows what else you got to that, something like “Bardi, how have you built Bardi to be off defensible with like a guardrail perspective for going off-script, but also to handle some of these like turn-taking interruptions, which especially with Bardi because it feels like your friend. You are kind of like interjecting and going back and forth in a way that’s very different from all the other voice agent experiences.” >> Yeah, I mean, I think in general for just one-on-one voice conversations,

[13:52] it’s like basically solved in terms of turn-taking. Like, we use a sound we use live kit and it just like everything works really well. Uh voice voice agents are like very good at one-on-one conversations. I think actually like for us one of the huge challenges is now we have Bardi on video meetings, like Google Meet. Like I have like on my phone right now, this is I I’m from Canada and I don’t have like calling in the US, so I’m on a video meeting with with Bardi right now, that’s why I’m calling him in right now. Um and so Bardi will make an intro

[14:25] and then schedule it and then join that meeting, that Google Meet. And so you can imagine that when you have multiple people on a meeting, then you have Bardi there as well, determining when Bardi should speak or not, that’s like the really challenging part. Um because false negatives and false positives are both like catastrophic. If you say, “Hey Bardi, how are you doing?” and he doesn’t reply, that’s really bad. If you like are not talking to Bardi and then he just randomly keeps jumping in, that’s really annoying, you’re never going to be invited to a meeting again.

[14:58] Um and so that has been very difficult and then let’s say you like do it as well as possible. Then if you’re like classifying whether Bardi should speak or not, then it’s like the latency on that and everything. Um and so we There’s one engineer on the team in particular who has spent like a ton of time working on this and getting it into like a really good state. And I think it’s really cool because there’s like no one else really has having an AI that can probably participate

[15:28] in video meetings and where you can. And essentially part of the way we do that is we do have like a classifier classifier deciding, okay, should we already speak or not based on the conversation so far. And then we preemptively generate like the entire voice pipeline. So like constantly Wording is generating, you know, responses and then we wait when it is time to respond, he speaks very quickly. Which again, like the turn taking when you are in a video meeting you don’t realize this, but

[16:02] as people are ending their sentence, you start jumping in. Like like right as they finish and if you wait until that’s done and then go through your little pipeline, respond 3 seconds later, it’s way too late. So you need like sub-second latency in order for it to actually feel like a natural conversation. So that’s been like a big challenge, but I think something that we’re pretty proud of to have built. What would you say about that, Wording?

[16:49] All right, thanks, Wording. I’d like to hear from you uh specifically on this like handling messy stuff. I’m I’m curious like what are some of the I know words, entities, whatever that are hard to get right and uh especially maybe like you probably have a lot of connections and integrations downstream to do these calls. Really, how how are those set up and maybe some insight there would be interesting to me. Sure, yeah. So Wording voice engine is using to systems which are Vocals not pretty great if any of you guys have worked with them. Um you guys have an idea like similar to

[17:21] what is a spin-off from like browsers to IVR and routing agents from there just to market up to you guys to use it or like that’s really what we use and like other routing agents. Um Like earlier, yeah. But anyways, I guess what I’m Those integrations are for you to see like some of the worst software you can do in like a like change the name of that in the creative side of conversation. They use a thing uh like it’s slow. Uh sometimes it increases expectations. Uh like oh, we’ll look that up for you.

[17:52] Like maybe some type of sound. Um Um and then also you do need like you’re saying you usually being the collection of the email address. Like you don’t want to mess that up email address or phone number collection um or like their insurance number collection. So really mainly the um the seeing people and understanding what they do to you or something. Getting to review. Um And then every time you do eventually have a long time that you do it with um So with our pre-op instructions, there’s like a set of instructions that need to be delivered to the patient. I mean you have to be sure that they heard it. And um it’s hard with the cascading voice

[18:28] uh like the agent stack we use. Um you don’t know for sure that it wasn’t being opted in with uh saying these things. So it’s like we know the outline of generic phrases spoken text is going to say this and send it off. It’s we’re playing the audio and then the patient interrupts midway. Um The agent that we have right now doesn’t listen to itself speak. So it knows what it wants to say. It doesn’t know what it actually thinks it’s going to say. Um The first and like at this point you just can restart the whole like instruction block of it and try it on. You know, if they put on a long

[18:59] instruction to break it down and not have a too big of an instruction set. But like you don’t want the AI to keep talking to somebody cuz if someone interrupts it, it’s going to have no idea where it was. And you have to restart or skip forward and you lose everything. Yeah. >> the context of the patients and the doctor they’re going to, etc. Is part of that voice engine experience or is it more like unscripted or sorry, scripted in the sense where there’s no context for each for each individual user? Like you calling me by name and mentioning what doctor you’re going to. >> Yeah, we do a little bit of that. If you

[19:34] have ones like we know what procedure is and talk about that. You can ask us any questions about what procedure is going to happen. For like I think I see who wants to obtain the patients. So we have no information on what first to call them. You don’t You may just be able to contact but I think you don’t save like clean phone calls feature of value in this patient like holiday this is who knows. They say they are or they’re about it. They’re definitely like over 10,000 calls on It’s about three years risk to leave anything that seems like a complication

[20:04] of paying to have to do with anything like really it. >> There’s maybe a few talking about it from the Bodhi side. You probably have a lot that goes into like context and personalization. How how have you set that up? Like what does that look like under the hood for Bodhi? >> Yeah, within a single voice conversation, I mean LLMs have huge context windows now so it can just handle all of that naturally. Uh the difficulty is then when you go to multiple channels trying to Bodhi over email, text expecting Bodhi to remember all of that. Um and then some people

[20:35] have been talking to Bodhi and having calls for like two years, right? Um so like how do you handle all of that? Uh it’s a bit of a nightmare. Um but yeah, right now we recently completely like revamped Bodhi’s harness, you can say, over the text messaging channels and so now that works very well in terms of like you know, similar a similar way of handling everything to say like GrokBot or coding agents where there’s compassion, there’s a memory and there’s all that different things. So,

[21:08] that works quite well. Also, our whole over voice voice is still like, you know, has room to improve, but it’s actually right now in development cuz they do to overcome the ads with our voice. Um I it seems like not too many people are doing this right now, but the a similar system I mentioned where it is possible and we can get into that a bit more, um but having those same things where there’s the chat, there’s like the ability to search previous conversations, all this stuff. The challenge with voice is then if you do

[21:41] that and they say a tool call, are you just leaving, you know, the person hanging for like seconds while doing that? Um and so, for voice, there’s there’s a bit more complexity, and you have to be a bit smarter about it. Um again, we can get into that more, but say with like ChatGPT, I have like the new the new thing they released, which has like full duplex, and there’s like a front end and a back end model, so that allows it to um continue talking while in the background a bunch of things are going on. Um and so, I think that’s like pretty

[22:14] interesting, and it would be in the full overhaul, as I mentioned. Um so, I’m excited for that soon. >> That’s awesome. Um I think we have one or two more questions. Sorry for interrupting today. We’ll do this. Um I’m curious maybe what surprised you most as you scaled your voice agent. It seems like it’s really easy to build some demos and kick quick things out that look great on screen and you tell me to meet up from the bathroom. What surprised you most about taking that like demo or your new POC all the way into production? >> I mean, one thing I’m surprised with is that

[22:45] like we haven’t run into like more issues. I think a lot of the providers we’ve been using, considering how like complex voice AI is and everything happened in the background, like yeah, it’s it’s it’s been good. Um but one challenge compared to say more like text base agents is actually verifying and like essentially running e-values or or simulations on it because

[23:15] with the text base agent what we do at Audi we have something that we call messaging agent simulation scenarios where we can set up an exact scenario. Okay, like here is this person and here’s the situation they’re in and this is exactly what Audi should do in this situation and we have like 200 of these so we know what Audi should do in like every situation and all their like behaviors and everything like that. With voice you can do a similar thing but then when there’s actually a person talking that ends up being different

[23:48] than like you know, simple text input or even you know, in the case there’s these services which are really cool which have other agents which will then interact with your agent to like test different scenarios or edge cases and things like that. But even an agent interacting with your agent is like very different than humans interacting with their agent so there’s always things that go wrong which are really hard to to catch ahead of time with e-values and simulations so that’s something that we’re

[24:19] thinking about especially as we develop agents to something more sophisticated as I mentioned because right now over over voice that’s like not crazy complicated for voice. Um for one to have longer two or pulse in the project kind of thing um going to be some some fun stuff to figure out there. Yeah, so what is going to be just nothing like to do with how about new calls is a lot harder than you would think it would be. Um so like most time we call people and they’re not

[24:51] going to answer if they go to voicemail. So if an Audi goes to voicemail then kind of voicemail like and um there’s all three numbers that of detect voicemails perfectly when I’m like listening to pure silence and you say something. That’s actually really hard. I mean, people tell me that this like sound perfection because they would have like the um >> [clears throat] >> tokens and all that. It would be like the voicemails and all that. A lot of times it’s just like hearing text to voicemail. Does it too early to start trying to hear a voicemail and then making sure you know like restarting stuff at the right time and do it good here and there and all that. Really it’s like all of these voicemails

[25:24] and all that and then voicemails and all that and then location say it calls back and then it will call us back and then the whole thing flowed. Um look at beyond these voicemails. That was the kind of new um When we launch uh if you have the call like everyone in your company and we’re okay. So we’re like patients and then immediately on the first day we bring new iPhone screeners. Um so these uh new app voicemails they ask like explain your armor, why you’re calling in and then all of them talk honestly. I’ll get back to you and this whole thing that you have to explain.

[25:55] It’s a first call in and then we from what person is there and then we jump to my friend there and we all hear my saying “I’m trying to ask you a lawyer.” I do the flow. Um I mean, it’s like this whole and ashes deals very not uh It’s not the box of laughs that I guess. And I would I know a person who had a vehicle that had that in the uh I guess dealing with that sort of timing and also the phones like um So first cycle use like Twilio and then Twilio actually initiates the call also and then all these things are in my field. You have a sub pump and then

[26:28] once they fix all that and then place a call to the location. Knowing making sure that life to knows when person has to picked up. So you can start doing this time of like sound perfection of the week uh the question or something. Uh let’s go. I guess it hasn’t been a reason back of what was going on here and then all my uh I got to go to Twilio and then hopefully find a promise like there with an athlete. I think the mail data on the ring and then I lost the video. know uses all the data by And for this reason, I keep holding my phone because not

[27:00] I don’t know. I’m surprised that you’re [clears throat] seeing me. >> Yeah. And you are more of the audience, I guess. Maybe you’re looking at And usually I’d say what are your predictions, but we’ll do it the other way. Waving your magic wand, what do you want to see solved in the next say 12 months? Next 12 months that will help you as builders. >> Maybe going off me, but I would be as well to see five >> phones like lighter kids. I don’t know man. >> Hopefully you guys have looked into it. I think the five phones of new associates called my phone to be >> Right now we are forced to inspection after the ball is in our court. >> Through some of the eyes like kind of

[27:32] dumb or dumb that beyond the valley. >> The same way I am. >> But it’s good to say the name of the person you >> It’s not. >> I don’t know if it feels so long. >> You like to get >> You just want to say anything like >> You can’t bring your son in here. >> He transferred me to >> I really say >> I really say my rebound >> I just say >> I am. >> You like >> I am currently >> You see I am. >> I am currently

[28:03] >> I am currently >> I am currently >> For me, I think I am just really excited about giving so much that I have just mentioned in like people now use the high quota products like the capabilities are are quite good and I think we’re going to start expecting more of that in terms of like voice agents and really the capabilities and and what all they can do. Um and right now we’re currently hearing the bottom neck right having to do with the text speech pipelines where if

[28:38] you have to transcribe the text first there’s always going to be things that that’s wrong about like you know isn’t quite right. Um so I’m looking forward to like the future as like uh speech and speech models developing even further, getting more intelligent and everything. And then also that uh you know, front and back end on the lecture where you know, you can have the engine continue to speak while doing all kinds of stuff in the background. And so I’m looking forward to you know, seeing that develop more. Thank you all for coming out tonight. See you in the

[29:10] next hour or so. Thank you.