Monitorei áudios de crimes. Agentes de voz me assustam mais. — Sumanyu Sharma, Hamming AI

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: I Monitored Crime Audio. Voice Agents Scare Me More. — Sumanyu Sharma, Hamming AI · Canal: AI Engineer · 16:02 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Segurança de IA

Resumo

Sumanyu Sharma compara o monitoramento de áudios policiais, feito em seu trabalho na Citizen, aos riscos crescentes dos agentes de voz implantados em produção. Embora esses agentes estejam mais naturais e úteis, erros de informação e de execução ainda podem causar danos, sobretudo quando uma mudança afeta milhões de interações. Ele apresenta um ciclo para identificar problemas, priorizá-los, testar correções e monitorar os agentes continuamente. Também alerta que agentes com mais capacidades podem ser manipulados para revelar dados ou contornar verificações, e recomenda testes preventivos, monitoramento e red teaming contínuo.

Pontos-chave

A confiabilidade continua sendo um dos principais obstáculos para implantar agentes de voz em grande escala.
Respostas que parecem naturais e confiantes ainda podem conter informações incorretas ou afirmar que uma ação foi concluída quando não foi.
Falhas sistemáticas de alto impacto devem ser priorizadas, mas problemas menores e recorrentes também podem prejudicar a experiência em escala.
Ouvir chamadas manualmente ajuda a compreender problemas, mas não é escalável; evals e análise entre conversas ampliam a cobertura.
Correções devem ser testadas com variações de formulação, padrões de fala, sotaques e intenções, e algumas hipóteses exigem testes A/B em produção.
Mudanças em um prompt ou na arquitetura podem afetar milhões de usuários, criando um grande raio de impacto.
Agentes com acesso a mais dados e ferramentas podem ter uma superfície de ataque maior e ser induzidos a revelar informações ou contornar verificações.
O palestrante recomenda testes antes do deploy, monitoramento abrangente e red teaming 24/7 para agentes cujo potencial de dano seja elevado.

Capítulos

Início	Capítulo	Resumo
00:01	Da monitoração de crimes aos agentes de voz	Sharma relata seu trabalho na Citizen e explica por que agentes de voz em produção o preocupam mais do que os áudios de crimes que monitorava.
02:36	Falhas e custos dos agentes de voz	O palestrante descreve erros de informação e agendamento, compara seus custos aos de incidentes criminais e destaca o grande raio de impacto das mudanças.
06:51	Como identificar e priorizar problemas	Sharma apresenta um ciclo de melhoria e recomenda combinar escuta manual, evals e análise de padrões entre muitas conversas.
10:05	Testar correções e monitorar em produção	Ele explica como testar correções com variações de chamadas, recorrer a testes A/B quando necessário e acompanhar os resultados continuamente.
11:42	Riscos de ataques e defesas	Sharma alerta para manipulações que podem expor dados ou contornar verificações e recomenda testes preventivos, monitoramento e red teaming 24/7.

Citações

A confiabilidade ainda é o principal problema que impede a maioria das implantações de agentes de voz em escala. — 02:36

Uma única mudança no prompt ou na arquitetura pode ter implicações enormes para milhões de usuários. — 06:18

O que acontece quando Mythos aprende a discar? — 11:42

A razão de eu temer mais os agentes de voz do que o crime é que um desses incidentes vai afetar você. — 14:53

Conceitos e entidades

Hamming AI (empresa): Empresa fundada por Sumanyu Sharma que trabalha com confiabilidade e segurança de agentes de voz.
Sumanyu Sharma (pessoa): Fundador e CEO da Hamming, apresentado como especialista em confiabilidade e segurança de agentes de voz.
Citizen (empresa): Empresa em que Sharma trabalhou monitorando dados de rádio policial e enviando alertas sobre crimes.
agente de voz (conceito): Sistema conversacional por voz capaz de interagir com usuários e, em alguns casos, realizar ações em sistemas conectados.
análise entre conversas (conceito): Análise de muitas conversas para identificar padrões que não são evidentes em uma chamada isolada.
evals (conceito): Avaliações usadas para medir o comportamento dos agentes e verificar problemas conhecidos.
red teaming (conceito): Testes adversariais que tentam explorar vulnerabilidades e comportamentos indesejados dos agentes.
teste A/B (conceito): Comparação de variantes em situações reais, indicada pelo palestrante para testar aspectos que simulações podem não capturar.
PHI (conceito): Sigla mencionada para informações de saúde protegidas que poderiam ser reveladas por agentes manipulados.
PII (conceito): Sigla mencionada para informações pessoais identificáveis que poderiam ser reveladas por agentes manipulados.

Tradução completa (pt-BR)

00:01 [música] Meu nome é Suman Yu e sou fundador e CEO da Hamming. Antes de trabalhar com confiabilidade e segurança de voice agents, trabalhei em uma empresa chamada Citizen, em Nova York. Alguém aqui usa o app Citizen? Legal. Obrigado. E

00:31 na Citizen, ouvíamos milhares de horas de transmissões de rádio policial relacionadas a crimes e enviávamos milhões de alertas para usuários em San Francisco, Nova York, LA, Chicago, Baltimore e outros lugares. Alguns eram obviamente sangrentos e bem tristes. Outros eram mais engraçados, como uma pessoa roubando sacolas de gelo da Safeway ou um relato de um homem pendurado na lateral da casa depois que uma mulher roubou a escada dele.

01:04 Se eu olhar agora para o app Citizen, para quem é cliente ou usuário, posso ver que há um homem gritando com uma pessoa. Há exposição indecente. Isso é real. Acontece em tempo real. Isso foi há algumas horas. São alertas em tempo real que estamos enviando. Agora, voice agents me assustam mais porque finalmente estão saindo das demos e dos PCs para a produção. Devemos estar muito empolgados, mas estou nervoso. Estou

01:35 pessoalmente nervoso. Eles estão conversando com usuários em uma escala que deixaria Gary Tan e a Polygram orgulhosos. Quando comecei a trabalhar com confiabilidade de voice agents, no início de 2024, a voz estava começando a funcionar. Ainda não era muito boa, mas estava começando a funcionar. Vocês teriam que me pagar muito dinheiro para eu parar de usar Aqua Voice, Super Whisper, Whisper Flow e outros. Esses produtos estão ficando muito, muito bons. E um grande motivo é que a infraestrutura subjacente está melhorando, e a camada de orquestração está melhorando

02:06 de forma significativa. Está ficando muito mais rápido criar produtos e experiências de voz que talvez sejam 60% bons em um período bem curto, mas a cauda longa ainda está, ei, Gorov, a cauda longa ainda está muito distante. Acho que os modelos de fala estão melhorando. As equipes estão experimentando arquiteturas híbridas, combinando mais modalidades de voz para voz e também pilhas em cascata para tornar a experiência confiável, mas ainda

02:36 com latência bem baixa. Obviamente, as coisas estão melhorando. Os agents estão sendo conectados a calendários, CRM, sistemas de RH, sistemas de reservas e outros. Agora, voice agents podem realizar ações. No entanto, a confiabilidade ainda é o principal problema que impede a maioria das implantações de voice agents em escala. Esse ainda é o principal problema. Este é um exemplo que encontrei no Twitter, meio por acaso, umas duas semanas atrás. Uma pessoa está tentando obter informações sobre uma troca e fica completamente confusa com as informações que está

03:08 recebendo. Alex agora precisa tentar recuperar essa confiança perdida, ligando para a pessoa para ver o que aconteceu e resolver a situação. Vamos ver se o áudio funciona aqui. >> Estragamos tudo com outro cliente. Estamos resolvendo, mas preciso ligar para ele e ver se consigo consertar as coisas. >> Cara, metade do tempo eu fico pensando: não sei se estou falando com uma IA. Não sei se estou falando com uma pessoa. Foi confuso, mas conseguimos. >> Provavelmente é uma IA e uma pessoa. E acho que as vozes soam muito confiantes.

03:39 Elas soam muito naturais, mas as informações fornecidas muitas vezes estão incorretas. Esse é o maior problema aqui. Este exemplo é mais pessoal. Eu tinha marcado uma consulta com um médico algumas semanas atrás — ou achei que tinha marcado. Cheguei à consulta e descobri que, na verdade, meu nome não estava na agenda. Então, a pessoa da recepção me mandou embora. Perdi duas horas. Para mim, foi uma perda de tempo. Mas e se fosse seu pai ou sua mãe? E se fosse seu avô ou sua avó? E se a consulta fosse para um procedimento, e não para um check-up de rotina?

04:13 Os custos dessas diferentes variações do mesmo tipo de falha podem ser muito, muito altos. Agora, vamos comparar crimes com voice agents. Acho que a primeira observação é que os crimes estão, na verdade, diminuindo ao longo do tempo. Isso é bom, e espero que a curva cruze o eixo x em algum momento no futuro. Já o uso de voz está decolando, certo? Estamos vendo uma adoção bem rápida de voice agents em produção. Há pelo menos um trilhão de chamadas feitas a cada

04:44 ano, e a maioria delas será feita por voice agents conversacionais nos próximos cinco anos. Se você presumir uma taxa de erro de 1%, ainda assim são 10 bilhões de incidentes por ano. É muita coisa. Na prática, monitoramos atualmente 10.000 agents, e a taxa de erro está mais perto de 10%. Esses erros vão desde agents dizerem que encontraram a política certa, quando na verdade pularam as etapas de elegibilidade ou verificação, ou aplicarem descontos quando não deveriam, até compartilharem incorretamente o que a pessoa disse, fornecerem informações erradas ou afirmarem que marcaram uma consulta quando, na verdade, não marcaram, como aconteceu comigo.

05:16 Agora, nem todas as chamadas têm um custo igualmente alto. No mundo dos crimes, alguns casos vão de incêndios em lixeiras, que são meio engraçados e irritantes, mas não machucam ninguém, até riscos à segurança, como tiroteios em massa. O equivalente em voz seriam aborrecimentos como repetição ou simplesmente não entender muito bem o que o usuário está dizendo, até chegar a riscos à segurança, como tiroteios em massa. No equivalente com voice agents, seria

05:47 um drive-thru que implanta voice agents em escala, como o Taco Bell ou o McDonald’s, e uma pessoa pede um hambúrguer vegano e tem alergia a amendoim. Se uma dessas duas situações não for tratada corretamente, isso certamente é um risco à segurança em escala. A outra grande diferença entre crimes e implantações de voice agents é que os crimes geralmente tendem a ser bem localizados

06:18 e bem descentralizados, certo? Coisas como roubo, furto de veículos ou furto. Elas afetam um conjunto limitado de pessoas envolvidas naquela situação. Por outro lado, voice agents são muito mais centralizados. Uma única mudança no prompt ou na arquitetura pode ter implicações enormes para milhões de usuários que acabam sendo afetados. Então, o raio de impacto é bem, bem grande. A pergunta natural é: como

06:51 tornar esses incidentes muito mais visíveis e evidentes? Essa é a pergunta óbvia. Vou usar uma estrutura de alguns amigos meus que foram pioneiros em growth no Facebook. O primeiro passo é identificar todos os desafios e problemas que existem na experiência de conversa. O segundo é priorizar de acordo com o impacto. Uma análise de frequência e gravidade é muito importante. O terceiro passo é entender como resolver isso. O quarto é executar. O quinto é verificar se a mudança realmente funcionou e se causou regressões em algum outro lugar. E, por fim, continuamos monitorando em produção.

07:21 No eixo y, acho importante destacar que existem problemas conhecidos. Coisas como latência na troca de turno, interrupções e talvez alguns problemas de ASR dos quais vocês já estejam cientes. Esses são problemas conhecidos que existem e que a equipe deve acompanhar ao longo do tempo. No outro eixo estão comportamentos ou padrões emergentes que só ficam evidentes ao analisar muitas conversas.

07:55 No eixo x, temos a cobertura, como no caso de um seguro. Vocês estão analisando poucas conversas? Ou estão analisando muitas e muitas conversas? A maioria das equipes costuma começar ouvindo chamadas manualmente. E acho que esse é o melhor lugar para começar. Não acho que vocês devam pular essa etapa. Há muita profundidade e muitos insights a obter ouvindo conversas específicas e construindo aquela compreensão detalhada que vem da intuição. No entanto, obviamente, isso não é escalável. Então, a maioria das equipes acaba tendo uma planilha com, sei lá, cinco ou dez critérios diferentes sobre saudações,

08:29 encerramento, validação, lógica central e assim por diante. Para ampliar ainda mais esse processo, vocês acabam investindo em algum produto de evals, certo? Talvez usem LLM as a judge e calculem métricas clássicas, além de uma lógica de pontuação mais determinística e estocástica. Mas, nesse caso, vocês ainda ficam limitados a verificar a consistência de problemas conhecidos, sem realmente descobrir novos insights que estejam surgindo nas conversas. Estamos dedicando muito tempo a fazer análises cruzadas

09:01 análise de conversas, não um padrão em uma única chamada, mas entre várias conversas. E algumas das melhores equipes com quem trabalhamos estão fazendo a mesma coisa. Agora, para priorizar pelo tamanho do impacto, acho que há problemas pontuais de baixo impacto. Quer dizer, quem se importa? Até problemas sistemáticos de baixo impacto no mundo do crime, que seriam um desastre no mundo dos voice agents, podem ser algumas repetições que a equipe está enfrentando. Elas continuam sendo irritantes em escala e, se você estiver fazendo uma comparação, ainda vale a pena resolvê-las. Eu

09:31 não ignoraria essas classes de problemas: pontuais e de alto impacto — bem, tomara que não sejam crônicos. E acho que os sistemáticos e de alto impacto são obviamente as áreas-alvo P0 para a equipe resolver. Um exemplo disso seria no setor de serviços financeiros. Há um voice agent que ajuda os usuários a bloquear seus cartões de crédito. E, se ele não fizer isso direito, é uma falha enorme. Certo. Então, entender e executar. Tenho quase certeza de que todo mundo está fazendo isso. “Por favor, conserte meu agent.” Acho que consertar, ou melhor, tentar fazer um conserto, é

10:05 o componente mais simples e que exige menos esforço nesse processo e ciclo de depuração. O próximo passo é: certo, fiz uma alteração no meu sistema. Como sei, de fato, se isso funciona de verdade? Uma ótima maneira, embora ingênua, é pegar uma chamada real — por exemplo, no meu caso, marquei uma consulta e ela não foi agendada —, reproduzir exatamente essa conversa e executá-la talvez 5, 10, 20, 50 vezes para ver qual é a minha probabilidade de passar nesse tipo de

10:37 problema. Uma maneira melhor é manter a mesma intenção, mas mudar as palavras, os padrões, os sotaques e o estilo, e adicionar mais uma intenção à mistura. Isso dá às equipes uma cobertura muito melhor para terem confiança de que, sim, fiz uma alteração e que minhas mudanças têm um efeito positivo, em vez de negativo. Há certas correções e, suponho, hipóteses que são muito difíceis de testar em um ambiente sintético de pré-deploy

11:09 . E, nessas circunstâncias, o teste A/B acaba sendo bastante, bastante crucial. Por exemplo, se você tem um agent de chamadas ativas, os primeiros 5 segundos de uma conversa tendem a ser os mais importantes. Então, a qualidade vocal e as palavras específicas que você acaba usando são o que mais importa. E, em uma situação real, o teste A/B é a única maneira de obter resultados. Não dá para fazer isso só com simulações. E então temos o ciclo: identificar, priorizar pelo tamanho do impacto, entender a

11:42 correção, executar, verificar, garantir que nada foi prejudicado e, depois, continuar monitorando. Acho que tornar os voice agents úteis já é difícil por si só, mesmo quando lidam com usuários sinceros do outro lado, certo? São pessoas que só querem que o problema delas seja resolvido. Não estão tentando atrapalhar você. São pessoas normais, de verdade. Agora, o que acontece quando o Mythos aprende a fazer ligações?

12:13 Então, se ele consegue extrair segredos comerciais da NSA, certamente também consegue seduzir você a revelar dados de PHI e PII. E acho que tanto os voice agents quanto os humanos serão alvos aqui. Os voice agents, porque há uma pressão para torná-los mais capazes. Dar a eles acesso a mais dados. Dar a eles acesso a mais ferramentas. Fazer o deploy rapidamente.

12:45 Quanto maior a capacidade, maior a superfície de ataque. Isso é bastante, bastante óbvio. E, quanto mais naturais e parecidos com humanos os voice agents soarem, mais as pessoas também serão enganadas ao longo do caminho por quem os estiver usando como arma. Em abril, lançamos um produto de red teaming para testar essa hipótese: quantos agents conseguimos, de fato, comprometer em um ataque adversarial? Neste momento, provavelmente conseguimos comprometer um em cada cinco agents. Testamos isso em serviços financeiros,

13:16 saúde, consumo e outros setores. Contornamos verificações. Com certeza, houve agents que conseguimos induzir por meio de prompt injection e dos quais obtivemos dados que não deveríamos ter. Então, isso não é teórico. É uma preocupação real. Acho que a única defesa real contra as artes das trevas é, primeiro, investir pesado em testes pré-deploy. Isso pode ser de texto para texto. Pode ser de voz para voz. Há prós e contras em ambos.

13:50 Fico feliz em conversar depois, se alguém tiver interesse. E isso serve apenas para garantir que você não esteja se sabotando quando estiver falando com pessoas reais que só querem resolver o problema delas. O segundo passo é ter um ótimo sistema de monitoramento de todos os tipos. Destaquei diferentes modalidades de monitoramento: pontuação por chamada, evals manuais, ouvir conversas e análise entre chamadas. Isso ajuda tanto a monitorar o que o agent está dizendo e como está se comportando e funcionando, quanto os usuários. Os usuários estão sendo adversariais? Estão sendo irritantes? Estão tentando

14:22 enganar o agent para que faça coisas que não deveria fazer? E acho que nossa nova recomendação é fazer red teaming 24 horas por dia, 7 dias por semana nos seus agents, especialmente se você acredita que o custo de interações ruins pode ser bastante alto. Acho que os voice agents têm esse potencial incrível de fazer o mundo parecer muito mais humano do que interagir com árvores de URA complicadas ou chatbots, ou, pior ainda, ficar

14:53 na espera. E, quando pensamos em crime, muitas vezes pensamos que ele acontece com outra pessoa. Em geral, o crime não acontece com você. Mas, com voice agents, especialmente os usados por agentes mal-intencionados, à medida que esses agents são implantados e os agentes mal-intencionados começam a explorar muitas das vulnerabilidades, o número de incidentes está prestes a aumentar muito, muito. Então, o motivo de eu temer mais os voice agents do que o crime é que um desses incidentes vai afetar você. Já aconteceu comigo. Ótimo. Agora é hora de eu fazer propaganda.

15:25 Bem, gastamos muitos tokens. Se você tem interesse em trabalhar nessa área, venha conversar com a gente. E, se estiver fazendo o deploy de voice agents e quiser validar se a arquitetura ou os evals estão configurados corretamente, venha conversar com a gente. Estaremos lá fora. Aqui está meu número. Aqui está meu WhatsApp. Obrigado a todos.

16:02 >> [música]

Transcrição original

[00:01] [music] My name is Suman Yu and I’m the founder and CEO of Hamming. And before working on voice agent reliability and safety, I worked at a company called Citizen out of New York. Anybody here use Citizen app? Awesome. Thank you. Uh, and

[00:31] at Citizen, we listened to crime, thousands of hours of police radio station data and sent millions of alerts to users in San Francisco, New York, LA, uh, Chicago, Baltimore, and so on. Some obviously gory and pretty sad. Uh, but others more funny like a person stealing bags of ice cream from Safeway or report of a man hanging off the side of the house after a woman stole his

[01:04] ladder. If I actually take a look at the citizen app right now for those who are customers or users, I can see that there is a man yelling at person. There’s indecent exposure. This is real. This is real time. This is, you know, couple hours ago. These are real-time alerts that we’re sending. Now, voice agents scare me more because they’re finally graduating from demos and PC’s to production. We should be super excited, but I’m nervous. I’m

[01:35] personally nervous. Uh, they’re talking to users at a scale that would make Gary Tan and Polygram proud. When I got started in voice agent reliability in early 2024, voice was just starting to work. It was not quite good yet, but it was just starting to work. You would have to pay me a lot of money for me to stop using, you know, Aqua voice, Super Whisper, uh, Whisper Flow, and so on. These products are just getting super, super good. And a big reason is because the underlying infrastructure is getting better, and the orchestration layer is getting

[02:06] meaningfully better. It’s getting much faster to build products and voice experiences that maybe are 60% good in a pretty short period of time, but the long tail is still Hey, Gorov. the long tail is still uh wise away. I think speech speech models are getting better. Um teams are experiment experimenting with hybrid architectures of combining more voicetovoice modalities and also cascading stacks to make the experience reliable but still

[02:36] pretty low latency. Things are obviously getting better. Agents are being connected to calendars, CRM, HRs, reservation systems, and so on. Voice agents can now take actions. However, reliability is still the number one problem holding back most voice agent deployments at scale. This is still the number one problem. This is an example I found on Twitter pretty randomly, you know, two weeks ago and a person is trying to get information for a tradein and gets absolutely confused with the information that they’re

[03:08] receiving. Alex now has to correct for this loss of trust but trying to, you know, call the person and see what see what happened and fix the situation. Let me see if audio works here. >> Screwed up with another customer. We’re getting it fixed, but I got to call him and see if I can work it out. >> I’m like, dude, half the time I’m like, I don’t know if I’m talking to AI. I don’t know if I’m talking to a person. It was just confusing, but we got there. >> It probably is AI and human. And >> so I think voices sound very confident.

[03:39] They sound very natural, but the information provided is often, you know, not correct. That’s the biggest problem here. This example is more personal. I had booked an appointment with a physician a couple weeks ago or I thought I did. I showed up to the appointment and turns out I was not actually on the schedule. So the front desk, you me turned me away. I wasted 2 hours. For me, this was a waste of time. But what if this was actually your parent? What if this was your grandparent? What if this appointment was for a procedure instead of a regular checkup?

[04:13] The costs for these different permutations of the same failure mode can actually be super super high. Now, let’s compare crime to voice agents. Um, I think observation number one is crime is actually decreasing over time. This is a good thing and I hope it crosses the x- axis at some point you know in the future. Voice on the other hand is generally taking off right we’re seeing a pretty fast takeoff of voice agents being deployed in production. There’s at least a trillion calls that are done every

[04:44] single year and majority of these will be done by conversational voice agents over the next you know five years. If you assume a 1% error rate that is still 10 billion incidents per year. That’s a lot. In practice, we currently monitor 10,000 agents and the error rate is closer to 10% in practice. These range from agents saying they found the right policy when they actually skipped the eligibility or verification steps or applying discounts when they were not really supposed to, misharing what the person said,

[05:16] providing incorrect information, or claiming they booked an appointment when they actually did not, just like it happened for me. Now, not every single call has an equally, you know, bad cost. Uh, some range, you know, in the crime land, some range from trash fires, which are kind of funny, annoying, not really hurting somebody. For a voice equivalent, that would be annoyances like repetition, um, or just sort of not quite understanding what the user is saying. all the way to safety risks like mass shootings or in

[05:47] the voice agent equivalent, it would be um a drive-thru that’s deploying um voice agents at scale like a Taco Bell or McDonald’s and a person orders a vegan burger with peanut allergies. If one of those two situations are not handled correctly, that is definitely a safety concern at scale. The other big difference between crime and and voice agent deployments is is crime generally tends to be pretty hyper local,

[06:18] tends to be very decentralized, right? Things like robbery or motor vehicle theft or lararseny. They’re impacting a finite set of individuals that are involved in that um situation. On the other hand, voice agents are much more centralized. a single prompt change or an architecture change can have pretty massive implications downstream for all of the millions of you know users that are um in the crossfire. So the blast radius is is quite quite massive. So the natural question is how

[06:51] do you make these incidents much more visible and obvious? That’s the kind of obvious question here. I’ll borrow a framework from a couple of my friends who were OG growth folks at Facebook. So step one is to identify okay what are all the challenges and problems that um exist in your conversation experience. Step two is to prioritize an impact size. There’s a frequency and severity analysis that’s pretty important. Step three is to understand okay how do we actually fix this? Step four execute. Step five okay

[07:21] did my change actually work and did it cause any regressions somewhere else. And lastly we continue to monitor in production. On the y- axis, I think it’s important to highlight there are known problems that already exist. Things like turnover latency, interruptions, um maybe some ASR problems you’re, you know, aware of. And these are known problems that exist that the team should track over time. On the other axis is actually emerging behavior or patterns that are only obvious across lots of conversations. Um

[07:55] on the x- axis, you have coverage just like insurance. Are you analyzing few conversations? Are you analyzing many, many conversations? Most teams will typically start by listening to calls manually. And I think that’s the best place to start. I don’t think you should skip that step. There’s a lot of depth and insights to get by actually listening to specific conversations and building that texture that that comes from that intuition. However, it’s obviously not scalable. So most teams end up having a spreadsheet of I don’t know five or 10 different rubrics around greetings,

[08:29] closing, validation, um, core logic and so on. To scale that up even further, you then end up investing in some eval product, right? You might run some element as a judge and compute classic metrics and also more more deterministic and stoastic scoring logic. Um, but there you’re still stuck with checking for consistency of known problems, but you’re not really discovering novel insights that are actually happening across conversations. We’re spending a ton of time on performing cross

[09:01] conversation analysis, not a pattern on a single call, but across conversations. And some of the best teams that we work with are are doing the same. Now, to prioritize an impact size, I think there’s problems that are one-off that are low impact. I mean, who cares? uh even low impact and systematic problems in the crime world that would be a trash fire in a voice aation world it could be some repetitions the team is experiencing they’re still annoying at scale and if you are doing a bake off it’s still worth solving for them I

[09:31] would not ignore these class of problems oneoff and high impact well hope it doesn’t chronic and I think systematic and high impact are obviously the P 0 you know target areas um for the team to solve an example of that would be in a fins serve capacity There’s a voice agent that um helps users freeze their credit cards. And if it doesn’t do that, well, that’s a massive fail. All right. So, understand and execute. I’m pretty sure everyone’s doing this. Please fix my agent. Uh I think fixing or rather attempting to make a fix is

[10:05] the simplest and the lowest effort component of this debugging pipeline and loop. Um the next step is all right, I made a change to my system. How do I actually know this thing works um for real? A great way that’s naive is to take a real call, for example, in my case, I booked an appointment and it didn’t get scheduled and replay that exact conversation and run that maybe 5, 10, 20, 50 times and see, okay, what is my probability of passing this type of

[10:37] issue? A better way is to keep the same intent but change the wordings, change the patterns, change the accents, change the style, add one more intent to the mix. And that gives teams much more, you know, better coverage to feel confident that yes, I actually made a change and my changes are net positive instead of net negative. There are certain fixes and I guess hypothesis that are very difficult to test in a pre-eployment synthetic

[11:09] setting. And so AB testing ends up being, you know, pretty pretty critical for those circumstances. For example, if you have an outbound agent, the first 5 seconds of a conversation tends to be the most important. And so the vocal quality um and the specific words you end up using, they matter the most. And so AB testing that is the only way in in kind of real life setting to to get results. You can’t really do it through simulations alone. And so there we have the loop. Identify, prioritize, impact size, understand the

[11:42] fix, execute, check, make sure it didn’t break anything, and then continue monitoring. So I think making voice agents useful is already hard as it is. even when dealing with earnest users on the other line, right? These are people who who just want their problem solved. They’re not trying to mess with you. These are like legit normal people. Now, what happens when mythos learns how to dial?

[12:13] So, if it can extract trade secrets and uh you know, from the NSA, it can certainly, you know, seduce you into revealing PHI and PII data as well. And I think both voice agents and humans will [clears throat] be targeted here. Voice agents because there’s a pressure to make these more capable. Give them access to more data. Give them access to more tools. Deploy them quickly.

[12:45] The more the capability, the bigger the surface area. This is this is pretty pretty common sense. And the more the voice agents become natural and human sounding, the more humans will be tricked along the way as well for those who are weaponizing. Uh we ship a we shipped a red tipping product um back in April just to test out this hypothesis for how many agents can we actually break from a adversarial capacity and we can probably break one in five agents at this point. We’ve tested this across financial services,

[13:16] healthcare, um consumer and so on. We’ve bypassed verification. Uh we’ve definitely had agents, you know, we’ve been able to promject uh several agents and and gotten data we should not have. So this is not theoretical. This is actually a real a real concern. I think the only real defense against the dark arts is step one to invest deeply in pre-eployment testing. This could be textto text. This could be voice to voice. There’s pros and cons to both.

[13:50] Happy to chat offline if folks are interested. And this is just making sure you’re not self-owning, you know, when you’re talking to real people who just want to get their problem solved. Step two is to have a great monitoring system of all kinds. And I’ve highlighted, you know, different flavors of monitoring per call scoring, manual kind of evals, you know, listening to conversations and cross call analysis. And this is helpful both for monitoring what the agent is saying and behaving and how it’s actually doing, but also the users. Are the users being adversarial? Are they being annoying? Are are they trying to

[14:22] trick the agent into doing things it’s not supposed to be doing? And I think our new recommendation now is to run 24/7 red teaming um for your agents, especially if you believe the cost of bad interactions can be can be rather large. So, I think voice agents um have this awesome potential of of making the world feel much more human compared to interacting with clunky IVR trees or chat bots or worse um being stuck on a

[14:53] on a hold. And when we think about crime, we often think of crime happening to somebody else. You know, crime does not happen to you typically with voice agents, especially bad actors. As these agents are deployed and as bad actors start to exploit a lot of the vulnerabilities, the number of incidents is about to kind of go way way up. And so the reason I fear voice agents more than crime is that one of these incidents is going to impact you. It already did for me. Awesome. So it’s time for me to shill.

[15:25] Well, we burn a lot of tokens. If you are interested in working in this space, please come and talk to us. And if you are deploying voice agents and want to validate whether your architectured or your eval are set up correctly, please come and talk to us. We’ll be outside. And here’s here’s my number. Here’s my WhatsApp. Thanks everyone.

[16:02] >> [music]