“Meu nome é... meu nome é...”: um mapa linguístico para agentes de voz — Midam Kim, ServiceNow

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: “My name is… my name is…”: A Linguistic Map for Voice Agents — Midam Kim, ServiceNow · Canal: AI Engineer · 14:44 · Assistir no YouTube

Tópicos: Agentes de IA, Modelos multimodais

Resumo

Midam Kim apresenta um framework linguístico para entender por que agentes de voz falham em conversas com usuários. A comunicação por voz é uma atividade conjunta que depende de escuta, fala, interação e acompanhamento do modelo mental do usuário. Esses componentes são interdependentes e precisam ser gerenciados ao longo do tempo, com atenção a pronúncia, vocabulário, turnos, contexto e emoções. O framework pode ajudar a diagnosticar problemas, reduzir frustração e melhorar a conclusão de tarefas; a palestra também destaca a necessidade de sistemas adaptáveis às pessoas e às mudanças na linguagem.

Pontos-chave

A comunicação por voz é uma atividade conjunta entre usuário e agente, não apenas uma sequência de etapas técnicas.
Falhas no reconhecimento da fala, na compreensão das palavras e na gestão dos turnos podem se acumular e frustrar o usuário.
O agente precisa acompanhar o modelo mental do usuário e esclarecer dúvidas de forma interativa, em vez de pedir repetições sem contexto.
Sons, palavras e interações desaparecem depois de serem ditos; o modelo mental do usuário continua evoluindo durante a conversa.
Os componentes linguísticos são interdependentes: melhorar o reconhecimento de sons também exige considerar palavras, interação e conclusão da tarefa.
Sistemas de voz devem gerenciar dinamicamente contexto, latência, turnos e emoções, considerando diferentes usuários.
A ServiceNow criou o benchmark end-to-end Eva bench para ajudar a diagnosticar agentes de voz.
As implicações de negócio estão ligadas às linguísticas: um agente melhor pode reduzir frustração, falhas de tarefa, escalonamentos e chamadas abandonadas.
Agentes de voz devem se adaptar às pessoas durante a conversa e acompanhar as mudanças da linguagem.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação e falhas comuns em agentes de voz	Midam Kim apresenta sua experiência e relata uma conversa em que o agente erra seu nome, interrompe sua fala e não consegue ajudá-la.
03:17	A comunicação como atividade conjunta	A palestrante propõe analisar a conversa por meio de componentes linguísticos e mostra como falhas de escuta, fala e interação se acumulam.
06:30	Camadas do framework linguístico	O framework organiza a escuta e a fala em dimensões de sons, palavras, interação e modelo mental, que dependem umas das outras.
10:16	Como melhorar e adaptar sistemas de voz	Kim recomenda aprimorar modelos, vocabulário, gestão de turnos, emoções e contexto, e defende sistemas adaptáveis e atentos às mudanças da linguagem.

Citações

A comunicação por voz entre humanos e IA também precisa ser uma atividade conjunta. — 04:20

Os sons, as palavras e as interações desaparecem no momento em que são ditos, mas o modelo mental continua e cresce ao longo do tempo. — 09:45

A IA de voz é uma atividade conjunta entre o agente e o usuário, não apenas um pipeline. — 12:28

O usuário vai se adaptar ao seu agente de voz ao longo da chamada. — 14:07

Conceitos e entidades

Midam Kim (pessoa): Engenheira de ML e pesquisadora da ServiceNow que apresenta um framework linguístico para IA de voz.
ServiceNow (empresa): Empresa onde Midam Kim trabalha e que desenvolveu o benchmark Eva bench mencionado na palestra.
linguistic framework (conceito): Estrutura para analisar conversas de voz por meio de componentes como sons, palavras, interação e modelo mental.
Voice AI (conceito): Sistemas de IA que interagem com usuários por meio de conversas faladas.
ASR (conceito): Reconhecimento automático de fala, cuja escolha e configuração podem afetar a compreensão do que o usuário diz.
STT (conceito): Conversão de fala em texto, citada na palestra como parte dos possíveis pontos de falha na escuta.
TTS (conceito): Síntese de fala, que deve considerar modelos, configurações e regras de pronúncia adequadas.
Eva bench (ferramenta): Benchmark end-to-end desenvolvido pela ServiceNow para diagnosticar agentes de voz.
turn-taking (conceito): Gestão da alternância de fala entre usuário e agente, incluindo o momento certo para cada um falar.
mental model (conceito): Representação em evolução do que o usuário entende e pretende durante a conversa.

Tradução completa (pt-BR)

00:01 [música] >> Certo, olá a todos. Meu nome é Midam Kim. Sou engenheira de ML na ServiceNow e vou falar sobre um framework linguístico para IA de voz.

00:33 Para dar um breve contexto sobre mim e vocês saberem de onde venho: como eu disse, sou engenheira de ML na ServiceNow, mas também sou pesquisadora — uma pesquisadora de longa data — da comunicação por fala no mundo real. Meu lema é fazer linguística, e o que vou fazer hoje é apresentar a vocês essa perspectiva da linguística. Vocês já passaram por falhas de IA de voz?

01:05 Sim, como todo mundo. >> [risos] >> Vou contar um exemplo que vivenciei. O bot me perguntou: “Você poderia soletrar seu primeiro nome, por favor?” Então comecei a soletrar meu nome devagar. Sim, é M I D A M. E o bot disse: “Só para confirmar: é M I D A N?” Então respondi: “Não, é M I D A M.”

01:41 E o bot disse: “Obrigado pela correção. Fico feliz em ajudar você hoje, senhora.” Aí fiquei um pouco irritada, e depois mais irritada, porque meu nome é Midam, não Madam. Então ele me perguntou: “Agora, qual é o número da sua conta?” E comecei a ficar confusa. O que é esse negócio de número da conta? Então tentei encontrar informações sobre isso. Qual deles? Deve ser… e comecei a

02:16 soletrar o número da conta devagar. É A X 4 5 1. E levei um tempo, porque não estou acostumada a ler esse número estranho. Então o bot me interrompeu e disse que não conseguiu encontrar meu cadastro. E, sem nem tentar, pediu que eu repetisse. “Você poderia repetir, por favor?” Aí fiquei muito irritada e disse: “Posso falar

02:46 com uma pessoa? Não quero mais lidar com você.” Infelizmente, esse é um padrão muito comum na IA de voz hoje em dia. Então quero mostrar como podemos resolver esse problema com a linguística. A IA de voz está em plena expansão, mas os usuários ainda costumam preferir agentes humanos a agentes de voz. Como podemos atenuar esse problema?

03:17 Mas, antes de tudo, quais são os problemas de fato? Acho que podemos pensar em um framework fundamental para entendê-los, baseado em uma arquitetura da IA de voz chamada linguística. Como todos já sabemos, a comunicação humana é uma atividade conjunta, como a que estamos realizando agora. Eu produzo sons e palavras. Vocês os ouvem.

03:49 E, se for uma conversa, vocês vão me responder com seus sons e suas palavras. E isso vai e volta por meio da interação. Nesse processo, estamos continuamente processando e atualizando nossos modelos mentais. Essa é uma atividade conjunta da comunicação humana. E eu gostaria de dizer que, na comunicação entre humanos e IA de voz,

04:20 ela também precisa ser uma atividade conjunta como essa. Porque, como seres humanos, é a única forma de comunicação humana que conhecemos. Evoluímos durante milhares de anos como comunicadores, e é isso que conhecemos. Então esperamos a mesma coisa dos bots. Deixem-me analisar a falha que ocorreu na minha ligação com o agente de voz usando esse framework. Vocês veem que há escuta

04:52 e fala para cada parte. Começo a soletrar meu primeiro nome. O bot não distinguiu corretamente a diferença entre M e N, então houve uma falha de STT no nível da escuta. E o TTS aplica apenas regras de leitura centradas no inglês ao meu nome, M I D A M, e o pronunciaria como Midam na versão do inglês americano.

05:25 Fico confusa, mas, nessa hora, sou compreensiva, porque isso acontece bastante até entre seres humanos. Então tudo bem. Mas, quando ele mencionou o tal número da conta, fiquei confusa de novo, porque não sabia o que era. Mas consigo me adaptar, consigo procurar. Então encontrei o número e comecei a lê-lo, mas o STT não reconheceu corretamente a unidade da palavra e me interrompeu, e

05:58 por fim, acabou falando por cima de mim. Fiquei muito irritada. E, quando pediu que eu repetisse a mesma informação, ficou claro que o bot não estava acompanhando meu modelo mental. Além disso, de forma muito rude, nem tentou fazer uma pergunta de esclarecimento interativa, uma estratégia comum entre seres humanos. Então não quero mais lidar com isso e digo: “Posso falar com uma

06:30 pessoa?” Vamos rever o framework. Esses são os componentes linguísticos esperados e bem mantidos numa conversa por voz entre pessoas. Há um canal de escuta e um canal de fala, e diferentes componentes, como sons, palavras, interação e modelo mental. O primeiro componente é: o bot reconhece bem a fala do usuário? Todos esses termos técnicos

07:04 se enquadram nisso. Depois, há um segundo componente: as palavras no canal de escuta. O bot entende as palavras do usuário? O terceiro é: o bot espera o momento certo para falar, para que seja a vez dele? Isso diz respeito à interação no canal de escuta. E a última parte é o modelo mental. O bot entende a intenção do usuário na etapa de escuta?

07:38 Também podemos passar para o canal de fala, que trata da pronúncia dos sons. E também de escolher palavras que o usuário consiga entender. Na parte da interação, trata-se de falar no momento certo. E, por fim, de falar sobre as informações de que o usuário realmente precisa. Há muitos termos de engenharia, linguística e ciência cognitiva

08:10 aqui. Agora vocês podem ver que todos eles têm seu lugar certo nesse framework linguístico. E, o que é importante, esses componentes são interdependentes, não separados nem independentes uns dos outros. Eles são interdependentes e alinhados. Então, quando quiserem fazer um bom trabalho com os sons, precisam pensar no nível das palavras. E, quando quiserem fazer um bom trabalho

08:41 com esses sons e palavras, também precisam levar em conta a interação, como a alternância de turnos ou a detecção de turnos. E, por fim, para ter uma boa conclusão da tarefa, que é o objetivo da camada do modelo mental, é preciso ter todos esses componentes. Sem todos eles, sem qualquer um desses componentes, o agente de voz vai falhar. E, por fim,

09:11 ele precisa estar bem alinhado. Todos esses elementos precisam estar bem alinhados. Além disso, é preciso ter em mente que tudo isso acontece ao longo do tempo. O que quero dizer é que isso é acompanhado silenciosamente. Diferentemente do chat, em que você vê o histórico do que foi dito como texto, na experiência com um agente de voz, você diz algo, o bot responde, vocês conversam alternadamente

09:45 e, então, todas essas formas de onda — o ar, por meio da vibração no ar — desaparecem. Só resta o modelo mental do usuário, e é isso que importa. Sons, palavras e interações desaparecem no momento em que são pronunciados, mas o modelo mental continua e evolui ao longo do tempo. É isso que vocês precisam priorizar para satisfazer o usuário.

10:16 Então, o que podemos fazer para que o bot atenda às expectativas do usuário? Podemos, é claro, escolher bons modelos ou configurações de ASR e fazer algum pós-processamento; escolher bons modelos e configurações de TTS e fazer pré-processamento; selecionar cuidadosamente o vocabulário que o bot e o usuário podem compartilhar; e fazer um bom trabalho de detecção de

10:48 turnos, latência e alternância de turnos. E, muito importante, seria ótimo se pudéssemos fazer uma boa detecção e gestão de emoções, além de retenção de contexto — e, por contexto, quero dizer o contexto de todos esses elementos. E, o que é importante, isso precisa ser dinâmico, porque as coisas estão sempre mudando ao longo da ligação. Portanto, teríamos que fazer essa gestão dinamicamente ao longo do tempo.

11:21 para diferentes tipos de pessoas. Então, crianças ou pessoas como essas, de diferentes tipos, terão expectativas diferentes que precisamos atender. Não apenas quando estão felizes, mas também quando não estão. Só então será possível alcançar uma orquestração dinâmica e verdadeiramente escalável de IA de voz. É um trabalho muito difícil. Sempre dizemos que a voz é a forma mais natural de comunicação, mas ela

11:53 na verdade, não é fácil. Nos bastidores, isso se deve a essa orquestração linguística. Quando seu bot não é bom nisso, é um fracasso catastrófico. Portanto, dar atenção a esse arcabouço linguístico teria muitas implicações para os negócios, porque assim vocês poderiam reduzir toda essa frustração dos usuários, as falhas nas tarefas, os encaminhamentos para atendentes humanos, as chamadas abandonadas ou as falhas silenciosas.

12:28 Então, na ServiceNow, criamos um bom benchmark de ponta a ponta chamado Eva bench. Vocês podem experimentá-lo para diagnosticar o estado do seu agente de voz. Principais conclusões: a IA de voz é uma atividade conjunta entre o bot e o usuário, não apenas um pipeline. E precisamos atender às necessidades dos usuários em várias camadas, em tempo real.

12:59 Não é que eu tenha apresentado uma solução hoje, porque não existe uma solução assim. A solução está em vocês e no sistema de vocês. O que trouxe hoje foi um arcabouço linguístico que vocês podem usar para diagnosticar o sistema e construir sobre ele. Vocês podem experimentar o Eva, mas também podem aprender linguística e contratar linguistas. Outra coisa que quero lembrar é que as implicações para os negócios são

13:32 implicações linguísticas, e vice-versa, nesse cenário de IA de voz. Isso porque a voz é, fundamentalmente, uma experiência linguística, muito humana e cognitiva. Gostaria de fazer uma pergunta de longo prazo. As pessoas que falam se adaptam. Tenho certeza de que, nesta palestra, na conversa que tive com vocês hoje, aprenderam algo sobre mim, sobre meu estilo de fala, os sotaques que uso e as palavras que escolho. Então,

14:07 da próxima vez que nos encontrarmos pessoalmente, vocês se sentirão mais à vontade para conversar comigo, porque prestaram atenção em mim. Certo? As pessoas que falam estão sempre se adaptando. Então, durante a chamada, o usuário vai se adaptar ao seu agente de voz. Seu sistema está pronto para que, da próxima vez, essas pessoas o usem melhor — usem melhor seu agente de voz? E a língua está sempre mudando. Seu agente de voz está pronto para as mudanças na língua daqui a um ano ou até daqui a seis meses?

14:44 Então, obrigado. >> [aplausos]

Transcrição original

[00:01] [music] >> Okay, hello everyone. So, my name is Midam Kim. I am an ML engineer from ServiceNow and I’ll be talking about a linguistic framework for voice AI.

[00:33] So, quick background of me so you know where I’m coming from. Like I said, I’m an ML engineer at ServiceNow, but I’m also a researcher, lifelong researcher, of speech communication in the wild. So, my motto is doing linguistics and what I’m going to be doing today is to hand you that lens of linguistics. So, have you experienced voice AI failures?

[01:05] Yeah, like everyone. >> [laughter] >> So, I’m going to introduce an example that I experienced myself. So, the bot asked me, “Could you please spell your first name?” And then I slowly start to spell my name. Yes, it is m i d a m. And the bot says, “Confirming with you, is it m i d a n?” And then I say, “No, it is m i d a m.”

[01:41] Um and the bot says, “Thank you for your correction. Happy to help you today, Madam.” And I then I get slightly annoyed, more annoyed, because my name is Midam, not Madam. And then it asked me about, “Now, what is your account number? And then, I start start getting confused. What is that account number thing? And then, I try to find uh information about that. So, which one? Um it must be and I start

[02:16] uh slowly start spelling the account number. So, it is A X 4 5 1. And then, I take time because I’m not used to reading this strange number. And then, the bot cuts me off. And then, it says, I couldn’t find your record. And then, without even trying, it asked me to repeat that again. Can you please repeat that? And then, I get super annoyed and then, I can say, can I talk

[02:46] to a person? I just don’t want to deal with you anymore. So, this is a very typical pattern of voice AI, unfortunately, at this point. So, I just want to navigate how we can solve this problem with linguistics. So, voice AI is booming. But users are still often preferring human agents over voice agents. How can we mitigate this issue?

[03:17] But in the first place, what are the actual problems? So, I think we can think about a fundamental frame framework to understand this into an architecture of voice AI, which is called linguistics. So, as all of us already know, human communication is a joint activity, like the thing that we’re doing right now. So, I give you my sounds and words. You hear them.

[03:49] And then, if it is a conversation, you’re going to give me your sounds and your words. And then this is going back and forth through interaction. And then in this process, we’re continuously processing and updating our mental models. So that’s a joint activity for human communication. And I would like to say in the voice AI human communication,

[04:20] it also has to be a joint activity like this. Because that’s the only thing that we know about human communication as a human being. We have been evolving thousands of years as communicators, and this is what we know. So we expect the same thing to bots. So let me go over the failure scene of my call with the voice agent in this framework. So you see there’s listen

[04:52] and speak for each party. So I start spelling my first name. And then the bot did not hear that the difference between M and N correctly, so it’s an SCT failure in the listening level. And then the TTS applies only English-centric reading rules to my name, M I D A M, would read it as Midam in the American English version.

[05:25] So I’m confused, but at this time I’m kind of generous because that happens a lot even with human beings. So I’m okay. But then when it brought brought up account number thing because I don’t know what that is, I’m confused again. But I’m adaptive, I can find I can look for it. So I found the number, start reading it, but the STT did not recognize the word unit correctly, so it cuts me off, and uh

[05:58] uh finally, it’s uh eventually talked over me. So, I get really irritated. And then, when it asked me for the repetition of the same information, and then, it is clear that the spot is not tracking the mental model with me. And then, very rudely, it’s uh does not even try interactive clarification, which is a common strategy by human beings. So, I don’t want to deal with this anymore, so I say, “Can I talk to a

[06:30] person?” So, let’s go over the uh the framework again. So, the these are the linguistic components that are expected and well maintained in human-to-human voi- uh uh conversation. So, there are listening channels, a listening channel and speaking channel, and there are different components like sounds, words, interaction, and mental model. So, the first component is, does the bot recognize the user’s speech well? And all of these technical terms

[07:04] uh will fall under this. And then, there was there’s going to be this second component, which is words in the listening channel. So, does the bot understand the user’s words? And then, the third one is, does the bot wait until the right timing to for its turn? It’s about It’s going to be about uh listening channel interaction. And then, uh the last part is mental model. So, does the bot understand the user’s intention in the listening part?

[07:38] And then, we can also go to the speaking channel, so it’s going to be about pronunciation for the sound. And also there’s about understand the the words users are uh there’s about choose the words the user can understand. And in the interaction part, there’s about speak with the right timing. And lastly, there’s about speak with the information the user actually need. So, there are a lot of engineering or linguistic or cognitive science terms

[08:10] that are in here that that are here. Um you can see now see that all of those have their right spots in this linguistic framework. And importantly, these components are interdependent, not separate or uh independent from each other. They’re interdependent and they’re aligned. So, when you want to do good things about sounds, you have to think about words level. And then when you want to do good things

[08:41] about these sounds and words, you also have to uh account for interaction, so turn taking or turn detection. And then finally, you want to uh have good uh task completion, which is the goal of these mental model uh layer. Then you have to have all of these. Without all of those, without any of those, any of those components, your voice agent will fail. And then finally,

[09:11] uh it has to be well aligned. All of these have to be well aligned. And additionally, you have to keep your mind keep in mind that this is happening on the timeline. What I mean by that is it is silently tracked. Unlike in chat, in chat you see the history of what was said uh as text. But in voice agent experience, uh, you say something, and the bot says something, you go back and forth,

[09:45] and then see, all these waveforms, the air via the vibration in the, uh, in the air, they’re all gone. And only the user’s mental model is the thing that’s left, and that matters. So, sounds, words, interactions vanish the moment they’re spoken, but the mental model proceeds and grows over the timeline. So, this is what you have to target for user satisfaction.

[10:16] And then, what can we do for the bot to meet the standard of the user? So, what we can do, uh, would include, of course, choosing good ASR models or configurations and do some post-processing, uh, choosing good TTS models, configurations, and pre-processing, and, uh, carefully curate the vocabulary that can be shared between the bot and the user, and do good job of a turn-to-turn

[10:48] detection, latency, and turn-taking. Um, and very importantly, we have to, it would be great if we can do good emotion detection and handling, and context retention, and by context, what I mean is context about all of these. And importantly, uh, it has to be dynamic because things are always changing, uh, throughout over the course of the call. So, we would have to do this management dynamically along the timeline

[11:21] for different kinds of people. So, kids or different kinds of people like these will have different expectations that we have to satisfy. Uh, not just when they’re happy, but also when they’re not happy. So, only then you can pursue a dynamic and truly scalable orchestration of voice AI. So, it’s a very difficult job to do. We always say that voice is the most natural way of communication, but it is

[11:53] not actually not easy. Behind the scene, it is thanks to this linguistic orchestration. When your bot is not good at it, it’s a catastrophic failure. Um, so paying attention to this linguistic framework would have lots of business implications because then you can uh decrease all of these user frustration, task failures, live agent escalation, or abandoned calls, or silent failures.

[12:28] So, in ServiceNow, we have made a a good uh benchmark end-to-end benchmark called Eva bench. So, you can try that to diagnose your voice agent’s uh status. Um, key takeaways. So, voice AI is a joint activity between the bot and the user, not just a pipeline. And we must serve users’ needs in multiple layers real time.

[12:59] It’s not that I have given you a fix today because there’s nothing like that. It just uh the fix is in you and your system. But, what I have given you is today is the linguistic framework you can try to diagnose your system and to build your system upon. You can try Eva, but also you can learn linguistics and hire linguists. Um, another thing I want to remind you of is that business implications are

[13:32] linguistic implications and vice versa in this voice AI scene. Because voice is fundamentally a linguistic and very human and cognitive experience. I would like to ask you a longer term question. Speakers adapt. So, I I’m pretty sure that in this talk in my talk with you guys today, you have learned something about me, about my speaking style, what kind of accents I speak, what kind of words I’m using. So,

[14:07] next time I see you guys in person, you would find it more comfortable to talk to me because you have paid attention to me. Right? So, speakers are always adapting. So, the user will be adapting to your voice agent throughout the call. So, is your system ready for them to use you better, use it your voice agent better the next time? And language is always change. So, is your voice agent ready for language change in 1 year or 6 months even?

[14:44] So, thank you. >> [applause]