Latência é um orçamento. O objetivo é soar humano. — Jesse Hall, LiveKit

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Latency Is a Budget. Humanlike Is the Goal. — Jesse Hall, LiveKit · Canal: AI Engineer · 16:29 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Inferência e otimização de modelos, Infraestrutura e hardware de IA

Resumo

Jesse Hall argumenta que, para agentes de voz em tempo real, reduzir a latência por si só não basta: o objetivo é criar interações que pareçam humanas. O desempenho depende da combinação entre modelos, infraestrutura e configuração do pipeline, e deve ser avaliado pela latência percebida e pelos resultados da conversa, não apenas por métricas isoladas ou placares de modelos. Ele apresenta técnicas como processamento assíncrono de ferramentas e detecção de turnos baseada em áudio, além de um benchmark open source que testa agentes completos com cenários simulados. A recomendação é definir um orçamento de latência, priorizar a qualidade dentro desse limite e testar conversas reais, inclusive em produção.

Pontos-chave

Agentes de voz precisam escutar enquanto falam, reconhecer quando a pessoa ainda está pensando e acompanhar mudanças de ideia.
Placar de modelos avalia componentes isolados, enquanto agentes de voz são sistemas em cascata nos quais erros iniciais afetam toda a conversa.
Latência percebida — o tempo até o usuário ouvir áudio — é mais relevante que métricas como time to first byte ou time to first token.
A escolha de modelos deve considerar o pipeline completo, incluindo reconhecimento de fala, LLM, síntese de fala e ferramentas.
A execução assíncrona de ferramentas permite que o agente continue a conversa enquanto tarefas demoradas são processadas.
A detecção de turnos baseada no áudio pode ajudar o agente a decidir quando falar sem esperar a transcrição completa.
O benchmark apresentado testa agentes completos com chamadas simuladas e avalia resultados, interrupções, dados corretos, chamadas de ferramentas e privacidade.
A orientação final é definir primeiro o orçamento de latência, medir o que o usuário percebe e testar a conversa inteira, inclusive em produção.

Capítulos

Início	Capítulo	Resumo
00:12	O objetivo é soar humano, não apenas ser rápido	A palestra contrasta agentes em segundo plano com agentes de voz em tempo real e apresenta a naturalidade como objetivo principal.
02:25	Por que os placares de modelos não bastam	Hall descreve os componentes de um pipeline de voz e explica como erros em uma etapa podem comprometer toda a conversa.
05:34	Latência percebida e ferramentas assíncronas	A palestra diferencia métricas internas do tempo que o usuário realmente espera e mostra como manter a conversa enquanto uma ferramenta trabalha.
09:58	Detecção de turnos e orçamento de latência	Hall explica a detecção de turnos baseada em áudio e apresenta o intervalo de latência que ajuda a conversa a parecer natural.
12:12	Um benchmark para agentes completos	É apresentado um benchmark open source que testa agentes com chamadas simuladas e mede resultados, eficiência e segurança.
15:24	Checklist para criar agentes de voz	A palestra encerra com recomendações para definir o orçamento de latência, medir a experiência percebida e testar a conversa em produção.

Citações

Latência é um orçamento, e o objetivo é outra coisa: a IA de voz ser o mais humana possível. — 01:22

O que o dashboard diz versus o que o usuário ouve. — 06:08

A pergunta nunca é quão rápido posso ir, mas qual é o agente mais humano que consigo encaixar nessa janela? — 11:39

Um agente de voz não é um chatbot com um alto-falante conectado a ele. — 15:24

Conceitos e entidades

LiveKit (empresa): Empresa que oferece uma infraestrutura e um framework open source para agentes em tempo real, incluindo agentes de voz.
Jesse Hall (pessoa): Palestrante da LiveKit que apresenta práticas para criar agentes de voz mais naturais.
OpenAI (empresa): Empresa que, segundo a palestra, escolheu LiveKit para dar suporte ao advanced voice mode do ChatGPT.
latência percebida (conceito): Tempo até o usuário ouvir a resposta, em contraste com medidas internas que não refletem quando o áudio realmente começa.
leaderboard trap (conceito): Armadilha de escolher modelos com base em placares de componentes isolados, sem avaliar o desempenho do pipeline completo.
detecção de turnos baseada em áudio (conceito): Técnica que usa características do áudio, como tom e entonação, para estimar quando a pessoa terminou de falar.
benchmark de agentes de voz (conceito): Avaliação de agentes completos em cenários simulados, considerando resultados da conversa e não apenas métricas de modelos individuais.
Gemini 4 31B (modelo): Modelo apresentado na palestra como ajustado para agentes de voz em produção, com prompts longos, muitas ferramentas e limites rigorosos de latência.

Tradução completa (pt-BR)

00:12 Certo, vamos começar. Então, a maioria dos agents que criamos hoje faz seu trabalho em segundo plano, certo? Eles escrevem código para nós. Fazem pesquisas. Você dá uma tarefa, vai embora, volta, e ninguém se importa muito se um agent em segundo plano leva mais 10 segundos ou até 10 minutos, certo? Estamos acostumados com isso. Mas, em algum momento deste último ano, você provavelmente conversou com outro tipo de agent. Um agent em tempo real. Talvez tenha sido para renovar uma receita na farmácia, talvez em uma

00:48 companhia aérea. Conversei com um outro dia, quando liguei para uma concessionária. E algo aconteceu durante aquela ligação. Você provavelmente fez a coisa mais humana possível. Falou por cima daquela IA. E aquele agent de voz desmoronou; simplesmente não pareceu natural, não é? Se você perguntar a qualquer pessoa deste setor como resolver isso, provavelmente vai receber uma resposta muito parecida. A solução seria velocidade. Modelos mais rápidos, menor latência, cortar mais 100 milissegundos. Mas essa é a

01:22 resposta errada. A latência é um orçamento, e vou dizer exatamente qual é esse orçamento. Mas o objetivo é algo completamente diferente. O objetivo é que a IA de voz seja o mais humana possível. Um agent que escuta enquanto fala. Que sabe diferenciar quando você terminou de pensar e quando ainda está pensando. Que acompanha você quando muda de ideia. E só a velocidade não vai proporcionar nada disso. O que vai levar você até lá é quais

01:53 modelos escolhe e como configura seu pipeline. E esse é o primeiro problema que vamos encontrar. Ninguém diz como escolher os modelos certos. Os rankings não ajudam. Os fornecedores definitivamente não ajudam. Então, vamos falar sobre como resolver esse problema. Levantem a mão rapidinho: quem aqui já criou um agent de voz e o lançou para usuários reais? Certo. Certo. Alguns de vocês têm experiência e conhecem os desafios que vão enfrentar

02:25 ao implantar um agent em tempo real. Mais uma pergunta: quem aqui já usou o modo de voz avançado do ChatGPT para conversar com o ChatGPT? É, muitos de nós já usamos, certo? Na verdade, a OpenAI escolheu a LiveKit para dar suporte a esse recurso. A LiveKit é uma infraestrutura e framework open source em tempo real para criar os agents de voz mais humanos possíveis. Agents capazes de ouvir, ver e falar com a pessoa do outro lado. E

02:57 não só por voz, mas também por vídeo, dados e até IA física. Mas, como a voz é um desafio, vamos nos concentrar nela durante esta palestra. Então, vamos analisar os agents de voz. Basicamente, eles têm três modelos que trabalham juntos como um sistema: reconhecimento de fala para texto, o LLM e, depois, síntese de texto em fala. Três componentes. Agora, preciso reconhecer que também existem

03:28 modelos em tempo real. Os modelos em tempo real são um conceito mais recente. Estão ficando cada vez melhores, mas não são adequados para todos os casos de uso. E o simples fato de existirem modelos em tempo real torna ainda mais complexo o nosso problema de tentar descobrir qual modelo é o melhor para o nosso pipeline de voz. Então, estas são as opções: centenas de modelos, dezenas de fornecedores. Levantem a mão: quem já escolheu um modelo só porque o viu

03:58 no topo de um ranking? É, a maioria de nós. Mas aqui está por que isso não funciona para agents em tempo real. Os rankings avaliam componentes, mas o que você está lançando é uma cascata, um pipeline. Digamos que a pessoa que está ligando queira marcar uma consulta para terça-feira, dia 3. O reconhecimento de fala para texto entende “terça-feira, dia 30”. A partir daí, não importa o quão inteligente seja seu modelo de linguagem: ele vai marcar com toda a confiança o dia errado, e cada erro se propaga para

04:33 as etapas seguintes, sem que as camadas abaixo percebam. Esses resultados dos rankings vieram de áudios limpos, em uma sala silenciosa. Mas seus clientes ligam usando viva-voz, no trânsito, com crianças no banco de trás. Esses rankings nunca conheceram seus usuários. Isso tem um nome: a armadilha do ranking. A pontuação mede o modelo, mas, mais uma vez, o que você está lançando é uma conversa. Mas todo mundo que está criando agents de voz

05:03 pergunta: qual é o melhor modelo de reconhecimento de fala para texto, LLM ou TTS? Mas a verdadeira pergunta é: qual conjunto devo lançar? São perguntas completamente diferentes, e só uma delas tem um ranking — até hoje. Vamos falar mais sobre isso daqui a pouco. Digamos que você caia nessa armadilha, escolha seus modelos com base no ranking e comece a medir as coisas. Esse é o próximo problema: provavelmente você está medindo a coisa errada. Você

05:34 vê, seu fornecedor de TTS informa o tempo até o primeiro byte, e isso parece ótimo no painel. Mas bytes não são som. Medimos fornecedores populares que, na verdade, estão enviando centenas de milissegundos de silêncio no início do áudio. No pior caso, chega a três quartos de segundo sem nada além de silêncio antes de sair o primeiro áudio. Então, o que a pessoa que está ligando realmente ouve é o tempo até o primeiro áudio. E é dessa distinção que depende toda esta palestra: a

06:08 latência medida versus a latência percebida. O que o painel informa versus o que o usuário ouve. O painel diz que é muito rápido, mas seus ouvidos dizem que é lento. O mesmo vale para os modelos de linguagem. O tempo até o primeiro token é uma métrica de texto. Mas o TTS não pode começar a falar com base em apenas um token, certo? Ele precisa de uma frase inteira. Então, esse número importa para a voz porque ela precisa da primeira frase inteira, mas o modelo

06:43 fica em uma posição diferente nessa avaliação. Um modelo que transmite tokens mais rapidamente não é necessariamente o modelo que termina uma frase primeiro. Agora, digamos que você meça tudo isso com perfeição. Há outra parte da conversa que é completamente ignorada nos benchmarks: um agent de verdade não fica só conversando. Ele precisa fazer coisas, certo? Precisa consultar pedidos, verificar disponibilidade, reservar quartos, certo?

07:15 E uma ferramenta leva tempo: 2 segundos, 10, 40 ou até mais. Nenhuma escolha de modelo vai conseguir esconder uma latência de 40 segundos ou mais. Então, pense no que um recepcionista humano faria nessa situação. Ele não fica parado enquanto o sistema de reservas carrega, certo? Ele diz: “Me dá um segundo. Vou consultar sua conta.” Ele ganha tempo. E continua escutando enquanto trabalha. Esse é o comportamento humano que estamos buscando. Então, por que um

07:48 agent simplesmente não pode continuar falando e fazer as coisas de forma assíncrona? Pode. E é assim que isso funciona; este é o único código que vocês vão ver. É uma ferramenta normal. Só há uma coisa diferente: esta linha aqui. A primeira atualização devolve o microfone ao agent enquanto ele continua trabalhando em segundo plano. E esse é o truque todo. A conversa e a ferramenta deixam de compartilhar uma thread. Então, não acreditem só no que estou dizendo. Escutem vocês mesmos.

08:21 » Obrigado por ligar para o Live Oak Hotel. Como posso ajudar? » Posso reservar um quarto? » Claro. Para quais datas? » De 10 a 12 de outubro. » De 10 a 12 de outubro? E para quantas pessoas? » Duas. » Tenho quarto com duas camas queen, king, de casal, queen ou suíte. Qual você prefere? Vista para a cidade ou para o mar? » Para o mar. » Em nome de quem devo fazer a reserva? » Jesse Hall.

08:55 » Está tudo certo para os dias 10 a 12 de outubro, em um quarto king com vista para o mar, por US$ 582,40, no cartão com final 1111. Posso confirmar? » Na verdade, sabe de uma coisa? Preciso mudar a data para 20 a 24 de dezembro. » De 20 a 24 de dezembro? O total fica em US$ 1.164,80 para o período de 20 a 24 de dezembro. Posso confirmar? » Sim. » Está tudo certo.

09:27 >> Certo, tivemos que acelerar algumas partes por causa do tempo, mas o agente manteve a conversa fluindo. Não houve pausas constrangedoras. A pessoa que ligou até interrompeu o agente, e ele continuou. Ela também mudou de ideia no meio da conversa, e o agente simplesmente se adaptou, certo? Esse é o comportamento semelhante ao humano que estamos buscando. Então, de novo, não se trata de um modelo ser bom; trata-se de um sistema inteiro ser bom. É a infraestrutura, o framework e os modelos funcionando

09:58 juntos. E é exatamente isso que nenhum benchmark de componente ou modelo consegue avaliar. Agora, há mais um aspecto que os placares deixam completamente de lado: saber quando falar e quando ficar calado. Os humanos coordenam a alternância de turnos em apenas algumas centenas de milissegundos, principalmente pelo tom de voz. E um pipeline que espera a transcrição inteira chegar já está atrasado, certo? Por isso, criamos um detector de turnos baseado no próprio áudio.

10:31 Ele escuta a rima, o tom e a entonação da fala no áudio, e depois publicamos os números sobre isso. Com o mesmo orçamento de latência, a melhor alternativa interrompe os usuários em 9,9% das vezes. A nossa, em 4,5%, e o harness de evals é open source. Você não precisa confiar em mim; pode testar seus próprios dados e ver o resultado. Vamos descer mais um nível por um minuto. O intervalo entre a última sílaba de quem ligou e a primeira

11:07 palavra audível do agente. A detecção do fim do turno é acionada pelo áudio antes de a transcrição chegar; o LLM já está sendo executado com uma transcrição provisória e, se as palavras finais coincidirem, você economiza meio segundo. Depois, o TTS começa na primeira frase completa, não no último token. E a primeira palavra audível é o momento em que a pessoa para de esperar. Portanto, cada modelo que você escolhe aparece aqui nesta janela, e essa janela tem

11:39 um tamanho fixo. Se você conseguir ficar dentro de um segundo e meio de ponta a ponta, a conversa ainda funciona, mas você está no limite. Se conseguir chegar mais perto de 600 milissegundos, começa a parecer realmente humano. Então, a pergunta nunca é “quão rápido posso ser?”, mas “qual é o agente mais parecido com um humano que consigo encaixar nesta janela?”. Então, voltando à latência como orçamento, mas com o objetivo de parecer humano. Se somarmos tudo isso, a pergunta que fizemos no começo,

12:12 “que modelos devo escolher?”, na verdade nunca teve resposta. Por isso, criamos aquilo que gostaríamos que existisse. Veja como criamos o benchmark. Pegamos um agente completo e funcional. O primeiro é aquele recepcionista de hotel que vocês acabaram de ouvir. Ele aceita reservas reais. Tem um backend real. E também é open source. Vocês podem conferir o repo. E executamos centenas de simulações de pessoas ligando contra ele. O simulador interrompe. Fala de forma indistinta. Ele

12:44 muda de ideia, como uma pessoa que liga de verdade faria. E não damos notas com base em impressões; avaliamos resultados definidos da maneira como os definiríamos para uma pessoa. A reserva correta foi registrada no banco de dados? A pessoa foi interrompida? Os nomes e as datas estão corretos? Houve chamadas de ferramenta inventadas ou algum dado pessoal exposto, certo? Então, medimos tudo isso em relação a comportamentos equivalentes aos humanos. Esse é o padrão. E apenas concluir a tarefa não basta,

13:17 porque é possível burlar a avaliação baseada apenas na conclusão, certo? Um modelo pode meio que adivinhar até conseguir concluir, certo? Por isso, penalizamos coisas que uma pontuação de conclusão não consegue detectar. Por exemplo, se ele faz perguntas desnecessárias ou se leva 10 etapas para fazer algo que deveria levar apenas duas. Depois, trocamos a pilha. O mesmo agente, os mesmos cenários, mas modelos diferentes. Todos os modelos recebem exatamente a mesma entrada, byte por byte. Mas isso

13:50 cria benchmarks para os exemplos dos nossos agentes. Há tantos benchmarks quanto agentes. Então, o benchmark é seu. Você pode executar exatamente isto, testar seu agente com este benchmark e obter suas pontuações. E é assim que você descobre surpresas. Tudo é open source: a metodologia, os conjuntos de evals, o próprio agente. Você pode aplicar isso ao seu agente e nos contar como ele se sai.

14:21 Agora, um fato importante sobre a LiveKit: não criamos modelos de STT, LLM ou TTS. Todos os provedores se integram à nossa pilha. Então, não temos preferência nessa disputa. Apenas observamos todos eles em funcionamento, muitas vezes. E, assim, podemos escolher os vencedores com confiança. O que vocês estão vendo aqui é uma prévia do modelo Gemini 4 31B no LiveKit inference. Mas este não é apenas um Gemma 4 31B pronto para uso. Ele foi ajustado especificamente para

14:53 agentes de voz em produção, com prompts longos, muitas ferramentas e orçamentos de latência apertados. Ele passa em evals de voz com 88% e começa a falar em cerca de 380 milissegundos. Isso é mais de duas vezes mais rápido que o próximo modelo. Isso faz dele, de fato, o LLM de voz de alta qualidade mais rápido disponível hoje. E ele será lançado amanhã no LiveKit inference. Então, de novo, nosso objetivo é ter os agentes mais

15:24 parecidos com humanos possível, respeitando esse orçamento de latência. Então, se vocês lembrarem de uma coisa desta palestra, que seja esta: um agente de voz não é um chatbot com um alto-falante acoplado. É uma infraestrutura semelhante à humana. Um sistema em tempo real que percebe e responde da maneira que uma pessoa responderia. No momento em que você passa a tratá-lo assim, todas as decisões ficam mais claras: o orçamento, as métricas, os modelos e o padrão usado nos testes. Então, aqui está a lista de verificação. Vocês podem tirar uma foto. Definam primeiro o orçamento de latência.

15:58 Meçam a latência percebida. Gastem o orçamento restante com a qualidade do modelo, não com velocidade que não importa. E tudo que passar de um segundo deve ser feito de forma assíncrona, para que a conversa nunca pare. Depois, testem a conversa, não os componentes. E continuem testando em produção. Então, aqui está o benchmark. Leiam o QR code. Vocês podem conferir o benchmark. Podem testá-lo com seus próprios agentes. E lembrem-se de que, em algum momento

16:29 no futuro próximo, vocês vão ligar para um agente de voz, vão falar por cima dele, e ele não vai desmoronar. Vai agir como uma pessoa agiria naquela situação. Então, vão construir isso. Obrigado. >> [música]

Transcrição original

[00:12] All right, let’s get started. So, most of the agents that we build today, they do their work in the background, right? They write code for us. They do research. Uh you give them a task, you walk away, you come back, and so nobody really cares if uh a background agent takes an extra 10 seconds or even 10 minutes, right? We’re used to that. But, in at some point in this past year, you’ve probably talked to another kind of agent. A real-time agent. Uh maybe uh it was a pharmacy refill, maybe at an

[00:48] airline. Um I talked to one the other day when I called a car dealership. And and so something happened on that call. You probably did the most human thing possible. You talked over that AI. And that voice agent fell apart, and it just didn’t feel natural, did it? And so um if you ask uh anybody in this industry, you’re probably going to get a very similar answer of how to fix that. It’s going to be speed. Uh faster models, lower latency, shave off another 100 milliseconds. Um but that is the

[01:22] wrong answer. Uh and so latency it is a budget, and I’ll I’ll tell you exactly what that budget is. But, the goal is something else entirely. The goal is being uh the voice AI being as human-like as possible. Uh an agent that listens while it talks. Uh one that knows the difference between you finishing your thought and you still thinking. Uh one that rolls with it when you change your mind. And so speed alone can get you none of that. What gets you there is which

[01:53] models you pick and how you configure your pipeline. And so that’s the first problem that we’re going to encounter. No one tells you how to pick the right models. The leaderboards can’t help you. The vendors definitely can’t help you. So, let’s talk about how we’re going to fix that issue. So, a show of hands quickly, who here has ever built a voice agent and shipped it to real users? Okay. All right. Some of you have experience and you know the challenges that you’ll face

[02:25] when deploying a real-time agent. Another show of hands, who here has used ChatGPT’s advanced voice mode to talk with ChatGPT? Yeah, many of us have have used that, right? So, OpenAI actually chose LiveKit to power that. LiveKit is the open-source real-time framework and infrastructure for the most human-like voice agents possible. Uh agents that can hear, see, and speak with the person on the other end. Uh and

[02:57] so, not just voice, but also video, uh data, and even physical AI. But, because voice is is challenging, uh we’re going to actually focus on voice during this talk. And so, um what we’re going to uh look at is is voice agents. They basically have um three models uh that work together as one system. So, your speech-to-text, your LLM, and then your speech uh text-to-speech. So, three slots. Now, I do have to acknowledge that there are

[03:28] real-time models as well. And and real-time models, uh they are a newer concept. They’re getting better and better, uh but they’re not right for every use case. And just the fact that there are real-time models even adds more complexity to our problem of trying to figure out which model is best for our voice pipeline. So, here is what you have to choose from. Hundreds of models, dozens of providers, uh and show of hands here, who has picked a model just because they saw it

[03:58] at the top of a leaderboard? Yeah, most of us. Um but here’s why that doesn’t work for real-time agents. Leaderboards score components, but you are shipping a cascade, a pipeline. So, let’s say that your caller wants to book an appointment on Tuesday the 3rd. Your speech-to-text hears Tuesday the 30th. And so, from that moment on, it doesn’t matter how smart your language model is, it’s now confidently booking the wrong day, and every error flows downhill from

[04:33] there, and the layers below it have no idea. And so, those leaderboard scores, they came from clean audio in a quiet room. Uh but your callers, they’re calling on a speakerphone, in traffic, with kids in the backseat. So, those leaderboards never met your users. Uh and there’s a name for this, the leaderboard trap. So, this the score measures the model, but again, you’re shipping a conversation. But everyone building voice agents,

[05:03] they’re asking, you know, what is the best speech-to-text model, LLM, TTS? But the real question is, which stack should I ship? So, the these are two completely different questions, and the only only one of them has a leaderboard, until today. Uh we’re going to talk about that more in a bit. So, let’s say you fall into this trap, you pick your models based on the leaderboard, and now you start measuring things. This is the next problem. You’re probably measuring the wrong thing. You

[05:34] see, your TTS provider uh reports time to first byte, and that looks great on the dashboard, uh but bytes are not sound. And so, we’ve measured popular providers that are actually shipping hundreds of milliseconds of silence at the beginning of their audio. And in the worst case, up to 3/4 of a second of nothing but silence before that first audio comes in. So, time to first audio is actually what your caller hears. And so, this is the distinction that this entire talk hangs

[06:08] on. This measured latency versus perceived latency. So, what your dashboard says versus what your user hears. The dashboard says it’s really fast, but your ears say it’s slow. Same story for language models. Time to first token is a text metric. So, your TTS can’t start speaking though on a token, right? So, it needs an entire sentence. So, that that number matters for for voice because it needs the entire first sentence, but the model

[06:43] ranks differently on that. So, a model that streams back back a model that streams tokens the fastest is not necessarily the model that finishes a sentence first. Now, if if you let’s say you do measure all of this perfectly, there’s another part of the conversation that the benchmarking that gets completely ignored. And that is that a real agent doesn’t just chat. It needs to do things, right? It has to look up orders, check availability, book rooms, right?

[07:15] And so, a tool is going to take time. 2 seconds, 10, 40, or more seconds. And no model choice is going to be able to hide a 40 or more second latency. So, think about what a human receptionist would do here. They they don’t freeze while the the booking system loads, right? They say, “Give me a sec. I’m looking up your your account, right?” They they buy time. And they listen while they keep working. And that is that human-like behavior that we’re looking for. So, why can’t an

[07:48] agent just keep talking and do things asynchronously? Well, it can. And here’s the shape of that, and this is the only code that you’re going to see. Uh but this is a normal tool. Uh there’s just one thing different, and that is this line right here. Uh the first update hands the mic back to the agent while it keeps uh working in the background. And that’s the whole trick. The conversation and the tool stop sharing a thread. Uh and so, don’t take my word for it. It Listen for yourselves.

[08:21] >> Thanks for calling the Live Oak Hotel. How can I help you? >> Can I book a room? >> Of course. What dates are you looking at? >> October the 10th through 12th. >> October 10th to 12th? And for how many guests? >> Two. >> I have queen with two beds, king, double, queen, or suite. Which Would you prefer a city or ocean view? >> Ocean. >> Who should I put the booking under? >> Jesse Hall.

[08:55] >> You’re all set for October 10th to 12th in a king room with an ocean view for $582.40 on the card ending in 1111. Shall I go ahead? >> Actually, you know what? I need to change the date to December the 20th through the 24th. >> December 20th to 24th? That brings the total to $1,164.80 for December 20th to 24th. Shall I go ahead? >> Yes. >> You’re all set.

[09:27] >> Okay, so we had to speed up some of the parts there because of time, but the the the agent kept the conversation going. There were no awkward pauses. The caller even interrupted it and it kept going. And the caller also changed his mind in the middle of things and the agent just rolled with it, right? This is the human-like behavior that we’re looking for. So this is again not one model being good, this is an entire system being good. This is the infrastructure, the framework and the models all working

[09:58] together. And that’s exactly what no component or model benchmark can see. Now there’s one more axis to this that the leaderboards miss entirely and this is knowing when to speak and when not to speak. So humans negotiate turn taking in a matter of just a a couple of a hundred milliseconds, mostly from tone. And a pipeline that it waits for the entire transcript to come back, it’s already late, right? So we built a turn detector that is based on audio itself.

[10:31] So it listens to the rhyme, the pitch, the intonation of the speech of the audio and then we published the numbers on this. So at the same latency budget, the best alternative cuts users off 9.9% of the time. Ours is 4.5% and the eval harness is open source. You don’t have to trust me, you can run your own data through this and see what you get. So let’s go one level deeper for a minute. The gap between your caller’s last syllable and your agent’s first

[11:07] audible bite. So end of turn detection fires from audio before the transcript lands, the language model is already running on a provisional transcript and if the final words match then you just saved a half a second. And then the TTS starts on the first complete sentence, not the last token. And so the the the first audible bite is when the human stops waiting. And so every model that you choose, it shows up here in this window, and this window has

[11:39] a fixed size. If you can stay within a second and a half end to end, the conversation still holds, but you’re you’re right on the edge. If you can get closer to 600 milliseconds, then it starts to feel really human. And so the question is never how fast can I go, but what is the most human-like agent that I can fit inside this window? So back to latency as a budget, but human-like is the goal. So if we add all of this up, the question that we asked at the beginning,

[12:12] what models should I pick? That was never actually answerable. And so we built the thing that we wish existed. Here’s how we built the benchmark. We take a complete working agent. The first one is that hotel receptionist that you just heard. And it it takes real bookings. It has a real back end. And it’s also open source. You can look at the repo. And we run hundreds of simulated callers against it. The the simulator interrupts. It mumbles. It

[12:44] changes its mind, just like a real caller would. And then we don’t score it on vibes, but we score outcomes defined the way that we would define them for a human. And so did the right reservation land in the database? Did a caller get cut off? Are the names and dates correct? Are there were there any invented tool calls or any leaked personal data, right? So we measure all of those things against human equivalent behaviors. That’s the bar. And then completion alone isn’t enough,

[13:17] because completion can actually be gameable, right? So a model can kind of guess its way to complete, right? And so we penalize what a completion a completion score can’t see. If like if it asks questions that didn’t need to be asked or if it takes 10 steps to do something that should have only taken two steps. And then we swap the stack out. The same agent, the same scenarios, but different models. Every model sees the exact identical input byte for byte. But this

[13:50] creates benchmarks against our agent example. There are as many benchmarks as there are agents. So the benchmark is actually yours. You can run this exact thing run your agent through this exact benchmark and get your scores. And so this is how you catch surprises. The whole thing is open source, the methodology, the eval sets, the agent itself. You can point the same thing at your agent and let us know how it performs for you.

[14:21] Now here’s an important fact about LiveKit is that we don’t make STT, LLM, or TTS models. Every provider plugs into our stack. So we don’t have a horse in this race. We just watch all of them run a lot. And so we can confidently pick the winners. And so what you’re looking at right here is a sneak peek of the Gemini 4 31B model on LiveKit inference. But this isn’t just an off-the-shelf Gemma 4 31B. It’s tuned specifically for

[14:53] production voice agents with long prompts, many tools, and tight latency budgets. It passes voice evals at 88% and it starts speaking in about 380 milliseconds. So that’s over two times faster than the next model. Making this the actual the fastest high-quality voice LLM available today. And so this is actually going to going to launch tomorrow on LiveKit inference. So again, our goal is to have the most

[15:24] human-like agents possible while sticking to that latency budget. So if you remember one thing from this talk, make it this one. A voice agent isn’t a chatbot with a speaker stacked onto it. It’s human-like infrastructure. A real-time system that senses and responds the way that a human, a person, would. The moment that you treat it that way, every decision is going to get clearer. The budget, the metrics, the models, and the bar that you test against. So here’s the checklist. You can take a photo of this. Set your latency budget

[15:58] first. Measure perceived latency. Spend whatever budget is left on model quality, not on speed that doesn’t matter. And then anything over a second it should go asynchronously so that the conversation never stops. And then just test the conversation, not the components. And then keep testing in production. So here’s the benchmark. Uh scan the QR code. You can check out the benchmark. You can run this against your own agents. And at uh remember at some point

[16:29] in the near future, you are going to call a voice agent, and you’re going to talk over it, and it’s not going to fall apart. It’s going to act like a human would in that scenario. So go build that. Thank you. >> [music]