Seu agente de voz é só um walkie-talkie — Neil Zeghidour, Gradium

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Your Voice Agent is Just a Walkie Talkie — Neil Zeghidour, Gradium · Canal: AI Engineer · 19:10 · Assistir no YouTube

Tópicos: Agentes de IA, Modelos de IA, Modelos multimodais

Resumo

Neil Zeghidour apresenta a evolução dos agentes de voz, desde sistemas limitados como a Siri até modelos speech-to-speech com mais naturalidade e capacidade de agir. Ele explica que os modelos half-duplex ainda tratam a conversa como turnos separados, ao contrário do fluxo simultâneo de uma conversa humana. Também descreve como neural codecs comprimem áudio em audio tokens e como modelos multi-stream permitem interação full-duplex. Por fim, compara duas estratégias para equilibrar naturalidade e inteligência: ampliar os modelos speech-to-speech ou combinar uma interface de voz natural com um LLM de texto para raciocínio e tool calling.

Pontos-chave

A primeira geração de agentes de voz, como a Siri, dependia de pipelines complexos e diálogos restritos a tarefas específicas.
Modelos speech-to-speech tornam a conversa mais natural e reduzem a latência, mas podem ser menos inteligentes que sistemas em cascata baseados em modelos de texto.
Modelos half-duplex alternam entre ouvir e falar, o que dificulta práticas humanas como backchanneling e interrupções.
Neural codecs comprimem o áudio em uma representação de audio tokens que um LLM pode processar com mais eficiência do que formas de onda brutas.
Modelos multi-stream podem representar simultaneamente os fluxos de áudio do usuário e do sistema, viabilizando interações full-duplex.
Adicionar compreensão e geração de áudio a um modelo pode consumir parte de sua capacidade, criando uma tensão entre naturalidade e inteligência.
Uma estratégia híbrida usa um modelo de voz pequeno e full-duplex para a conversa e delega raciocínio, tool calling e outras tarefas a um LLM de texto.
A abordagem híbrida pode reduzir custos e permitir que os desenvolvedores escolham ou troquem o modelo de backend.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação e primeiras gerações de agentes de voz	Neil Zeghidour apresenta a Gradium e traça a evolução dos sistemas restritos da Siri para interfaces conversacionais mais abertas.
04:56	Agentes de voz com capacidade de agir	Uma demonstração de pedido em drive-thru ilustra agentes que acompanham tarefas e usam tool calling, enquanto modelos speech-to-speech melhoram a naturalidade e a latência.
08:07	O limite do half-duplex e a conversa full-duplex	O palestrante mostra como a alternância entre fala e escuta prejudica o backchanneling e explica como modelos multi-stream permitem fala simultânea.
13:23	O equilíbrio entre naturalidade e inteligência	A apresentação relaciona a menor capacidade de raciocínio dos modelos speech-to-speech à competição por capacidade dentro do modelo.
15:00	Escalar modelos ou adotar uma arquitetura híbrida	Zeghidour compara ampliar modelos speech-to-speech com separar a interface de voz natural do LLM responsável pelo raciocínio, destacando custos e flexibilidade.
18:40	Encerramento	O palestrante indica o site da Gradium e menciona oportunidades de trabalho para pesquisadores e engenheiros.

Citações

Você pode ter latência ultrarrápida. Fundamentalmente, esse é um problema que não pode ser resolvido quando se usa turn-taking. — 09:09

Em vez de ter um transformer que modela uma sequência de tokens, ele modela duas, para que as duas partes possam estar ativas ao mesmo tempo. — 11:47

Se um modelo de texto também precisa entender e produzir fala, parte da capacidade que seria usada para inteligência passa a ser usada para isso. — 14:26

O modelo de voz só precisa saber quando não sabe, para poder delegar ao modelo de fundo. — 16:34

Conceitos e entidades

Gradium (empresa): Empresa apresentada por Neil Zeghidour que desenvolve modelos de áudio para agentes e aplicações de voz.
Neil Zeghidour (pessoa): Cofundador e CEO da Gradium, que apresenta a evolução e as abordagens técnicas para agentes de voz.
Moshi (modelo): Modelo speech-to-speech full-duplex lançado em 2024 pelo laboratório de pesquisa mencionado na apresentação.
Hibiki (modelo): Sistema de tradução speech-to-speech em tempo real lançado em 2024 pelo laboratório de pesquisa mencionado.
neural codecs (conceito): Codificadores que comprimem áudio em representações compactas e permitem reconstruir áudio de alta qualidade.
audio tokens (conceito): Unidades de uma representação compacta de áudio que podem ser processadas por um modelo de linguagem.
multi-stream language models (conceito): Modelos que representam fluxos de tokens separados para permitir que usuário e sistema falem ao mesmo tempo.
OpenAI (empresa): Empresa cujos modos de voz são usados como exemplos de diferentes gerações de interação speech-to-speech.
Siri (ferramenta): Assistente de voz apresentado como exemplo de um sistema inicial, com diálogo restrito e ações específicas.
ElevenLabs (empresa): Empresa citada como exemplo de um sistema speech-to-speech baseado em audio tokens.
Thinking Machines (empresa): Empresa citada em relação ao uso de modelos de interação baseados em multi-stream.
Anthropic (empresa): Empresa mencionada como fornecedora de modelos de texto que podem servir de base para agentes de voz em cascata.
backchanneling (conceito): Sinais breves, como “aham” e “sim”, usados durante a fala de outra pessoa para indicar que se acompanha a conversa.
full-duplex (conceito): Modo de comunicação em que os dois lados podem falar ou ouvir simultaneamente, mantendo um fluxo conversacional contínuo.
half-duplex (conceito): Modo de comunicação em que o sistema alterna entre ouvir e falar, sem permitir que ambos os lados atuem simultaneamente.

Tradução completa (pt-BR)

00:01 [música] >> Certo, oi, pessoal. Sou Nel, cofundador e CEO da Gradio. A Gradio é uma startup sediada em Paris. A maior parte da nossa experiência vem da pesquisa. Em particular, inventamos algoritmos como LLMs de áudio, modelos de fala para fala, Neural Codex e assim por diante. E

00:33 basicamente, começamos com um projeto de pesquisa chamado QTI, um laboratório de pesquisa sem fins lucrativos que tem se dedicado à voz desde o primeiro dia. Em particular, lançamos em 2024 o primeiro modelo de fala para fala full-duplex, chamado Moshi, o primeiro sistema de tradução de fala para fala em tempo real, chamado Hibiki, e o primeiro modelo de TTS que pode rodar localmente em um smartphone. Basicamente, vou falar um pouco sobre o que fazemos: somos uma empresa de modelos que treina modelos para criar agentes de voz e aplicativos de voz.

01:04 Fazemos TTS, API e reconhecimento de fala no dispositivo, tradução de fala para fala e muito mais está por vir. O que fazemos é treinar modelos fundacionais para áudio e, depois, aplicá-los a muitas tarefas diferentes. Vou passar rapidamente pelos agentes de voz, já que esta é a quarta palestra sobre o tema, mas, basicamente, agora temos essas interfaces de voz que podemos usar para fazer muitas coisas em diversos produtos e tipos de interação: com NPCs, agentes de atendimento ao cliente, estudantes de idiomas, coaches e assim por diante.

01:37 Nesta palestra, tentei percorrer a história dessa tecnologia e falar sobre para onde acredito que ela vai nos próximos anos. Para começar, acho que podemos dar uma olhada no anúncio da Siri, lá em 2011. E vocês vão ver que, na verdade, acho que envelheceu muito bem. >> Como está o tempo hoje? >> Aqui está a previsão para hoje. >> É MUITO FÁCIL.

02:11 >> [gritos de comemoração] [aplausos] >> MUITAS COISAS. Integramos com as ações. Então, você pode perguntar sobre o mercado de ações. Algo como: como está a NASDAQ hoje? >> O índice composto da NASDAQ está em baixa agora, em 2.321,70. >> E, de novo, você pode perguntar isso de qualquer lugar, até na tela bloqueada. É só apertar o botão e perguntar. Você pode perguntar sobre a NASDAQ, o Dow. >> Então, o que vocês acabaram de ver é uma espécie de agente de voz. Era um pouco limitado, mas, tecnicamente, era um agente de voz.

02:41 E a arquitetura por trás dele: hoje vocês já viram mil vezes o STT, LLM, TTS. Naquela época, era ainda pior, certo? Não havia LLM, obviamente. Havia o que se chamava compreensão de linguagem natural. Então, a partir da transcrição, tentava-se fazer uma classificação básica do que se esperava, qual aplicativo deveria ser controlado, qual ação deveria ser acionada e assim por diante. Era um pipeline muito complexo e bastante limitado a casos de uso muito específicos. Era o que se chamava diálogo de domínio fechado naquela época.

03:14 Depois, a geração seguinte de modelos, acho, é bem ilustrada pelo modo de voz da OpenAI — não o modo de voz avançado, mas o original. Nesse caso, você tem uma experiência de conversa aberta. Portanto, é muito menos limitada do que a Siri. Você pode falar sobre praticamente qualquer coisa. Ao mesmo tempo, não tem os mesmos recursos agentivos, digamos, no sentido de que não consegue realmente informar a cotação da NASDAQ ou dizer como está o tempo.

03:51 >> Queremos ouvir uma história para dormir. Conte uma história sobre o ouriço superduper girassol chamado Larry. Comece contando um pouquinho sobre ele. Larry era um ouriço único, diferente de todos os outros. Em vez de espinhos, tinha pétalas de girassol brilhantes. Morando em Meadowville, Larry espalhava alegria e cor por onde quer que rolasse. >> Nesse contexto, basicamente, essa era, sabe, uma espécie de segunda geração de modelos, em que toda a lógica, a lógica muito complexa, foi substituída

04:22 por um LLM. E, se compararmos a Siri com o modo de voz da OpenAI — não o modo Ad Ons, o original —, o grande ponto forte era permitir conversas abertas, mas os recursos agentivos eram inexistentes. A naturalidade era, obviamente, muito melhor do que com a Siri. A latência ainda era bem ruim. Estamos falando de vários segundos, e isso foi documentado na apresentação anterior. E então chegamos a esta terceira fase, que é a voz, o que chamamos de agentes de voz. E aqui vou

04:56 mostrar uma demonstração rápida de um bot de drive-thru, programado ao vivo com nossos modelos de voz. >> Olá! O que posso preparar para você hoje? >> Oi, estou com pressa e gostaria de pedir um sanduíche de frango rapidinho. >> Temos sanduíche de frango clássico, apimentado, deluxe ou grelhado. Qual você gostaria? >> Vamos de sanduíche de frango clássico. >> Mais alguma coisa? >> O que mais tem no cardápio? >> Temos sanduíches, acompanhamentos, bebidas e sobremesas. O que posso trazer para você?

05:30 >> Pode me trazer um mac and cheese, talvez? >> Você pediu um sanduíche de frango clássico e mac and cheese. O total fica em oito. >> Então, agora vocês sabem: ao contrário do que acabamos de ver, este é um agente de verdade. Ele executa ações. Acompanha o pedido. Depois, vai pedir que você pague. É um agente de voz de verdade que consegue realizar tarefas reais. Aqui, em vez de um LLM que é apenas uma interface de conversa, temos um agente de verdade, com tool calling, raciocínio, planejamento e tudo isso. Então,

06:02 o que vemos agora é que recuperamos os recursos agentivos, e eles são, na verdade, muito mais poderosos e genéricos do que antes, mantendo um nível muito bom de naturalidade. Foi aí que surgiram os LLMs de fala para fala. Em particular, o que podemos observar aqui é que a latência é melhor com um sistema em cascata, mas ainda é maior do que numa conversa entre pessoas. E, como também foi explicado antes, a naturalidade é fundamentalmente limitada

06:32 pelo fato de passarmos pelo texto, o que faz perdermos muitas informações sobre o que foi dito, o tom, a emoção do usuário e assim por diante. Então, agora que resolvemos as questões de inteligência e dos recursos agentivos, a fala para fala parece um próximo passo natural para melhorar a naturalidade e a latência. E aqui está o anúncio do modo de voz avançado da OpenAI. >> [limpa a garganta] >> Oi, ChatGPT. Sou Mark. Como você está? >> Ah, Mark. Estou ótimo. Obrigado por perguntar. E você? >> Ei, estou no palco agora. Estou

07:03 fazendo uma demonstração ao vivo e, para falar a verdade, estou um pouco nervoso. Você pode me ajudar a me acalmar um pouco? >> Ah, você está fazendo uma demonstração ao vivo agora? Que legal! É só… >> Acho que todos nós lembramos que foi um lançamento muito impressionante, muito impressionante. E, nesse contexto, todas as etapas de STT, LLM e TTS foram incorporadas em um único modelo. E agora, a inteligência, assim como a naturalidade, continua muito boa. Na verdade, pode ser melhor porque consegue

07:36 entender informações não linguísticas. A latência é realmente muito boa. Sinceramente, não faz sentido tentar melhorá-la mais. Curiosamente, qualquer pessoa que já tenha usado um modelo de fala para fala pode confirmar que, nesse contexto, a inteligência ainda é muito mais limitada do que a dos modelos em cascata. Portanto, os modelos de fala para fala ainda são fundamentalmente limitados em comparação com os modelos textuais. Outra limitação é a alternância de turnos. Então,

08:07 as pessoas tendem a misturar fala para fala com full-duplex. Mas, basicamente, quando se usa um modelo de fala para fala como o GPT-3 time, ele ainda se baseia na alternância fundamental de turnos. Ou seja, a conversa é segmentada entre o momento em que o modelo está falando e o momento em que está ouvindo. Para mostrar como isso pode tornar uma interação pouco natural, vou mostrar uma pequena demonstração do que se chama de backchanneling, esse comportamento muito humano de dizer “Uhum, sim” enquanto alguém está falando com você, e assim por diante.

08:37 >> Oi, como vai? Queria trocar umas ideias sobre isso com você. >> Ah, esse é um ótimo tema. Sim, adoraria ajudar você a pensar nisso. Você está pensando em quê? Exatamente. Sim, eu estava pensando… >> Não, não, não quis interromper, sabe? Eu só estava dizendo: “Sim.” Assim. Pode continuar. Eu sei, não precisa se preocupar comigo. É só algo que costumo fazer. >> Ah, não se preocupe. Sim, eu ia dizer que poderíamos dividir isso em alguns aspectos. Tipo… Sim, exatamente. >> Por favor, pare de me interromper. Sabe, isso se chama backchanneling. Os humanos fazem isso o tempo todo. Isso mostra que você está acompanhando a conversa. Que você não vai,

09:09 sabe, interromper seu raciocínio. Só continuar. >> Ah, entendi. Obrigado por me avisar. >> Sem problema. Ah, qual é. >> Então, como você vê, sabe, ainda é muito irritante. Você pode ter uma latência baixíssima. Fundamentalmente, esse é um problema que não pode ser resolvido quando se usa a alternância de turnos. Então, aqui está o walkie-talkie. Hoje, qualquer modelo em tempo real — quer dizer, agora haverá um bidirecional da OpenAI, mas ele é chamado de half-duplex. Então, o modelo está ouvindo

09:39 ou falando. Uma conversa humana tem um fluxo constante entre duas pessoas. As pessoas fazem backchanneling. As pessoas interrompem umas às outras, falam ao mesmo tempo, e assim por diante. Se você… Se estiver conversando ao telefone com um parente, há momentos em que vocês dois falam ao mesmo tempo por até 20% do tempo. E essa dinâmica muito flexível da conversa torna tudo muito mais confortável para os humanos. Então, para entender como podemos criar um modelo full-duplex, vou fazer uma apresentação bem rápida

10:12 de como treinamos esses modelos. Então, o processo para criar um modelo de fala para fala, half-duplex ou full-duplex, é o seguinte. Você começa com um LLM de texto, que é um modelo probabilístico sobre palavras. Em vez de prever a próxima palavra com base no que veio antes, o que você quer fazer é prever o próximo áudio com base no áudio anterior. O problema agora é que, se você passar áudio bruto para o seu modelo — que é uma forma de onda, variações da pressão do ar —, basicamente, esta frase tem oito palavras.

10:44 Leva cerca de 3 segundos para pronunciá-la. E, com áudio de 24 kHz, em vez de oito palavras, a forma de onda do áudio tem 72.000 etapas temporais que você precisaria fornecer ao seu LLM. Como os LLMs têm complexidade quadrática em relação ao comprimento da sequência — ou seja, a complexidade é o quadrado do comprimento da sequência —, uma sequência 10.000 vezes mais longa custa 100 milhões de vezes mais para ser processada. Então, não há como treinar um LLM com áudio bruto. A maneira de resolver isso é criando codecs neurais, que também podem ser chamados de tokenizadores de áudio. E

11:14 basicamente, trata-se de um encoder que recebe o áudio e o comprime em uma representação comprimida muito densa, um pouco parecida com texto. Depois, você tem um decoder que consegue reconstruir áudio de alta qualidade a partir dela. Assim, você passou do domínio do áudio para um domínio de representação abstrata, em que pode treinar um LLM exatamente como o treinaria com texto. E o modelo de fala para fala da ElevenLabs, como mostrei antes, funciona assim. Então, em vez de ter tokens de texto no seu modelo, você tem tokens de áudio que representam o LLM ou o usuário, e os coloca

11:47 um depois do outro. O modelo prevê os tokens de áudio que devem ser pronunciados pelo modelo, dado o contexto dos dois lados da conversa. No entanto, dá para ver que ainda é uma sequência entre usuário e sistema, que continua sendo half-duplex. Então, como criamos o primeiro modelo full-duplex de todos? Muito simples. Chamamos isso de modelos de linguagem multistream. Essa é a tecnologia que agora também é usada pela Thinking Machines no modelo de interação deles e, muito provavelmente, pelo modelo bidirecional da OpenAI. Em vez de ter um transformer que modela uma sequência de

12:20 tokens, ele modela duas, para que ambas as partes possam estar ativas ao mesmo tempo, inativas ao mesmo tempo, ou uma ativa e outra inativa. E vou mostrar uma demonstração bem rápida de como isso soa [fungada]. Esse é o lançamento do Machine August 2024, quando fizemos um anúncio ao vivo no palco, conversando com ele pela primeira vez. Você vai ver que muitas vezes o modelo adivinha o final da pergunta, responde por cima de quem está falando, e as duas partes falando ao mesmo tempo não interrompem o fluxo, como vimos com o

12:52 GPT. A coisa toda é extremamente resiliente às situações mais caóticas. >> Então, o planeta é sério 22. Você pode traçar uma rota até lá, por favor? >> Sim, senhor. >> Certo. Quanto tempo vai levar para chegarmos lá? >> … Vai levar aproximadamente 5 meses para chegar lá. >> Certo, isso não é tão ruim. Você acha que temos tudo o que precisamos a bordo da nave para iniciar a missão? >> Temos tudo o que precisamos. >> Naquela época, isso chegava a irritar um pouco as pessoas, porque interrompia o tempo todo. Mas a questão é que você poderia usá-lo

13:23 mesmo em ambientes extremamente barulhentos, com muito ruído, pessoas tossindo e assim por diante. E, sabe, o fluxo é constante. Você não tem essa interrupção muito irritante no fluxo da conversa. Então, esses modelos full-duplex oferecem o mais alto nível de naturalidade que se pode esperar. É a mesma conversa que você teria com uma pessoa. A questão é que, nos nossos modelos, eles eram ainda mais limitados que os modelos de fala para fala, que já eram menos inteligentes que os sistemas em cascata. Provavelmente está tudo bem para alguns casos de uso, se você só quiser bater papo. Sabe, o modelo não precisa ser muito

13:55 inteligente. Mas, para criar um agente de voz realmente full-duplex, não há como abrir mão da inteligência só para ter recursos de fala para fala. Então, como finalmente criamos modelos que lidam com todos esses aspectos em conjunto? Acho interessante que, se você olhar para a história que mostrei, há uma tensão entre naturalidade e inteligência. Então, sempre que melhorávamos a naturalidade ou a qualidade humana dos modelos, eles ficavam menos inteligentes que o sistema em cascata. Os agentes em cascata são basicamente tão inteligentes quanto os melhores modelos de texto. Então, se você tem um

14:26 agente de voz baseado no modelo mais recente da Anthropic ou da OpenAI, ele vai ser extremamente inteligente e ter a mesma confiabilidade para tool calling, e assim por diante. Os modelos de fala para fala têm esse aspecto de naturalidade. No entanto, para conseguir isso, você abre mão da inteligência. E o motivo é: lembre-se de que o LLM é um modelo com certo número de pesos, que chamamos de capacidade. Se você pega um modelo de texto e ele passa a ter que não só lidar com texto, mas também entender e produzir fala, isso consome parte da capacidade dele, e essa capacidade agora

15:00 é subtraída da inteligência. Então, fundamentalmente, há um custo para adicionar uma nova modalidade a um modelo de texto, e esse custo é pago em inteligência. Então, para onde vamos daqui? Há dois caminhos à nossa frente, e os dois serão explorados ao mesmo tempo. O primeiro é escalar o modelo: tornar seu modelo de fala para fala maior, fazer um pré-treinamento melhor, um pós-treinamento melhor, e assim por diante. Provavelmente, vamos aumentar progressivamente a inteligência dele até que seja bom o suficiente para muitos casos de uso. O segundo caminho é dividir o modelo

15:32 entre naturalidade e inteligência. Quanto ao primeiro caminho, não estou na OpenAI, então não sei, porque eles não divulgam o modelo. Acho que a OpenAI está seguindo o primeiro caminho: um LLM de texto de fronteira, com muito trabalho científico em pós-treinamento e ajuste de instruções para fazer fine-tuning com áudio, e ensiná-lo a ser bem inteligente enquanto usa áudio. O bom disso é que você tem um único modelo para orquestrar, então é bem fácil de fazer deploy. E um…

16:03 Um aspecto importante, porém, é que passar do modelo de texto para o modelo de fala para fala é um processo extremamente complexo e caro. O segundo caminho é dividir o processo. É uma abordagem que apresentamos em um de nossos artigos recentes, chamado Moushiraq, e que foi reutilizada, em particular, pelos modelos de interação da Thinking Machine. Basicamente, a ideia é que agora você tem dois modelos. O primeiro é uma interface de fala para fala pequena, talvez até no dispositivo, full-duplex e extremamente natural. E seu único papel é manter uma conversa muito natural

16:34 e conseguir delegar todo o pensamento, o tool calling, o raciocínio e os recursos de agent a um modelo de texto em segundo plano. Então, a maneira de entender isso é: você tem um LLM de texto em segundo plano que recebe consultas de forma assíncrona de centenas a milhares de pequenas interfaces de voz e simplesmente fornece o texto a elas, sabe? E, basicamente, o que fizemos foi criar um modelo full-duplex muito pequeno, que só precisa saber quando não sabe algo, para poder delegar ao modelo em segundo plano. E o motivo pelo qual acreditamos principalmente

17:06 nessa abordagem — e volto a ela mais tarde — é que nossa cultura, digamos, se baseia mais na primeira, na lição amarga. Então, sempre defendemos sistemas de ponta a ponta e assim por diante. Mas agora acho que a abordagem híbrida tem duas vantagens principais. A primeira é o custo. Os modelos de fala para fala são notoriamente muito caros. E, pensando bem, é um desperdício de dinheiro fazer conversa fiada com modelos gigantescos de fala para fala

17:37 capazes de resolver equações diferenciais e coisas do tipo. Então, não faz muito sentido, do ponto de vista econômico, fazer todo o seu workflow passar por essa mistura gigantesca de especialistas multimodal. Ao mesmo tempo, vemos que as pessoas se importam muito com a possibilidade de controlar o backend e poder trocá-lo. Então, eles… Então, o 5 foi lançado há poucos minutos. As pessoas querem trocar o backend e a inteligência e ter muitas opções nesse sentido, certo? Quando você usa um modelo de fala para fala, fica um pouco de mãos atadas com esse fornecedor de modelo. E, para dar uma ideia disso,

18:09 até recentemente, o modo de voz avançado da OpenAI era alimentado pelo GPT-4o, apesar de já terem sido lançadas várias gerações do modelo de texto desde então, porque esse processo é muito caro e demorado. Por esse motivo, apostamos mais na abordagem híbrida, porque ela oferece algo que não é apenas muito natural, muito agradável para demonstrações e impressionante, mas também uma alternativa viável, do ponto de vista econômico e dos recursos de agent, aos melhores sistemas em cascata, que

18:40 ainda representam a maior parte do mercado de voz hoje. E agora? Você pode usar nossos modelos em gradium.ai. Você pode se candidatar à Gradium. Estamos contratando cientistas pesquisadores e engenheiros. Obrigado pela atenção. >> [aplausos]

19:10 [música]

Transcrição original

[00:01] [music] >> Okay, hi everyone. I’m Nel co-founder and CEO of of Gradio. So Gradio is a startup based in Paris. Most of our background is from research. In particular, we have invented algorithms such as audio LLMs, speech speech-to-speech models, neural codex, and so on and so forth. And

[00:33] basically we started from a research project called QTI, a non-profit research lab that has been focusing on voice since day one. So in particular, we released in 2024 the first full duplex speech-to-speech model called Moshi, the first real-time speech-to-speech translation system called Hibiki, and the first TTS model that can run locally on a on a smartphone. And basically I will just say a few words about what we do, but we are a model company that trains models for building voice agents and voice

[01:04] applications. So we do TTS, API, and on-device speech-to-text, speech-to-speech translation, and much more to come. What we do is that we train foundation models for audio, and then we can apply them for a lot of different tasks. So I go quickly on voice agents because it’s the fourth talk about the topic, but basically now we have these voice interfaces that we can use to do a lot of things across a variety of products and types of interactions with NPCs, with customer agents, language learners, coach, and so on and so forth.

[01:37] And in this talk I tried to go through the history of this technology and where I see it going in the next years. And maybe to start, I think we can take a look at the announcement of Siri back in 2011. And you’ll see that it’s actually, you know, I think it it aged pretty well. >> What is the weather like today? >> Here’s the forecast for today. >> It is THAT EASY.

[02:11] >> [cheering] [applause] >> LOTS OF THINGS. We’ve integrated with the stocks. So, you can ask it about the stock market. Something like How is the NASDAQ doing today? >> NASDAQ composite is down right now at 2,321.70. >> Again, you can ask this from the lock screen anywhere. Just press the button and ask. You can ask about, you know, the NASDAQ, the Dow. >> So, what you just saw is what kind of a voice agent. It was a bit constrained, but it was technically a voice agent.

[02:41] And the architecture behind it, so you have seen a thousand times today the STT LLM TTS. Back then, it was even worse, right? So, there was no LLM, obviously. So, there was what was called natural language understanding. So, you would go from the transcript and uh try to do basic classification of what is expected, uh what is the app that is supposed to be uh controlled, what is the action to trigger, and so on. So, it was a very complex pipeline and very constrained to very specific use cases. So, it was what was called close

[03:14] uh ended um uh dialogue back then. Then, the next generation of models, uh I could say, I think was is illustrated pretty well by the OpenAI voice mode, not the advanced voice mode, the original one. In which case, you just have um a conversational experience that is open-ended. So, it’s much less constrained than Siri. You can talk about pretty much anything. At the same time, you don’t have um as the same agentic capabilities, let’s say, in the sense that it cannot really give you the NASDAQ or uh give you the weather.

[03:51] >> We want to hear a bedtime story. Tell us a story about the super-duper sunflower hedgehog named Larry. Start with telling us a little bit about him. Larry was a unique hedgehog unlike any other. He had bright sunflower petals instead of spines. Residing in Meadowville, Larry spread joy and color wherever he rolled. >> So, in that context, basically that was, you know, kind of second generation of models where all the logic, the very complex logic was replaced

[04:22] uh by an LLM. And if we compare Siri and the voice mode from OpenAI, uh not the Ad Ons one, Ad Ons one, the original one, uh the big strength is opening the dialogue, but the agentic capabilities were inexistent. The naturalness was, obviously, much better than with Siri. The latency was still pretty bad. So, we are talking about several seconds, and that was documented in the in the previous presentation. And so, then, you know, we’re in this third phase, which is a voice, what we call voice agents. Uh and here I’m going

[04:56] to show a quick demo of uh of a drive-thru bot uh live-coded with our with our voice models. >> Hi there. What can I get started for you today? >> Hi, I’m actually in a hurry and I’d like to order a chicken sandwich quickly. >> We have the classic, spicy, deluxe, or grilled chicken sandwich. Which one would you like? >> Uh let’s go with the classic chicken sandwich. >> Anything else for you? >> Uh what else do you have on the menu? >> We have sandwiches, sides, drinks, and desserts. What can I get for you?

[05:30] >> Can I get some mac and cheese, maybe? >> You have a classic chicken sandwich and mac and cheese. Your total comes to eight. >> So, now you know, unlike what we just saw, it’s an actual agent. It’s taking actions. It’s keeping track of the order. It’s then going to make you pay. So, it’s it’s an actual voice agent that can do uh real tasks. So, here instead of having an LLM that is just a conversational interface, we have a real agent that is empowered with tool call, reasoning, planning, and and all this stuff. So,

[06:02] what we see now is we have gained back agentic capabilities, and actually they are much more uh powerful and generic than before, while keeping a very good level of uh of naturalness. And that’s where speech-to-speech LLM came. In particular, what we could see here is the latency, it’s better with cascaded system, but it’s still higher than you will have with human conversation. And as also was explained before, the naturalness is fundamentally limited by

[06:32] the fact that you go through text, so you lose a lot of information about what uh is said, the tone, the emotion of the user, and so on and so forth. So, now that we have tackled intelligence and agentic capabilities, speech-to-speech seems like a natural next step for naturalness and latency. And so here it’s the announcement from the uh OpenAI advanced voice mode. >> [clears throat] >> Hey, ChatGPT. I’m Mark. How are you? >> Oh, Mark. I’m doing great. Thanks for asking. How about you? >> Hey, so I’m on stage right now. I’m

[07:03] doing a live demo, and frankly I’m feeling a little bit nervous. Can you help me calm my nerves a little bit? >> Oh, you’re doing a live demo right now? That’s awesome. Just >> I think we all remember it was very impressive very impressive release. And in that context now, all the steps of STT, LLM, and TTS have been absorbed into a a single one. And so now, intelligence, you know, like naturalness is still very good. Uh actually it can be better because it can

[07:36] understand non-linguistic information. Latency is really, really nice. Honestly, it doesn’t make sense to go uh better than that. Interestingly and everyone was used any uh speech-to-speech model can uh attest that the intelligence is still much more limited in that context than uh the cascaded counterpart. So, the speech-to-speech models are fundamentally still limited compared to the textual models. Another limitation is turn-taking. So,

[08:07] people tend to mix speech-to-speech and full duplex. But basically, when you do have a speech-to-speech model like GPT-3 time, it’s still based on fundamental turn-taking. In the sense that it’s going to segment the conversation into as long as the model is speaking or the model is listening. And to give to show you how this can make an interaction unnatural, I’m going to show a a small demo with what is called backchanneling, which is this very human thing that you do when someone talks to you is that you say, “Mhm, yeah.” and so on.

[08:37] >> Hey, how’s it going? Just like to brainstorm a bit about it with you. >> Oh, that’s a great topic. Yeah, I’d love to help you brainstorm. Are you thinking what Exactly. Yeah, I was thinking >> No, no, I didn’t mean to interrupt, you know, I was just saying, “Yeah.” like that. You can just keep going. I know, don’t mind me. It’s just something I typically do. >> Uh no worries at all. Yeah, I was just going to say we could break it down into a few aspects. Like Yeah, exactly. >> please stop stop interrupting. You know, it’s called backchanneling. Humans do it all the time. It shows that you’re just following the conversation. That you don’t,

[09:09] you know, like interrupt you in your flow. Just just going. >> Ah, got it. Thanks for letting me know. >> No problem. Oh, come on. >> Yeah, so you see, you know, it’s it’s still very annoying. Uh you can have lightning speed latency. Fundamentally, this is uh an issue that can not be resolved when you’re using turn-taking. So, here that’s the walkie-talkie. Um any real-time model today, I mean, now there is a bidirectional one that will come from OpenAI, but it’s called half duplex. So, the model is listening

[09:39] or speaking. A human conversation has a constant flow between two people. People do back channeling. People interrupt one another, talk on one another, and so on. If you have If you’re having a relative on the phone, there is up to 20% of the time where you are both speaking at the same time. And that makes, you know, this very flexible dynamics in the conversation makes it much more comfortable for humans. And so, to understand how we can make a model full duplex, I’ll give a very short

[10:12] presentation of how we train such models. So, the way you create a speech-to-speech model half duplex or full duplex is the following one. So, you you start from a text LLM, which is a probabilistic models over over words. And instead of predicting the next word based on the past, what you want to do is rather predict the next audio based based on the past audio. The issue now is that if you pass a raw audio to your model, which is, you know, a waveform, it’s air pressure variations. Uh basically, you take this sentence, it’s eight words.

[10:44] It takes around 3 seconds to pronounce it. And so, at 24 kHz audio, instead of having eight words, the audio form is 72,000 time steps that you would need to feed to your LLM. Given that LLMs have quadratic complexity with sequence length, so the complexity is the square of the sequence length. A 10,000 times longer sequence is 100 million times more expensive to to process. So, there is no way you can train an LLM on raw audio. So, the way you address it is by creating neural codecs, or you can also call them audio tokenizers. And

[11:14] basically, it’s an encoder that takes an audio and compresses it in a very dense compressed representation, a bit similar to text. And then you have a decoder that can reconstruct high-quality audio from it. So, now you have gone from the audio domain into a abstract representation domain, where you can train an LLM exactly like you would train it on text. And the speech-to-speech model from ElevenLabs, as I was showing before, works in this fashion. So, instead of having text tokens into your model, you have audio tokens that represent either the LLM or the user, and you put them

[11:47] one after the other, and the model predicts the audio tokens uh that should be said by the model, being given the context from both sides of the conversation. However, you can see that it’s still a sequence between user and system, which is still half duplex. So, how did we make the first full duplex model ever? Very simple. We call it multi-stream language models. That’s the technology now used also by Thinking Machines for their interaction model, and most likely by the for the by the directional model of OpenAI. Is that instead of having a transformer that models one sequence of

[12:20] tokens, it models two of them, so that both parties can be active at the same time, inactive at the same time, one active and one inactive. And I just show a very quick demo of uh of how it sounds [snorts] like, but that’s the release of machine August 2024, uh where we did an announcement live on stage talking to it for the first time. And you’ll see that the model often guesses the end of the question, answers over the speaker, and both speaking at the same time is not breaking the flow like we saw with

[12:52] GPT. The whole thing is just extremely resilient to the most chaotic uh situations. >> So, the planet is serious 22. Can you plot a trajectory course to it, please? >> Yes, sir. >> Okay. How long is it going to take us to get there? >> it out. It’s approximately 5 months to get there. >> Okay, that’s that’s not too bad. Uh do you think we have all we need on board the ship to start the mission? >> We have everything we need. >> So, back then it was even a bit irritating to people because it was interrupting you all the time. But the thing is that you can use you could

[13:23] still use it in extremely noisy environments with a lot of noise, people coughing, and so on. And you know, the flow is just constant. You don’t get this very irritating break of the conversational flow. So, these full duplex models, they are the highest level of naturalness you can expect. That’s the same conversation with a human. The thing is, in with our models, it was even more stupid than speech-to-speech models that were already less intelligent than cascaded systems. It’s probably fine for some use cases if you just want to have a chit-chat. You know, the model doesn’t need to be very

[13:55] intelligent. But make an actual full duplex voice agent, there is no way we can give up on on intelligence just to gain uh speech-to-speech abilities. So, how do we finally make models that tackle all these aspects jointly? And I think interestingly, if you if you look at the history I showed, there is a tension between naturalness and intelligence. So, every time we improve naturalness or humanness of the of the models, they were less intelligent than the cascaded system. The cascaded agents, they are basically as smart as the best text models. So, if you have a

[14:26] voice agent that is powered by the latest model from Anthropic or OpenAI, it’s going to be extremely smart, have all the same reliability for tool call, and so on. Speech-to-speech has this naturalness aspect. However, you give up intelligence to get that. And the reason why you give up intelligence is remember that the LLM is a model that has a certain number of weights that we call the capacity. And if you take a text model and now it not only has to handle text, but it also needs to understand speech and produce speech, it’s taking some of its capacity, and this capacity now

[15:00] is taken from the intelligence. So, fundamentally, there is a cost of adding a new modality to a text model that is going to be paid in in intelligence. So, where do we go from here? There are two paths that are in front of us, and both are going to be explored at the same time. The first one is scaling the model. So, making your speech-to-speech model bigger, better pre-trained, better post-trained, and so on. We likely progressively increase its intelligence until it it’s good enough for a lot of use cases. The second one is splitting the model

[15:32] between naturalness and intelligence. The first one, I’m not at OpenAI, so I don’t know because they don’t release their model. I guess OpenAI is the path one, so it’s a frontier text LLM with a lot of science around post-training, in- instruct tuning to fine-tune it on audio, and teaching it to be quite smart while using audio. The nice thing about that is you have a single model to orchestrate, so it’s quite easy to deploy. Um and one

[16:03] big aspect, however, is that it’s a extremely complex and costly process to go from the text model to the speech-to-speech model. The second path is to split it. It’s an approach that we introduced in one of our recent papers called Moushiraq, and that has been reused by, in particular, the Thinking Machine Interaction models. Where, basically, the idea is that now you have two models. The first one is a small, maybe even on-device, full-duplex, extremely natural speech-to-speech interface. And its only role is to keep a very natural

[16:34] conversation and be able to delegate all the thinking, tool calling, reasoning, agentic capabilities to a background text model. And so, the way to see it is you have a background text LLM that receives asynchronously queries from hundreds to thousands of small voice interfaces and just give them their text, you know? And, basically, what we did is um very small full-duplex model that just needs to know when it doesn’t know, so that it can delegate to the background model. And the reason why we believe mostly in

[17:06] this approach, um and I go back to to it later, it’s a our uh let’s say our culture is more of first one, the bitter lesson. So, every time we’ve been pushing for end-to-end systems and so on. But now I think the hybrid approach has two main advantages. The The first one is cost. So, speech-to-speech models are notoriously quite expensive. And when you think about it, it’s a loss of money to do chit-chat with gigantic speech-to-speech models

[17:37] that can resolve differential equations and so on. So, it doesn’t really make sense economically to get all your workflow through this gigantic multimodal mixture of experts. At the same time, we see that people are very attached to their ability to control the backend, to be able to switch So they So they 5 was released a few minutes ago. People want to switch the backend and the intelligence and get a lot of optionality on that, right? When you’re using a speech-to-speech model, your your hands are a bit tied with this model provider. And to give you an idea of that,

[18:09] until recently the AdSense voice mode from OpenAI was powered by GPT-4o, despite the fact that there have been several generations of the text model since then, because this process is so expensive and so long. For this reason, we rather bet on the hybrid approach because that will give something that is not only very natural and very nice for demos and impressive, but also will be a viable alternative from a economic point of view and agentic capabilities point of view to the best cascaded systems that are

[18:40] still most of the market today in voice. So, what now? Uh you can use our models on gradium.ai. You can apply to gradium. We are recruiting research scientists and engineers. And thanks for your attention. >> [applause]

[19:10] [music]