Pesquisa de modelos speech-to-speech no Google DeepMind — Valeria Wu Fon e Tom Ouyang, Google DeepMind

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Speech-to-Speech Model Research at Google DeepMind — Valeria Wu Fon & Tom Ouyang, Google DeepMind · Canal: AI Engineer · 16:38 · Assistir no YouTube

Tópicos: Agentes de IA, Modelos multimodais

Resumo

Valeria Wu Fon e Tom Ouyang apresentam a pesquisa do Google DeepMind em modelos speech-to-speech e explicam como modelos multimodais podem viabilizar agentes de voz mais naturais e versáteis. Eles contrastam os sistemas tradicionais de reconhecimento de fala em etapas com modelos Gemini treinados para relacionar áudio, vídeo e texto. A apresentação destaca três objetivos — qualidade conversacional, inteligência e multimodalidade — e os desafios de equilibrá-los, especialmente com latência e suporte a diferentes idiomas. Demonstrações mostram tradução ao vivo, Search Live, agentes de voz para atendimento e avatares com presença visual.

Pontos-chave

A equipe considera a voz uma forma natural de interação com o mundo físico e virtual e vê modelos speech-to-speech como base para agentes de voz versáteis.
Sistemas tradicionais de reconhecimento de fala dependiam de vários componentes; abordagens end-to-end reduziram essa complexidade, mas tinham escopo limitado à transcrição.
O pré-treinamento multimodal do Gemini relaciona áudio, vídeo e texto, permitindo tarefas como tradução, geração de áudio e interação com agentes.
A tradução ao vivo busca preservar a voz dos falantes, lidar com vários idiomas e participantes e funcionar em tempo real.
A visão para os modelos combina qualidade conversacional, inteligência e entrada e saída multimodais.
Aumentar a capacidade de raciocínio pode afetar latência, tempo até o primeiro áudio e naturalidade da conversa.
As demonstrações incluem tradução no Google Meet, perguntas sobre vídeo no Search Live e atendimento de assistência rodoviária.
O recurso chamado proactive audio busca evitar que ruídos ou falas externas interrompam indevidamente a resposta do modelo.
Avatares personalizáveis combinam fala de baixa latência, suporte multilíngue e sincronização labial.
Os palestrantes defendem modelos capazes de alternar fluidamente entre tradução, execução de ações, brainstorming e conversa aberta.

Capítulos

Início	Capítulo	Resumo
00:01	Por que investir em modelos de voz	Valeria apresenta a voz como uma forma natural de interação e introduz a proposta de construir agentes de voz robustos.
03:14	Modelos multimodais e tradução ao vivo	Tom explica como o pré-treinamento multimodal sustenta tarefas de áudio e apresenta a tradução em tempo real.
05:55	Visão e demonstrações de tradução	Valeria descreve os objetivos de conversação, inteligência e multimodalidade e mostra tradução multilíngue no Google Meet.
10:38	Search Live e agentes de voz	As demonstrações mostram perguntas multimodais no Search Live e um agente de voz para assistência rodoviária.
13:53	Avatares e o futuro da conversa por voz	A apresentação mostra avatares personalizáveis e conclui com a visão de modelos capazes de alternar entre diferentes modos de conversa.

Citações

A voz é a forma mais natural de os humanos interagirem com o mundo físico e virtual. — 00:33

A qualidade da tradução em tempo real por streaming é tão boa quanto a de sistemas offline. — 04:19

Não queremos que esse modelo apenas soe bem. — 06:27

Acreditamos que a AGI não será digitada; será falada. — 15:26

Conceitos e entidades

speech-to-speech (conceito): Abordagem em que o modelo recebe fala e gera fala, em vez de apenas transcrever áudio para texto.
automatic speech recognition (conceito): Reconhecimento automático de fala que converte áudio em uma transcrição textual.
multimodal (conceito): Capacidade de processar e relacionar modalidades como áudio, vídeo e texto.
proactive audio (conceito): Recurso descrito na apresentação para o modelo decidir quando responder ou não a entradas externas.
Gemini (modelo): Família de modelos multimodais citada como base para experiências de áudio, vídeo e texto.
Google Meet (ferramenta): Produto usado na demonstração de tradução de fala em tempo real entre participantes.
Search Live (ferramenta): Experiência de conversação por voz apresentada para perguntas e busca de informações.
Google DeepMind (empresa): Organização onde os palestrantes trabalham na pesquisa de modelos speech-to-speech.
Valeria Wu Fon (pessoa): Líder de produto do modelo speech-to-speech no Gemini e palestrante da apresentação.
Tom Ouyang (pessoa): Engenheiro que trabalha com speech-to-speech e Gemini e apresenta o histórico técnico da área.

Tradução completa (pt-BR)

00:01 [música] >> Oi, pessoal. Obrigada por virem à nossa palestra. Vamos falar bastante sobre como estamos planejando dar voz ao futuro agêntico com a pesquisa de fala para fala aqui no Google DeepMind. Meu nome é Valeria. Sou responsável pelo produto do modelo de fala para fala no Gemini, e este é Tom. >> É, meu nome é Tom. Trabalho com fala para fala como engenheiro no Gemini. Então, é ótimo apresentar nosso trabalho.

00:33 >> Legal. Então, antes de começarmos a mergulhar na história da pesquisa do Google em áudio e na pesquisa mais recente que temos feito, quero dar um passo atrás e pensar por que isso é importante para nós, na equipe. E o principal motivo é que a voz é a forma mais natural para os seres humanos interagirem tanto com o mundo físico quanto com o virtual. E já estamos vendo muitas aplicações começarem a surgir, inclusive dentro dos próprios produtos do Google. Vemos a voz sendo usada para fazer perguntas e, sabe, fazer dever de casa, buscar informações ou para fins educacionais no Search Live e no Gemini Live. Tudo

01:05 desde esses mesmos modelos sendo implantados na nuvem e disponibilizados pela API para empresas ou casos de uso de agentes de voz. Devo usar isto como microfone? Alô. Certo. Então, por isso, achamos que o número de aplicações vai aumentar exponencialmente nos próximos anos e acreditamos que os modelos de fala para fala são o caminho a seguir quando queremos criar agentes de voz robustos e universais. E, com isso, passo a palavra ao Tom. >> Certo. Então, claro, uma maneira de criar um agente de voz é simplesmente adicionar um modelo de reconhecimento automático de fala (ASR), ou seja, de fala para texto, no

01:39 pipeline e depois um modelo de texto para fala na outra ponta, certo? É claro que boa parte da história da fala vem daí. O Google trabalha nisso há muito tempo. Vou dar uma breve visão histórica de como costuma ser a modelagem de fala, especialmente o reconhecimento automático de fala, ou fala para texto, certo? Até por volta de 2018, isso geralmente envolvia muitos componentes diferentes. Você tinha, é claro, a extração de características, que é bastante genérica, e depois todas essas partes diferentes, como modelagem acústica, modelagem de pronúncia, modelagem de linguagem e uma segunda etapa de reclassificação, que permite passar da entrada de áudio para uma transcrição em texto. Certo? E, é claro,

02:12 por volta de 2018, esses sistemas foram cada vez mais migrando para sistemas de ponta a ponta. Não é necessário ter tanto conhecimento de domínio. Na verdade, você pode deixar que, em grande parte, o modelo neural aprenda esse padrão e o mapeamento entre as entradas acústicas e o texto. Mas esses não são bem os modelos de ponta a ponta em que pensamos quando falamos de LLMs. Eles fazem basicamente uma única coisa: transformam a fala em uma transcrição dessa fala. Não respondem nem traduzem. Se você quisesse que o modelo falasse sobre o tom, a emoção ou a velocidade de quem está falando, ou se quisesse direcioná-lo para certas palavras ou, muito menos, imagens, teria que criar tudo isso por conta própria como

02:43 parte do sistema, e há realmente uma barreira para a facilidade com que esses sistemas podem ser escalados. Avançando para agora, que é, claro, a era dos LLMs: os primeiros LLMs eram principalmente de texto, mas, mesmo naquela época, acho que dava para improvisar incorporando embeddings de áudio a esses modelos de texto, e funcionava mais ou menos. Mas, é claro, há bastante tempo os modelos Gemini são multimodais de forma nativa. O que isso significa? Significa que, quando treinamos esses modelos na etapa de pré-treinamento, de onde vem a maior parte dos dados, usamos exemplos multimodais intercalados. Então, o diagrama de baixo aqui mostra um exemplo de como isso poderia

03:14 ser. Esta é uma tarefa em que você pede ao modelo para resumir uma história para dormir, e há um prompt de texto no começo, mas depois vem uma sequência de entradas de vídeo e áudio que o modelo recebe. E, claro, o que se espera que o modelo faça aqui é produzir tanto o resumo quanto anotar os momentos em que acontecem coisas interessantes, e assim por diante. Então, este exemplo ensina o modelo a traduzir sua compreensão do áudio e do vídeo em texto. Pode haver outros exemplos no pré-treinamento que peçam para gerar uma legenda para um vídeo. Assim, você pode ter um vídeo com áudio, e o modelo aprende a considerar tanto o vídeo quanto o

03:48 sinal de áudio para gerar uma boa legenda. E, claro, há vídeos ilimitados no YouTube com legendas que podem ser usados para treinar esses modelos. Outros modelos podem até tentar gerar áudio a partir do vídeo ou do texto, certo? Então, você pode ter ASR, TTS ou qualquer combinação deles, além de todos esses tipos de tarefas agênticas, aprendidos em um único espaço unificado de embeddings de tokens. Isso se torna a base de muitas coisas que queremos fazer em áudio, porque já temos um modelo que entende áudio, vídeo, texto e como essas coisas se relacionam e passam de uma para outra.

04:19 Então, bem rapidamente, uma das aplicações que isso possibilita e que lançamos recentemente é a tradução ao vivo, certo? Esse é um tipo de aplicação que só funciona quando todas essas capacidades estão operando dentro do mesmo modelo. Você tem, basicamente, qualidade de tradução de ponta. Embora esse modelo traduza enquanto o usuário ou as pessoas estão falando, imagine: “Ei, eu falo inglês. Talvez alguns amigos estejam conversando em espanhol, italiano e chinês.” Ele traduz tudo para o seu idioma enquanto eles falam. E o que estamos descobrindo é que a qualidade da tradução nesse caso, de tradução simultânea em tempo real, é tão boa quanto a que você teria com sistemas não simultâneos, certo?

04:52 Nos quais você conhece a fala inteira desde o começo. Então, isso é algo que tradicionalmente tem sido muito difícil de fazer com esses sistemas em cascata, mas, com LLMs, muita coisa acaba vindo do pré-treinamento. É claro que, para realizar essa tarefa, o modelo precisa alternar entre idiomas, porque você pode estar traduzindo entre idiomas diferentes e não sabe de antemão quais serão esses idiomas. Ele precisa preservar a voz de quem está falando no idioma de origem e conseguir entender várias pessoas falando, ser robusto a ruídos e, claro, fazer tudo isso em tempo real, certo? Então, mais uma vez, seria muito difícil tentar

05:23 engenheirar isso, mas, com os modelos LLM e Gemini, isso quase se torna uma tarefa de prompt. E, sobre isso, sei que neste diagrama estamos dizendo: “Ei, no topo, com esses modelos, se você pedir por prompt que ele fale dessa maneira, na tarefa de tradução simultânea, e fornecer o áudio, ele produzirá a tradução simultânea, certo? O mesmo modelo, se você pedir que aja como um agente e responda a entradas de imagem e áudio, talvez fazendo perguntas sobre a imagem, dará uma resposta. E, por fim, como mostraremos muito bem com exemplos, você também pode fazer com que ele crie esse agente virtual incorporado, sabe, que

05:55 tem um rosto, tem coisas e ferramentas que pode mostrar a você, e proporciona esse tipo de experiência com um agente incorporado. Com isso, vou passar a palavra à Valeria para falar mais sobre a visão norteadora e alguns dos principais produtos de demonstração que criamos. >> É, para criar esse tipo de modelo/produto versátil e universal, há três eixos que levamos em conta na pesquisa e no desenvolvimento de produtos para esses modelos. E eles também trazem alguns desafios, então vou explicar alguns deles. No centro de um modelo de fala para fala,

06:27 a primeira coisa em que as pessoas geralmente pensam é que ele é muito conversacional, certo? Tem baixa latência, é muito conversacional, ágil e natural. Mas acho que, na nossa equipe, realmente não queremos que esse modelo apenas soe bem. Também há dois pilares no topo que nos importam muito e que queremos reunir em um único modelo: inteligência e multimodalidade. Quando falamos de inteligência, falamos de conclusão de tarefas, seguimento de instruções, raciocínio e capacidades que o modelo precisa ter de forma nativa para concluir tarefas e fazer coisas que proporcionem alta satisfação aos clientes, por exemplo. E, quanto à

07:00 Do outro lado do diagrama de Venn, também temos a ideia de que esses modelos devem ser muito multimodais, tanto na entrada quanto na saída de áudio, certo? Às vezes, o usuário não quer apenas inserir áudio e fazer disso o início da conversa. Precisamos de vídeo, compartilhamento de tela, PDFs, qualquer coisa que você queira que o modelo interprete e entenda. Devemos conseguir transmitir isso para o modelo e também gerar uma saída a partir disso. Então, essa é mais ou menos a tríade que consideramos ao pensar em modelos de fala para fala. E quero acrescentar uma ressalva sobre ITNN. Acho que, na verdade, a maioria dos nossos usuários do Gemini são

07:30 falantes de idiomas que não são o inglês. Então, damos bastante atenção a garantir que todos esses recursos funcionem não só em inglês dos Estados Unidos, mas em todos os idiomas importantes para nossos clientes. É claro que isso também se torna um dos maiores desafios da nossa pesquisa, apesar de ser nossa estrela-guia, porque, quando você ajusta uma das variáveis, é muito fácil acabar prejudicando as outras, certo? Um exemplo bem rápido: como aumentamos a inteligência do modelo? Bem, você pode definir o pensamento como alto, ou o mais alto possível, para que o modelo

08:01 pense bastante antes de chamar uma ferramenta ou responder a uma pergunta. Nas evals, isso realmente mostra uma melhora na inteligência do modelo. Mas o que isso faz com a latência, certo? E com o tempo até o primeiro áudio e a naturalidade da conversa? Então, na equipe do Gemini, estamos tentando promover iniciativas de pesquisa que consigam combinar os três aspectos sem sacrificar muito nenhum deles. Enquanto isso, vamos mostrar algumas demonstrações que, na nossa opinião, dão pistas de como nosso modelo de fala para fala pode combinar os três em um

08:32 aplicativo muito legal. O primeiro vocês já viram em uma prévia: nosso modelo ao vivo, como vocês sabem, viabiliza a tradução por streaming, com suporte a mais de 70 idiomas. Isso está um pouco relacionado ao núcleo da qualidade da conversa e aos esforços de IT&N da nossa equipe. Vou exibir um vídeo rapidinho de como isso funciona no Google Meet, ajudando duas pessoas, ou talvez várias, que falam idiomas diferentes a manter uma conversa ao vivo. Ah. Um segundo. Certo. >> Certo, vamos ativar a tradução de fala.

09:04 >> Aqui, o usuário pode simplesmente selecionar o idioma para o qual quer que a tradução seja feita, e o resto acontece em tempo real, enquanto vários interlocutores conversam. Vou mostrar um trecho do vídeo para vocês verem o que acontece. >> É ótimo ver vocês duas. Cassie, como está o tempo em Xangai? >> Prazer em conhecer vocês. O tempo aqui está muito bom, ensolarado e claro. Passei o sábado inteiro no parque com a minha família.

09:35 >> Que maravilha. Anna, você mencionou na semana passada que estava comemorando seu aniversário. Como foi? >> Ah, foi fantástico. Jantei no meu restaurante favorito com alguns amigos. Se você visitar a Suécia, precisa experimentar esse restaurante. Foi… >> Então, muitas coisas estão acontecendo. Não é só… temos a tradução em tempo real. Opa. Como volto? Certo. Não é só a tradução em tempo real que está acontecendo; também vemos que se trata de uma situação com vários interlocutores.

10:05 com baixa latência: a tradução começa logo depois que o usuário começa a falar, então não parece uma conversa realmente alternada e robótica, em que você tem medo de interromper, porque, assim que começa a falar, o modelo começa a traduzir sua fala. Agora vou mostrar outras aplicações em que usamos um único modelo de fala para fala em várias frentes de conversação. Dois produtos que quero destacar aqui usam o mesmo modelo: o Search Live, para conversas do dia a dia em qualquer idioma, e as experiências para desenvolvedores na nossa live API. Como vocês vão ver nos

10:38 vídeos, os dois casos de uso são muito diferentes, mas, como tentamos tornar esse modelo, ou esse modelo de fala para fala, muito controlável por prompt e universal, dá para ver como ele se adapta aos diferentes casos de uso. Então, vou exibir o primeiro vídeo.

11:12 Neste vídeo, há muitas coisas acontecendo. Primeiro, o aspecto multimodal: há transmissão de vídeo e áudio em tempo real, então você não precisa descrever como é o sofá. Depois, a saída multimodal: vocês viram que havia uma ferramenta chamada para mostrar os cards de pesquisa certos, caso o usuário quisesse saber mais. E, por fim, o componente de ITN: estamos adaptando o espanhol do locutor ao espanhol da Espanha. Além disso, ao responder em espanhol, o modelo também é inteligente o bastante para saber que algumas palavras devem continuar em inglês, como o termo “mid-century”. Ele não traduziu o termo diretamente para o espanhol,

11:45 porque sabia que ele era comumente conhecido em espanhol. Desculpem, em inglês. Então, este é um exemplo de como as pessoas usam o Search Live para fazer perguntas em busca de informações. Agora vou mostrar uma demonstração bem diferente, de como fazemos isso com agentes de voz conversacionais. Ah. Desculpem. >> Oi, estou com um pneu furado e tive que parar no acostamento. Você pode

12:18 ajudar? >> Olá, você ligou para a assistência rodoviária da Auto Transform Insurance. Meu nome é Ace. Sei que isso é estressante, mas vamos cuidar de tudo. Para começar, poderia me dizer seu nome e o número da sua apólice? >> Meu nome é Richard Jenkins. Eu não tenho o número da apólice em mãos. >> Sem problema, Richard. Posso encontrar seus dados pela placa do carro e pelo código postal. Poderia me informar esses dados, por favor? >> Nossa, essa foi por pouco. É… minha

12:49 placa é BD21 XYA e meu código postal é SN48ZX. >> Dados da apólice da placa BD21 XYA. Obrigado. Para sua segurança, fique longe da estrada. Encontrei seus dados e vejo que você está em um Mini Cooper F-Series azul. É esse o veículo em que está? >> Sim, sim, é esse o veículo.

13:20 >> Entendi. >> Certo, vou pausar aqui, mas, como vocês podem ver, coisas bem diferentes estão acontecendo por baixo dos panos com o mesmo modelo. Aqui, o foco é mais na precisão alfanumérica para números de códigos postais ou endereços complexos. Temos um recurso chamado áudio proativo, que é a ideia de que o LLM sabe quando deve ou não responder a uma entrada externa. Por exemplo, se você estiver conversando e outra pessoa começar a falar, ou houver ruído de fundo, o modelo sabe que não deve parar nem interromper a própria fala por causa do ruído externo. Percebemos que a maioria dessas conversas

13:53 não acontece em uma sala de escritório silenciosa, em um ambiente fechado. Elas acontecem enquanto as pessoas estão em movimento, no trem, durante uma caminhada. E esse é o tipo de experiência que queremos viabilizar com o modelo de fala para fala. Por fim, outra coisa que nos entusiasma é não apenas a saída de voz, mas também a saída multimodal. Acreditamos que a verdadeira fronteira conversacional da AGI também exigirá presença visual. Por isso, ficamos empolgados em lançar nossa primeira demonstração-piloto com City na Cloud Next, que oferece avatares personalizados em tempo real.

14:24 E você pode personalizar tudo, de uma pessoa hiper-realista a uma aparência de desenho animado, passando por todos os estilos intermediários. Com a tecnologia do mesmo modelo de fala para fala que mostramos, isso permite conversas fluidas e contínuas, com baixa latência, sincronização labial multilíngue e presença visual. Vou mostrar uma demonstração que também reúne nosso diagrama de Venn e aquilo que nos entusiasma. >> Tudo isso me faz pensar no fundo para a faculdade da minha filha. Como estamos indo com ele?

14:55 >> Você está indo bem, Jackson. Também identifiquei uma nova oportunidade que pode ajudar você a chegar lá ainda mais rápido. Ah, vejo que Lisa acabou de entrar. Oi, Lisa. Ela deve estar muito animada com a aprovação na faculdade. É maravilhoso ver suas metas de poupança se concretizando. >> Excelente. Las cosas han estado tan inestables últimamente. >> Sí. Los servicios de tecnología y comunicaciones han mostrado un desempeño sólido en lo que va del año. >> Essas são boas notícias.

15:26 >> Eu sempre brinco que o áudio do usuário em espanhol é pior do que o áudio do modelo respondendo, mas isso serve mais para mostrar como nosso diagrama de Venn — que combina, sabe, multimodalidade de entrada e saída, tool calling para buscar os exemplos relevantes do usuário e também fluidez conversacional com ITNN — está começando, aos poucos, a se unir nesses tipos de demonstração, cuja fronteira estamos animados para continuar expandindo. Então, para encerrar, acho que o último pensamento que temos para vocês é que acreditamos que a AGI não será digitada, será falada. E, para que ela seja falada, há muita coisa

15:59 que precisa funcionar em conjunto em um único modelo versátil, que possa receber prompts e permita ao usuário alternar entre todos os tipos de modos de conversa que estamos analisando, certo? Da tradução à execução de ações, ao brainstorming e a divagar, acreditamos muito no potencial desses modelos de speech-to-speech para possibilitar essa alternância perfeita. Estamos animados para expandir essa fronteira. Então, se vocês estão animados ou querem saber mais, venham conversar conosco. Muito obrigado por terem vindo.

16:38 >> [música]

Transcrição original

[00:01] [music] >> Hi everyone. Thanks for coming to our talk. We’re going to talk a lot about how we are planning on voiceifying the agentic future with speech-to-speech research here at Google DeepMind. My name is Valeria. I’m the product lead for the speech-to-speech model in Gemini and Tom. >> Yeah, my name is Tom. I work on speech-to-speech as an engineer and Gemini. So, yeah, great to be presenting our work.

[00:33] >> Cool. So, before we start diving into the history of Google research and audio and the latest research we’ve been doing, I just want to take a step back and really kind of like think about why this is important to us in the team. And the main reason is that voice is the most natural way for humans to interact with both the physical and the virtual world. And we’re already seeing so many applications that are starting even within the own Google products. We see voice being used to ask questions and you know, do homework or info seeking or EDU in search live and Gemini live. All

[01:05] the way to these same models being deployed in cloud and the API for enterprise or voice agent use cases. Should I use this as a microphone? Hello. Okay. Um So, because of that, we only think that the number of applications is going to, you know, exponentially increase over the next few years and we believe that speech-to-speech models are the way to go when we want to build robust universal voice agents. And with that, I’ll hand it off to Tom. >> All right. So, of course, like one way to create a voice agent is to just add an ASR like speech-to-text model in the

[01:39] pipeline and then a text-to-speech model on the other end, right? So, of course, that’s where a lot of the history of speech come from. Of course, Google has been working on this for a long time. I’m going to give you a little bit of a historical overview of what speech modeling, especially speech-to-text automatic speech recognition, typically looks like, right? So, up until around 2018, this usually involved a lot of different components. You have um you know of course feature extraction that’s fairly general and then you have all these different pieces like acoustic modeling, pronunciation modeling, language modeling, a second pass rescoring that allows you to go from the audio input to a text transcription. Right? And of

[02:12] course like around 2018, these moved more and more towards end-to-end systems. You don’t have to have so much domain knowledge. You can actually have mostly the the neural model learn this pattern and mapping between acoustic inputs and text. But these aren’t really the end-to-end models that we think about when we think about LLMs. They’re only doing kind of one thing, which is speech to a transcription of that speech. They’re not responding, they’re not translating. If you wanted to have the model tell you about the tone or the emotion or the speed of the speaker. If you wanted to bias it towards words or much less like images, those are all things you have to build yourself as

[02:43] part of the system and there’s really really a barrier to how easily you can scale these systems. So, fast forward to now, which is kind of of course the LLM era, right? Like you know, the first LLMs were mostly text, but even there I think you could kind of hack audio embeddings into these text models and it kind of worked, but now of course for a long time now, Gemini models have been very natively multimodal. So, what does that mean? It means that when we train these models in pre-training, which is where the bulk of the data comes from, these are multimodal interleaved examples, right? So, the bottom uh diagram here gives you kind of one example of what that might

[03:14] look like. So, this is a task where you’re asking the model to summarize a bedtime story and there’s a text prompt in the beginning, but then there’s this sequence of video and audio inputs that the model gets and then of course like what you expect the model to do here is produce um both the summary and also annotate timestamps for where interesting things happen and so forth. So, this example is teaching the model to translate its understanding of the audio and the video into text. You might have other examples in pre-training that ask you to caption a video. So, you might have a video that has audio and the model is learning to bias towards both the video and the

[03:48] audio signal to caption this well. And of course like there’s limitless like YouTube videos with captions that you can train these models on. Other models might actually try to generate audio from the video from the text, right? So, you can have ASR, TTS, or any combination of these plus all of these sort of agentic tasks all kind of learned under one unified token embedding space. So, this becomes a foundation for a lot of what we want to do in audio because we already have a model that understands audio, video, text, and how these things relate and transition from one to the next.

[04:19] So, very quickly, like one of the applications that this enables that we’ve launched recently is live translation, right? And this is a kind of application that kind of only works when you have all of these capabilities working within the same model. You have basically state-of-the-art translation quality. Even though this model is translating basically as the user or speakers are speaking, you kind of ask, “Hey, I I speak English. There’s maybe friends who are talking in Spanish and Italian and Chinese.” And it’s translating all of them to your language as they talk. Um and then we’re we’re finding is the translation quality for this like streaming real-time translation is about as good as you would get with offline systems, right?

[04:52] Where you kind of know the full utterance um from the very beginning. So, that’s something that has been classically very hard to do with these cascaded systems, but with LLMs, it actually just a lot of it comes out of the pre-training. So, of course, to do this task it needs to do multilingual switching because you could be translating across different languages. You don’t know what those languages are beforehand. It needs to preserve the speaker voice of the source speaker and be able to understand multiple speakers, be robust to noise, and of course, like do all this in real time, right? So, again, it would be very hard to try to

[05:23] engineer this, but then with the LLM and Gemini models, this almost becomes a prompting task. And on that, like, I know, in this diagram we’re saying, “Hey, at the top with these models, if you prompt it to do the speaking like this streaming translation task, and you give it the audio, it will produce the streaming translation output, right? The same model, if you ask it to act like an agent and respond to maybe image and audio input, maybe asking questions about that image, it will give you an answer. And finally, like very well we’ll show examples of this, you can also have it create this embodied, you know, virtual agent that

[05:55] has a face, that has, you know, things and tools that it can show you, and it will produce this sort of embodied agent experience. So, with that, I’m going to give it to Valeria to talk more about the North Star and some of the key demo products that we built. >> Yeah, so to create this type of kind of universal, versatile, uh kind of model/product, there’s like three vectors that we think about when we do research and product for these models. Um and they also come with some challenges, so I’ll like walk you through some of them. So, at the core of a speech-to-speech model, the

[06:27] first thing that people usually think about is that it has very conversational, right? It’s low latency, it’s very conversational, very snappy, very natural. But, I think within our team, we really don’t only want this model to sound nice. We also have two pillars at the top that we also really care about like pulling all together into one model, which is intelligence and it being multimodal. So, when we talk about intelligence, we talk about, you know, task completion, instruction following, reasoning, like capabilities that the model needs to have natively in order to complete tasks and to like do things uh that have high customer satisfaction, for example. And on the

[07:00] other side of the Venn diagram, we also have the idea that these models should be very multimodal, both in audio in and audio out, right? So, sometimes a user doesn’t only want to input audio in and have that be the start of the conversation. We need video, your screen sharing, PDFs, whatever you would want the model to interpret and understand, we should be able to stream it in and also produce output out of it. So, that’s kind of like the trifecta of which we think about speech-to-speech models. Um and I want to add a caveat about ITNN. I think actually the majority of our Gemini users are

[07:30] non-English speakers. Um so, we put a big focus on having and making sure that all these capabilities work within not only, you know, EN-US, but all the languages that our customers care about. Um of course, this also our North Star also becomes one of the biggest challenges in our research because once you move one of the knobs, it’s very easy for the other knobs to kind of like mess up, right? Like a very quick example, oh, how do we increase intelligence in the model? Well, you can turn thinking high or like the thinking is high as possible to have the model

[08:01] think a lot before calling a tool or answering a question, which in eval’s it does show that it does improve the model’s intelligence. But when what does that do to latency, right? And time to first audio and the naturalness of the conversation? So, within the Gemini team, we’re really trying to push forward research initiatives that can kind of blend in the three of them without really sacrificing any of those by a lot. Um, but in the meantime, we’re going to show you some of the demos that we think are hinting at how our speech-to-speech model can combine all these three into

[08:32] really cool application. So, the first one is you kind of saw this as a preview, but our live model, as you know, uh, powers streaming translation that supports 70+ languages. So, this is a little bit around the core of conversation quality and IT&N efforts that we have in the team. I’ll play a quick video on how this works on Google Meets to help two people or maybe multiple people that are speaking different languages still have a live conversation. Oh. One sec. Okay. >> Okay, let’s turn on speech translation.

[09:04] >> So, here the user can simply select the language that they want the translation to happen in and then the rest will be done in real time in multiple speakers kind of having a conversation back and forth. So, I’ll show you a snippet of this video of what happens. >> It’s great to see you both. Cassie, how’s the weather in Shanghai? >> It’s nice to meet you. The weather here is really nice, sunny and bright. I spent all day Saturday in the park with my family.

[09:35] >> That sounds wonderful. Anna, you mentioned last week that you were celebrating your birthday. How was it? >> Oh, that was fantastic. I had dinner at my favorite restaurant with some friends. If you visit Sweden, you must try this restaurant. It was >> So, um a lot of things happening. Not only there’s, you know, real-time translation. Whoops. How do I back to Okay. Um not only there’s real-time translation that is happening, uh but we see that it’s in a multi-speaker

[10:05] setting, you know, low latency, like right after the user starts speaking, the translation kicks off, so that it doesn’t feel like it’s really turn by turn and robotic and you’re afraid to interrupt because, you know, once you start speaking, the model will start catching your translation directly. So, now I’ll show some other applications where we see that we have one single speech-to-speech model for many conversational frontiers. So, two products that I want to highlight here are the same model that we power search live for everyday conversations in any language. It’s the same model that we use to power developer experiences in our live API. As you’ll see in the

[10:38] videos, both use cases are extremely different, but because we try and make this this model or this speech-to-speech model very promptable and universal, you can see how it adapts to the different use cases. So, let me just play the first video.

[11:12] So, to highlight in this video, many things are happening. First, the multimodal, you know, it’s real-time uh video and audio streaming in, so that you don’t have to actually describe what the sofa looks like. But then the multimodal out, you see that there was a tool called made to pull up the right search cards if the user wanted to know more information. And then finally, the ITN component, you know, we’re localizing the speaker’s Spanish to Spain Spanish. And also, when we do the kind of responding in Spanish, we’re also smart enough to know that some words are better to be left in English, like the mid-century type of word. It didn’t translate it directly to Spanish

[11:45] cuz it knew that the term was commonly known in English. Sorry, in Spanish. So, this is one example of how users are using search live for like info-seeking questions. Now, let me show a very different demo on how we do this for conversational voice agents. Oh. Sorry. >> Hi, I’ve blown a tire and had to pull over to the side of the road. Can you

[12:18] help? >> Hello, you’ve reached Auto Transform Insurance Roadside Assistance. My name is Ace. I understand this is stressful, but we’ll take care of everything. To get started, could I please have your name and your policy number? >> Uh my name is Richard Jenkins. I I don’t actually have my policy number to hand. >> No worries, Richard. I can look you up with your registration plate and postcode instead. Could you provide those for me, please? >> Whoa, that was a bit close. Um yeah, my

[12:49] registration plate is BD21 XYA and uh my postcode is SN48ZX. >> Policy details BD21 XYA. Thank you. For your safety, please stay clear of the road. I’ve found your details and I see you’re in a blue Mini Cooper F-Series. Is that the vehicle you’re in? >> Yeah, yeah, that that’s the vehicle.

[13:20] >> Got it. >> Okay, so I’ll pause it here, but as you can see, very different things are happening under the hood with the same model. You know, it’s more about alphanumeric accuracy for complex kind of like postcode numbers or addresses. There’s like this feature that we have called proactive audio, which is the idea that the LLM knows when or when not to respond to an external input. So, for example, if you’re in a conversation and someone else is talking or there’s background noise happening in the back, the model knows to not stop or cut itself short because there’s external noise happening. Because we realized that the majority of these conversations

[13:53] are not happening in an office room with like no noise, you know, in a sealed environment. They’re happening on the go, on the train, while you’re on a walk. Um and that’s the type of experiences that we want to facilitate with the speech-to-speech model. Um lastly, um another thing we’re really excited about is not only voice out, but also multimodal out. We believe that, you know, the true AGI conversational frontier will also require visual presence. So, we were excited to launch our first kind of pilot demo with City um in Cloud Next, which supports customized real-time avatars.

[14:24] Um and you can kind of like personalize anything from a hyperrealistic human to a cartoon appearance and everything in the middle. And powered by the same speech-to-speech model we’ve been showing, it allows to have, you know, low-latency, multilingual lip-syncing, and a really kind of like uh ongoing fluid conversation that has visual presence. So, let me show you a demo that also brings our Venn diagram together and what we’re excited about. >> All this is reminding me of my daughter’s college fund. How are we tracking on that?

[14:55] >> You’re tracking well, Jackson. I’ve also identified a new opportunity that may get you there even sooner. Oh, and I can see Lisa just joined you. Hi, Lisa. She must be so excited about her college acceptance. Congratulations. It’s wonderful to see your savings goals coming to life. >> Excelente. Las cosas han estado tan inestables últimamente. >> Sí. Los servicios de tecnología y comunicaciones han mostrado un desempeño sólido en lo que va del año. >> That’s good news.

[15:26] >> I always joke that the user’s audio in Spanish is worse than the audio model speaking back, but um this is kind of just to show how like our Venn diagram of combining, you know, multimodality in and out, you know, tool calling to like pull up the relevant examples from the user, and also conversational fluidity with ITNN are starting slowly to come together in these types of demos that we’re excited to keep pushing the frontier of. Um so with this parting thought, I guess last kind of thought that we have for you is that we believe that AGI will not be typed, that it will be spoken. Um and for it to be spoken, there’s a lot of

[15:59] things that need to work together in a single promptable, versatile model that allows a user to switch between all the sorts of conversation modes that we’re looking at, right? From translation to taking action to brainstorming to rambling, and we truly believe in the power of these speech-to-speech models to achieve that like seamless switching. Um so we’re excited to push the frontier on that. So if you’re excited or want to learn more, please come talk to us, and thank you so much for coming.

[16:38] >> [music]