Seu agent consegue ouvir você agora? Criando agents de voz ao vivo com Gemini — Thor Schaeff

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Can Your Agent Hear You Now? Building Live Voice Agents with Gemini — Thor Schaeff · Canal: AI Engineer · 19:50 · Assistir no YouTube

Tópicos: Agentes de IA, Ferramentas de desenvolvimento com IA, Geração de conteúdo com IA, Modelos multimodais

Resumo

Thor Schaeff apresenta recursos multimodais do Gemini e demonstra geração de imagens, tradução de voz em tempo real e um agent de voz que cria música sob demanda. Ele explica como a Live API mantém uma sessão via WebSocket para receber texto, áudio e vídeo e responder com áudio em tempo real. O modelo de áudio nativo oferece suporte a 90 idiomas, permite interrupções e pode usar ferramentas. A apresentação também mostra como testar os recursos no Google AI Studio e conectá-los a aplicações como CRM ou sistemas de suporte.

Pontos-chave

Gemini TTS permite gerar fala expressiva, com orientação por texto e streaming de áudio.
A Interactions API é stateful e permite encadear interações, preservar contexto e manter consistência entre imagens geradas.
Nano Banana Light reduz a latência na geração e edição de imagens.
Gemini Live Translate traduz fala quase em tempo real para o idioma escolhido pelo ouvinte.
Um agent de voz pode usar tool calls para acionar serviços externos, como gerar música, consultar um CRM ou abrir um ticket.
A Live API usa sessões WebSocket para receber texto, áudio e quadros de vídeo e devolver respostas em partes de áudio.
O modelo de áudio nativo entende e gera fala sem passar primeiro por uma etapa de texto, e oferece suporte a 90 idiomas na versão de prévia.
É possível interromper o modelo durante a fala e obter também a transcrição do áudio.
Google AI Studio oferece uma forma de experimentar o modelo, escolher uma voz e habilitar grounding com Google Search.

Capítulos

Início	Capítulo	Resumo
00:12	Apresentação e recursos do Gemini	Thor Schaeff apresenta o tema e mostra recursos de fala do Gemini TTS.
04:02	Geração de histórias e imagens	Uma demonstração combina Gemini Live, Nano Banana Light e a Interactions API para criar imagens consistentes a partir de uma história.
07:18	Tradução de voz em tempo real	O público testa o Gemini Live Translate para ouvir a apresentação em outros idiomas.
10:16	Agent de voz que cria música	Um agent conversacional usa tool calling para gerar uma música sob demanda com LIA 3.
13:33	Como funciona a Live API	O apresentador explica sessões WebSocket, entradas multimodais, respostas em áudio, suporte a idiomas e interrupções.
16:18	Testes no Google AI Studio	A demonstração final testa voz e vídeo, troca de voz, grounding com Google Search e interação em mandarim.

Citações

Gemini Live está fazendo um tool call e usando a Gemini Interactions API para gerar uma imagem na hora. — 05:06

O que quero que vocês levem daqui é essa experiência conversacional multimodal em tempo real que podem criar. — 13:33

O modelo responde em tempo real com partes de áudio, que vocês podem transmitir na aplicação. — 14:39

A inteligência está integrada ao modelo de áudio. — 15:13

Conceitos e entidades

Gemini TTS (modelo): Modelo de text-to-speech apresentado como capaz de gerar fala expressiva com baixa latência e streaming.
Gemini API (ferramenta): API usada para acessar modelos Gemini e criar aplicações conversacionais multimodais.
Google AI Studio (ferramenta): Ambiente apresentado para experimentar modelos Gemini e criar ou adaptar demonstrações.
Google DeepMind (empresa): Organização onde Thor Schaeff trabalha e responsável pelos modelos e serviços Gemini mencionados.
Nano Banana Light (modelo): Modelo de geração e edição de imagens destacado por reduzir a latência.
Omni Flash (modelo): Modelo de geração e edição de vídeo anunciado durante a apresentação.
Interactions API (ferramenta): API stateful que permite encadear interações e manter o contexto entre gerações.
Gemini Live Translate (modelo): Modelo que detecta o idioma falado e traduz a fala quase em tempo real para o idioma desejado.
Gemini 3.1 Flash Live (modelo): Modelo conversacional multimodal em tempo real usado nas demonstrações de voz e vídeo.
Live API (ferramenta): API de baixa latência para interações de voz e visão em tempo real por meio de sessões WebSocket.
LIA 3 (modelo): Modelo de geração de música acionado por um tool call na demonstração do jukebox.
LiveKit (empresa): Parceira citada como opção para facilitar a criação de aplicações em tempo real com a Live API.
Pipecat (ferramenta): Parceira citada como opção para ajudar a criar aplicações multimodais em tempo real.
Thor Schaeff (pessoa): Apresentador que trabalha com experiência de desenvolvimento na Google DeepMind.
Google Search (ferramenta): Recurso de busca que pode fornecer informações atualizadas ao modelo por meio de grounding.

Tradução completa (pt-BR)

00:12 Vocês conseguem me ouvir? Fantástico. Olá a todos. Bem, olá às poucas pessoas que apareceram por aqui. Desculpem pelas mudanças na programação. Sinto muito que vocês não tenham encontrado a área de trabalho silenciosa que estavam procurando. Certo. Vamos dar uma olhada em alguns agents com a Gemini API. Agora, antes de começarmos, vamos ouvir um pouquinho isto. Sejam todos bem-vindos ao maior palco da Terra. Vocês estão bem no

00:47 coração da maior feira mundial de engenharia de IA da história. Vamos construir o futuro juntos, que tal? Alguém sabe que modelo é esse? Sim. Vocês, vocês, vocês não podem responder. Mais alguém? Alguém sabe qual é o modelo? Não? Algum palpite? Começa com G. Gemini. Sim, é um modelo Gemini. Mas qual deles?

01:24 Não, não é o Life. Essa resposta está errada. Sim. Este é o Gemini TTS. Era isso que você ia dizer? Não. Certo. Então, síntese de fala com texto do Gemini. Na verdade, é um modelo incrível para fala expressiva. Você pode direcioná-lo com texto de áudio embutido. Também pode transmitir a fala em streaming. A latência agora é bem menor do que costumava ser. Então, se você estiver procurando uma solução de texto para fala, o Gemini TTS é um bom modelo.

01:55 Agora, vamos dar uma olhada em algumas das coisas que faremos hoje. Primeiro, meu nome é Thor. Trabalho com a experiência do desenvolvedor na Google DeepMind. Isso inclui principalmente a Gemini API e o Google AI Studio. Então, se você estiver usando os modelos Gemini pela API, me conte se tiver algum comentário. Meu colega Philip também está aqui, trabalhando nos agents gerenciados na API.

02:26 Então, se estiver usando esse recurso, contem para nós também. Isto é uma pequena prévia do workshop que faremos amanhã. Amanhã, vamos falar sobre a Gemini API, com foco especial em agents ao vivo, agents conversacionais em tempo real, agents conversacionais multimodais em tempo real. Vamos colocar tudo isso junto. E, na verdade, podemos ver algumas das novidades que foram lançadas,

03:00 mais especificamente, queremos explorar a multimodalidade do Gemini e os modelos de mídia generativa. Na verdade, este slide já está desatualizado, porque lançamos um novo modelo esta manhã. Alguém sabe qual modelo lançamos? Lançamos o Omni Flash, um modelo de geração e edição de vídeo, e lançamos o Nano Banana Light. O Nano Banana Light é um modelo muito interessante porque reduz bastante a latência da

03:31 geração e da edição de imagens. E o que eu fiz foi preparar algumas demonstrações para vermos aqui. Uma delas é este exemplo, que chamo de canvas de histórias do Gemini Nanobanana. Fiz vibe coding nele há pouco tempo e estou tendo alguns problemas com o mouse. Mas o que podemos fazer é criar uma história com o Gemini Live

04:02 e depois pedir para ele usar o Nano Banana Light para ilustrar essa história. Então, isto é um pouco como um teatro de improviso. Alguém tem um enredo para começarmos? Onde estamos? Certo, digamos que estamos em Taipei, nos anos 1980. As luzes de neon do mercado noturno de Taipei pulsavam com uma energia quase mágica, refletindo no pavimento molhado e no cromo das scooters que passavam. A chuva tinha acabado de parar, deixando uma névoa úmida suspensa no ar. Em meio à multidão de compradores e vendedores, uma jovem segurava sob o casaco um objeto pequeno e estranhamente luminoso.

04:34 Algo muito empolgante aconteceu em Taipei nos anos 1980. Surgiu um novo tipo de bebida. Ela parou em uma barraca onde um homem sacudia vigorosamente um copo de metal, criando uma mistura espumosa e leitosa. Ele entregou um copo a um cliente, que tomou um longo gole de olhos arregalados, saboreando as estranhas pérolas de

05:06 pérolas de tapioca no fundo. Assim nasceu o bubble tea, e sua doce e mastigável magia se espalhou como fogo. O que vocês podem ver aqui vem da chamada de ferramenta. Então, o Gemini Live está recebendo uma chamada de ferramenta e usando a API Gemini Interactions para gerar uma imagem na hora. Ainda leva, sabe, uns dois ou três segundos para gerar a imagem de fato, mas isso é bem

05:38 impressionantemente rápido. E, olhando o código aqui, estamos usando a Interactions API. Ela é interessante porque é uma API com estado, o que significa que podemos encadear nossas interações com muita facilidade. Como vocês podem ver, a primeira geração de imagem que fizemos não tinha um ID de interação anterior. Mas, na geração seguinte, passamos esse ID de interação anterior para a Interactions API, o que significa que temos o contexto da interação anterior

06:13 e podemos dar continuidade a ele na geração. Especificamente, para a nossa demonstração, isso significa que, como vocês podem ver, na primeira interação foi gerada uma imagem com uma identidade visual bem específica e também com personagens. Podemos dar continuidade a essa interação e manter a consistência entre essas gerações. Se ainda não experimentaram a Interactions API, ela é nossa API unificada para interagir com todos os modelos da Google DeepMind, assim como com os

06:47 agents. Experimentem. É uma maneira muito legal de interagir com tudo o que a Google DeepMind oferece. Certo, essas foram várias novidades. Isso foi do lado da mídia generativa. Lançamos o Nano Banana Light esta manhã. Também lançamos recentemente, na área de áudio, nosso modelo de tradução ao vivo. Alguém já experimentou o Gemini 3.5 Live Translate?

07:18 Sim. Certo, algumas pessoas. Fantástico. Também podemos experimentar. Vamos reproduzir uma pequena demonstração. Vou criar esta sessão de tradução ao vivo e quero que vocês escaneiem este QR code com o celular. O que está acontecendo aqui é que, se eu ativar meu microfone agora, a minha fala captada pelo microfone será enviada para esta sessão. E agora, se vocês

07:52 entrarem e selecionarem o idioma de preferência… Estamos vendo alemão. Então, alguém está me ouvindo falar em alemão agora. Se vocês estiverem ouvindo, provavelmente vão precisar de fones de ouvido. Se tiverem fones com cancelamento de ruído, podem acompanhar esta palestra no idioma de preferência. O Gemini Live Translate é um modelo realmente incrível. A tradução é quase em tempo real. Enquanto estou falando, assim que o modelo reconhece o contexto do

08:26 que estou falando, ele começa a traduzir em tempo real para o idioma desejado. Vejo alguém ouvindo por aí. Está saindo algum áudio? Conseguem ouvir? Sim. O som está bom? Fantástico. Vejam só, isto é muito empolgante porque, em uma conferência como esta, obviamente temos um público muito, muito internacional. Assim, posso falar no idioma que prefiro. Por exemplo, eu poderia mudar para o alemão agora.

09:11 o poderoso Gemini Live Translate. É um modelo realmente incrível. Ele detecta automaticamente o idioma em que a pessoa está falando e depois o traduz em tempo real para o idioma de nossa preferência. Certo, temos um público muito internacional aqui hoje. Quem está ouvindo em chinês? Você está ouvindo em chinês? Ah, certo. Não entendi o que você disse, mas

09:43 certo. Então, esse é o Gemini Live Translate. Se quiserem experimentar, podem adicioná-lo aos seus aplicativos agora. Ele está disponível na Gemini API. Experimentem. É um modelo realmente incrível e eu adoraria saber o que vocês estão criando com ele. Agora, obviamente, estamos falando de agents, certo? Será que seus agents… Qual é o título desta palestra? O Gemini inventou esse título. Então, eu… Seu agent consegue me ouvir?

10:16 agora? Acho que esse é o título. Então, nosso modelo conversacional em tempo real mais recente se chama Gemini 3.1 Flash Live. Se você já conversou com o Gemini no app Gemini, é exatamente com esse modelo que você está falando. Então, podemos fazer uma pequena demonstração aqui. Esta demonstração foi feita em vibe coding pelo Gemini no Google AI Studio. E, se você se lembra dos bons e velhos tempos, sabe, quando ouvia rádio, não faz tanto tempo assim, podia

10:48 ligar para o apresentador de rádio e pedir uma música, certo? Podia pedir uma música. Então, a ideia aqui é a mesma. Estamos usando o Gemini Live como nosso DJ de rádio e dando a ele uma API, uma chamada de função para a API do Gemini, para usar o Lyria 3, nosso modelo de geração de música, e então gerar músicas para nós sob demanda. Certo, vamos experimentar. Estamos passando de uma demonstração ao vivo para outra. Vamos ver. Olá!

11:23 Você está ao vivo na jukebox ao vivo agora. Que música incrível vamos criar para você hoje, amigo? Para preparar essa faixa direitinho, preciso de uma ideia melhor. Que gênero você está pensando? Synth-pop animado, jazz suave, algo com um pouco mais de… E qual é o clima da letra? Dê alguns detalhes. >> Sim. Podemos fazer um reggaeton bem energético, por favor? Sobre a feira mundial de engenharia de IA aqui em San Francisco. >> Isso parece uma verdadeira pedrada, amigo. Reggaeton de alta energia sobre a feira mundial de engenharia de IA.

11:54 Incrível. Certo. Para fazer isso chegar ao topo das paradas, tem alguma tecnologia específica ou algum nome famoso que você queira incluir, ou vamos simplesmente buscar aquele clima grandioso de festival? >> Sim, só me surpreenda, por favor. Pode deixar, meu amigo. Prepare-se para uma grande surpresa musical: estou gerando essa faixa agora mesmo. Misturando o ritmo do reggaeton com a empolgação tecnológica da Feira Mundial. Vai fazer seus fones de ouvido explodirem. Feira. Que sensação. Vamos para a pista. Redes neurais entrando em ação.

12:26 Inovador, sem dúvida. Algoritmos inteligentes dançando. Pioneiros da tecnologia se misturando. Isso é inovação. A linha de baixo pulsa forte. Está sentindo o calor? Ataques de synth eletrizantes. Mexa os pés. É assim que a gente faz. Sim, isso foi bem legal. Você também mudou de idioma. Boa! Valeu. >> Valeu, amigo. Fico feliz que tenha gostado do estilo.

12:59 Continue trazendo essas grandes ideias. Esta jukebox nunca dorme. O que vamos tocar em seguida? Sentindo… >> Certo. Sim, você pode experimentar por conta própria. É uma demonstração criada no Google AI Studio. Então, se quiser, pode fazer um fork dela no AI Studio e continuar por conta própria. Sei que talvez este aplicativo não seja necessariamente tão útil para o contexto da sua empresa, se é isso que você está tentando fazer, mas acho que os componentes individuais são definitivamente úteis. Então, se você estiver criando agentes conversacionais em tempo real,

13:33 você vai querer que eles sejam multilíngues e tenham recursos de tool calling. Neste exemplo, demos ao agent uma chamada de ferramenta para gerar música com o Lyria 3 sob demanda. Obviamente, ele também poderia consultar seu CRM e buscar informações de clientes ou criar um novo ticket no backend. Então, o que eu quero que vocês levem daqui é esse tipo de experiência conversacional multimodal em tempo real que vocês podem criar. E então

14:08 a maneira de criar com este modelo, o modelo conversacional em tempo real Gemini 3.1 Flash, é por meio da API Live. A API Live é uma API de voz e visão em tempo real e de baixa latência. Com ela, você pode criar interações multimodais ao vivo, em tempo real. Isso significa que você tem uma API WebSocket com estado, na qual cria uma sessão e, por meio desse WebSocket, pode

14:39 enviar texto, áudio e quadros de vídeo ao modelo em tempo real, e o modelo responderá em tempo real, com trechos de áudio. Você pode então transmitir esses trechos de áudio no seu aplicativo. Além do áudio, você também recebe a transcrição do que foi dito. Então, se você já trabalhou com agentes de voz, isso é um pouco diferente do pipeline em cascata típico de um agente de voz, porque este é um modelo de áudio nativo. Ou seja, o próprio modelo não passa

15:13 pelo texto; em vez disso, a inteligência está incorporada ao modelo de áudio. Assim, o modelo de áudio consegue entender a fala de forma natural e nativa, e responder em qualquer um dos 90 idiomas compatíveis. É isso que nos permite alternar com muita fluidez entre diferentes idiomas. Então, alguns dos principais recursos: suporte multilíngue. Atualmente, há suporte a 90 idiomas na prévia. Podemos interromper o modelo, podemos

15:45 interromper o modelo, certo? Se nosso DJ estiver falando por tempo demais, podemos interrompê-lo e dar a ele ferramentas; também temos a transcrição de áudio. Agora, se você estiver criando aplicativos conversacionais em tempo real ou aplicativos multimodais em tempo real, escalar mídia em tempo real pode ser bem desafiador. Por isso, temos uma ótima lista de parceiros. LifeKit e Pipecat, por exemplo, estão aqui na área de exposição. Recomendo que vocês passem lá para visitá-los. Eles fazem

16:18 coisas realmente muito legais para ajudar você a começar a usar rapidamente a API Gemini Live. Certo, se agora você está pensando: “Tudo isso parece ótimo. Quero usar”, a maneira mais fácil de experimentar é pelo Google AI Studio. Gastamos bastante dinheiro neste domínio, AI.studio. Então, agradeço se você usar esse endereço. Assim, conseguimos algum retorno sobre o investimento. Então, ai.studio/live. Você pode experimentar o modelo. Pode conversar

16:49 com ele e entender os recursos disponíveis. Vamos fazer isso agora. Vamos acessar AI.dev. Também temos AI.dev. Sim, por favor, use esse também. Esse também não foi nada barato. Pronto. AI.dev/live. Aqui, você também pode experimentar o modelo de tradução ao vivo, se quiser. Mas podemos selecionar o modelo Gemini 3.1 Flash Live. Podemos selecionar uma

17:22 voz diferente. Por exemplo, eu gosto da Puck. Também podemos ativar o grounding com a Pesquisa Google. Obviamente, o modelo foi treinado com muitas informações, mas não tem acesso a informações em tempo real, certo? Ao dar acesso à Pesquisa Google, ele pode pesquisar informações; é basicamente como uma chamada de função integrada. Se perguntarmos a ele sobre o clima de hoje ou por que a Alemanha jogou tão bem na Copa do Mundo, ele pode

17:53 fazer isso e usar o Google para pesquisar. Certo, vamos experimentar. >> Ei, você consegue me ouvir? >> Sim, consigo ouvir você perfeitamente. Como posso ajudar hoje? >> Você consegue me ver? >> Sim, consigo ver você claramente. Você está usando uma camisa preta e um boné preto, sentado em frente a um fundo azul. Há algo específico que você queria me mostrar? >> Sim. O que está escrito no meu moletom? >> Consigo ver a palavra Gemini escrita em letras amarelas. Quer que eu identifique mais alguma coisa?

18:44 Ah, certo. Acho que meu mandarim não funcionou muito bem. Você também pode falar mandarim, por favor? >> Sim, também posso falar mandarim. O que você gostaria de dizer agora? Sobre o quê? >> Certo. Se você não lê mandarim, peço desculpas. Eu só estava perguntando

19:18 ao modelo o que ele tinha comido, e disse que ele não precisa comer porque é um modelo. Então, é isso. Certo. Essa é a maneira mais fácil de começar com o Gemini AI Studio Live. Se quiser saber mais sobre como criar com o Gemini e a API Gemini Live, junte-se a mim amanhã de manhã na sala 2009, acho. Confira a programação. Ela

19:50 muda de vez em quando. Mas, tirando isso, Dankur, obrigado. Valeu.

Transcrição original

[00:12] Can you hear me? Fantastic. Hello everyone. Well, hello couple people that wandered in. Um, I’m sorry the schedule has been changing around. I’m sorry you didn’t find the quiet working area you were looking for. All right. Um, we are looking at some agents with Gemini API. Now, before we kick off, let’s have a little listen to this. Welcome one and all to the grandest stage on Earth. You’re standing right at

[00:47] the heart of the largest AI engineer World’s Fair in history. Let’s build the future together, shall we? Does anyone know what model that is? Yeah. You you you you’re not allowed. Anyone else? Anyone know which model? No. Any guesses? It starts with G. Gemini. Yes, it is a Gemini model. But which one?

[01:24] No, it’s not life. That’s incorrect. Yes. This is Gemini TTS. Is that what you were about to say? No. Okay. Um, so Gemini text to speech. Uh, actually a really incredible model for expressive speech. You have inline audio text you can steer it with. Um, you can stream the speech. It’s a lot lower latency now than it used to be. So uh if you are in the market for some speech uh text to

[01:55] speech that is Gemini TTS is a good model. Now let’s have a look at uh some of the things we’re doing today. Uh first of all my name is Thor. I work on the developer experience at Google DeepMind. So that mostly includes Gemini API and Google AI Studio. So if you’re using the Gemini models through the API, uh you know, let me know if you have any feedback. I have my colleague Philip here as well, uh who’s working on

[02:26] managed agents on the API. So if you’re using that, uh let us know as well. So this is a bit of a a prelook at the workshop we’re doing tomorrow. Um so tomorrow we’ll do kind of Gemini API especially focused on um live agents uh conversational agents real time uh conversational agents multimodal real-time conversational agents we’re just packing everything in there um and so what we can look at actually there’s uh been a lot of things that shipped and

[03:00] so specifically what we want to look at is the multimodality of Gemini and the gen media models Uh so actually this slide is already out to date because this morning we shipped a new model uh that is called anyone know which model did we ship? We shipped Omni Flash which is uh a video generation and editing model and we shipped Nano Banana Light. So Nano Banana Light is a really exciting model because it cuts down the latency of

[03:31] image generation and image editing quite significantly. And so what I’ve done, we’ll we’ll do a couple demos here. Uh and one of the demos is um this example here, which I call the uh Gemini Nanobanana story canvas. Uh and I just VIP code this up uh just recently and I’m having some trouble with my mouse here. Um but so what we can do is we can come up with a story with um Gemini Life

[04:02] and then have it use Nano Banana Light to to illustrate that story for us. So anyone you know this is a little bit like improv theater now. Anyone has a story line they want to start with? Where are we somewhere? Okay, let’s say um we’re in Taipei in the 1980s. The neon lights of Taipe’s night market pulsed with an almost magical energy reflecting off the wet pavement and the

[04:34] chrome of passing scooters. Rain had just passed, leaving a humid mist that hung in the air. Amidst the throng of shoppers and vendors, a young woman clutched a small, strangely glowing object under her jacket. Something very exciting happened in 1980s Taipei. A new kind of drink emerged. She paused at a stall where a man was vigorously shaking a metal cup, creating a frothy, milky concoction. He handed a cup to a customer who took a long sip with wide eyes, savoring the strange

[05:06] tapioca pearls at the bottom. This was the birth of bubble tea, and its sweet, chewy magic was spreading like wildfire. So what you can see here is uh from the tool call. So Gemini Life is getting a tool call um and then it’s using the Gemini interactions API to generate an image on the fly. Now it still takes kind of you know two to three seconds for the actual image generation but that is um pretty

[05:38] impressively fast. And um what you can look at is if you’re looking at the code here uh we’re using the interactions API. And so the interactions API is exciting because it is a stateful API which means we can chain our interactions very seamlessly. So you could see here the first image generation that we were doing uh it didn’t have a previous interaction ID but then the next generation that we were doing we’re passing this previous interaction ID to the interactions API which means that we have the previous

[06:13] context of the previous interaction and we can continue that in the generation. So what that means specifically for our demo here is that you can see is our first you know interaction uh it generated an image with a very specific kind of visual feeling and also with characters right and so we can continue that interaction and so we can keep the same consistency kind of across these generations. So if you haven’t tried out the interactions API, uh it is our unified API for interacting with all of the Google DeepMind models as well as

[06:47] agents. Uh and so do try that out. It is a it is a really really cool um way to interact with everything that Google DeepMind has. Okay, so this was you know a bunch of things that happened. Um so this was kind of on the Gen Media side. We shipped uh Nano Banana Light this morning. Now, we also recently shipped on the audio side our live translation model. Has anyone tried out Gemini 3.5 live translate?

[07:18] Yes. Okay, a couple folks. Uh, that’s fantastic. So, what we can do is uh we can try that out as well. We can play uh a little demo. And so what I’m going to do here is I’m going to create this live translation session and I want you to scan uh this QR code on your phone. And so what this is doing here is if I now enable um my microphone. So this is getting the the microphone of my speech um here into the session. And now if you

[07:52] go in and you select your preferred language. So we’re seeing here we’re getting some German. So someone is listening to me now speaking in German. And so if you are uh now listening to this, so you probably need some headphones. So if you have some noiseancelling headphones, you can now listen into this talk in your preferred language. And so Gemini live translate is a really incredible model. It’s near realtime translation. So as I’m speaking, as soon as the model is recognizing kind of the context of

[08:26] what I’m speaking about, uh it will then start translating in real time to your desired language. So I see someone is listening in there. Do do you get some audio out? Can you hear it? Yeah. Does it sound good? Fantastic. See, um, so this is this is really exciting because you know in a conference like this obviously we have a very very international audience and so I can speak in my preferred language. So I could switch to German now for example.

[09:11] the powerful Gemini live translates. Um, it is a a really incredible model. Um, it automatically detects the language the speaker is speaking and then translates it in real time uh into our preferred language. Okay, we have uh a very international crowd here today. Uh, who’s listening in in uh Chinese? Are you listening in Chinese? Oh, okay. I didn’t understand that, but

[09:43] okay. Um, so that is Gemini live translate. Um, if you want to try it out, you can add it to your um applications now. It is available on the Gemini API. So, do try that out. uh it is a really incredible model and uh would love to hear kind of what you’re what you’re building with that. Now obviously we’re looking at uh agents, right? Can your agents uh what’s it the title of this talk? Gemini made up this title. So I uh can your agent hear me

[10:16] now? I think that that is the title. So our most recent real time conversational model is called Gemini 3.1 Flash Life. Now, if you’ve talked to Gemini before in the Gemini app, that is exactly the model that you’re speaking to. And so, we can do a little demo here. So, this demo was vipcoded by Gemini in Google AI Studio. And if you remember the good old times, you know, when you were listening to radio, you know, not too long ago, you could

[10:48] phone up the the the radio host and you could ask for a song, right? You could wish for a song. So, it’s the same idea here. We’re using Gemini Life to be our radio DJ and then we’re giving Gemini Life an API, a function call to the Gemini API to then use LIA 3, which is our music generation model to then generate some music for us on demand. Okay, let’s uh try this out. We’re we’re just going live demo to live demo here. Let’s let’s see. Well, hello there.

[11:23] You’re live on the live jukebox right now. What absolute banger are we cooking up for you today, mate? To get this track properly sorted, I need a bit more of an idea. What genre are we thinking? Upbeat synth pop, smooth jazz, something with a bit more well. And what’s the vibe lyrics-wise? Give us some details. >> Yeah. Can we get like a really high energy ragaton, please? About the AI engineering world’s fair here in San Francisco. >> Now that sounds like a proper belter, mate. high energy regaton about the AI

[11:54] engineering world’s fair. Brilliant. Right. To make this absolutely top of the pops, any specific bits of tech or big names you want thrown in, or are we just going for that huge festival vibe? >> Yeah, just surprise me, please. You got it, my friend. Prepare for a huge musical surprise generating that track right now. Mixing that regaton rhythm with the tech buzz for the World’s Fair. It’s going to blow your headphones off. Fair. What a feeling. Let’s go on the floor. Neural networks firing up.

[12:26] Groundbreaking for sure. Clever algorithms dancing. Tech pioneers mingling. This is innovation. Baseline is pulsing heavy. Can you feel the heat? Sin stabs electrifying. Move in your feet. This is how we are. Yeah, that that was pretty cool. You went multilingual there as well. Nice one. Cheers. >> Cheers, mate. Glad you like the flavor.

[12:59] Keep those big ideas coming. This jukebox never sleeps. What are we spinning next then? Feeling. >> All right. Um, yes, you can try this out yourself. Uh, it is is a a demo that was built in Google AI Studio. Uh so if you want you can fork this in AI studio and continue yourself. Um I know this application might not necessarily be that useful for your business context, you know, if that’s something you’re looking to do, but I think the individual components are definitely useful. So if you’re building real-time

[13:33] conversational agents, uh you know, you want them to be multilingual, you want them to have capabilities, uh tool calls. So in this example, we were just giving the agent a tool call to generate music with LIA 3 uh on demand. Now obviously this could also just call out to your CRM and get some you know customer information or it could create you know a new ticket on the back end. Um so you know really what I want you to take away is kind of this real time multimodal conversational uh experience that you can build. And so

[14:08] the way that you can build with this model, so the the Gemini 3.1 flash real-time conversational model is through the life API. So the life API is a low latency real time voice and vision uh API. So you can build multiodal uh life real-time interactions. And so what this means is you have this stateful websocket API where you create a session and then over this websocket you can

[14:39] send in real time text, audio and video frames to the model and the model will then respond in real time back in audio chunks. And these audio chunks you can then stream uh in your application. Uh and in addition to the audio, you also get the transcript of what was said. So if you’ve worked with voice agents before, this is a little bit different from kind of your cascading voice agent pipeline because this is a native audio model. So the model itself does not go

[15:13] through text, but rather the intelligence is baked into the audio model. So the audio model can understand the speech naturally and natively and can then respond back in any of the 90 supported languages. So this is what allows us to to switch very fluidly between different languages. Um so kind of the key features here, yeah, multilingual support. So 90 uh different languages currently supported in the preview. Um we can barge in, we

[15:45] can interrupt the model, right? If our DJ is talking a bit too lengthy, uh we we can we can barge in, interrupt it, we can give it uh the tools and we have the audio transcription as well. Now, if you’re building real time conversational applications or real-time um multimodal applications, uh you know, real-time media can be quite challenging to scale. So, we have a great lineup of partners. So, you know, LifeKit, Pipecat, they all actually here in the expo as well. I recommend you go visit them. They do

[16:18] some really really cool stuff to allow you to get up and running quickly with the Gemini Life API. Okay, so if you’re now um you know, you’re like, “Okay, this sounds great. I want this.” Um the easiest way to try this out is through Google AI Studio. So we spend a lot of money on this domain, AI.studio. So I do appreciate if you use that one. Um so we can get some ROI there. So ai.studioife. You can try out the model. You can talk

[16:49] to it and you can understand the capabilities that are available. So let’s do that now. Uh so we’re just going to AI.dev. We also have AI.dev. Um yeah, please do use that as well. That one was was also not not so cheap. Uh there we go. AI.devlife. And so here uh we can also try out the live translate model if you want to. Uh but we can here select our Gemini 3.1 flash uh live model. We can select a

[17:22] different voice. Uh for example, I like puck here. And then also we can enable grounding with Google search. So obviously the model is trained on a lot of information but it does not have access to real time information, right? And so by giving it access to Google search, it can actually go off and it’s basically like a built-in function call. And if we ask it about today’s weather or you know why Germany played so well in the World Cup, uh we can we can do

[17:53] that and it can use Google to to look that up. Okay, let’s give this a try. >> Hey, can you hear me? >> Yes, I can hear you perfectly. How can I help you today? >> Can you see me? Yes, I can see you clearly. You’re wearing a black shirt and a black hat sitting in front of a blue background. Anything specific you wanted to show me? >> Yeah. What does it say on my sweatshirt? >> I can see the word Gemini printed in yellow letters. Anything else you’d like me to identify?

[18:44] Uh, okay. I think my uh my Mandarin didn’t work out so well there. Uh, can you also speak Mandarin, please? >> Yes, I can speak Mandarin, too. What would you like to say now? What’s about? >> All right. If you don’t read Mandarin, I do apologize. I was just asking the

[19:18] model what it has eaten, and I just said it doesn’t need to eat because it’s it’s a model. So, uh, yeah, there we go. All right. So this is the easiest way for you to get started with uh Gemini ai.studiolife. If you want to learn more about building with Gemini and the Gemini live API, join me tomorrow morning in uh room 2009, I think. Check the schedule. It it

[19:50] does change every once in a while. Uh but other than that, Dankur, thank you. Cheers.