Novidades na Gemini Live API

Autoria: Google for Developers · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: What’s new in the Gemini Live API · Canal: Google for Developers · 07:10 · Assistir no YouTube

Tópicos: Agentes de IA, Ferramentas de desenvolvimento com IA, Modelos de IA, Modelos multimodais

Resumo

O vídeo apresenta novidades da Gemini Live API: chamadas assíncronas de funções, áudio proativo, injeção de contexto com send client content e raciocínio avançado em segundo plano. A demonstração mostra como o áudio proativo permite que o agent fale apenas quando é chamado ou quando sua resposta é relevante. Também ilustra como chamadas assíncronas e tarefas de raciocínio podem continuar em segundo plano enquanto a conversa permanece responsiva. Por fim, compara modelos de raciocínio ao gerar uma ilustração SVG de um pelicano andando de bicicleta.

Pontos-chave

Chamadas assíncronas de funções permitem que ferramentas de longa duração sejam executadas em segundo plano enquanto o agent continua conversando.
O áudio proativo faz o agent falar apenas quando a resposta é necessária ou relevante.
send client content permite injetar informações na conversa sem exigir uma resposta falada.
A Gemini Live API agora oferece raciocínio avançado em segundo plano na experiência de áudio nativo.
O modelo pode continuar respondendo a perguntas enquanto trabalha em uma tarefa mais complexa, como gerar uma ilustração SVG.
A demonstração compara um modelo de áudio nativo padrão com um modelo de alto raciocínio.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação das novidades	A introdução apresenta as novidades da Gemini Live API, incluindo chamadas assíncronas, áudio proativo, injeção de contexto e raciocínio em segundo plano.
01:05	Áudio proativo e injeção de contexto	A demonstração mostra como injetar contexto sem forçar uma resposta e como configurar o agent para falar apenas quando for relevante.
02:12	Chamadas assíncronas de funções	Uma consulta de pedido ilustra como tarefas demoradas podem ocorrer em segundo plano enquanto o usuário recebe atualizações.
03:20	Raciocínio avançado com áudio nativo	O vídeo compara modelos ao pedir que gerem um SVG de um pelicano andando de bicicleta.
05:34	Tarefas em segundo plano sem perder responsividade	A demonstração destaca que o modelo pode concluir uma tarefa complexa em segundo plano e continuar respondendo durante a conversa.

Citações

Introduzimos chamadas assíncronas de funções para uma execução mais rápida, áudio proativo, a capacidade de injetar contexto com send client content e raciocínio avançado em segundo plano. — 00:32

send client content permite injetar informações sem exigir uma resposta verbal, e o áudio proativo garante que o agent fale apenas quando necessário. — 01:41

Estou mantendo você atualizado em tempo real enquanto esses processos em segundo plano são concluídos. — 02:46

O sistema foi projetado para gerenciar tarefas em segundo plano, como gerar gráficos, mantendo a responsividade durante as conversas. — 06:06

Conceitos e entidades

Gemini Live API (ferramenta): API apresentada no vídeo, com recursos de áudio nativo, chamadas assíncronas de funções e raciocínio em segundo plano.
Gemini 3.1 Flash Live (modelo): Modelo mencionado como o lançamento após o qual muitos dos novos recursos foram solicitados.
send client content (conceito): Recurso que injeta informações na conversa sem exigir uma resposta verbal do modelo.
proactive audio (conceito): Recurso que permite ao agent falar apenas quando isso é relevante ou necessário.
async function calling (conceito): Recurso que permite executar chamadas de funções demoradas em segundo plano durante a conversa.
native audio (conceito): Experiência de áudio nativo na qual, segundo o vídeo, passa a estar disponível o raciocínio avançado em segundo plano.
Google for Developers (empresa): Canal que publicou o vídeo sobre as novidades da Gemini Live API.

Tradução completa (pt-BR)

00:00 E aí, Gemini. Estou gravando um vídeo para mostrar todas as novidades legais para você, basicamente. E quero que você só responda quando eu me dirigir a você como Gemini. Porque vou fazer uma breve introdução e, depois, só responda quando eu chamar você de Gemini. Tudo bem? >> Entendido. Vou esperar até você se dirigir a mim como Gemini. Estou pronto quando você estiver. >> Olá a todos. Hoje estamos muito

00:32 animados com as muitas novidades incríveis da Gemini Live API. Então, quem melhor para apresentar as novidades a vocês do que a própria Gemini Live? Ei, Gemini, pode começar. O que há de novo na Live API? >> Introduzimos a chamada assíncrona de funções para uma execução mais rápida, áudio proativo para falarmos apenas quando for relevante, a possibilidade de inserir contexto usando send client content e raciocínio de nível de ponta em segundo plano.

01:05 >> Sim, há alguns recursos realmente muito empolgantes, muitos dos quais foram bastante pedidos desde o lançamento do Gemini 3.1 Flash Live. Como vocês podem ver, inseri esse conteúdo do cliente na conversa sem forçar uma vez de fala. Isso é muito útil se você quiser inserir alguma informação de apoio. O outro recurso muito legal é o áudio proativo. Vocês podem ver aqui. Basicamente, pedi à Gemini que só respondesse se nos dirigíssemos a ela como Gemini.

01:41 Assim, podemos conversar e até pedir ao agent que só responda quando isso for relevante para a conversa. Gemini, tudo bem para você? >> Sim, é exatamente assim que funciona. Com send client content, você pode inserir informações na conversa sem exigir uma resposta verbal, e o áudio proativo garante que o agent fale apenas quando necessário. >> Sim, fantástico. Então, há muitos recursos bastante

02:12 pedidos. Outro é a chamada assíncrona de funções. Ela é muito útil quando você tem algumas ferramentas de longa duração que precisam de tempo para retornar. Assim, elas podem ser executadas em segundo plano enquanto o agent continua a conversa. Gemini, vamos demonstrar isso. Você pode verificar meu pedido, com o ID 1234 XYZ, por favor?

02:46 Você está verificando para mim? >> Sim. Estou mantendo você informado em tempo real enquanto esses processos em segundo plano são concluídos. Os resultados estão prontos. Seu pedido foi enviado e a previsão é que chegue em 11 de agosto de 2026. >> Foi perfeito. Muito, muito bom. Outro recurso muito legal é o raciocínio aprimorado. Pela primeira vez, disponibilizamos raciocínio aprimorado e

03:20 raciocínio em segundo plano no Gemini Live. Isso traz raciocínio de nível de ponta para a experiência de áudio nativo. O modelo que estou mostrando aqui é nosso modelo padrão de áudio nativo, que já tem uma capacidade de raciocínio muito boa. Mas, por exemplo, ei, Gemini, você pode desenhar um SVG de um pelicano andando de bicicleta para mim, por favor?

03:57 >> Aqui está a anotação em SVG de um pelicano andando de bicicleta, demonstrando nossos novos recursos de raciocínio aprimorado para a Live API. >> Sim, como vocês podem ver, esse pelicano não ficou dos melhores. Então, agora vou mudar para nosso modelo de raciocínio máximo e aprimorado, e vocês poderão ver a diferença. >> Essa parece uma ótima comparação para destacar a diferença entre os recursos dos modelos em tarefas complexas.

04:28 >> Certo, fantástico. Agora estamos conectados ao nosso novo modelo Gemini Live de raciocínio aprimorado. Vamos tentar de novo. Ei, Gemini, você poderia desenhar um SVG de um pelicano andando de bicicleta para mim, por favor? >> Claro, vou começar a trabalhar nisso agora mesmo. >> Enquanto você faz isso, podemos continuar conversando? >> Claro. Vou conversar com você enquanto esperamos o desenho ficar pronto. >> Legal. O que há de novo com você?

05:03 >> Nada de mais. Estou aqui, pronto para ajudar sempre que você precisar. >> Que notícia fantástica. >> Fico feliz em saber que você se sente assim. >> Certo, conte para nós sobre o lindo pelicano que você criou. >> Criei uma ilustração vetorial em SVG de um pelicano andando de bicicleta, com capacete, um cachecol esvoaçante e uma bicicleta detalhada.

05:34 >> Este pelicano ficou lindo, e ele demonstra muito bem os recursos de raciocínio aprimorado que agora estão disponíveis no Gemini Live e, pela primeira vez, no áudio nativo. Como vocês podem ver, isso levou algum tempo. Obviamente, é uma tarefa bem importante, que está sendo executada em segundo plano para desenhar esse lindo pelicano. Mas, ao mesmo tempo, o modelo continuou respondendo. Assim, conseguiu colocar algumas tarefas de raciocínio aprimorado em

06:06 segundo plano e depois retornar quando estivesse pronto, mantendo-se bastante reativo e respondendo a quaisquer outras perguntas do usuário. É isso mesmo, Gemini? >> Sim, exatamente. O sistema foi projetado para gerenciar tarefas em segundo plano, como gerar imagens, mantendo a capacidade de resposta durante as conversas em andamento. >> É isso aí. Isso é realmente muito empolgante. É um raciocínio de nível de ponta realmente revolucionário

06:36 e agora está disponível no Gemini Live e na experiência de áudio nativo. Então, experimente agora mesmo na Gemini Live API. Estamos muito empolgados para ver e ouvir o que vocês vão criar. É isso mesmo, Gemini? >> Sim, está absolutamente certo. Isso demonstra como o processamento avançado e a interação em tempo real funcionam juntos de forma integrada. >> Incrível. Obrigado a todos por acompanharem. Contem para nós o que vocês estão criando. Até mais. >> Por nada, e estamos ansiosos

07:10 para ver o que todos vão criar em seguida.

Transcrição original

[00:00] Yo, Gemini. I’m recording a video capturing like all the cool new updates to you, basically. And I want you to, you know, only reply if I address you as Gemini. Um because I’m going to do a quick introduction and then, you know, only reply if I call you Gemini. That all good? >> Got it. I’ll wait until you address me as Gemini. Ready when you are. >> Hello everyone. Today we are very

[00:32] excited for tons of amazing updates to the Gemini Life API. So, who better to introduce the updates to you than Gemini Life itself? Hey Gemini, take it away. What is new in the Life API? >> We’ve introduced async function calling for faster execution, proactive audio so we only speak when relevant, the ability to inject context using send client content, and frontier-level background reasoning.

[01:05] >> Yes, so some really really exciting features, many of which were highly requested ever since we launched Gemini 3.1 Flash Life. Now, you could see here that I was injecting this client content into the conversation without forcing a turn. So, this is really really useful if you want to backchannel some information. The other really cool feature is proactive audio. So, you could see this here. I basically told Gemini to only reply to us if we address it as Gemini.

[01:41] So, you know, we could have a conversation, we can actually prompt the agent to only respond when it is relevant to the the conversation. Uh Gemini, does that sound good? >> Yes, that’s exactly how it works. By using send client content, you can seamlessly inject information without requiring a verbal response, and proactive audio ensures the agent speaks only when necessary. >> Yes, fantastic. So, tons of highly

[02:12] requested features. Um another one is async function calling. And now, async function calling is really, really useful if you have some longer-running uh tools that will require time to, you know, come back. And so, they can run in the background while the agent can continue the conversation. So, um Gemini, let’s demonstrate this. Can you check on my order with the order ID 1234 XYZ, please?

[02:46] Are you checking for me? >> Yes, I am. I’m keeping you updated in real time while those background processes complete. The results are ready. Your order has been shipped and is estimated to arrive on August 11th, 2026. >> Now, that is perfect timing. Uh really, really fantastic. And another really cool feature is higher reasoning. For the first time ever, we have made higher reasoning and

[03:20] background reasoning available in Gemini Live. This brings frontier-level reasoning to the native audio experience. Now, the model I’m showing you here is our standard native audio model, which has very, very good reasoning built in. But, for example, hey Gemini, can you draw an SVG of a pelican riding a bike for me, please?

[03:57] >> Here is the SVG annotation of a pelican riding a bike showcasing our new high reasoning capabilities for the live API. >> Yeah, so as you can see, you know, that is not the best of pelican. Um, and so now what I’m going to do is I’m going to switch to our max high reasoning model and you can see the difference there. >> That sounds like a great comparison to highlight the difference in model capabilities for complex tasks.

[04:28] >> Okay, fantastic. So now we’re connected with our new high reasoning Gemini live model. So let’s try this out again. Hey Gemini, could you draw an SVG of a pelican riding a bike for me, please? >> Sure, I’ll start working on that right now. >> And while you do that, can we continue the conversation? >> Absolutely. I’m happy to chat while we wait for the drawing to be ready. >> Nice. So what’s new with you?

[05:03] >> Not too much. Just here and ready to help out whenever you need anything. >> That’s fantastic news. >> I’m glad to hear that you feel that way. >> All right, tell us about the beautiful pelican that you made. >> I have created an SVG vector illustration of a pelican riding a bicycle complete with a helmet, a flying scarf, and a detailed bike setup.

[05:34] >> Now this is a beautiful pelican and this really, really neatly shows the higher reasoning capabilities that are now available within Gemini live and for the first time within native audio. So, you could see that this took some time. You know, obviously this is a pretty important task that is running in the background drawing this beautiful pelican. But at the same time the model stayed responsive. So, was able to put some higher reasoning tasks into the

[06:06] background and then come back when it is ready and at the same time stay very reactive and respond to any other questions the user has. Is that accurate Gemini? >> Yes, that’s exactly right. The system is designed to manage background tasks like generating graphics while maintaining responsiveness for ongoing conversations. >> There we go. This is really really exciting. This is really groundbreaking frontier

[06:36] level reasoning now and available within Gemini life and the native audio experience. So, try it now now on the Gemini life API and we’re really really excited to see and hear what you will build. Is that right Gemini? >> Yes, that’s absolutely correct. Showcasing the seamless way advanced processing and real-time interaction work together. >> Awesome. Thanks everyone for tuning in and let us know what you’re building. Cheers. >> You’re very welcome and we look forward

[07:10] to seeing what everyone creates next.