Avatares ao vivo do Gemini

Autoria: Sam Witteveen · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Gemini Live Avatars · Canal: Sam Witteveen · 09:57 · Assistir no YouTube

Tópicos: Agentes de IA, Modelos multimodais

Resumo

Sam Witteveen apresenta o Gemini Live Avatar, que combina áudio, vídeo e um avatar animado em um único fluxo para conversas em tempo real. O sistema pode ouvir, interpretar o que vê e chamar ferramentas, além de oferecer avatares prontos e suporte a 97 idiomas. O vídeo demonstra usos como conversas com personagens, prática de japonês e debates entre múltiplos avatares. O autor também comenta as limitações de disponibilidade, as preocupações com segurança e o custo potencialmente alto.

Pontos-chave

O Gemini Live Avatar integra a conversa por áudio e vídeo com um avatar cuja boca acompanha a fala.
A abordagem reúne em um único fluxo etapas que antes exigiam reconhecimento de fala, LLM, síntese de voz e serviço de avatar.
O sistema pode ouvir, ver o que está na tela e chamar ferramentas em segundo plano.
A versão de disponibilidade geral oferece uma biblioteca de avatares prontos; avatares personalizados exigem aprovação e verificação.
O apresentador demonstra personalização de voz, persona, system instructions e ferramentas.
Os exemplos incluem prática de japonês e uma conversa entre dois personagens sobre abacaxi na pizza.
O sistema também pode usar a câmera para conversar sobre objetos mostrados pelo usuário.
O autor aponta limitações de flexibilidade, possíveis restrições de segurança e um custo elevado devido ao uso intensivo de computação.

Capítulos

Início	Capítulo	Resumo
00:00	Como funciona o Gemini Live Avatar	O apresentador explica como o sistema combina áudio, vídeo e avatares em um fluxo de conversa com menor latência.
02:36	Disponibilidade e configuração do avatar	Ele apresenta os avatares disponíveis, as restrições para criar avatares personalizados e as opções de configuração.
05:44	Demonstrações: idiomas e personagens	O vídeo mostra a prática de japonês e uma conversa entre personagens com opiniões diferentes sobre abacaxi na pizza.
08:53	Limitações, segurança e custo	O apresentador comenta as restrições de uso, as medidas de segurança, o preço e as possibilidades futuras do sistema.

Citações

Cada uma dessas etapas acrescenta muita latência. — 01:01

Ele consegue ouvir, ver o que está na sua tela e chamar ferramentas em segundo plano. — 01:33

Estou processando tudo perfeitamente, não importa como a informação chegue até mim. — 05:13

Vai ser interessante ver aonde isso vai chegar. — 09:57

Conceitos e entidades

Gemini 3.8 Live (modelo): Modelo multimodal ao vivo do Google que recebe áudio e vídeo e pode responder por texto ou áudio.
Gemini Live Avatar (ferramenta): Sistema apresentado no vídeo que transmite um avatar animado sincronizado com a fala em conversas ao vivo.
Google (empresa): Empresa que desenvolveu e disponibilizou o Gemini Live Avatar no Google Cloud.
Google Cloud (ferramenta): Plataforma em que o Gemini Live Avatar está disponível para uso em produção.
Gemini Search (ferramenta): Ferramenta usada na demonstração para buscar resultados recentes do Grand Prix.
TTS (conceito): Síntese de voz, uma das etapas que antes podia ser combinada com outros serviços para criar um avatar conversacional.
Sam Witteveen (pessoa): Apresentador que demonstra o Gemini Live Avatar e comenta suas possibilidades e limitações.

Tradução completa (pt-BR)

00:00 Bem-vindo. Sou Jennifer, estou pronta para acompanhar com você as últimas novidades da F1. Ei, Jennifer, quem venceu o Grand Prix mais recente? George Russell venceu o Grand Prix mais recente, no Azerbaijão. Ele teve uma corrida fantástica, segurou Max Verstappen e conquistou a vitória. E em que posição Kimi Antonelli ficou? Kimi Antonelli terminou em quinto lugar, depois de uma recuperação realmente impressionante, largando da 16ª posição. Certo, esses eram os novos avatares ao vivo do Google com o Gemini 3.8 Live. Já falei sobre os modelos ao vivo no passado.

00:31 São modelos bidirecionais que recebem conteúdo multimídia — áudio e vídeo — e, até pouco tempo atrás, só conseguiam produzir texto ou áudio como resposta. Bem, agora o Google atualizou isso, então você pode ter um rosto renderizado ao vivo que sincroniza os lábios com o áudio. Até pouco tempo atrás, se você quisesse criar algum tipo de agent de IA com um rosto capaz de manter uma conversa, em geral precisava juntar quatro coisas diferentes. Você tinha algum tipo de conversão de fala em texto, um LLM, um modelo de TTS

01:01 para gerar a voz como resposta e, no final, algum tipo de serviço de avatar fazendo a sincronização labial. E o desafio sempre foi que cada um desses pontos acrescenta muita latência e, quando a boca começa a se mexer, a conversa muitas vezes já começou a desandar. Não vou dizer que o Google acertou tudo, mas o que fez é bastante impressionante. A empresa disponibilizou para todos o sistema de avatares ao vivo do Gemini 3.8. Na verdade, há algumas ressalvas, que vou mencionar mais adiante no vídeo. Mas, basicamente, tudo isso reduz aqueles quatro modelos

01:33 que você tinha de cuidar por conta própria a um único fluxo. Ele consegue ouvir, ver o que está na sua tela e chamar ferramentas em segundo plano. Como você pode ver no exemplo que acabei de mostrar, ele usou o Gemini Search para buscar os resultados mais recentes do Grand Prix de sábado. E o mais legal é que ele consegue fazer tudo isso em 97 idiomas. Estou testando isso há algum tempo e criei algumas demonstrações que vou mostrar daqui a pouco, mas vamos colocar isso em um pouco de contexto. Ainda estamos esperando o lançamento de um modelo Gemini Pro; acho que já faz cerca de

02:04 sete meses. Mesmo assim, esta foi uma semana bastante movimentada para o Google na área de áudio. No meu último vídeo, falei sobre todo o novo sistema de TTS que lançaram, com clonagem de voz e coisas desse tipo. E, antes disso, atualizaram o Gemini 3.8 Live e o Live Extended Thinking. Agora lançaram o Live Avatar e, como eu disse no último vídeo, independentemente do que você pense sobre a posição do Google na corrida dos LLMs neste momento, o trabalho com multimodalidade e áudio tem sido muito forte. A empresa teve o Omni, o Live Translate, o Transcribe, os modelos de TTS

02:36 e agora este avatar ao vivo. Então, rapidamente: o que significa, de fato, estar disponível para todos neste caso? Basicamente, significa que está pronto para produção no Google Cloud. Mas o lado ruim é que nem tudo está disponível para todos. Você recebe uma biblioteca de avatares pré-criados. Se quiser um avatar personalizado, feito a partir da sua própria foto de referência, com uma voz sua e coisas desse tipo, isso depende de uma lista de permissões e de um processo de verificação. Até mesmo recursos como a versão Live com raciocínio estendido ainda estão em prévia privada. Então, neste vídeo, vou mostrar o que você pode fazer e criar agora mesmo

03:08 e apresentar isso nas minhas demonstrações. Se quiser ver um exemplo dos agents personalizados, há um vídeo deles com uma demonstração de criação de um avatar personalizado: um avatar com um sotaque australiano muito ruim, que acho que só um banco pertencente ao Crocodile Dundee realmente gostaria de usar. Com o que disponibilizaram para todos aqui, você tem vários avatares visuais diferentes para escolher. Então, aqui criei um estúdio de avatares, que é basicamente um aplicativo frontend que executa isso e transmite os avatares ao vivo por meio do backend aqui.

03:39 Aqui, podemos simplesmente escolher qualquer um dos avatares que quisermos. Depois, posso escolher uma das vozes disponíveis. Eles têm um conjunto de vozes que podemos selecionar. Podemos escolher a predefinição de persona que quisermos. Vamos escolher uma guia turística viajante do tempo, vinda de 2126. Depois, temos as instruções do system prompt. Obviamente, você pode personalizar totalmente as instruções do system prompt. Pode deixar tudo configurado. E, se quiser, pode adicionar ferramentas. Aqui, configurei a pesquisa do Google Ground para isso. Como estamos conversando com alguém do futuro, isso

04:10 talvez não seja uma boa ideia. Vou deixar desativado por enquanto. Depois, posso simplesmente iniciar. E, quando começo, tenho estas opções. Nossa, é incrível finalmente ver de perto o pitoresco século XXI. Certo, e você pode ver que agora estou conversando com a Vera. Vera, como você está hoje? Estou absolutamente maravilhosa, obrigada. Explorar esta época é pura magia. Estas roupas são réplicas vintage perfeitas da moda de 2026.

04:42 Então, dá para dizer que estou vestida a caráter para me misturar perfeitamente. Certo, Vera, quero mostrar que também podemos digitar para você. Daqui a pouco vou fazer uma pergunta e quero que você só responda quando vir a pergunta digitada. Entendido. Estou pronta e esperando sua pergunta. Estou absolutamente fantástica. Só estou absorvendo a energia incrível de 2026. Certo, dá para ver que… dá para ver que, basicamente, ela conseguiu receber a mensagem por texto ou por voz e ainda está me ouvindo, não é, Vera? Exatamente.

05:13 Estou processando tudo perfeitamente, não importa como a informação chegue até mim. Certo, vou parar por aqui. Com isso, dá para perceber que ela é bem responsiva, não é? Há um atraso e, obviamente, a transcrição vai aparecer um pouquinho antes de o áudio chegar, o que faz sentido. Mas dá para ver que, com isso, podemos escolher qualquer um dos avatares. Você pode escolher avatares fotorrealistas ou avatares mais cartunescos. E o mais legal é que você pode criar uma

05:44 série de demonstrações divertidas com isso. Não só podemos fazer tudo isso em inglês, como também podemos acessar aqui e escolher idiomas diferentes. Se quisermos ter um café e colocá-lo em outro lugar, podemos criar um aplicativo de conversação para nos ensinar a falar outro idioma, entre outras coisas. Como você pode ver aqui, temos algo que vai me ensinar… Vamos tentar japonês, certo? Ver como funciona. E o que vou fazer é tentar conversar com ela.

06:15 Olá. Você pode me dizer como pedir um café em japonês? Irasshaimase. Diga: “Kōhī o kudasai”, por favor. Por favor, diga “café, por favor”. “Kōhī” significa café? はい、そうです。コーヒーですね。 Certo, então como digo “Eu gostaria de um café”? コーヒーを一つください。 Diga: “Um café, por favor”. Como pronuncio isso? Você pode me corrigir e dizer como devo pronunciar? 「コーヒーを 1 つください」と言ってください。

06:45 Repita depois de mim.「コーヒーを 1 つください」コーヒーをください。ですね。かしこまりました。他に何か注文はありますか？ Certo, chega de eu me fazer passar vergonha por não saber falar japonês. Mas dá para ver que podemos configurar isso, basicamente, para nos ensinar vocabulário e fazer várias coisas diferentes. E poderíamos mudar a configuração para começar com algo realmente para iniciantes e avançar até algo muito mais avançado. Outra coisa divertida que você pode fazer é

07:18 na verdade, ter vários personagens e fazer com que se comuniquem entre si. Então, aqui vamos começar um debate sobre se abacaxi combina ou não com pizza. E você pode ver: “Moderador, estimados convidados, os puristas da culinária muitas vezes confundem rigidez com tradição, mas o amor e a gastronomia prosperam com uniões ousadas. Negar ao abacaxi seu legítimo trono sobre a pizza é negar o próprio espírito do romance, que busca a harmonia inesperada entre o doce e o salgado.”

07:51 Imagine os trópicos banhados pelo sol se unindo ao calor rústico da massa assada. Não é só uma cobertura, Carmen; é poesia sobre uma massa. Então, é isso, rapidamente. “Leo, embora eu aprecie sua visão poética, a harmonia culinária exige mais do que apenas o choque entre o doce e o salgado. Do ponto de vista prático, o excesso de umidade do abacaxi compromete a integridade estrutural da massa, transformando uma base crocante numa bagunça encharcada.”

08:21 “Você tem razão, moderador. Há sabedoria nas palavras dela, e preciso respeitá-las. Ainda assim, Carmen, a verdadeira paixão costuma resistir a alguns…” Certo, vou parar por aqui, mas dá para perceber que esses dois conseguem, de certa forma, se comunicar. Então, dá para se divertir com isso. Provavelmente, eu voltaria e mudaria o system prompt para deixá-los um pouco mais concisos, para a minha demonstração. E não para por aí. Você também pode fazer coisas como, já que também pode ativar a câmera, mostrar objetos e conversar sobre eles com o avatar.

08:53 Agora, se você quiser ver um vídeo em que explico o código de verdade, passo por ele um pouco e coisas assim, e mostro como começar etc., vou colocar o link na descrição. Vai estar no meu segundo canal. Você pode seguir as instruções e começar tudo isso por conta própria. Certo, para concluir, eu diria que, embora isso não tenha a flexibilidade que talvez gostaríamos de ter no momento, mais uma vez, o Google precisa ser conservador na forma como faz as coisas. Eles não querem que 500 pessoas enviem fotos do Trump e criem um avatar do Trump ou algo assim. Meu palpite é que vai haver um número considerável

09:24 de recursos de segurança em torno desse tipo de sistema de avatar. Também dá para imaginar que o Google será bem rigoroso quanto aos diferentes casos de uso disso. Se quiser experimentar, agora está no Google Cloud. Você pode simplesmente acessar e procurar o Gemini live avatar. Pode escolher entre os avatares que já estão configurados aqui. Então, certamente, você poderia preparar uma demonstração disso para uma empresa ou para mostrar às pessoas como usar, etc. O preço vai ser bem salgado. Acho que o simples fato de isso exigir tanto poder de computação significa que provavelmente não veremos algo assim ficar muito barato num futuro próximo, mas

09:57 com certeza vai ser interessante ver aonde isso vai chegar, e eu adoraria saber o que as pessoas acham que serão os melhores casos de uso. Contem nos comentários o que vocês acham disso. E espero que não demore muito até vermos uma versão open source disso, talvez da NVIDIA ou de alguma outra empresa que também esteja lançando modelos abertos. Enfim, como sempre, se você achou o vídeo útil, clique em gostei e inscreva-se no canal. A gente se fala no próximo vídeo. Até mais.

Transcrição original

[00:00] Welcome. I’m Jennifer, I’m ready to dive into the latest F1 action with you. Hey, Jennifer, who won the latest Grand Prix? George Russell won the latest Grand Prix in Azerbaijan. He had a fantastic race, holding off Max Verstappen to take the win. So where did Kimi Antonelli come? Kimi Antonelli finished in fifth place after a really impressive recovery drive from 16th on the grid Okay, so that was Google’s new live avatars with Gemini 3.8 Live. So I’ve talked about the live models in the past.

[00:31] these are the bidirectional models that basically have multimedia going in, being audio and video, and up until recently could just produce text or audio back. Well, Google’s now updated that, so you can actually have a live rendering face that kind of lip syncs what the actual audio is. So up until recently, if you wanted to do any sort of AI agent with a face that could actually hold a conversation, you were generally sort of stitching together four different things. You had some kind of speech-to-text, you had an LLM, you had a TTS

[01:01] model creating the voice back, and then there was some sort of avatar service on the end doing lip sync. And the challenge has always been with that kind of thing is that every one of those points adds a lot of latency, and by the time the mouth starts moving, the conversation has often already started to fall apart Now, I won’t say that Google’s got this perfect, but what they’ve done is pretty impressive. They’ve made their Gemini 3.8 live avatar system generally available, And there are actually a few caveats to that, which I’ll mention later on in the video. But this whole thing basically collapses down those four models

[01:33] that you had to take care of yourself into a single stream. it can listen, it can see what’s on your screen It can call tools in the background. As you can see in the example I just showed, it was using Gemini Search to basically get the latest results from Saturday’s Grand Prix. And the cool thing here is it can do all of this in 97 languages. so I’ve been playing with this for a while and I built some demos that I’m gonna go through in a second and show you but let’s put this into a little bit of context. So while we still yet to see a Gemini Pro model come out now for, I think it’s about

[02:04] seven months this has still been a pretty busy week for Google on the audio side. So in my last video, I talked about the whole new TTS system that they launched with the voice cloning, with those sorts of things. And actually before that, they updated Gemini 3.8 Live and Live Extended Thinking And now they’ve released Live Avatar and like I said in the last video, whatever you think about Google is in the LLM race at the moment, the multimodal and audio stuff has been really strong. They’ve had Omni, Live Translate, Transcribe, the TTS models,

[02:36] and now this live avatar. So I guess quickly, what does generally available actually mean here? basically it’s ready for production on Google Cloud. But the sad thing here is that not everything is generally available. You get a library of pre-built avatars. If you want a custom avatar, one made from your own reference photo, your own sort of voice, that kind of thing, that’s behind an allow list and a verification process and even things like the Live extended thinking version of Live is still in private preview. So in this video, I’m just gonna show what you could go and do and build right now

[03:08] and show that in my demos, et cetera if you want to see an example of the custom agents, They’ve got a video in there with a demo of making a custom avatar for an avatar with a really bad Australian accent that I think only a bank owned by Crocodile Dundee would actually want to use so with what they’ve actually made generally available in here, You’ve got a bunch of different visual avatars that you can pick from. So here I’ve made an avatar studio, which is basically a front-end app that’s running this and streaming the live avatars through the backend in here.

[03:39] So here we can basically just pick any of the avatars that we want to. I can then basically choose a voice, that I’ve got. And they’ve got a set of voices that we can actually pick. we can pick the sort of persona preset that we want. let’s go for a time traveling tour from, twenty one twenty six and then we’ve got system instructions. Now obviously the system instructions You can fully customize yourself. You can get all of that set up. And then you can add in tools if you want. So here I’ve basically got, Google Ground searching, for this. now since we’re talking to someone from the future, that

[04:10] actually might not be good. I will leave that off, for now. And then basically what I can do is I can just start it. And then I’ve got the choices once I start Wow, it is so incredible to finally see the quaint 21st century in person. Okay, and you can see there that now, I’m talking to Vera. Vera, how are you doing today? I am doing absolutely wonderful. Thank you. Exploring this era is just pure magic. These are actually a perfect vintage replica of 2026 fashion.

[04:42] So you could say I dress the part to blend in perfectly. Okay, so Vera, what I want to show is that we can actually type to you as well. So I’m going to ask you a question in a second, and I only want you to answer the question when you see the typed question Understood. I am ready and waiting for your kite question I’m doing absolutely fantastic. Just soaking in the incredible energy of 2026. Okay, so you can see there that, you can see there that basically she was able to take the type, or voice, and she’s still listening to me, aren’t you, Vera? Exactly.

[05:13] I’m processing everything perfectly, no matter how it reaches me. Okay, I’m gonna stop there. So you can get a sense from that, this is actually pretty, responsive, right? Now, there is a delay, and obviously, we’re gonna get the transcript back ever so slightly before the actual voice comes back, which kinda makes sense. but you can see for something where now we can go through and pick, any of the different avatars. you can pick photorealistic avatars, or you can pick, sort of cartoonish avatars in here And so the cool thing here is you can actually make a

[05:44] bunch of, fun demos with this. So not only can we do all of this in English, we can actually come in here, and we can pick different languages. So if we wanna have a cafe, and we wanna put it in a different place, we can actually sort of make this a conversational app for teaching us to speak, a different conversation, et cetera. So you can see here, we’ve basically got something where, it’s going to, teach me… let’s try Japanese, right? see how that goes. and what I’m gonna do is try and have a conversation with her.

[06:15] Hi there. Can you tell me, how to order a coffee in Japanese? Irasshaimase. Coffee o kudasai to itte kudasai ne. Please say coffee please. kohi is coffee? はい、そうです。コーヒーですね。 Okay, so how do I say “I would like one coffee”? コーヒーを一つください。 Say one coffee please. How do I pronounce it? Can you give me the, corrections for how I should pronounce it? 「コーヒーを 1 つください」と言ってください。

[06:45] Repeat after me。「コーヒーを 1 つください」コーヒーをください。ですね。かしこまりました。他に何か注文はありますか？ Okay, so enough of me embarrassing myself, not being able to speak Japanese. But you can see here that we can basically, set this up to, teach us vocabulary, to do a whole bunch of different things. And we could change it so that, we start with, something that’s really beginner and something that then gets right through to something much more advanced in here another thing that you can actually do for fun is that you can

[07:18] actually have multiple characters, and have them communicate to each other. So here we’re going to start a debate over, whether pineapple, belongs on pizza or not. And you can see Moderator, esteemed guests, culinary purists often mistake rigidity for tradition, but love and gastronomy thrives on daring unions. To deny the pineapple its rightful throne upon the pizza is to deny the very spirit of romance which seeks the unexpected harmony of sweet and savory.

[07:51] Imagine the sun-drenched tropics marrying the rustic warmth of baked dough. It is not just a topping, Carmen, it is poetry on a crust. Quickly it is then. Leo, while I appreciate your poetic vision, culinary harmony requires more than just sweet and savory colliding. From a practical standpoint, the excessive moisture in pineapple compromises the structural integrity of the crust, turning a crisp base into a soggy mess.

[08:21] You are right, moderator. There is wisdom in her words that I must respect. Yet, Carmen, true passion often withstands a few. Okay, I’m going to stop it there, but you can get a sense there of the, these two can actually sort of communicate to each other. So, you can have some sort of fun with that. probably I’d go back and actually change the system prompt to make them a little bit more concise, for my demo. And it doesn’t stop there. You can also do things like where, because you can also activate the camera, you can then hold up things and have a conversation about them, with the avatar

[08:53] Now, If you want to see a video of me actually explaining the code and going through it a little bit and stuff like that And showing you how to get started, et cetera. I’m gonna put the link for that in the description. That’s gonna be on my second channel. you can actually go through and get this all started yourself okay, so just to finish off, I would say that while this doesn’t have the flexibility that, perhaps we would like at the moment, again, this is Google having to be conservative with how they do things. They don’t want, 500 people uploading pictures of Trump and making a Trump avatar or something like that My guess is there are gonna be quite a number

[09:24] of safety features around that kind of avatar system You can imagine also that Google’s going to be pretty strict about the different use cases for this. if you want to try it out, this is in, Google Cloud now. You can actually just come in, And look at the Gemini live avatar. You can pick from the avatars that they’ve actually got set up in here. so you could certainly get a demo of this up for a business or to show people how to use it, et cetera Now, the pricing for this is gonna be pretty pricey, coming out, I think the simple fact that this just uses so much compute means that we’re probably not gonna see this get super cheap in the really near term but

[09:57] it’s definitely gonna be interesting to see where this goes, and I’d love to hear from people where you see the best use cases of this are actually gonna be. Let me know in the comments what you think about those And hopefully it won’t be too long before we see an open version of this, perhaps from NVIDIA or from one of the other companies that are actually releasing open models out there as well. Anyway, as always, if you found the video useful, please click like and subscribe, and I will talk to you in the next video. Bye for now.