Crie e replique vozes com Gemini 3.8 Flash TTS

Autoria: Google for Developers · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Design and replicate voices with Gemini 3.8 Flash TTS · Canal: Google for Developers · 14:04 · Assistir no YouTube

Tópicos: Engenharia de software com IA, Ferramentas de desenvolvimento com IA, Geração de conteúdo com IA, Modelos de IA

Resumo

O vídeo demonstra os recursos de design e replicação de vozes do Gemini TTS no Google AI Studio, incluindo a criação de uma voz a partir de uma descrição e a replicação com apenas 20 segundos de áudio. Em seguida, mostra como acessar vozes criadas e vozes pré-configuradas pela Gemini API usando scripts em Python. Também apresenta a geração de diálogos para podcasts com múltiplos interlocutores, pesquisa de um tema e vozes com sotaques diferentes. Por fim, compara Gemini 3.8 Flash TTS com Gemini 3.8 Flash-Lite TTS e menciona integrações com parceiros.

Pontos-chave

No Google AI Studio, é possível criar uma voz descrevendo características como energia, idade, idioma e sotaque.
O recurso de replicação de voz pode reproduzir uma voz a partir de 20 segundos de áudio.
Uma voz criada com um sotaque específico pode manter traços desse sotaque ao falar outros idiomas.
As vozes criadas, tanto por descrição quanto por replicação, podem ser listadas e reutilizadas pela Gemini API.
A biblioteca estendida oferece vozes pré-configuradas que podem ser filtradas por características e palavras-chave.
O Gemini TTS permite gerar diálogos com múltiplos interlocutores, incluindo alternância de falas e estilos específicos.
Um script demonstrado pesquisa um tema com Gemini 3.8 Flash e cria um roteiro de podcast para duas vozes.
Gemini 3.8 Flash TTS é apresentado como a opção mais expressiva e com suporte a mais idiomas; Flash-Lite é voltado a projetos de alto volume e custo eficiente.
O vídeo cita integrações com Agora, LiveKit, Pipecat e Vercel.

Capítulos

Início	Capítulo	Resumo
00:03	Criação e replicação de vozes no Google AI Studio	A demonstração apresenta a replicação de uma voz e a criação de uma nova voz a partir de uma descrição detalhada.
03:55	Acesso às vozes pela Gemini API	O vídeo configura um ambiente Python e mostra como listar vozes criadas e vozes pré-configuradas.
08:30	Diálogos de podcast com múltiplas vozes	É criado um script que pesquisa um tema e gera um roteiro de podcast com interlocutores de vozes e sotaques diferentes.
10:48	Geração de um podcast sobre Dublin	O script produz um diálogo sobre a história de Dublin e demonstra a alternância entre as vozes de Charlotte e Liam.
12:57	Modelos TTS e integrações	O apresentador compara as versões Flash e Flash-Lite e cita parceiros que integram Gemini-TTS a seus frameworks.

Citações

Replicamos minha voz aqui no Google AI Studio com apenas 20 segundos de áudio. — 00:35

Ela vai manter esse sotaque em outros idiomas também. — 03:55

O Gemini-TTS é muito bom em vários idiomas. — 08:30

A versão 3.8 Flash TTS é a mais expressiva e oferece suporte a mais idiomas. — 12:57

Conceitos e entidades

Gemini 3.8 Flash TTS (modelo): Modelo de text-to-speech apresentado para criar vozes expressivas e gerar fala em vários idiomas.
Gemini 3.8 Flash-Lite TTS (modelo): Variante de TTS apresentada para projetos de alto volume com foco em eficiência de custo.
Voice Design (conceito): Recurso que cria uma voz a partir de uma descrição de suas características.
voice replication (conceito): Recurso que replica uma voz usando uma amostra de áudio, demonstrado com 20 segundos de gravação.
Google AI Studio (ferramenta): Plataforma usada no vídeo para criar e replicar vozes.
Gemini API (ferramenta): API usada para listar vozes e gerar fala e diálogos com múltiplos interlocutores.
Antigravity IDE (ferramenta): Ambiente de desenvolvimento usado na demonstração para preparar scripts que acessam a Gemini API.
Google (empresa): Empresa responsável pelos modelos Gemini e pelas ferramentas demonstradas.
Agora (empresa): Parceira citada como parte das integrações que levam Gemini-TTS a frameworks.
LiveKit (ferramenta): Parceira citada entre as integrações disponíveis para adotar Gemini-TTS.
Pipecat (ferramenta): Parceira citada entre as integrações disponíveis para adotar Gemini-TTS.
Vercel (empresa): Parceira citada entre as integrações que levam Gemini-TTS a frameworks.

Tradução completa (pt-BR)

00:03 Boas-vindas de volta. Hoje vamos ver algo que muda completamente o que é possível fazer com fala sintética. Antes, conversão de texto em fala significava escolher entre algumas vozes predefinidas que soavam razoavelmente bem, mas nunca pareciam realmente pessoais. Isso muda hoje. Vamos explorar os recursos mais recentes de TTS no Gemini, com destaque para duas grandes atualizações: criação e replicação de voz. — Sim, exatamente. Então, aquela era a minha voz que acabei de

00:35 replicar aqui no Google AI Studio usando apenas 20 segundos de áudio. Agora, o Gemini-TTS pode fazer todo o trabalho pesado por mim. Não, claro, estou brincando. Ainda estou aqui e vou apresentar os recursos mais recentes. O mais legal é que podemos replicar nossa voz diretamente no Google AI Studio. Também podemos simplesmente gerar uma nova voz usando o Voice Design. E podemos simplesmente

01:09 descrever a voz que estamos procurando. Por exemplo, não sou muito bom em espanhol, mas acabei de voltar de uma conferência divertida na Argentina. Então, uma apresentadora de podcast argentina. Vamos fazer isso. E vamos criar a seguinte voz: apresentadora de podcast na faixa dos vinte e poucos anos, muito animada, com um forte sotaque argentino local de Buenos Aires, apresentando um programa de rádio em espanhol.

01:42 Certo, pronto. Agora também podemos clicar em revisar meu prompt. Assim, ele ficará um pouco mais detalhado. Depois, podemos clicar em Gerar voz. Então, vamos receber três amostras para escolher. O próprio modelo vai gerar tanto a voz quanto alguns textos de exemplo que ele decide que melhor refletem a nova voz que criamos. Aqui estamos. No nosso

02:16 caso, a primeira geração de voz falhou. Então estamos vendo apenas duas opções. Vamos ouvir. — ¡Muy pero muy buenos días a todos, che! Ya estamos acá arrancando con todo esta mañana de locos que pinta tremenda. — Sim, essa é definitivamente muito animada. Vamos ouvir a outra. — Che, ¡qué día, por favor! Me levanté y me cayó un rayo, ¿viste?, de la luz así por la ventana que dije: “¡Nah, esto es para la semana que viene, tengo a full!” — Certo. Essa também é definitivamente muito animada. E fala bem rápido. Infelizmente, não entendo

02:47 o que está dizendo. Vou ter que traduzir depois. Mas vamos escolher esta por enquanto. E agora podemos usar essa voz. Também poderíamos, é claro, usá-la em qualquer idioma. Por exemplo, poderíamos fazer essa voz falar alemão. Este é um poema alemão famoso. E, obviamente, essa voz foi criada especificamente para um sotaque argentino em espanhol. Então, o resultado pode ser diferente, mas vamos ouvir.

03:24 — Frühling lässt sein blaues Band Wieder flattern durch die Lüfte Süße, wohlbekannte Düfte Streifen ahnungsvoll das Land. Veilchen träumen schon, Wollen balde kommen. Horch, von fern ein leiser Harfenton Frühling, ja, du bist’s! Dich hab’ ich vernommen! — Dá para ouvir: agora ela está falando alemão com uma espécie de sotaque espanhol. Então, é algo para ter em mente ao criar uma voz com um sotaque específico. Ela

03:55 vai manter esse sotaque também em outros idiomas. Agora que criamos algumas vozes que podemos usar, também podemos reutilizá-las na API. Vamos então mudar para o nosso IDE Antigravity. Como primeiro passo ao trabalhar com a API do Gemini, recomendo instalar as Gemini API dev skills. Você pode copiá-las diretamente da documentação e colocá-las no seu

04:31 agent de programação favorito e simplesmente instalá-las globalmente, por exemplo, aqui. Agora temos as Gemini API dev skills instaladas, que também sabem como usar o Gemini-TTS. Elas são, basicamente, as instruções de melhores práticas mais recentes para a API, para a API de vozes e também para as melhores práticas de prompting. O que podemos fazer agora é, novamente, usando instruções de voz, criar um script simples em Python para listar

05:05 todas as vozes criadas na minha conta. Isso inclui tanto vozes criadas por prompt quanto vozes replicadas. Pronto. Vamos enviar. Certo, ótimo. Agora nosso script está configurado. Vamos aceitar estas alterações. Usaremos o cliente Python mais recente do Google Gen AI. Depois, precisamos configurar um arquivo .env. O que podemos fazer é simplesmente copiar

05:40 o arquivo .env.example para um arquivo .env. Depois, no arquivo .env, podemos voltar ao nosso AI Studio. Podemos clicar aqui na nossa chave de API e copiar a chave de API que queremos usar. Certo, ótimo. Já configurei minha chave de API. Agora podemos dar uma olhada no nosso script. Estamos apenas importando tudo. Em seguida, estamos

06:15 usando nossa chave de API e listando todas as nossas vozes. Podemos ver aqui o cliente Gen AI. Depois, temos as vozes e as listamos aqui. Primeiro, precisamos, sim, já temos nossa chave de API. Então, vamos criar um novo… digamos, usar o UV, um novo tipo de ambiente virtual Python. E agora estamos

06:49 atualizando nosso README. Certo. Vamos aceitar isso. Primeiro… Certo. Ele vai usar nossas dependências. Então, vamos executar uv run voices.

07:23 Pronto, dá para ver que tenho trabalhado bastante. Tenho algumas vozes criadas por prompt aqui: 22 delas. E também algumas vozes replicadas. Podemos ver aqui a apresentadora de podcast argentina, a voz de estúdio do Thor e vários outros testes que fizemos. Também podemos dizer: “crie

07:57 um novo script para listar todas as vozes pré-criadas disponíveis na API do Gemini, na biblioteca ampliada de vozes.” Certo, ótimo. Podemos simplesmente aceitar estas alterações e agora vemos as vozes pré-criadas. Podemos filtrar vozes femininas, palavras-chave ou, por exemplo, vozes japonesas. Vamos

08:30 ver. Uma coisa muito legal no Gemini-TTS é que ele funciona muito bem em vários idiomas. O japonês também é um dos idiomas em que ele é muito bom. Então, vamos fazer o seguinte. Outro recurso muito legal do Gemini-TTS é a nova função de diálogo com vários interlocutores. Podemos criar um

09:05 diálogo com vários recursos, um diálogo com vários interlocutores, com intervenções de apoio e todas essas coisas legais. Vamos fazer isso. Crie um novo script para uma ferramenta de geração de podcasts com vários interlocutores. Queremos dar à ferramenta apenas um tema. Depois, ela deve usar o Gemini 3.8 Flash para pesquisar brevemente o tema e escrever um roteiro de podcast para dois apresentadores.

09:39 Queremos que um dos apresentadores fale inglês britânico e seja mulher, e que o outro seja um homem irlandês. Certo. Agora, ele vai criar um novo script. Tomara que pesquise todas as vozes pré-criadas para encontrar aquelas específicas que estamos procurando. Como temos a skill do agent de programação, nosso agent de programação pode usar a chave de API para

10:12 listar as vozes por conta própria e concluir todas as tarefas. No fim, teremos um script pronto para criar um podcast para nós. Certo, fantástico. Nosso novo script de geração de podcasts está pronto. Podemos ver aqui que ele gera um podcast sobre qualquer tema. Também podemos pré-visualizar o roteiro antes, se quisermos. Podemos especificar determinadas vozes.

10:48 Então, sim, dá para ver que tenho uma voz irlandesa personalizada aqui. E também uma duração de diálogo personalizada. Vamos fazer exatamente isso. Queremos um podcast com essas vozes sobre a história de Dublin.

11:19 Certo, primeiro, estamos usando o Gemini 3.8 Flash, como instruímos, para fazer a pesquisa. Dos barcos vikings aos Silicon Docks. Certo. Legal. E agora dá para ver que estamos escrevendo o roteiro alternando entre diferentes personagens. Depois, atribuímos um estilo específico a cada seção. E agora

11:53 nosso podcast está pronto. Vamos ouvir. — Liam. Agora, Charlotte, a maioria das pessoas chega a Dublin esperando pubs aconchegantes, violinos tocando no canto e uma cerveja stout fresquinha, o que é ótimo, claro. Mas, sob essas pedras de calçamento, há mais de mil anos de sobrevivência em meio ao caos. — Caótica, literalmente. Até o próprio nome é uma crise de identidade, não é? Temos Dublin, do irlandês antigo Dubh Linn, que significa “lagoa negra”, e depois…

12:24 o nome irlandês moderno Baile Átha Cliath. Logo de cara: dois assentamentos diferentes disputando espaço no mapa. — Isso mesmo. — E dá para ver que são cerca de três minutos de diálogo com vários participantes. E isso foi gerado bem rápido, o que é muito, muito legal. Então, aqui temos Charlotte, uma mulher britânica, e Liam, um homem irlandês. Talvez precisemos listar as vozes para encontrar um sotaque britânico melhor. Essa é a ideia geral.

12:57 Esta é a nova síntese de fala do Gemini 3.8. Temos a versão 3.8 Flash TTS, que é a mais expressiva e oferece suporte ao maior número de idiomas. E também temos o Gemini 3.8 Flash-Lite TTS, ideal para projetos de alto volume e baixo custo, nos quais você gera muita fala. O suporte a idiomas é um pouco menor, mas ainda assim o desempenho nos benchmarks é muito, muito forte. E outra coisa muito

13:31 legal é que isso está integrado a várias integrações muito legais de parceiros. Você pode ler as publicações do blog e encontrar lá todos os benchmarks. Mas também pode ver que trabalhamos com parceiros muito legais, como Agora, LiveKit, Pipecat e Vercel, para levar o Gemini-TTS às estruturas deles e permitir que você adote esses modelos incríveis muito rapidamente. Então, muito obrigado por acompanhar, e mal posso esperar para ouvir o que vocês vão

14:04 criar com o Gemini-TTS. Até mais!

Transcrição original

[00:03] Welcome back. Today we’re looking at something that completely shifts what’s possible with synthetic speech. Text-to-speech used to mean picking from a handful of preset voices that sounded decent, but never quite personal. That changes today. We’re diving into the latest TTS capabilities in Gemini, headlined by two massive upgrades. Voice design and voice replication. -Yes, exactly. So that was my voice that I just

[00:35] replicated here in Google AI Studio from just 20 seconds of audio. So now Gemini-TTS can do all the heavy lifting for me. No of course, just kidding. I’m still here and I’m still here to talk you through the latest features. So what’s really cool here is we can replicate our voice right within Google AI Studio. We can also simply generate a new voice using Voice Design. And so we can simply

[01:09] describe the voice that we’re looking for. And so for example, I’m not great at Spanish, but I just came back from a fun conference in Argentina. So Argentine podcast host. We’ll do that. And let’s design the following voice. High energy, mid-twenties female podcast host with a strong local Buenos Aires Argentine Spanish accent hosting a radio show in Spanish.

[01:42] All right, there we go. And now we can also click and proof my prompt. And so now this will be a bit more detailed. And then we can click Generate Voice. And so now we will get three samples that we can choose from. So the model itself will both generate the voice as well as some sample text that it, decides itself to best reflect the new voice that we’ve designed. Here we are. So in our

[02:16] case, the first voice generation failed. So we’re just seeing two options here. Let’s have a listen. - ¡Muy pero muy buenos días a todos, che! Ya estamos acá arrancando con todo esta mañana de locos que pinta tremenda. -Yeah that is definitely high energy. Let’s have a listen at the other one. - Che, ¡qué día, por favor! Me levanté y me cayó un rayo, ¿viste?, de la luz así por la ventana que dije: “¡Nah, esto es para la semana que viene, tengo a full!” -All right. That is definitely also very high energy. And speaking very quickly. Unfortunately, I don’t understand

[02:47] what it’s saying. Gotta translate it later. But let’s choose this one for now. And so now we can what it’s saying. Gotta translate it later. But let’s choose this one for now. And so now we can use this voice. And we could also of course use this in any language whatsoever. So for example we could also have this voice speak German. Now this is a famous German poem. And now obviously this voice was created specifically for an Argentine Spanish accent. So, this might lead to a different result, but let’s have a listen.

[03:24] -Frühling less sein blaues BandWeider flatten durch die Lufte Süße, wohlbekannte DüfteStreifen ahnungsvoll dan Land. Veilchen traumen schon, Wollen balde kommen. Horch, von fern ein leiser Harfenton Frühling ja du bist’s! Dich hab ’ich vernommen! -So you can hear. Now it’s actually speaking German with sort of a Spanish accent. Um, so that is something to keep in mind when you are designing a voice with a specific accent. It will

[03:55] actually have that accent in different languages as well. So now that we have created some voices that we can use, we can reuse these in the API as well. So let’s switch over to our Antigravity IDE. So as a first step when working with the Gemini API. I recommend that you install the Gemini API dev skills, so you can just copy it from the docs here, and you can put it into your favorite

[04:31] coding agent and simply install it globally, for example here. And so now we have our Gemini API dev skills installed, and then also know how to use the Gemini-TTS. It’s kind of the newest best practice instructions for the API, for the voices API, as well as for the prompting best practices. So what we can do here now is that we can again simply with voice instructions, create a simple Python script to list

[05:05] all the voices that are that were created on my account. That includes both prompted voices as well as replicated voices. There we go. Let’s send this off. Okay, great. So now we have our script set up here. So we’ll accept these changes. We will use the latest Google Gen AI Python client. And then we will need to set up a .env file. So what we can do is we can simply copy

[05:40] the .env.example into a .env file. And then in a .env file we can simply go back to our AI Studio. We can click on our API key here. And we can copy our API key that we want to use. Okay great. So I’ve set up my API key. And now we can have a look at our script here. So we’re just importing everything. We are

[06:15] then using our API key, and we’re listing all our voices. So we can see here this is our Gen AI client. And then we have just the voices and we list them here. So first of all what we need to do is we need to um yeah we got our API key. And then what we’ll do is we will create a new let’s just say use UV, a new kind of virtual Python environment. And so now we’re

[06:49] just updating our, README here. Okay. So accept this. So first of all. Okay. It’ll use our dependencies. So let’s just do uv. Run voices.

[07:23] There we go and we can see I’ve been busy. I’ve got some prompted voices here. 22 of them, and then some replicated voice voices as well. And so we can see here we got our Argentine podcast host, we got Thor’s, studio voice, and, uh, we got a bunch of other tests that we’ve done here. We can also say, “create

[07:57] a new script to list all the pre-built voices that are available on the Gemini API in the extended voice library.” Okay, great. So we can just accept these changes, and now we can see kind of the pre-built voices. We can filter for female voices or for keywords, or for example, for Japanese voices. Let’s

[08:30] see. So one thing that’s really, really cool about Gemini-TTS, it’s really good across many different languages. And Japanese is also one of these languages that it’s really, really good at. And so let’s do the following. Another really cool feature of Gemini-TTS is the new multi-speaker dialog feature. So we can actually create a

[09:05] multi-feature dialog, a multi-speaker dialog with back channeling and all the cool stuff. So let’s do this. Create a new script of a multi-speaker podcast generation tool. So we want to give the tool just a topic. Then it should use Gemini 3.8 Flash to briefly research the topic. Write a podcast script for two podcast hosts.

[09:39] And we want one of these hosts to be a British English female and the other one to be an Irish male. All right. So now it’ll create a new script. Uh, hopefully it’ll search through all the pre-built voices for us to to find those specific voices that we’re looking for. So, because we have the coding agent skill, our coding agent can actually use the API key to

[10:12] list the voices Itself and kind of complete all the tasks. Then in the end, we have a script ready that can create a podcast for us. Okay, fantastic. So our new podcast generation script is done. So we can see here, generate a podcast on any topic. We can also preview the script first if we want. We can specify certain voices.

[10:48] So yeah you can see I have a custom Irish voice there. Already custom dialog length as well. So let’s do exactly this. We want a podcast with these voices about the history of Dublin.

[11:19] Okay, so first of all, we’re using Gemini 3.8. Flash just like we instructed it to do the research. From Viking Longships to Silicon Docks. Okay. Nice. And then you can see here now that we are scripting kind of across, different personas. And then we are assigning a specific style to each section here. And now

[11:53] our podcast is generated. And so let’s have a listen. -Liam. Now Charlotte most folks land in Dublin expecting cozy pubs. Fiddles playing in the corner and a fresh pint of stout, which is grand, of course. But underneath those cobbles is over a thousand years of sheer chaotic survival. -Quite literally chaotic. Even the name itself is an identity crisis, isn’t it? You have Dublin from the Old Irish, Dubh Linn, meaning Blackpool, and then

[12:24] the modern Irish name Baile Átha Cliath. Right off the bat. Two different settlements competing for the map. -Spot on. -And you could see this is kind of three minutes of a multi-speaker dialog here. And that was generated pretty quickly which is really really cool. So Charlotte here British female and then Liam Irish male. We might need to list the voices to find a better British accent. So this is the gist.

[12:57] This is the new Gemini 3.8 text-to-speech. You have the 3.8 Flash TTS version, which is the most expressive, most languages supported. And then we have Gemini 3.8 Flash-Lite TTS, really, for your high volume, cost efficient projects where you’re generating a lot of speech a little bit less language is supported, but still really, really strong in the benchmarks. So, what’s also really

[13:31] cool is that this is integrated with many really cool partner integrations. So you can read the blog posts, you can find kind of all the benchmarks there. But you can also see that we’ve worked with, really cool partners like Agora, LiveKit, Pipecat, and Vercel to bring Gemini-TTS to their frameworks to really allow you to adopt these awesome models really quickly. So thanks so much for tuning in and I can’t wait to hear what you will

[14:04] build with Gemini-TTS. Cheers!