Gemini 3.8 Flash TTS com clonagem de voz

Ver no idioma original →

Autoria: Sam Witteveen · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Gemini 3.8 Flash TTS with Voice Cloning · Canal: Sam Witteveen · 17:02 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Modelos multimodais

Resumo

Sam Witteveen apresenta os modelos Gemini 3.8 Flash TTS e Gemini 3.8 Flash Lite TTS, voltados, respectivamente, à geração de voz expressiva e à produção em grande volume. O vídeo explora recursos como criação de vozes por descrição, instruções de estilo, diálogos com vários personagens e clonagem de voz com consentimento. O apresentador compara benchmarks, preços e qualidade, observando que os resultados variam conforme a tarefa e que alguns dados de benchmark merecem cautela. Nos testes, ele destaca a facilidade de uso e a prosódia, mas considera que a voz clonada ficou diferente da gravação original.

Pontos-chave

• O Flash TTS é apresentado como opção para conteúdo criativo; o Flash Lite TTS é voltado a geração de áudio em grande volume e com atenção ao custo.
• É possível descrever uma voz em linguagem natural, escolher entre uma biblioteca com mais de 2.000 vozes e salvar vozes personalizadas.
• A clonagem de voz usa uma amostra de referência de 30 segundos e exige uma gravação de consentimento que corresponda à pessoa de referência.
• Os áudios gerados incluem marca-d’água SynthID e credenciais C2PA, e a clonagem está indisponível em algumas regiões.
• As instruções podem variar por linha, incluindo estilos como sussurrar, falar com pressa ou soar sarcástico, além de tags para risos e suspiros.
• O modelo permite criar diálogos com dois personagens em uma única chamada de API; o Google afirma que as vozes podem se manter estáveis em áudios longos.
• Os resultados de benchmarks são mistos: o Flash TTS aparece em segundo lugar no ELO de preferência citado, enquanto o Flash Lite fica em sexto.
• O apresentador considera que o preço do Flash Lite não é muito inferior ao do Flash TTS e que a voz clonada testada soou diferente da original.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação dos modelos e recursos	O vídeo introduz os dois modelos de text-to-speech e apresenta criação de voz, biblioteca de vozes e clonagem com consentimento.
04:45	Benchmarks, idiomas e preços	O apresentador examina os benchmarks citados, compara resultados independentes e comenta desempenho multilíngue e custo.
07:22	Testes no AI Studio e no Colab	Ele demonstra o acesso aos modelos e compara as vozes, os estilos de fala e as tags de áudio.
11:37	Criação de vozes e diálogos	O apresentador testa uma voz descrita por características e mostra a geração de diálogos com dois personagens.
13:21	Clonagem de voz e avaliação final	Ele demonstra a gravação de referência e de consentimento, compara a voz clonada à original e conclui com sua avaliação dos modelos.

Citações

São dois novos modelos de text-to-speech: Gemini 3.8 Flash TTS e Gemini 3.8 Flash Lite TTS. — 00:30

A pessoa cuja voz será criada precisa gravar um clipe de consentimento falado. — 03:11

Não estou dizendo que os números estejam errados, mas não sei se citar benchmarks que você mesmo criou é a melhor forma de avaliar isso. — 05:19

Para mim, soa bem diferente. — 15:26

Conceitos e entidades

• Gemini 3.8 Flash TTS (modelo): Modelo de text-to-speech apresentado como voltado à criação de vozes expressivas e conteúdo criativo.
• Gemini 3.8 Flash-Lite TTS (modelo): Modelo de text-to-speech apresentado como opção para gerar grandes volumes de áudio com foco no custo.
• Google DeepMind (empresa): Organização citada como responsável pela equipe multimodal e pelos novos modelos de voz do Google.
• AI Studio (ferramenta): Ambiente usado no vídeo para explorar vozes e testar os modelos de text-to-speech.
• Hume AI (empresa): Empresa cujos benchmarks são citados pelo Google na avaliação dos modelos.
• Artificial Analysis (empresa): Organização que realizou testes próprios dos modelos, incluindo uma comparação por ELO de preferência.
• Qwen TTS (modelo): Modelo citado pelo apresentador como uma alternativa de código aberto eficaz na clonagem de voz.
• SynthID (ferramenta): Tecnologia de marca-d’água mencionada como aplicada aos clipes gerados pelos modelos.
• C2PA (conceito): Padrão de credenciais de conteúdo citado como uma camada adicional de identificação dos clipes gerados.
• SoundStorm (modelo): Trabalho anterior do Google citado como demonstração de clonagem de voz feita anos antes.

Tradução completa (pt-BR)

00:00 Bom, acho justo dizer que o Google meio que deixou a desejar com os LLMs ultimamente. O Gemini 3.5 Pro anunciado nunca chegou e, com sorte, tudo isso vai mudar muito em breve com o lançamento do Gemini 4. Mas, no lado multimodal, a história é bem diferente. A equipe multimodal da DeepMind tem se saído muito bem com os lançamentos multimodais baseados nos modelos Gemini Flash. Tivemos a atualização do Omni 1.1 Flash. No lado de voz, vimos os modelos ao vivo, com coisas como

00:30 tradução ao vivo, e inscreva-se no canal. E agora há dois novos modelos de texto para fala: Gemini 3.8 Flash TTS e Gemini 3.8 Flash Lite TTS. A proposta do Google é que esses sejam os modelos de voz mais expressivos até agora, e que estejam em primeiro lugar em vários benchmarks. E certamente há algo de verdade nisso, mas, quando você olha alguns números independentes, o resultado talvez seja um pouco mais misto do que a publicação no blog dá a entender. Certo, para começar, são dois modelos. Eles têm objetivos diferentes. O Flash TTS é o modelo criativo.

01:00 Ele serve para coisas como vozes de personagens, audiolivros, podcasts, jogos e todo tipo de coisa assim. O Flash Lite TTS, por outro lado, é o modelo para alto volume. Ele foi desenvolvido para dublagem, geração de áudio em massa, voice agents e qualquer situação em que você esteja gerando muita fala e o custo seja mais importante do que acertar perfeitamente cada nuance. Então, o grande destaque aqui é o design de voz. Em vez de simplesmente escolher uma voz de uma lista de opções predefinidas, você descreve em linguagem simples a voz que quer, dá a ela um papel, um sotaque, as

01:34 características da voz, e ele cria essa voz para você em mais de 100 idiomas. Isso é algo que já vimos tanto em outros provedores de TTS quanto em modelos open source. Mas certamente parece que o Google aprimorou bastante o conceito aqui. Esse é um dos aspectos que mais me frustravam nos modelos de TTS: embora as coisas tenham melhorado fantasticamente e estejamos começando a ver prosódia muito boa nos modelos, além de uma semelhança humana muito boa, entre outras coisas, o desafio muitas vezes é que, ao testar as vozes

02:08 disponíveis, nenhuma delas combina muito com o que você está tentando fazer. E aí você acaba tendo que tentar algum tipo de clonagem de voz. E, obviamente, isso pode trazer muitos problemas legais. Vimos algumas tentativas muito boas disso por parte do pessoal do Qwen TTS. Mas, em algumas das mais recentes que testei, por mais que eu tente descrever a voz, ela acaba seguindo uma direção um pouco diferente. Na verdade, muitas vezes acabei gerando várias vozes com descrições ligeiramente diferentes,

02:38 selecionando a melhor e, depois, clonando essa voz criada artificialmente. Agora, além do design de voz, há aqui uma biblioteca com mais de 2.000 vozes diferentes. Há vários sotaques regionais, e você pode pegar uma voz, manipulá-la como quiser e depois salvá-la para usar no futuro. E acho que isso não chega a ser uma surpresa. O Google vem testando esse recurso há bastante tempo, mas ainda não o tinha lançado: a clonagem de voz. Então, você fornece uma amostra de 30 segundos, e ele cria essa voz.

03:11 Obviamente, em comparação com outras startups, quando o Google faz algo assim, enfrenta muito mais problemas se algo der errado. Então, é evidente que a empresa levou tempo para desenvolver esse recurso e se concentrou bastante em incluir medidas de proteção. A pessoa cuja voz será criada precisa gravar uma mensagem de consentimento falada, e essa gravação precisa corresponder à pessoa de referência antes que a clonagem seja criada. Além disso, é claro, há também todos os recursos de segurança: cada clipe gerado por esses modelos recebe uma marca d’água do SynthID, e

03:41 também há credenciais C2PA. Outro desafio que muita gente vai enfrentar é que, por exigências legais, a clonagem de voz no AI Studio não está disponível em muitos países e até em alguns estados dos Estados Unidos. Isso mostra o quanto esse pode ser um assunto delicado, especialmente para uma empresa grande como o Google. Depois de criar sua voz, outra coisa importante que você pode fazer é dar instruções de interpretação linha por linha. Você pode dizer que uma fala deve ser sussurrada, outra deve ser dita depressa, outra deve ser sarcástica, e assim por diante.

04:13 E você pode inserir tags não verbais, como mostrei em alguns dos outros sistemas de TTS, para coisas como suspiros, risadas, suspiros de espanto e tudo mais. Outro recurso interessante é poder criar cenas com dois locutores usando um único roteiro. E o Google afirma que, com isso, o modelo consegue manter as vozes por horas de áudio longo, sem que elas acabem se desviando. Esse é um dos problemas que encontrei recentemente em alguns sistemas de TTS open source: depois que você acerta a voz e começa a

04:45 gerar algo mais longo, ela começa a se desviar. Certo. Então, vamos falar um pouco sobre os benchmarks, porque é aqui que as coisas ficam interessantes, mas também um pouco questionáveis em alguns aspectos. Os números do Google vêm principalmente da Hume AI. A empresa diz que o Flash TTS está em primeiro lugar no benchmark de design de voz da Hume e lidera em sotaques. Dá para ver pessoas como Logan publicando isso no Twitter. Mas há uma questão: um dos dois autores da publicação no blog é Alan Cowen. E Alan foi CEO e cientista-chefe da Hume até janeiro deste

05:19 ano, quando o Google DeepMind licenciou a tecnologia da empresa e contratou várias pessoas daquela startup. Então, não estou dizendo que os números estejam errados, mas não sei se citar números de um benchmark que você mesmo criou é a melhor forma de avaliar isso. O lado bom é que a Artificial Analysis também fez seus próprios testes, e acho que eles são razoavelmente independentes. Se olharmos o ELO de preferência, que é a forma comum de testar esse tipo de modelo, dá para ver que o Gemini 3.8 Flash TTS aparece em segundo lugar

05:50 e o Flash Lite TTS aparece em sexto. Também dá para ver que o modelo Flash está logo à frente do novo Qwen Audio 3, TTS Plus. No momento em que estou gravando isto, esse modelo ainda não é open source. Mas, se o Qwen acabar disponibilizando os pesos como um modelo open source, como fez antes com o Qwen TTS, vai ser muito interessante acompanhar. Onde os modelos Gemini realmente parecem liderar é em alguns benchmarks de pronúncia, entre outras coisas. Isso é especialmente útil se você estiver usando o modelo Flash Lite para gerar áudio em massa

06:21 com coisas como números e IDs, que as pessoas realmente precisam conseguir ouvir corretamente logo de primeira. Isso importa muito se você estiver criando um voice agent com esse tipo de modelo. Se olharmos o desempenho dos modelos em outros idiomas, dá para ver que esse é, e eu não diria que seja o ponto forte do Google, certo? O Google tem uma grande quantidade de dados multilíngues. E isso fica bem claro aqui quando vemos como ele se compara a outros provedores. Dito isso, a Cartesia e a ElevenLabs estão avançando bastante nos sistemas de TTS

06:51 multilíngue, finalmente. O outro grande destaque desta demonstração é o preço. O Google está mais ou menos no meio do grupo. Obviamente, oferece preços bem melhores do que alguns produtos da Cartesia e da ElevenLabs, e certamente da Minimax, entre outros, mas está longe de ser o mais barato. E acho que, em alguns aspectos, o mais importante é que o modelo Flash Lite não é muito mais barato do que o próprio modelo Flash. Isso é bem diferente do que vemos quando comparamos as versões de texto desses modelos. Certo, então vamos abrir o AI Studio, testar um pouco e depois nós…

07:22 vamos testar os dois modelos e depois podemos testar tudo isso também no Colab. Certo, se você quiser conferir as vozes, pode acessar o AI Studio e escolher um dos modelos de voz. Como você pode ver, escolhi o Gemini 3.8 Flash TTS. Em seguida, vão pedir que você conecte uma chave de API. A partir daí, você pode explorar vários modelos diferentes aqui. Então, se eu acessar esta página, posso escolher o modelo e escrever uma descrição aqui. E o legal é que, se você quiser, eles até

07:53 incluíram aqui a reformulação de voz. Como você pode ver, se eu clicar nisso, o Gemini vai elaborar o prompt de voz que eu quero usar, descrevendo como a voz deve ser. Depois, ele vai apresentar três opções de voz para você usar. Dá para descrever tudo, desde a própria pessoa até a posição dela diante de um microfone e coisas desse tipo. Isso é bem legal. Infelizmente, enquanto gravo isto, parece que as vozes estão falhando aqui.

08:24 Mas, normalmente, você receberia três vozes, que poderia personalizar e refinar, e assim por diante. Depois de várias tentativas de gerar isso, parece que esta parte não está funcionando agora. Vamos ao código e experimentar o Colab para isso. Certo, vamos ouvir. Oi, sou Sam, e hoje vamos conhecer os novos modelos de conversão de texto em fala Gemini 3.8. Como você pode ver, a voz básica funciona muito bem. E o legal é que há muitas opções se você quiser usar apenas vozes mais padrão e coisas do tipo. Vamos descer e ouvir a comparação entre o modelo Flash e o modelo Flash Lite. Os números trimestrais chegaram. A receita subiu 11%, e a rotatividade está no nível mais baixo dos últimos dois anos. Certo, esse foi o Flash TTS normal. Agora vamos ouvir o Flash Lite. Os números trimestrais chegaram. A receita subiu 11%, e a rotatividade está no nível mais baixo dos últimos dois anos. Certo, algo que percebo com o Flash Lite TTS é

08:56 que ele tende a ser um pouco mais lento. Pode levar mais tempo, e assim por diante. E, sinceramente, acho que a diferença de preço não é grande. O Flash TTS custa 50% a mais. Então, se eu fosse fazer algo que não fosse muito longo, provavelmente escolheria as vozes melhores. Certo, agora temos o controle de estilo. É aqui que podemos orientá-lo sobre como queremos que ele fale o que estamos pedindo, como queremos que pronuncie, e assim por diante. Acabamos de receber os resultados, e o protótipo realmente funciona.

09:28 Certo, essa ficou mesmo sem emoção e entediada. Vamos tentar empolgada e ofegante. Acabamos de receber os resultados, e o protótipo realmente funciona. Certo, agora vamos tentar nervosa, quase sussurrando. Acabamos de receber os resultados, e o protótipo realmente funciona. Certo, dá para ouvir que as três soam bem diferentes, embora sejam exatamente as mesmas palavras. Uma coisa de que gosto nisso é que o estilo afeta a duração do áudio. Com alguns dos modelos open source, um dos desafios é que

10:02 eles tentam dizer algo no estilo que você pediu, mas também tentam atingir uma duração específica na resposta. Aqui, estamos basicamente deixando que a duração seja determinada pelo estilo da fala. Certo, outra coisa que você pode fazer aqui é incluir estas tags em linha no texto que quer que a voz fale. São coisas como sussurrar, rir, suspirar, esse tipo de coisa. Espere. Psiu. Você ouviu isso no corredor?

10:34 Deixa para lá. Era só o gato. Você devia ter visto a sua cara. Certo, deu para ouvir que as tags em linha fazem mesmo o que se espera delas. No caso de sussurrar, suspirar e rir, as risadas também mudam dependendo das orientações de estilo que você deu. Certo, agora vamos à ideia de criação de voz. Aqui, não estamos apenas passando um texto e algumas orientações sobre como falá-lo. Estamos descrevendo a própria voz.

11:04 A ideia é que essa voz seja mantida em tudo o que ela disser, mesmo que, ao longo do caminho, também demos outras descrições de como falar. Aqui, você pode incluir coisas como de onde a pessoa é, o sotaque que quer, se quiser definir a idade, e coisas desse tipo. Como você pode ver, tenho aqui um personagem chamado “o astrônomo”, que está no fim dos seus 60 anos e tem um sotaque britânico suave.

11:37 Certo, dá para perceber um pouco da voz de David Attenborough, mas sem mencioná-lo diretamente. Acho que a voz soa bem mais jovem do que alguém no fim dos 60 anos, mas me diga nos comentários o que você acha, se testar isso. Certo. A seguir vem a parte divertida, em que você pode criar diálogos com vários interlocutores. Aqui, fazemos uma chamada de API com duas vozes. A ideia é definir o estilo por turno, ou seja, podemos basicamente

12:14 definir o que cada personagem diz aqui. Você pode ver que podemos definir quem são os interlocutores, mas também podemos definir o estilo de cada fala do diálogo. Não vou reproduzir tudo aqui. Publiquei o notebook. Você pode experimentar por conta própria e ver como funciona. Mas vamos ouvir um pedacinho.

12:45 Certo, dá para ouvir que isso tem mesmo a cara de um podcast do tipo que o NotebookLM gera. Para mim, não sei se é só porque já me acostumei tanto a ouvir essas vozes que elas meio que soam falsas. Mas o legal é que você pode trocar as vozes por outras, criar a sua própria e assim por diante. Certo, por último, temos a clonagem de voz, que pode ser feita só com código, certo? Como você pode ver, o código aqui basicamente cria uma interface HTML em que

13:21 você pode gravar o áudio de referência, que é como você quer que o áudio soe, e, em seguida, gravar o áudio de consentimento. Acho que o Google está numa situação bem difícil. Sabemos que os sistemas TTS da empresa já conseguiam fazer isso há muitos anos. Isso remonta a um artigo chamado SoundStorm, que, na época, era absolutamente impressionante. Isso foi há mais de três anos. E, mesmo naquela época, eles já conseguiam clonar vozes muito bem.

13:53 Na época, inclusive, me fizeram uma demonstração disso, e foi impressionante ver como já conseguiam clonar a voz de alguém tão bem. Avançando para hoje, muitos dos modelos open source já resolveram isso. E, ainda assim, esta é a primeira vez que vemos o Google disponibilizar esse recurso para as pessoas. Acho que está muito claro que o Google tem plena consciência das consequências disso e de que as pessoas podem usar esse tipo de tecnologia para fazer muitas coisas mal-intencionadas. Mas tenho que dizer que, de certa forma, me pergunto se a versão do Google aqui

14:23 não foi simplificada um pouco para não ser tão boa quanto algumas das versões open source disponíveis. Basicamente, com esta interface HTML, você pode gravar o áudio de referência, ou seja, o áudio a ser reproduzido, e depois gravar o áudio de consentimento. Essa é a parte realmente importante, em que você está dando consentimento ao Google para criar uma voz sintética baseada na sua voz. Se descermos e ouvirmos esses áudios, primeiro vou reproduzir o trecho original que gravei aqui.

14:53 na verdade, foi um pouco simplificado para não ser tão bom quanto algumas das versões abertas disponíveis por aí. Então, basicamente, o que você faz aqui com essa interface HTML é gravar o áudio de referência, ou seja, o áudio a ser reproduzido, e depois gravar o áudio de consentimento. Essa é a parte realmente importante, em que você basicamente dá consentimento ao Google para criar uma voz sintética com base na sua voz. E, se descermos e ouvirmos esses áudios, primeiro vou reproduzir o trecho original que gravei aqui

15:26 O cosmos está dentro de nós. Somos feitos de matéria estelar. Somos uma maneira de o cosmos conhecer a si mesmo. Certo, essa foi a gravação original que fiz. Agora, vamos ouvir o clone da minha voz, feito com este modelo. Ele foi gerado a partir de uma amostra de 30 segundos da minha voz. Agora deixo para vocês decidirem. Para mim, soa bem diferente. Acho que talvez, se eu tivesse enviado uma gravação de referência mais longa, ele pudesse gerar uma versão melhor da minha voz. Provavelmente, o melhor modelo open source que vi fazendo isso foi o Qwen TTS.

15:59 Fiz um vídeo inteiro sobre ele quando foi lançado e ainda acho realmente incrível como ele consegue clonar vozes tão bem. De certa forma, eu diria que esse era o ponto forte dele, pelo menos naquela época. E, ainda assim, provavelmente era mais fraco nas descrições para criar uma voz. Essa é a força do Gemini agora. Então, para concluir, eu diria que definitivamente vale a pena conferir. É realmente impressionante como hoje em dia é fácil fazer coisas com voz. Coisas que antes eram muito difíceis agora podem ser feitas com uma chamada simples de API.

16:31 E acho que, para quem talvez não tenha hardware para executar seu próprio sistema de síntese de fala (TTS), para rodar algo localmente, isso vai ser muito útil: basta ter uma API que você pode chamar para obter vozes de alta qualidade, com uma prosódia muito boa e um estilo personalizado que você mesmo pode definir. Enfim, me contem nos comentários. Sei que modelos de TTS são lançados o tempo todo. Tento acompanhar todos, mas alguns me escapam. Se tiverem alguma recomendação que gostariam que eu abordasse, deixem nos comentários abaixo.

17:02 Adoraria ouvir as sugestões de todo mundo. Enfim, como sempre, se você achou o vídeo útil, clique em Curtir e inscreva-se. A gente se fala no próximo vídeo. Até mais.

Transcrição original

[00:00] Okay, so I think it’s fair to say that Google has kind of dropped the ball on LLMs lately. The proposed Gemini 3.5 Pro never came, and hopefully all of that’s gonna change very soon with the Gemini 4 release. But on the multimodal side, it’s a very different story. The DeepMind multimodal team have been doing really well with the multimodal releases that have been based on the Gemini Flash models. So we’ve had Omni 1.1 Flash update. On the voice side, we’ve seen the live models with things like

[00:30] live translate, and subscribe. And now there are two new text-to-speech models, Gemini 3.8 Flash TTS and Gemini 3.8 Flash Lite TTS. Now, Google’s pitch is that these are the most expressive voice models yet, And they’re number one on a bunch of the benchmarks. and certainly some of that holds up, but when you look at some of the independent numbers, It’s perhaps a bit more mixed than the blog post makes it sound. Okay, so first off, there are two models. They’re aimed at different jobs. Flash TTS is the creative one.

[01:00] This is for things like character voices, audiobooks, podcasts, games, all those kinds of things. flash lite TTS on the other hand, is the volume one. It’s built for dubbing, bulk audio generation, voice agents, and anything where you’re generating a lot of speech and cost matters more than getting every single nuance perfect in there. so the headline feature here is all about voice design. instead of just picking from a list of preset voices, you describe the voice that you want in plain language, you give it a role, an accent, the

[01:34] characteristics of the voice, and it builds that voice for you across over 100 different languages and this is something that we’ve seen both from other TTS providers, but also from open models. But certainly does seem that Google’s improved the whole concept of this here this is one of the things that I found often to be the most frustrating with TTS models is it while things have been getting fantastically better and we’re starting to see really good prosody in the models, we’re starting to see really good human likeness, et cetera. Often the challenge becomes is that when you go through the test voices

[02:08] that they’ve got, none of them really fit what you’re trying to do And so you end up having to try and do some kind of voice cloning. and obviously the challenges there can be a lot of legal issues. So we have seen some really nice attempts at this from the Qwen TTS people. but some of the more recent ones that I’ve looked at No matter how hard I try to describe the voice, it ends up going in a slightly different direction In fact, what I’ve often ended up doing is basically generating a lot of different voices with slightly different descriptions,

[02:38] going through and curating the best one, and then actually cloning that artificially made voice now alongside voice designing here, there’s a library of over 2,000 different voices in here. They’ve got a whole bunch of different regional accents and you can actually sort of take a voice manipulate it the way you want, and then actually save that voice so that you can use it going forward. And I guess this is really no surprise. Google’s had this feature in testing for quite a while, but they just haven’t rolled it out, And that’s the whole feature of voice cloning. So you give it a 30-second sample and it creates that voice.

[03:11] Now obviously compared to other startups, when Google does something like this, they get in way more trouble if it goes wrong. so they clearly have taken their time with doing this, and they’ve really focused on putting some guardrails on this So the person whose voice it’s gonna actually create has to go through a spoken consent clip, and that clip has to match the reference speaker before the clone ever gets created. on top of this, of course, they’ve also got the whole sort of safety features in there that every clip these models generate is watermarked with SynthID, and

[03:41] there are C2PA credentials on top of that. the other challenge that a lot of people are gonna face is that because of legal requirements, that voice cloning in AI Studio isn’t available in a lot of different countries, and even in some states in the United States So it does show just how touchy of a subject that can be, especially for a big company like Google. Now once you’ve actually got your voice, the other big thing you can do here is you can give stage directions line by line. So you can say that this one should be whispered, this one should be rushed, this one should be sarcastic, et cetera.

[04:13] And you can drop in sort of non-verbal tags like I’ve shown you in some of the other TTS systems for things like sighs, laughs, gasps, all those kinds of things another nice feature that you’ve got in here is you can actually do two speaker scenes from a single script. And Google claims with that, that it can actually hold the voices for hours of long form audio without the voice sort of actually drifting. That’s one of the issues that I’ve run into with some of the open TTS systems recently, is that once you get that voice right and you start

[04:45] generating anything of any length, it starts to end up drifting off. Alright. So let’s talk a little bit about the benchmarks because this is where it gets interesting, but also a bit questionable in some of the things that they’ve done. So Google’s numbers mostly come from Hume AI. They talk about that the Flash TTS is number one on Hume’s voice design benchmark, and it leads on accents and you can see people like Logan actually tweeting this out But here’s the thing. One of the two people that wrote the blog post is Alan Cowen. And Alan actually was the CEO and chief scientist at Hume until January this

[05:19] year When Google DeepMind licensed their tech and hired a bunch of the people from that startup over. So I’m certainly not saying that their numbers are wrong But I’m not sure if quoting benchmark numbers from a benchmark that you designed yourself is the best way to judge this. Now, the good thing here is that artificial analysis have also done their own tests on that And I think those are reasonably independent if we look at the sort of preference ELO, which is the common way that people actually test these kind of models. You can see that the Gemini 3.8 Flash TTS is coming second in here

[05:50] And the flash lite TTS is coming in sixth in here And we can see that the flash model is just ahead of the new Qwen Audio 3, TTS Plus Now, at the time of me recording this, that one is still not an open model. But if Qwen goes on to release the weights for that as an open model like they did with their Qwen TTS before, that’s gonna be really interesting to see as well. Where the Gemini models really do seem to take the lead are some of the benchmarks around pronunciation et cetera. that’s especially useful if you’re using the flash lite model to bulk generate

[06:21] audio of where you’re saying things like numbers, IDs, things that people really want to be able to hear correct the first time That’s something that really does matter if you’re building a voice agent with this kind of model. if we look at how the models actually do on other languages, we can see this is, and I wouldn’t argue that this is Google’s strength, right? Google has a whole bunch of different multilingual data. and you can see this clearly in here of looking at how they compare to other providers. that said Cartesia and ElevenLabs here are really making a strong move at the

[06:51] multilingual TTS systems finally the other big demo here is actually price. So Google’s kind of sitting in the middle of the pack here, they’re obviously a lot better than some of the offerings from Cartesia and ElevenLabs, and certainly from Minimax, et cetera but they’re by far from being the cheapest in here. And I think in some ways more importantly, the flash lite model isn’t hugely cheaper than the flash model itself Which is definitely a difference than when we compare the text versions of these models. All right, so Let’s go over to AI Studio, have a play with this, and then we’ll

[07:22] try out the two models, and then we can try all this out in Colab as well all right, so if you want to check out the voices, you can actually come into AI Studio, and just pick one of the voice models. You can see here I’ve picked the Gemini 3.8 Flash TTS. and then you’ll be asked to basically hook up, an API key to it. but from there you can basically go through and you can explore a whole bunch of different models in here So if I just come in here, I can basically take the model, and then I can make a description in here. And the cool thing is if you want to, they’ve actually

[07:53] got voice rewriting in here. So you can see that if I click on that, that will basically just use Gemini to flesh out, the actual, voice, prompt in here of what I want the voice to be like. And then you’ll see from there it will give you three voice options that you can use. Everything from describing the person themselves through to, the position that they are on a microphone and that kind of thing. So that’s really kinda cool Unfortunately, as I’m recording it now, it seems like the voices are failing in here.

[08:24] But normally what you would do is you would get basically three voices, and those voices then you can customize it, you can then refine it, et cetera right after multiple attempts to try and generate this, it doesn’t seem like this part is working now. Let’s just jump into the code and have a play with the actual Colab for this All right, so let’s take a listen to it Hi, I’m Sam, and today we’re looking at the new Gemini 3.8 text-to-speech models So as you can see, the, the basic voice just works pretty well. and the cool thing is you’ve got lots of choices if you wanna do just, sort

[08:56] of standard voices and stuff in here. let’s come down and listen to the comparison between the flash model and the flash lite model The quarterly numbers are in. Revenue is up 11%, and churn is the lowest it has been in two years Okay, so that was the normal flash TTS. Now let’s listen to the flash lite The quarterly numbers are in. Revenue is up 11%, and churn is the lowest it has been in two years. Okay, so the common thing I notice with the flash lite TTS is

[09:28] it tends to be a bit more lazy. it might go on for longer, et cetera. And honestly, I feel that the price difference is not huge. So you’ve got the Flash TTS being 50% more. that if I was doing something that wasn’t too long, I’m probably just gonna go for the good voices Okay, so you can see now we’ve got the style control. This is basically where we can give it direction on how we want, what we’re asking it to speak, how we want it pronounced, et cetera We just got the results back, and the prototype actually works

[10:02] Okay, so that one certainly is flat and bored. Let’s try thrilled and breathless We just got the results back, and the prototype actually works Okay, and then now nervous, almost whispering. We just got the results back, and the prototype actually works. Okay, so you can hear that all three of them definitely sound very different, even though they’re the exact same words. So one of the things that I do like about this, is that this affects the length, of the audio. So with some of the open models, one of the challenges that you have is

[10:34] it will try and say something in the style that you’re asking, but it’s also trying to hit a certain time length, in the way that it returns back. Here, we’re basically letting the time length be dictated by the style that it’s saying. All right, The other thing that you can do in here is that In the actual script that you want them to say, you can actually put in, these inline tags. And so these are things like whisper, laugh, sigh, that kind of thing. Wait. Shh. Did you hear that in the hallway?

[11:04] Never mind. It was just the cat. You should’ve seen your face Okay. So you could hear there that the inline tags, it certainly, does what they’re basically there for. In the case of whisper, sigh, laugh. The laughs will change also depending on the style directions you’ve given it as well All right, so next up is the whole idea of voice design. So now what we’re doing is we’re not just passing in, a script and sort of a guidance of how to speak it. We’re actually giving a description of the voice itself.

[11:37] So the idea here is that this voice should then carry over to everything that it’s gonna speak, even if we give it other sort of descriptions of how to speak it going through. So this is where you can put in things like, where the person comes from, the accent that you want, if you want to define something about age, that kind of thing in here. so you can see in here I’ve got a character called the astronomer, that’s in his late 60s with a gentle British accent

[12:14] Okay, so you can see there it’s got some vibes of, sort of a David Attenborough voice there, but without actually mentioning him personally, I feel the voice sounds a lot younger than late 60s, but let me know in the comments what you think if you try that out All right. Next up is the fun one where you can basically have multi-speaker dialogues going on in here. So here we’re doing one API call with, two voices. and so we’ve got this idea of, per turn style, Meaning that we can basically

[12:45] set what each character says in here, and you can see we can define the actual speakers, who they are, but we can also define the style for each line of dialogue that they’ve actually got. So I’m not gonna play the whole thing here. I put the, notebook up. You can have a play with this yourself and try it out, and just see how it goes. But let’s take a little listen to this

[13:21] Okay, you can hear there this has definitely got the vibes of sort of a NotebookLM, podcast kind of thing that gets generated. Now for me, I don’t know if it’s just that I’m so used to hearing these voices now that they kind of sound fake to me. But the cool thing is you can swap out other voices. You could make your own, et cetera, as you go through this all right, lastly, we’ve got the voice cloning in here, and the voice cloning can be done, just by code, right? So you can see the code here is basically just making an HTML interface where

[13:53] you can record, the reference audio, so which is gonna be what you want the audio to sound like, and then second, where you can record, the consent audio. I do think that Google’s in a very hard spot here. We know that this is something that their TTS systems have been able to do for quite a number of years now. and this goes back to a paper called SoundStorm, which, at the time was, absolutely amazing. This is more than three years ago now And even then they were able to basically clone voices so well.

[14:23] and at the time I was actually given a demo of this, And it was amazing just how well it could clone someone’s voice back then jump forward to today, many of the open models now have got this worked out. And yet this is the first time that we’ve seen Google actually make this available to people. And I think it’s been very clear that Google’s very conscious of the ramifications of this, and that people can use this kind of tech for doing a lot of nefarious kind of things But I got to say, in some ways, I wonder whether Google’s version here

[14:53] has actually been, dumbed down a little bit to be not quite as good as some of the open versions that are out there. so basically what you do here with this HTML interface is that you can, record in your reference audio, so this is the audio to replicate, and then you can record in the consent audio. and this is the really important bit where you’re basically giving Google, consent to make a synthetic voice based on your voice And if we come down and actually listen to these, first I’ll play you the original, bit that I recorded in here

[15:26] The cosmos is within us. We are made of star stuff. We are a way for the cosmos to know itself. Okay, so that was the sort of original recording I did, and now let’s listen to the clone of my voice done with this This was generated from a 30-second sample of my voice Now I’ll leave it to you guys to decide. For me, it sounds quite different. I think possibly had I uploaded a longer reference audio, it might be able to get a better version of my voice. Probably the best model that I’ve seen doing this, open wise was the Qwen TTS.

[15:59] I made a whole video about that when it came out, and I still think that one is really amazing at how well It can clone voices. And in some way I would say that was their strength, at least back then. and yet They were probably weaker with the descriptions for creating a voice. and that’s the Gemini’s strength in here now. So just to finish up, I would say this is definitely worth checking out. It is really cool, how easy it is nowadays to basically do voice things. Things that just used to be so difficult, in the past are now a very simple API call.

[16:31] And I think for people who perhaps don’t have hardware to run their own TTS system, to run something locally, This is gonna be quite nice for just giving you an API that you can ping and get high quality voices out with really nice prosody and with a custom style that you can define all by yourself So anyway, let me know in the comments. I know there are TTS models coming out all the time. I try to keep up with them. I’ve missed some. if you’ve got any recommendations that you would like me to cover, please put them in the comments below.

[17:02] I’d love to hear that from everyone Anyway, as always, if you found the video useful, please click like and subscribe, and I will talk to you in the next video. Bye for now