Os 3 principais lançamentos de modelos de áudio do Gemini

Autoria: Google for Developers · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Top 3 new model launches at Gemini Audio at Night · Canal: Google for Developers · 01:06 · Assistir no YouTube

Tópicos: Engenharia de software com IA, Modelos multimodais

Resumo

O vídeo apresenta três novidades de áudio da Google DeepMind: modelos de texto para fala com personalização de voz, tradução ao vivo e novos recursos nos modelos Gemini Live. A personalização permite ajustar emoções, ressonância e pausas na voz gerada. A tradução ao vivo pode converter entradas de áudio ou vídeo para qualquer um de cem idiomas. Os recursos multimodais e de interação ao vivo do Gemini Live também podem ser incorporados a projetos de desenvolvedores.

Pontos-chave

Os novos modelos de texto para fala permitem personalizar vozes.
A personalização pode incluir emoções, ressonância e pausas.
A tradução ao vivo aceita uma entrada de áudio ou vídeo.
A tradução ao vivo oferece suporte a cem idiomas.
Os modelos Gemini Live receberam novos recursos.
Desenvolvedores podem integrar compreensão multimodal e interações ao vivo aos seus projetos.
Os recursos incluem chamadas de função e tool calls.

Capítulos

Início	Capítulo	Resumo
00:01	Personalização de voz	O vídeo apresenta modelos de texto para fala que permitem orientar emoções, ressonância e pausas da voz.
00:34	Tradução ao vivo	O recurso traduz entradas de áudio ou vídeo para qualquer um de cem idiomas.
00:34	Recursos do Gemini Live	Os recursos multimodais e de interação ao vivo do Gemini Live podem ser integrados a projetos de desenvolvedores.

Citações

Você pode criar uma voz e orientá-la para ter emoções específicas, uma ressonância específica e até incorporar pausas. — 00:01

Você pode ter uma entrada de vídeo ou de áudio e traduzi-la para qualquer um dos cem idiomas que imaginar. — 00:34

Você pode integrar a compreensão multimodal, as interações ao vivo, chamadas de função e tool calls a todos os seus projetos de desenvolvedor. — 00:34

Mal podemos esperar para ver o que vocês vão criar, especialmente com estes novos modelos de áudio. — 01:06

Conceitos e entidades

Google DeepMind (empresa): Empresa que lançou os novos modelos de áudio apresentados no vídeo.
text-to-speech models (modelo): Modelos que geram fala e permitem personalizar a voz, incluindo suas emoções, ressonância e pausas.
live translation (ferramenta): Recurso que traduz entradas de áudio ou vídeo para cem idiomas.
Gemini Live (modelo): Modelos com compreensão multimodal e interações ao vivo, incluindo recursos como chamadas de função e tool calls.

Tradução completa (pt-BR)

00:01 O Google DeepMind acabou de lançar novos modelos de áudio incríveis, com recursos que vão de tradução ao vivo e interações ao vivo a coisas como personalização e customização de voz. Aqui estão as três principais coisas que você precisa conferir. Nossos novos modelos de conversão de texto em fala são capazes de fazer uma personalização de voz realmente impressionante, o que significa que você pode criar uma voz e orientá-la para expressar emoções específicas, ter uma ressonância específica e até incorporar coisas como pausas. - Hoje à noite, a neblina chega do Pacífico. - Também lançamos recentemente algo chamado

00:34 tradução ao vivo, que permite receber uma transmissão de vídeo ou áudio e convertê-la para qualquer um dos cem idiomas diferentes que você imaginar. - O salmão com abacate, por favor. - Eeto, supaishii tsuna to saamon abokado o onegaishimasu. - Isso! - Também adicionamos novos recursos aos nossos modelos Gemini Live. Assim, você pode incorporar a compreensão multimodal, as interações ao vivo, coisas como chamadas de função e chamadas de ferramentas a todos os seus projetos de desenvolvedor. - A rotação completa do peito é o principal que você precisa continuar praticando.

01:06 Bom trabalho hoje. - Mal podemos esperar para ver o que você vai criar, especialmente com esses novos modelos de áudio.

Transcrição original

[00:01] Google DeepMind just released some amazing new audio models everything from live translation to live interactions to things like voice customization and personalization. Here are the top three things that you should check out. Our new text-to-speech models are capable of doing really compelling voice personalization, which means that you can create a voice and guide it to have specific emotions, specific resonance, and even to incorporate things like pauses. - Tonight, fog rolling in from the Pacific. - We’ve also just recently released something called

[00:34] live translation, which allows you to have a video input feed or an audio input feed and change it to any of a hundred different languages that you can imagine. - The salmon avocado, please. - Eeto, supaishii tsuna to saamon abokado o onegaishimasu. - Yeah! - We also have new features added into our Gemini Live models. So you can take the multimodal understanding, the live interactions, things like function calls and tool calls, and bake them into all of your developer projects. - That full chest turn is the main thing to keep practicing.

[01:06] Nice work today. - We can’t wait to see what you build, especially what you build with these new audio models.