Conheça o Genie 4

Ver no idioma original →

Autoria: Google for Developers · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Introducing Genie 4 · Canal: Google for Developers · 47:15 · Assistir no YouTube

Tópicos: Geração de conteúdo com IA, Modelos de IA, Modelos multimodais, Robótica e sistemas autônomos, Segurança de IA

Resumo

Neste episódio, a equipe do Google apresenta o Genie 4, um modelo de mundo capaz de gerar ambientes interativos em tempo real, com vídeo e áudio. O modelo avança em realismo, controles de câmera e interação com personagens, e pode ser combinado com Gemini para interpretar ações e orientar o que acontece na cena. A conversa explora aplicações potenciais em robótica, educação e criação audiovisual, além dos desafios de latência, consistência e segurança. O Genie 4 será disponibilizado no Project Genie e por meio de uma API.

Pontos-chave

• Modelos de mundo representam ambientes fundamentados e simulam como eles mudam quando há interações ou ações.
• O Genie 4 gera vídeo e áudio em conjunto, incluindo música ambiente e diálogos com personagens.
• Em comparação com o Genie 3, o modelo busca maior realismo visual e oferece controles mais livres, como navegação em primeira pessoa e controle de câmera.
• Gemini pode trabalhar em conjunto com o Genie 4 para interpretar o estado da cena, as intenções do usuário e orientar as respostas do mundo.
• A combinação de modelos de mundo e Gemini pode apoiar pesquisas em robótica e usos educacionais.
• Simulações geradas pelo Genie podem ajudar a criar e visualizar dados de treinamento para robôs.
• Baixa latência, consistência de longo prazo e equilíbrio entre desempenho e eficiência continuam sendo desafios de pesquisa.
• A equipe considera combinar mundos gerados em pixels com estruturas produzidas por código para preservar o estado dos ambientes.
• As saídas terão SynthID, e o lançamento gradual com Trusted Testers ajudará a avaliar segurança e casos-limite.
• O Genie 4 estará disponível no Project Genie e por meio de uma API.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do Genie 4 e dos modelos de mundo	A equipe apresenta o Genie 4 e explica como modelos de mundo representam ambientes e suas interações.
03:13	A evolução do Genie 1 ao Genie 3	Os participantes relembram a trajetória do projeto, de ambientes 2D a mundos 3D interativos em tempo real.
05:19	Demonstrações de áudio e realismo	Uma demonstração compara o Genie 3 com o Genie 4 e destaca áudio integrado e maior realismo visual.
10:07	Controles e interação em primeira pessoa	A equipe apresenta controles de câmera, navegação em primeira pessoa e interações com personagens e cenários.
14:27	Gemini no loop e aplicações em robótica	Os participantes explicam como Gemini pode interpretar ações e discutem usos potenciais em educação e robótica.
21:53	Demonstração de simulação para robôs	Uma demonstração combina Argon e Genie 4 para simular ações de robôs e explorar tarefas variadas.
24:01	Avanços, consistência e desempenho	A conversa resume os avanços do modelo e aborda os desafios de realismo, latência, taxa de quadros e consistência.
31:27	Combinar mundos gerados com código	A equipe discute como estruturas produzidas por código poderiam manter o estado de um mundo sem perder sua expressividade.
34:04	Disponibilidade e segurança	Os participantes falam sobre o lançamento no Project Genie e na API, o SynthID e as medidas de segurança.
39:47	Usos criativos, avaliações e encerramento	A equipe demonstra uma cozinha interativa, conversa sobre aplicações para desenvolvedores e avalia os desafios de criar evals.

Citações

Um modelo de mundo trata de compreender um ambiente fundamentado, um mundo, e como as interações acontecem dentro dele. — 01:37

O modelo Genie 4 prevê o vídeo e o áudio juntos, a partir do mesmo modelo. — 08:28

É a mudança da exploração para a simulação. — 24:32

Queremos que seja realmente de baixa latência, para que responda de verdade e você possa interagir com esses mundos. — 26:40

Conceitos e entidades

• Genie 4 (modelo): Modelo de mundo do Google que gera ambientes interativos com vídeo e áudio em tempo real.
• Genie 3 (modelo): Versão anterior do Genie, apresentada como referência para os avanços em realismo e interação do Genie 4.
• Genie 2 (modelo): Versão do projeto Genie que avançou da geração de ambientes 2D para ambientes 3D.
• Genie 1 (modelo): Projeto de pesquisa que demonstrou a geração de ambientes 2D inspirados em jogos de plataforma.
• Gemini (modelo): Modelo que pode trabalhar junto ao Genie para interpretar cenas e orientar respostas e interações.
• Gemini Omni (modelo): Modelo de base multimodal citado como uma das bases dos avanços de realismo e geração audiovisual do Genie 4.
• Project Genie (ferramenta): Produto em que o Genie 4 continuará disponível para que as pessoas experimentem as experiências interativas.
• SynthID (ferramenta): Tecnologia de marca d’água mencionada como parte das medidas aplicadas às saídas do Genie.
• Argon (modelo): Modelo usado em uma demonstração de robótica para produzir instruções intercaladas com ações geradas pelo Genie 4.
• SIMA (modelo): Projeto de agentes capazes de jogar e explorar mundos, que poderá ajudar a avaliar ambientes do Genie.
• Google DeepMind (empresa): Organização responsável pela pesquisa do projeto Genie e por outros projetos de IA mencionados na conversa.
• Logan Kilpatrick (pessoa): Apresentador do episódio de Release Notes.
• Raia (pessoa): Participante que comenta aplicações, pesquisa e os desafios dos modelos de mundo.
• Diego (pessoa): Participante que conduz e explica as demonstrações do Genie 4.
• Hang (pessoa): Participante que explica aspectos técnicos do modelo e da interação com Gemini.

Tradução completa (pt-BR)

00:00 Se quiséssemos colocar todas as TPUs para uma só, só para o Logan, — Só para mim. — daria para rodar a 60 FPS? Na verdade, não sei a resposta. — Boa pergunta. Nunca testamos 60 FPS. Na verdade, não sei. — Oi, pessoal, tudo bem? Meu nome é Logan Kilpatrick. Bem-vindos de volta ao Release Notes. Hoje estou aqui com Raia, Diego e Hang, e vamos falar sobre Genie 4.

00:31 Talvez possamos começar pelas novidades. O novo modelo chegou, sendo disponibilizado pela primeira vez nos nossos produtos e na API, o que é empolgante. Alguém quer começar e explicar por alto o que está acontecendo com Genie 4? — Estamos trabalhando em Genie 4 há bastante tempo. Genie 3 foi lançado em janeiro, no começo do ano. Então estamos prontos para Genie 4. Ele tem novas capacidades sobre as quais vamos falar: áudio, Gemini no circuito para controlar a geração, o modelo de mundo e um fotorrealismo incrível

01:03 que vem do fato de este modelo ser baseado em Omni Flash. Sim. — Isso é demais. Para alguém que está vendo Genie pela primeira vez, que nunca ouviu falar dele e não sabe o que são nossos modelos de mundo, talvez possamos fazer um resumo do que é, por que estamos empolgados com essa área e, depois, ver algumas demonstrações legais que, esperamos, deem vida a essa descrição. Então. — Devíamos começar definindo o que são modelos de mundo, porque esse termo tem sido bastante usado. Podemos pensar nos modelos de linguagem, como Gemini, como modelos de raciocínio.

01:37 Eles lidam com conhecimento e linguagem, enquanto um modelo de mundo trata de compreender um ambiente fundamentado, um mundo, e de como as interações acontecem dentro dele. Isso significa que o modelo de mundo precisa ter um estado interno. Ele precisa entender qual é o estado do mundo e o que acontece quando as coisas interagem nele, quando colidem ou se movem, ou quando realizamos uma ação,

02:09 como isso vai mudar o mundo? Então, trata-se de entender a física desse ambiente, mesmo que seja algo que o mundo nunca tenha visto antes, mesmo que seja fantástico; ainda assim, trata-se de entender quais são as maneiras prováveis de a física desse ambiente agir quando realizamos uma ação. — Adorei. E talvez mais um comentário rápido, e depois veremos algumas demonstrações. Também pode ser útil um pouco de contexto histórico,

02:39 porque este não é o nosso… este é Genie 4. Lançamos vários outros modelos de mundo, desde lá atrás. Acho que talvez… não sei, Genie 1 foi totalmente interno, e mostramos algumas demonstrações? Não sei se alguém de fora chegou a usar Genie 1, mas depois vieram Genie 2 e Genie 3. Não sei se isso está certo, mas talvez seja útil falar também sobre a história do projeto, como começou e onde estamos agora. — Sim, acompanho o desenvolvimento de Genie há muito tempo. A DeepMind começou pensando em ambientes de jogos

03:13 porque queríamos entender como os agents funcionam em um ambiente de jogo. E sabíamos que poderíamos treinar agents melhores se tivéssemos simulações mais ricas, ambientes mais ricos. Então começamos a pensar: será que poderíamos criar um modelo de mundo para gerar continuamente novas simulações, novos ambientes para treinar AGI? Genie 1 foi um projeto de pesquisa de alto risco que, sinceramente, não achávamos

03:43 que funcionaria tão bem quanto funcionou, mas nos deu aquela prova de vida, aquela prova de conceito, mostrando que podíamos gerar um ambiente 2D. Então, treinamos o modelo com jogos de plataforma 2D e mostramos que era possível andar para a direita, andar para a esquerda e pular, além de mudar a aparência do ambiente. Um ano depois, Genie 2 expandiu isso para ambientes 3D, passando de 2D para 3D, mas ainda com uma aparência muito mais de ambientes de jogos do que de mundos realistas,

04:15 e não era exatamente em tempo real nem totalmente interativo. Então, avançamos bastante, e Genie 3 foi o primeiro modelo lançado no começo deste ano. — Em janeiro. — Em janeiro, quando conseguimos mostrar um novo nível de realismo nos ambientes que podíamos criar: eles eram ricos, em 3D, em tempo real e interativos. Foi aí que realmente começamos a declarar sucesso neste modelo de mundo. — Sinto que Genie 3 foi esse ponto de inflexão na pesquisa

04:46 em que ele se tornou um pouco mais útil para as pessoas experimentarem, mas ainda estava claramente nos estágios iniciais da pesquisa de fronteira. Também falamos sobre isso quando lançamos Genie 3. E agora acho que, com Genie 4, estamos avançando na escala de utilidade, mas ainda estamos muito dentro da pesquisa. — Sim. — Então, este ainda é um modelo que às vezes comete erros, mas começa a demonstrar capacidades novas e realmente muito úteis. Estamos avançando nessa escala, em diferentes dimensões de pesquisa. — E, a partir de Genie 3, começamos a ver que o modelo consegue absorver

05:19 e refletir uma variedade maior de mundos, além de começar a responder em tempo real, e as pessoas conseguem de fato tentar controlar personagens nesse mundo. Com Genie 4, estamos dando novos saltos nessas frentes. — Adorei. Tenho um milhão de perguntas, mas vamos ver algumas demonstrações. Diego, acho que você está no comando. — Achei que uma maneira interessante de abordar as demonstrações seria talvez mostrar Genie 3 como referência para um mundo. Certo, legal. Depois, mostraremos uma diferença com Genie 4 e, em seguida, vamos passar

05:49 por uma série de demonstrações diferentes, e aí podemos parar e conversar também. Então, a primeira referência que eu queria mostrar é este mundo. Na verdade, isto é uma imagem, um quadro inicial. Esta é uma geração de Genie 3. É só um trecho curto, para mostrar como funciona. Pela definição desses personagens, com exceção dos que aparecem no quadro inicial, eles não são muito realistas. Dá para ver uma aparência mais parecida com a de um jogo. E, algo muito importante, é um mundo silencioso, ao que voltaremos daqui a pouco.

06:20 Esse é apenas o ponto de partida. Podemos usá-lo como referência de onde estávamos em Genie 3. Acho que, como Raia estava dizendo, o salto entre Genie 1, 2 e 3 foi bem significativo entre as gerações. Mas agora estamos vendo um avanço ainda maior no realismo. Então, vamos ao exemplo e ver como fica. Vou começar com o som do mundo desligado e, depois, vamos adicionar o áudio. Há muita coisa acontecendo nesta interface. Vamos entrar nos detalhes daqui a pouco. E aqui vou inserir o prompt: “a cena ganha vida”.

06:54 Vamos ver se… certo. Dá para perceber que a banda está tocando agora. E se eu ativar o som aqui… — (Vocalizando) — Acho que há algumas coisas a destacar aqui. O áudio é o mais óbvio. Vou baixar o volume por enquanto, mas o áudio é um pouco como na transição de V02 para V03… Deixe-me pausar…

07:25 …em que é óbvio que faltava algo que você nem sabia que estava fazendo falta. E, depois que você chega aqui, é muito difícil voltar atrás, porque essa camada de imersão e também de simulação é incrível. Outra coisa que podemos destacar nesta demonstração é o realismo. Eu estava ressaltando que, no exemplo anterior, deixe-me desligar o som por enquanto, a aparência dos personagens era muito mais parecida com a de um jogo. — Sim. — E aqui dá para perceber: se eu aproximar bastante a câmera,

07:56 neste caso estou apenas controlando a câmera, os detalhes são impressionantes. E uma coisa que acontece nos bastidores, sobre a qual podemos falar, é que boa parte disso também se apoia na base de Omni, que contribui muito para esse realismo. Além disso, há alguns aspectos diferentes do realismo aqui, certo? Obviamente, há a aparência dos personagens, mas também há o movimento das mãos. Existem muitas camadas diferentes, bem sutis, e ainda não está totalmente perfeito, mas é, sem dúvida, um grande salto adiante. — Sim, isso é demais. — A modalidade de áudio é uma modalidade totalmente nova

08:28 isso está sendo adicionado ao modelo Genie 4. Antes, no Genie 3, só era possível navegar por uma cena e ver apenas a saída visual. Então, aqui, o modelo Genie 4 prevê tanto o vídeo quanto o áudio a partir do mesmo modelo. — Isso é incrível. E, sem revelar o segredo por trás disso, é como se fossem apenas novos dados ótimos que têm áudio e vídeo juntos, ou algo assim, que possibilitam isso? Ou será que estamos… será que estamos nos baseando no Omni e construindo a partir dele? Tenho curiosidade, até onde podemos falar sobre isso.

09:01 tecnicamente, sobre o que está acontecendo ou o que é diferente no Genie 4: o que, de fato, torna isso possível? — Acho que construir sobre o Gemini Omni, como o mais novo modelo fundamental para vídeo, certamente dá um grande impulso. Por outro lado, em termos de dados, os dados do mundo real são multimodais por natureza. Quando você tem dados de vídeo, eles sempre vêm acompanhados de áudio, sempre sincronizados. E esse é o mundo que queremos modelar. Você quer modelar o mundo a partir de uma única perspectiva, mas as modalidades de áudio e vídeo são, essencialmente, apenas componentes do mesmo mundo.

09:37 — É, não, adorei isso. E, Diego, você mencionou que há um monte de coisas acontecendo nesta demonstração. Não sei se vale a pena falar sobre outras coisas que estamos vendo visualmente à direita ou em qualquer outro lugar. A pausa e a retomada, não sei se isso é outra novidade ou se é só para esta demonstração de pesquisa. — Talvez possamos falar de algumas coisas aqui, porque há muita coisa, e vamos mostrar isso em algumas demonstrações. A primeira é a interação de pausa. Isso serve principalmente para fins de pesquisa. Acho que percebemos que, como agora você está dando prompts em tempo real,

10:07 o que é uma nova possibilidade que também podemos comentar, você intercala legendas de texto em tempo real e também direciona o modelo de determinadas maneiras. Mas o problema é que a transmissão continua em andamento. E, por isso, é muito difícil digitar enquanto ela está acontecendo. Você também quer ter certeza de que está acertando o momento certo do quadro. Então, pausar ajuda no processo de desenvolvimento. Se vamos ou não oferecer isso aos usuários como um recurso ou uma experiência, ainda vamos ver. Provavelmente vamos testar e ver que feedback recebemos. Houve muitos comentários diferentes sobre

10:38 a maneira certa de direcionar o modelo com texto. Talvez você deixe coisas na fila com antecedência; talvez intercale essas legendas de texto durante o processo; ou talvez haja algo como ações procedurais ou outras coisas que possamos considerar. Também vamos falar sobre a experiência com o Gemini, que é o que está acontecendo à direita no próximo exemplo. — Legal. Não, isso é incrível. Tem mais alguma coisa nesta demonstração que queremos ver? Se não, estou pronto para mais exemplos. — Certo, vamos a outro exemplo. Uma coisa que usamos bastante no Genie 3 foi a ideia de um personagem em terceira pessoa.

11:08 Vocês vão se lembrar daquela demonstração do brinquedinho parecido com um dragão, que a gente fazia andar por aí, e depois tínhamos diferentes exemplos em que você tirava uma foto de alguma coisa e a animava para dar vida a ela. É. E foi uma demonstração muito divertida. Acho que, nesta versão, estamos nos concentrando muito mais em dois paradigmas de interação do que no personagem em terceira pessoa. Um deles são as perspectivas egocêntricas, ou seja, perspectivas em primeira pessoa, com a possibilidade de navegar usando o teclado e… ou usando teclado e mouse, e realmente direcionar o mundo em tempo real a partir dessa perspectiva.

11:39 E a segunda parte são os controles de câmera, que foi o que mostramos na demonstração anterior. Então, agora vou mostrar uma demonstração egocêntrica, que é apenas uma perspectiva em primeira pessoa. Vamos ver como fica. — Este é um exemplo interessante. — Muito interessante. É um bom destaque de como o Genie 4 se concentrou bastante no fotorrealismo, em comparação com o Genie 3. E aqui vocês veem mãos em primeira pessoa fazendo café. — Um café lindo. É, é. Surpreendentemente consistente enquanto caminhamos, o que é legal. — Estávamos falando de áudio antes.

12:10 Como vocês podem imaginar, o áudio tem um papel importante. Estamos mostrando o exemplo com música. Obviamente, também há áudio ambiente. Mas uma parte importante do áudio e da simulação é o diálogo com as pessoas no mundo. Essa é uma área em que acho que estamos começando a fazer pesquisas bem ativas. É uma área muito complexa e, na minha opinião, ainda há muito trabalho a fazer para que fique totalmente perfeita e refinada, mas ela revela capacidades completamente novas. Então, vamos ver como fica e depois podemos experimentar. Vou tirar o som do mudo. Deixe-me largar o café.

12:45 — Esse cara não está nem de longe tão incomodado com a gente quanto deveria. — Ah, desculpa por isso. — Sem problema. Acidentes acontecem. — Certo. Então, vocês viram que, nesse caso — deixa eu tirar o som —, é um exemplo interessante, né? Porque havia algumas coisas ali. Na verdade, talvez façamos assim. Acho que este é um bom exemplo. Hang, talvez você possa participar. — Também é um bom momento para fazer uma pausa e observar como a modalidade de áudio, que mencionamos no exemplo anterior, se limita à música ambiente e ao áudio que acompanha o vídeo.

13:19 Neste caso, também estamos dando bastante ênfase ao diálogo. — É. — Você pode conversar com um personagem na cena, no mundo. Antes, no Genie 3, a dimensão de controle que você tinha era principalmente controlar o personagem principal, seja na perspectiva em primeira pessoa ou na perspectiva em primeira pessoa, para navegar e andar pela cena. Mas aqui há muita ênfase em como podemos começar a interagir com a cena. Como podemos, por exemplo, pegar uma xícara de café, servir uma xícara de café, e aí vocês veem as pessoas na cena reagindo às ações do personagem em tempo real

13:55 e, ao mesmo tempo, também mantendo diálogos entre os personagens. — É surreal. — É, acho que o que impressiona muito é que tudo acontece em tempo real. E, por isso, há muita coisa que pode dar errado — e às vezes dá errado — em termos de artefatos no diálogo e de garantir que tudo pareça um diálogo e uma conversa coesos, mas também que o diálogo seja, eu diria, coerente ou relacionado ao contexto real do mundo, se é que faz sentido. É um problema de pesquisa e de experiência bastante fascinante.

14:27 — Sobre as duas áreas que mencionamos, educação e robótica: aqui, a parte do diálogo é conduzida pelo Gemini. Ela não é conduzida apenas pelo modelo de mundo Genie 4, mas também pelo Gemini. Há um modelo Gemini nos bastidores, pensando em como responder às ações do usuário. E, mais adiante, dá para imaginar que isso poderá se conectar a mais casos de uso instrucionais, nos quais o Gemini essencialmente tem conhecimento do mundo e muitos recursos de raciocínio. E então

14:57 essa é uma das coisas que permitem que um modelo de mundo seja usado em casos de uso instrucionais e educacionais. E a segunda parte, sobre robótica: muitas das ênfases que vemos aqui estão na perspectiva em primeira pessoa, em que você vê, desse ângulo, como uma ação é realizada e como diferentes tarefas são executadas. Então, esperamos que esses domínios possam ser transferidos para a robótica mais adiante, e que possamos usar a mesma tecnologia para talvez melhorar a robótica. — É, muito interessante. E então, uma coisa interessante

15:27 talvez para quem não conhece modelos de mundo, mas conhece muito do que está acontecendo agora com modelos de linguagem baseados em texto: é quase como se isso fosse um harness de modelo de mundo em torno de — estou entendendo certo? — em torno do Genie 4, que nos permite intercalar o áudio dessa forma, e o Gemini também entra nessa combinação de alguma maneira. Esse é um modelo mental ruim ou razoável? — Uma novidade aqui é que, como o Hang estava mencionando,

16:00 é que você tem o Gemini trabalhando em conjunto com o modelo de difusão. E, de repente, você tem quase uma camada diferente de inteligência, também fornecida pelo Gemini no núcleo, observando o mundo e basicamente dizendo: “Certo, o que aconteceu no quadro anterior? O que o usuário pretendia fazer? E o que deve acontecer em seguida para realmente atender a essa intenção?” — E isso é só o Gemini puro, apenas compreensão de imagens de vídeo, como você teria com um modelo normal… — Sim. Então, neste caso, estamos usando o Vanilla 3.8 Flash, principalmente porque queremos garantir que tudo também funcione em tempo real.

16:32 Mas também fizemos experimentos com o Argon, por exemplo, e vimos até onde podemos ir, por exemplo, em aplicações de robótica, sobre as quais também podemos falar. Legal. — Aqui, o Genie 4 certamente é um modelo de mundo multimodal por si só, mas também é enriquecido, e muitas das capacidades de inteligência são fornecidas pela camada Gemini subjacente. — Sim. Temos algum exemplo de Live com Genie 4? É isso que está sendo usado, o novo modelo Live, em que você pode transmitir um vídeo e depois usar a transmissão de vídeo?

17:02 Ou, na verdade, é apenas o 3.8 Flash básico recebendo imagens? — Este é só o 3.8 Flash básico, mas você está falando do modelo de áudio que poderia ser conectado via A2A e… — A2A, mas acho que no A2A também dá para compartilhar um vídeo. — Sim. — Uma transmissão de vídeo. — É um experimento interessante. Neste caso, estamos usando apenas o 3.8 Flash como estação de texto. — Vamos fazer isso no AI Studio. Perfeito. — Vamos fazer isso no AI Studio. Sim. — Adoro. Já está tudo conectado. — Acabamos de tirar uma foto do cenário aqui. Queríamos transformar o cenário em algo talvez um pouco mais criativo

17:32 e fantástico, para mostrar que uma parte importante disso é a simulação de mundos, mas que também é possível simular coisas que, como comentamos antes, talvez sejam mais difíceis de recriar na realidade. Então, vamos ver. Estou aqui no cenário. As pessoas estão se movimentando. Vamos ver. — Caso alguém ainda tivesse alguma dúvida, temos câmeras boas. Câmeras muito boas. Mas não temos aquele lounge. — Sim, claro que é… ah, lá está. Certo, temos um dragão ali. Vamos ver o que o áudio diz.

18:03 — Parece que o enquadramento e a iluminação estão definidos por aqui. — Certo, temos um pouco de áudio. E então vamos ver: o dragão cospe fogo. — Gosto muito da possibilidade de pausar as coisas. — Sim. — Acho que, para coisas interativas, isso é muito útil, para falar a verdade. Então você tem sua “amostra de tamanho um” para adicionar isso ao Project Genie na API. — Sim. Este é um exemplo divertido, de um tipo um pouco diferente. Acho que uma coisa é que, por exemplo, no passado, falamos sobre tentar entender como as pessoas usariam isso na produção de filmes, por exemplo,

18:35 ou simplesmente para criação e diferentes propósitos criativos. O que ficou claro é que há uma etapa de pré-visualização, de ideação ou de storyboard que se beneficia muito dessa ideia de receber entradas preliminares ou gerar resultados preliminares rapidamente, para então iterar sobre eles. Então, a ideia é: deixar para trás esse conceito muito rudimentar e passar para esse meio interativo muito rico, que posso ver e ajustar, dizendo: “Adicione um dragão, faça-o cuspir fogo, mude o ângulo da câmera.” E acho que até mesmo esse resultado intermediário é muito valioso.

19:09 E, nesse sentido, você poderia pausar a cena, se movimentar e assim por diante. Isso poderia ser muito interessante. — Sim, é fascinante. Já tínhamos conversado sobre robótica e educação como duas áreas que geram entusiasmo do ponto de vista das aplicações. Por que isso é importante para a robótica, Raia, para quem não conhece a fundo a área? Estou curioso: qual é o caso de uso? — Sim, não é imediatamente óbvio, mas pense em como os humanos se movimentam pelo mundo. Nós realmente temos um modelo de mundo na cabeça que basicamente prevê um pouco à frente, e é isso que nos permite

19:42 nos movimentarmos com fluidez, prever quando vamos entrar em contato com as coisas e o que vai acontecer a cada movimento que fazemos. Temos esse modelo que simula o que vem pela frente na nossa cabeça. Não estamos gerando pixels, mas ainda assim estamos constantemente simulando o que vem pela frente. E achamos que, se os robôs também tiverem um modelo de mundo, poderão usá-lo para fazer todas essas previsões de curto prazo e algumas previsões de prazo um pouco mais longo, além de conseguirem ser muito mais hábeis e ágeis,

20:15 e alcançar um nível de movimento biológico que gostaríamos de ver em um robô. — Sim. E a ideia é que isso funcione, de fato, integrado ao robô em operação? Por exemplo, vejo um robô humanoide andando pelo escritório e ele está realmente planejando… talvez não no próprio dispositivo, mas em uma implantação ao vivo? Ou a ideia é mais obter bons dados de treinamento para esse tipo de coisa? Ou pode ser as duas coisas, ou várias coisas diferentes?

20:48 — Quer dizer, começamos pensando apenas em dados de treinamento: “Ah, se tivéssemos esse modelo de mundo e pudéssemos usar um prompt para fazê-lo se parecer com as nossas configurações robóticas, poderíamos usá-lo para gerar muitos dados de treinamento.” — Sim. — Acho que podemos ir muito além disso se usarmos diretamente o modelo de mundo, usando o Genie para produzir as ações do robô. Aí, você está realmente produzindo as ações, mas o modelo sabe o que vai acontecer em seguida. Ele consegue fazer essas previsões com precisão e conhece a física

21:20 das interações e dos movimentos, o que acontece ao pegar uma xícara pesada em comparação com uma leve, o que acontece quando você deixa coisas caírem, o que acontece quando deixa cair o cappuccino. Isso poderia ser um avanço significativo para movimentos e habilidades robóticas generalizáveis. — Interessante. — Pesquisa é sempre pesquisa. Nunca se sabe de verdade até fazer. Então, é muito promissor, mas eu diria que ainda há trabalho pela frente. — Adoro isso. — Talvez seja uma boa transição para mostrar… esta é uma demonstração gravada feita pelos nossos parceiros de robótica.

21:53 — Legal. — O que pode ser uma prova interessante de que isso está realmente construindo… Deixe-me abrir aqui um exemplo de Scrabble com legendas. Antes de reproduzir, vou explicar o que acontece nos bastidores. Neste caso, eu estava falando sobre como usávamos o 3.8 Flash. Aqui, eles usaram o Argon como estação de texto. Então, isso não está necessariamente rodando em tempo real, mas a orquestração entre o Argon e o Genie 4 está produzindo ações intercaladas para o robô executar e realizar uma determinada tarefa. O que vocês podem ver no alto são legendas

22:26 redigidas diretamente pelo Argon com base na intenção do usuário, algo como: “Você deve concluir a tarefa X.” E, neste caso, acho que a instrução é organizar as letras do Scrabble para formar uma palavra. — E estamos vendo uma simulação feita pelo Genie? — Exatamente. Tudo isso é renderizado pelo Genie. — Certo. — Uma analogia talvez seja: o Argon fornece as instruções, e o Genie gera as ações e os pixels. — Interessante. Para esse exemplo, de novo, é mais um exemplo do tipo de geração de dados de treinamento, pelo menos esse em particular,

22:58 em que queremos visualizar robôs realizando tarefas específicas, e conseguimos fazer isso melhor, mais rápido e mais barato do que na prática… Para quem ainda não viu: fui ao laboratório de robótica pela primeira vez, e leva tempo preparar os robôs para realmente executar uma tarefa. E aí é quase como uma cena de filme. Eles dizem: “Certo.” E param essa coisa, e agora temos que fazer aquilo. Então, a ideia de que você poderia ampliar a simulação em algum lugar nos bastidores

23:28 as cenas e conseguir capturar muitos dados, acho que parece superinteressante. — É esse caminho pelo qual você pode começar a explorar de verdade essa ideia de pensamento espacial e raciocínio espacial em permutações infinitas. Você poderia simplesmente deixar isso rodando com Argon e Genie infinitamente, na prática, e então ter todas essas variantes de diferentes tabuleiros de xadrez e ver até onde consegue levar isso. — Sim, vimos robótica, vimos áudio, vimos novos controles de direcionabilidade. Se fôssemos resumir os aspectos em que Genie 4 realmente se destaca em relação aos modelos anteriores,

24:01 seriam esses três? — Acho que o realismo é um ponto importante. Também estamos recebendo algumas impressões iniciais sobre isso. Uma coisa que chamou a atenção com Genie 3 é que houve um salto enorme em relação a Genie 2. Mas um comentário que as pessoas faziam era que as pessoas geradas na cena, na verdade, não… ou ficavam paradas ou talvez não se comportassem como esperado. E dava para ver, pelo exemplo do jazz, que estava muito mais realista. Ainda acho que há um caminho a percorrer nesse aspecto. E acho que essa é a parte empolgante

24:32 da pesquisa: podemos continuar avançando nessa direção. Mas é um avanço bastante significativo, mais uma vez, construído sobre essa base Omni. A ideia de controles de forma livre é superinteressante. Porque uma coisa que também chamou a atenção com Genie 3 é que ele era um caminho pelo qual as pessoas podiam imaginar qualquer coisa e explorá-la. Mas também havia apenas navegação, pelo menos da forma como o lançamos. E agora que estamos realmente avançando na qualidade dessas ideias de controles de forma livre, você pode fazer praticamente qualquer coisa que faria no mundo. Então, é quase uma mudança da exploração para a simulação.

25:06 O último aspecto, e provavelmente o mais óbvio, é o áudio. Voltando ao ponto anterior, o áudio é algo óbvio a que deveríamos chegar em algum momento, mas não sabíamos qual era o impacto de não tê-lo. E acho que isso abre possibilidades bem interessantes do ponto de vista da simulação e do diálogo. Acho que veremos muito progresso nisso ao longo do tempo. — Tenho a impressão de que, no caso de Veo, foi isso que fez a diferença. Veo 2 sem áudio; Veo 3, acho que com áudio, foi algo que fez toda a diferença. Sim, quero saber quais são os gargalos, além de, obviamente, continuar aumentando a escala do modelo.

25:38 Tenho a impressão de que é bastante óbvio, e minha cabeça está principalmente no mundo principal de Gemini: aumentar a escala do compute, aumentar a escala dos dados e acrescentar alguma nova inovação algorítmica. E acho que, em geral, essa receita funciona. Continuamos obtendo modelos melhores. Espero que Argon seja um ótimo exemplo disso. As versões futuras também serão ótimos exemplos. Do lado dos modelos de mundo, é mais ou menos a mesma coisa, no sentido de que simplesmente vamos obtendo modelos-base melhores? Na verdade, o que estamos vendo com as legendas talvez seja um ótimo exemplo disso

26:08 de transferência entre capacidades: melhorar uma coisa? Agora temos modelos de compreensão de imagens de última geração. Tenho certeza de que isso ajuda a gerar essas legendas, cenas e coisas do tipo. Então, é isso? — Acho que o importante é o modelo conseguir gerar um determinado ambiente de forma mais consistente pelo maior tempo possível. No começo, havia problemas: as coisas simplesmente ficavam borradas depois de rodar por um tempo. Agora temos cenas muito longas, consistentes, nítidas e realistas ao longo do tempo.

26:40 Mas ainda há uma grande fronteira a avançar. E, embora compute e escala sejam bons, queremos que isso seja rápido. — Sim. — Queremos uma latência realmente baixa, para que seja muito reativo e você possa interagir de verdade com esses mundos. Isso é um desafio. Como continuar incorporando novas capacidades, mas, ao mesmo tempo, treinar um modelo pequeno e eficiente o bastante? E, claro, há o futuro. Acho que todos sabemos o quanto a programação avançou. Os melhores modelos de programação conseguem simplesmente gerar uma cena 3D

27:12 ou um jogo com que você pode interagir. Então, acho que a pergunta é: ainda precisamos de Genie se podemos simplesmente gerar um mundo com código e torná-lo interativo? E acho que minha resposta seria sim, ainda queremos ter isso, mas há maneiras muito interessantes pelas quais a programação generativa vai se combinar com pixels generativos para realmente dar vida a algo e talvez torná-lo mais eficiente de executar em termos de compute necessário

27:44 e fazer com que dure por muito tempo. — Sim. — Poderia até permitir vários jogadores ao mesmo tempo, coisas assim. Então, acho que ainda há muito por vir. — Sim. Não, isso é superempolgante. Na verdade, tenho mais algumas perguntas rápidas sobre isso. Por exemplo, essa questão da velocidade: acho que é isso que as pessoas talvez percebam ao assistir a vídeos de IA. Qual é a característica que diferencia um vídeo de IA? Quando uso modelos de mundo, às vezes parece que a característica distintiva é quase a taxa de quadros por segundo.

28:14 E quero saber: isso é uma limitação de produção? Será que poderíamos executar os modelos, se tivéssemos recursos infinitos — ou talvez não infinitas TPUs, mas se colocássemos todas as nossas TPUs a serviço de uma pessoa —, simplesmente rodar Genie 4 a sessenta FPS, com uma resposta incrivelmente rápida, parecendo tempo real, e trocar isso por escala e disponibilidade para mais usuários? Ou ainda precisamos de avanços técnicos, do ponto de vista de infraestrutura ou de pesquisa, para chegar a essa experiência muito rápida, de sessenta FPS,

28:49 ou seja lá qual for a taxa de quadros dos videogames, em um modelo de mundo? — Sim, há muitas compensações, e certamente não é uma relação linear. Acho que um dos momentos marcantes durante o desenvolvimento deste modelo foi quando ele conseguiu, pela primeira vez, rodar ao vivo, em tempo real. Tivemos que explorar bastante esse espaço: como equilibrar diferentes configurações, como otimizar diferentes componentes

29:19 e, por fim, fazer o modelo rodar em tempo real de maneira ainda economicamente viável. Portanto, nem sempre é evidente ou simples aumentar a escala e ter isso como resposta. — Sim. — Mas, Hang, se quiséssemos colocar todas as TPUs a serviço de uma pessoa, só para Logan, — Só para mim. — conseguiríamos rodar a sessenta FPS? Na verdade, não sei a resposta. — Boa pergunta. Sessenta FPS, nunca tentamos. Na verdade, não sei. — Já ficamos satisfeitos se chegarmos a, o quê, vinte e cinco a trinta, vinte e quatro.

29:51 — É como acontece com os pixels e a qualidade da imagem? Em certo ponto da taxa de quadros, eu só… Sessenta é simplesmente um número aleatório que me veio à cabeça, porque acho que as coisas rodam a sessenta FPS, ou talvez os vídeos sejam a sessenta FPS. Mas há um valor específico? Estamos escolhendo vinte e quatro só porque é onde estamos hoje, ou porque isso é o que os humanos percebem e, depois disso, não conseguem distinguir a diferença, ou algo assim? — Acho que é mais a latência que você percebe: quando realiza uma ação, quanto tempo ela leva, certo?

30:23 Então, há algumas dimensões diferentes para analisar isso. É… o quanto a resposta é rápida. Uma delas é o FPS; outra é a latência. — Então, a reprodução e a interatividade também são dois componentes um pouco diferentes. Se você quiser uma reprodução fluida, pode gerar mais quadros, por exemplo, e usar mais compute para gerar os quadros mais rapidamente. Aí, ao reproduzir o vídeo, você terá uma taxa de quadros maior. Isso, claro, proporcionaria uma reprodução com FPS mais alto.

30:54 Quanto à latência de entrada, uma das razões pelas quais também escolhemos vinte e quatro é que essa é a latência em que conseguimos interromper a geração. Em certo ponto de interrupção, precisamos inserir uma interação do usuário — neste caso, vinda de um laptop — na geração e fechar esse ciclo. Portanto, existe uma conexão entre a frequência com que você permite que os sinais de entrada externos cheguem e a capacidade de gerar quadros suficientes na janela seguinte imediata para transmiti-los de volta ao usuário sem deixar toda a experiência lenta ou entrecortada.

31:27 — Entendi. Bom, faz sentido. E, Raia, mais uma pergunta sobre essa interação entre código e modelos de mundo: talvez minha intuição esteja errada, e tenho certeza de que isso não vai revelar nenhum detalhe técnico, mas a ideia é que você caminha pelo mundo e uma das limitações do Genie 3, pelo que me lembro, é a context window. Depois de trinta ou sessenta segundos, seja lá quanto for, ficaríamos sem tokens no contexto e, então,

31:58 você perderia as partes do mundo que explorou, às quais antes podia voltar e ver que, sabe, havia uma casa ali ou algo assim. Então, a ideia é que você pudesse desviar o olhar, usar código para gerar uma casa e depois inseri-la, quase como numa simulação ou algo assim? Ou essa é uma intuição totalmente errada e aleatória? Ou como — e talvez não possamos falar sobre isso — essas duas coisas se combinariam na prática? — Se você combinar código com um modelo de mundo, acho que isso permite

32:28 que você tenha consistência infinita, de certa forma, porque aí consegue se lembrar do estado do mundo, embora, curiosamente, nem sempre seja isso que você quer. O poder de um modelo de mundo está no fato de ele ser tão expressivo. — Sim. — Certo? Surge um dragão, voa por aí, ou tudo se transforma em aquarela e, de repente, você está nadando. É essa expressividade de um conceito ganhando vida de uma maneira incrível.

33:00 E conversamos sobre isso com a equipe, porque usar código, usar 3D — há muitas maneiras possíveis de introduzir estrutura e consistência ao longo do tempo. — Sim. — Mas também não queremos perder a liberdade de ter um mundo puramente gerado com o qual você possa interagir. — Sim. — Mas, sim, a ideia é que você possa usar código, ou algum outro meio, como backend, como estrutura subjacente, e então ela pode permanecer fixa. Esse estado pode ser mantido facilmente, para que você possa passear pelas colinas,

33:32 voltar e encontrar a casa exatamente como a deixou. — Sim. — Quer dizer, há uma questão interessante de produto por trás disso, no que diz respeito a modelos de mundo mais exploratórios e abertos: é algo que estamos explorando com os laboratórios. Qual é o futuro dessas experiências interativas quase abertas e adaptáveis, em que você não sabe o que vai explorar nem o que vai encontrar? Acho que há uma questão por trás disso: essa abertura é representada por código? É representada por pixels ou por outra coisa? Mas, além disso, acho que existe essa hipótese em aberto de

34:04 que, se você criar algo genuinamente aberto, cujos limites ninguém conhece exatamente, qual será a experiência — ou a experiência final — que as pessoas criarão com isso? Acho que essa é uma direção de produto bastante fascinante para explorar, talvez também com a API. — Estou muito animado com o Genie 4. Onde ele estará disponível? — Continuará disponível no Project Genie. Vamos continuar desenvolvendo essa plataforma, e há algumas atualizações interessantes e empolgantes por vir. Também estará disponível na API. Acho que essa é parte do feedback que recebemos com o lançamento anterior: queremos oferecer às pessoas diferentes maneiras de criar com o modelo, de formas inovadoras que talvez não tenhamos imaginado.

34:35 Então, sim, estamos empolgados com isso. — Legal. Eu também estou. Uma das coisas interessantes que a equipe de ciência vem defendendo há muito tempo é o SynthID, que nos permite adicionar marcas d’água a tudo que — a todos os diferentes modelos que estamos criando no Gemini, nos modelos GenMedia etc. Imagino que isso também seja compatível com o Genie. E estou curioso: houve alguma dificuldade interessante para fazer isso em um modelo em tempo real? — As saídas terão SynthID.

35:06 E, de maneira mais ampla, talvez valha a pena recuar um pouco e falar brevemente sobre a complexidade de garantir a segurança em tempo real. Acho que há uma questão ainda sem resposta sobre o que acontece quando o fotorrealismo começa a se encontrar com o tempo real. Aí, você consegue simular qualquer coisa no mundo. E, obviamente, queremos que isso seja usado para o bem, mas também há muitas questões importantes que precisamos considerar ao longo do caminho. Então, junto com a equipe e as equipes de segurança, começamos a desenvolver sistemas pioneiros para determinar como essas coisas

35:36 devem ser filtradas, como filtrar casos extremos em tempo real ou como definir as salvaguardas adequadas, sem comprometer ao mesmo tempo o aspecto de tempo real. É um equilíbrio interessante: como garantir que a qualidade seja mantida diante dos requisitos de tempo real, latência e tudo mais, e também assegurar que tudo seja feito com responsabilidade? — Sim. Sobre a segurança dos modelos de mundo, sempre preciso me lembrar de que muitos desses casos — Raia, você mencionou o uso educacional — também se relacionam com uma espécie de

36:06 situação de encenação ou dramatização. E são cenários em que, explicitamente, você não gostaria de colocar pessoas. Por exemplo: o que acontece com você, como socorrista, em situações de desastre? Consigo imaginar pessoas usando isso, mas provavelmente seria preciso gerar conteúdo relevante e realista sobre um cenário de desastre — coisas que normalmente seriam bloqueadas na saída de um modelo. Então, imagino que exista uma tensão interessante: você quer possibilitar

36:39 esses casos de uso muito positivos, que ajudam a manter as pessoas fora de perigo. Ao mesmo tempo, é preciso criar um modelo seguro, que não possa fazer coisas ruins. Estou curioso: não sei se há algo mais a acrescentar sobre isso, ou se é apenas… — Acho que, no geral, a abordagem é semelhante à que adotamos para o Omni: o modelo é usado de maneiras diferentes quando se destina ao público em geral, para usos gerais, em comparação com o uso por um criador ou por alguém com um objetivo específico em mente.

37:11 É só que o contexto é diferente, e há muitos motivos válidos para um cineasta querer usar um prompt específico no modelo, ou para um educador poder criar uma cena realista de um campo de batalha, sabe? Sim, algo assim. Então, é engraçado: há alguns anos, essas questões pareciam obstáculos de verdade, e agora parece que temos algumas respostas. Podemos lidar com elas simplesmente observando quem está usando o modelo e como está usando?

37:43 Mas, com certeza, quando lançamos algo pela primeira vez, queremos muito garantir que tenhamos as salvaguardas necessárias e que o conteúdo seja seguro para quem vai usar isso. — Sim. — Essa também é uma das razões pelas quais começamos com Trusted Testers, aliás. Esse é um dos objetivos por trás da implementação gradual: receber feedback antecipado sobre o modelo, mas também garantir que estamos fazendo isso da maneira certa e descobrir quais casos extremos podemos começar a avaliar com base no feedback. — Estou curioso: claro que normalmente não é possível direcionar o modelo em tempo real, mas nós conseguimos fazer isso.

38:15 Então, direcioná-lo, em vez de simplesmente encerrar uma sessão, faz parte da abordagem de segurança? — Sim. — É uma boa pergunta. Acho que uma parte — ou uma vantagem — de ter o Gemini participando, e talvez o Hang possa falar mais sobre isso também, é que você consegue, de certa forma, direcionar o modelo com texto. É possível direcionar essas legendas de certas maneiras, mas acho que isso também depende muito do cenário. Não sei se vimos exemplos específicos em que o Gemini seja o meio para nos direcionar

38:45 a um cenário específico ou para nos afastar dele. — Acho que, com a adição de mais camadas de inteligência aqui, sendo o Gemini uma delas, temos mais ferramentas para lidar com a segurança. Uma maneira, claro, é tentar entender o que está sendo gerado e verificar se é seguro. Interromper a geração no momento certo. Ou, agora, a camada de inteligência do Gemini também atua, essencialmente, monitorando a cena, observando o que está acontecendo nela e conduzindo a lógica subjacente da cena.

39:17 Então, certamente essa é uma possibilidade: a cena pode ser direcionada para outro caminho apenas no nível do Gemini. — Sim, muito interessante. E, Raia, acho que essa linha sobre diferentes perfis de usuário é realmente muito interessante. Às vezes, sinto que a amplitude dos produtos do Google acaba trabalhando contra nós em certos cenários, mas acho que este é um ótimo exemplo de quando queremos conseguir atender a um conjunto realmente diverso de pessoas, de maneiras diferentes, com modelos muito capazes. Então, fico curioso: isso está no centro das nossas reflexões?

39:47 E, obviamente, quanto a essa primeira etapa, sinto que os serviços de implantação do Genie continuaram se expandindo com o tempo. Então, fico curioso sobre as próximas iterações: ampliar a distribuição e os serviços de implantação. Talvez, no futuro, levar isso ao Flow ou a algo parecido para cineastas ou criadores de vídeo, entre outras coisas? — Sim, nunca se trata de um único modelo nem de uma única implantação. Como você disse, o Google é grande. Temos muitos clientes que vêm de áreas muito diferentes.

40:18 E, por isso, muitas vezes é necessário oferecer algo mais, sabe, algo personalizado para aquela necessidade. Um diretor usando o Genie pode ter uma necessidade muito diferente: para ele, o mais importante pode ser ter um controle de câmera muito preciso e um controle excelente. Mas, para outro usuário, será outra coisa. Então, fazemos o máximo possível com um único modelo e, depois, descobrimos o que mais é necessário. — Adoro isso. — Mas mal posso esperar para ver o que os desenvolvedores farão com a API.

40:51 — Acho que vai ser divertido. Tenho vários exemplos em mente: fazemos algo legal com nossos modelos internamente e ficamos superempolgados. Aí vemos pessoas de fora fazendo coisas e ficamos ainda mais empolgados. Então, sinto que, em quase todos os casos, é mesmo uma situação de “1 + 1 = 3”, o que é empolgante. Sim. Vai ser legal ver o que as pessoas vão criar. Uma das coisas divertidas é sempre ouvir sobre os prompts legais e interessantes que as pessoas usam, já que vocês provavelmente usam os modelos mais do que qualquer outra pessoa.

41:21 E vocês têm algum prompt favorito para usar quando testam uma nova versão do Genie? — Acho que um dos nossos favoritos nos primeiros testes do modelo era uma cozinha de restaurante fotorrealista, talvez com todo mundo ocupado cozinhando. Vamos testar e ver. — Por que você gosta desse exemplo? O que o torna especial? — Acho que ele destaca algumas coisas. Primeiro, sinto que realmente mostra a dinâmica de um ambiente movimentado, com muitas coisas acontecendo em sequência.

41:54 Por exemplo, aqui dá para ver que há muita gente: tem um chef ali, alguém cortando cebolas aqui, e há muita interação dinâmica entre eles. Mas outra coisa de que gosto nesse exemplo é que também dá para fazer coisas divertidas. Por exemplo, digamos que eu pegue os pepinos. — Então, você precisa conseguir um áudio para isso. — Sim. Vou ligar o áudio. — E dá para falar com eles? — Sim. Vamos ver. Vamos lá.

42:25 Vamos até o chef. — Pegue os pepinos ali. Ei, chef, o que você está preparando? — Talvez vamos… vamos chegar mais perto do chef. — Ele está cozinhando. Está tipo: “Não vou falar com você agora.” — Salmão fresco com ervas e alho para o serviço da noite. — Ah, aí está. Certo. — Legal. Obrigado, chef.

42:57 — Sim, chef. — Só estou selando na frigideira um salmão fresco com ervas e alho para o serviço da noite. — Será que poderíamos pedir a eles… dá para aumentar o ritmo? Esta é a cozinha mais zen em que estive em muito tempo. Precisamos fazer essa gente se mexer e cortar as coisas. — Vamos ver o sistema de sprinklers. — Só estou selando na frigideira um salmão fresco com ervas e alho para o serviço da noite.

43:28 — Esses caras são gêmeos? — Sim, aquele é um dos seus. — Se você se virar, vai ter mais três. — Exatamente. E vou ligar isto. — Ah, o sistema de sprinklers está ligado. — O sistema de sprinklers está ligado, sim. — Excelente. — Certo. Uau. Que sistema de sprinklers interessante. — Sinto que isso parece um pouco aquelas estações de água dos chefs, se é que me entende. Para jogar água nas panelas. — Sim. — Isso é incrível. — Tentamos muitas vezes incendiar essa cozinha. — Sim, tivemos esse exemplo divertido, em relação a a cozinha estar tranquila,

44:02 tivemos esse exemplo divertido em que tentávamos muito testar a inteligência do Gemini com algo que parece bem simples, mas, na verdade, não é tão trivial: você quer uma sequência de eventos, eventos bem específicos, aos quais o modelo reaja. Como você disse, digamos que comece um incêndio, os sprinklers sejam acionados e, em seguida, todos comecem a realizar uma sequência de ações para conter o fogo. Então, você quer que isso aconteça no mundo. — Olha, geralmente prefiro algo não fotorrealista. Geralmente gosto, por exemplo, de carrinhos de bate-bate em que cada carrinho é um animal diferente, ou algo assim,

44:33 ou em que os carrinhos de bate-bate são vegetais, ou algo do tipo, só para tentar fazê-lo criar algo arbitrário e obter um pouco dessas dinâmicas. E ele sempre faz bem um jogo de corrida. Então, carrinhos de bate-bate são uma variação disso. — Sim. — Mas não fiz tanta coisa com o estilo fotorrealista. Os detalhes são incríveis. — Sim. — Aquilo está sujo… — aquilo está sujo… Também há muitos queimadores. Nunca estive em um restaurante profissional. Então, não sei. Nunca fui aos fundos de um restaurante. Vou colocar isso na minha lista de coisas para fazer e descobrir

45:03 se há mesmo tantos queimadores assim. — Você pode entrar no Genie 4. Mas, sim. Parecia real demais. — Não, isso é incrível. Na verdade, só mais uma pergunta: isso é mais fácil ou mais difícil? Fala-se muito agora sobre o espaço de evals para os modelos principais do Gemini, ou simplesmente para os principais LLMs: a dificuldade de melhorar está crescendo exponencialmente — ou melhor, o aumento dessa dificuldade. E, para criar um novo benchmark, antes levava cinquenta horas e agora leva 500 ou 5.000, algo assim.

45:35 Fico curioso: é fácil melhorar iterativamente ou saber se estamos melhorando a qualidade dos world models? Ou isso é tão sutil que coisas como os queimadores estarem estranhamente posicionados, diferentes de como são as cozinhas de verdade, tornam isso difícil? — Certamente, os evals nunca são ótimos, nunca estão prontos, e continuamos evoluindo os evals à medida que evoluímos a construção do modelo. Estamos sempre descobrindo novos problemas, novos aspectos em que queremos que o modelo seja melhor.

46:09 Como acontece em toda pesquisa, muitos desafios surgem, e também surgem surpresas. Então, o EVAL nunca está pronto, eu acho. Sim, esse também é um dos motivos pelos quais estamos prestes a lançar isso. — Sim. — Um dos outros projetos que temos em IA de fronteira dentro do Google DeepMind são agents capazes de jogar. Por volta da mesma época, houve um lançamento do SIMA. E temos agents capazes de jogar

46:42 nesses mundos e explorá-los automaticamente. Então, queremos que esses agents consigam avaliar os mundos do Genie para nós. Isso seria útil. — Isso é muito interessante. Raia, Diego, Hang, muito obrigado por conversarem conosco. Foi muito divertido acompanhar todas as demonstrações ao vivo. Estou animado para que mais pessoas experimentem o modelo. Estou animado para ver o que as pessoas — sei que é clichê demais, todo mundo diz que está animado para ver o que vocês vão criar —, mas estou mesmo animado para ver o que as pessoas vão criar com o Genie 4 e a API. Vai ser incrível. Então, obrigado a vocês três e ao restante das equipes por tornarem isso possível.

47:15 E obrigado a todos por acompanharem este episódio de Release Notes. Até o próximo.

Transcrição original

[00:00] If we wanted to put all the TPUs for one, just for Logan, - Just for me. - could we run it at sixty FPS? I actually don’t know the answer to that. - Good question. Sixty FPS, we never tried. I actually do not know. - Hey everyone, how’s it going? My name is Logan Kilpatrick. Welcome back to Release Notes. Today, I’m here with Raia, Diego, and Hang, and we’re talking about Genie 4.

[00:31] Maybe we can just start with the news. The new model is here, coming through our products and API for the first time, which is exciting. Someone want to kick it off and talk about high level what’s going on with Genie 4? - We’ve been cooking up Genie 4 for quite a while. Genie 3 was released back in January, the beginning of the year. So, we’re ready for Genie 4. This has new capabilities that we will talk about, audio, Gemini in the loop to control the generation, the world model, and amazing photorealism

[01:03] that comes from this model being based on Omni Flash. Yeah. - That’s awesome. For someone who’s just like, first time, they’ve never seen Genie, they don’t know what our world models are, maybe we can just do the TLDR of what it is, why we’re excited about this space, and then let’s see some cool demos that will hopefully bring whatever that description is to life. So. - We should start out by defining what world models are, because that term’s been used actually quite a lot. You can think about the language models, Gemini, as a thinking model.

[01:37] It deals with knowledge and language, versus a world model is about understanding a grounded environment, a world, and how do interactions happen within that world. So it means that the world model needs to have an internal state. It needs to understand what is the state of the world and what happens when things interact in that world, when things collide or they move, or when we make an action,

[02:09] how is that going to change the world? And so understanding the physics of that, even if it’s something that the world has never seen before, even if it’s fantastical, then, it’s still about understanding what are the likely ways that the physics of that environment are going to act when we take an action. - I love that. And maybe actually one more quick comment and then we’ll see some demos. Maybe a little bit of the historical context as well would be helpful,

[02:39] which is this is not our— this is Genie 4. There’s been a bunch of other world model releases that we’ve done all the way back from, I think maybe just like a I don’t know, was Genie 1 just purely internal that we showed some demos of? And I don’t know if anybody actually used externally Genie 1, but then with Genie 2, Genie 3, I don’t know if that’s true, but maybe the history of the project as well and how it got started and where we are, I think would be helpful context. - Yeah, I’ve been watching the development of Genie for a long time. DeepMind started out thinking about game environments

[03:13] because we wanted to understand how agents work in a game environment. And we knew that we could train better agents if we had richer simulations, richer environments? And so we started to think about, could we make a world model to just endlessly generate new simulations, new environments to train AGI in? And so Genie 1 was a high-risk research project that we didn’t honestly

[03:43] think would work as well as it did, but it gave us that proof of life, proof of concept that just showed that we could generate a 2D environment. So, we trained it on 2D platformer games, showed that you could run right, run left, and jump, and be able to have it change how it looked. Genie 2 expanded that a year later into 3D environments, going from 2D to 3D, still very much looking like gaming environments rather than realistic worlds,

[04:15] and it was not quite real-time, not quite interactive. So, then we really pushed, and Genie 3 was the first model released earlier this year. - In January. - In January, where we were able to show a new level of realism in the environments that we could create, that they were rich, they were 3D, and it was real-time and interactive. So, that’s when we really started to declare success in this world model. - I feel like Genie 3 was this inflection point in the research

[04:46] where it became a little bit more useful for people to actually try out, but very clearly still in the frontier research, early. And we spoke about this also when we released Genie 3. And now I think with Genie 4, we’re taking a step forward in the utility range, but we’re still in the research range very much. - Yeah. - So this is still a model that will occasionally make mistakes, but it actually starts to showcase new capabilities that are actually incredibly useful. And so we’re pushing along that spectrum across different research dimensions. - And starting from the Genie 3, you begin to see the model is able to absorb

[05:19] and reflect on a greater variety of the worlds and begin to be real-time responsive, and people can actually try to control characters in that world. And Genie 4, we’re just making further leaps on those fronts. - I love that. I’ve got a million questions, but let’s see some demos. Diego, I think you’re in the driver’s seat for this. - I figured one interesting way to approach the demos here is to maybe showcase Genie 3 as a baseline for one world. Okay, cool. And then we’ll showcase a difference for Genie 4, and then we’ll go

[05:49] through a series of different demos, and then we can pause and talk as well. So, the first baseline that I wanted to show was this world. This is actually an image, so this is a starting frame. This is a Genie 3 generation. It’s just a short one just for the purpose of showcasing it. From the definition of these characters, Aside from the ones that are captured in the initial frame, they’re actually not that realistic. So, you can see more of a gamified look. And it’s also very importantly a silent world, which is something that we will get to in just a second.

[06:20] So that’s just the starting point. We can use that as a reference of where we were in Genie 3. I think, like Raia was saying, the leap between the Genie 1, 2, 3 was pretty significant across different generations. But now we’re seeing even a further push in the realism side. So with that, let’s go to that example and see how that looks. So I’m going to start with the world muted for now, and then we’ll introduce audio. And there’s a lot happening in this interface. We’ll get into the details in just a second. And then here I’m going to prompt, the scene comes to life.

[06:54] Let’s see if–okay. You can tell that the band is now playing. And if I unmute here… - (Vocalizing) - So, I think, a few things to highlight here. The audio piece is the obvious one, which is, I’ll lower the volume for now, but it’s audio is a little bit like in the V02 to V03– Let me pause this–

[07:25] transition days where it’s the obvious thing that you didn’t know you were missing. And then once you go here, it’s very hard to go back because it is just this immersive layer and also a simulation layer that’s pretty incredible. The other thing that we can highlight as well here in this demo is the realism. So, I was highlighting how in the previous example, let me just mute this for now, the actual definition of the characters was much more gamified looking. - Yeah. - And here you can tell, actually, if I get the camera really close,

[07:56] in this case I’m just controlling the camera, the details are quite impressive. And one thing behind the scenes, which we can talk about, is a lot of this is actually built on the foundation of Omni as well, which is providing a lot of that realism behind the scenes. And also, there’s a few pieces here within realism, right? There’s obviously the character definition, but then there’s just the hand motion. There’s so many different layers to it that are very subtle, and it’s not fully perfect, but it is definitely a big leap forward. - Yeah, no, this is awesome. - Audio modality is a net new modality

[08:28] that’s being added in this Genie 4 model. Previously in three, you can only navigate in a scene and only see the visual output. So here the Genie 4 model predicts both the video and audio together from the same model. - That’s awesome. And without giving the secret sauce for this, is it like it’s just like great new data that has audio, video together or something like that that’s enabling this? Or is it like we’re— is it like the— rebasing onto Omni and then building off of that? I’m curious, as much as we want to say anything

[09:01] technically about what’s happening or what’s different for Genie 4, what’s actually making this possible? - I think building on top of the Gemini Omni as the newest foundation model on video certainly is providing a big lift. On the other hand, in terms of data, real-world data is just multimodality in nature. When you have the video data, it’s always paired with audio, it’s always in sync. And that is the world we want to model. You want to model only world from one single perspective, but then audio modality, video modality are essentially just the same components of the same world.

[09:37] - Yeah, no, I love that. And Diego, you actually you mentioned there’s like a bunch of stuff going on in this demo. I don’t know if any of the other stuff we’re looking at visually on the right side or anywhere else is worth it. The pausing and resuming is, I don’t know if that’s another new thing or that’s just for this research demo. - Maybe we can talk about a few things here because there’s a lot that, and we’ll showcase this across a few demos. The first is the pause interaction. This is mostly just for research purposes. I think we found that, because you’re now prompting in real time,

[10:07] which is a new unlock that we can talk about as well, you’re interleaving text captions in real time and you’re also just steering the model in certain ways. But the problem is the stream is still running. And so it’s very hard to type as the stream is running. And you also want to make sure that you’re like hitting the frame at the right time. So pausing it just helps us in the development process. Whether or not it’s something that we expose to users as a capability or as an experience, I think it’s to be seen. We’ll probably test this and see what feedback we get. There’s been a lot of different points of feedback on

[10:38] the right way to steer the model with text. Maybe it’s you queue up things ahead of time, maybe it’s you interleave these text captions during the way, or maybe there’s something like procedural actions or other things that we can think about. We’ll talk about the Gemini story as well, which is what’s happening on the right in the next example. - Cool. No, this is awesome. Anything else on this demo we want to look at? Otherwise, I’m ready for more examples. - Okay, let’s do another example. So one thing we leaned on in Genie 3 a lot was this idea of a third-person character.

[11:08] You’ll remember when we did that demo of the little dragon-like toy that we would walk around, and then we would have different sort of examples where you would take a picture of something and animate it into real life. Yeah. And that was a very fun demo. I think for this iteration, we’re actually focused on two interaction paradigms much more than the third-person character, which is one is egocentric views. So first-person views and actually being able to navigate with keyboard and that, or with KBM and being able to actually steer the world in real time from that perspective.

[11:39] And then the second piece is actually camera controls, which is what we showed in the previous demo. So let me now show an egocentric demo, which is just a first-person view. And see how this goes. - This is an interesting example. - Very interesting. This is a good highlight that Genie 4 really focused on the photorealism a lot compared to Genie 3. And here you see egocentric hands making coffee. - Beautiful coffee. Yeah, yeah. Shockingly consistent as we walk, which is cool. - We were talking about audio before.

[12:10] As you may imagine, there’s a big part of audio. We’re showing the music example. There’s obviously environment audio. But a big part of audio and simulation is also dialogue with people in the world. This is one area that I think we’re starting to do some pretty active research on. It’s a very complex area, and I think it still has a lot of work to be done to be fully perfect and polished, but it does expose entirely new capabilities. So, let’s see how this goes, and then we can try it out. So, I’m going to unmute this. Let me drop the coffee.

[12:45] - This guy’s not nearly weirded out enough about us. - Oh, sorry about that. - No worries at all. Accidents happen. - Okay. So, you saw in that case, let me just mute this. It’s an interesting example, right? Because there was a few things there, and actually maybe let’s do this. I think this is a good example. Maybe, Hang, you can jump on. - It’s a good time to also take a pause to look at how the audio modality previously we mentioned in the previous example is only about ambient music and having audio to pair with video.

[13:19] In this case, we’re also emphasizing a lot on dialogue. - Yeah. - You can have dialogue with a character in the scene, in the world. Previously in Genie 3, the control dimension you mostly have is around controlling the main character, either in the first-person view or first-person view, to navigate and walking around the scene. But here, a lot of emphasis is being put on how can we begin to interact with the scene? How can we, right, in the examples of picking up a coffee cup, serve a coffee cup, and there you see people in the scene responding to the actions of the character in real time

[13:55] and simultaneously also having dialogue between the characters. - It’s crazy. - Yeah, I think, the part that is very mind-blowing is that everything is done in real time. And so there’s so much that could go wrong and sometimes goes wrong just in terms of the artifacts in the dialogue and making sure that everything just feels like a cohesive dialogue and conversation, but then also that the dialogue is in, I would say, coherent or around the actual context of the world, if that makes sense. And it’s a pretty fascinating research and experience problem.

[14:27] - On the two lines we mentioned on the education and the robotics, so here the dialogue piece is driven by Gemini. It’s not only driven by the Genie 4 world model alone, but also driven by the Gemini. There’s a Gemini model here in the background thinking about how to respond to user’s action. And later you can imagine this is going to be able to be connected to more instructional use cases where the Gemini essentially has the world knowledge, has a lot of reasoning capabilities. And then

[14:57] that’s one of the enablers how world model can serve for instructional and educational use cases. And the second piece on the robotics here, many of the emphasis we see here is on the first-person view where you see from the first-person angle how an action is accomplished, how different tasks are done. So, hopefully those domain would transfer to robotics domain later, and then we can use the same technology to maybe make robotics better. - Yeah, very interesting. And so, just something that’s interesting

[15:27] maybe for folks who are not familiar with world models, but are familiar with a lot of the stuff that’s happening right now with text language models, it’s almost like this is a world model harness around, am I framing this right, around Genie 4 that’s allowing us to do this sort of intersperse the audio and it’s Gemini somehow in that mix as well. Is it a bad or— reasonable mental model of this? - One piece that is net new here is that to what Hang was mentioning,

[16:00] is that you have Gemini working hand in hand with the diffusion model. And so all of a sudden you have almost a different layer of intelligence that’s also provided by Gemini at the core, looking at the world and basically saying, okay, what happened in the previous frame? What did the user intend to do? And then what’s supposed to happen next to actually be able to meet that? - And this is just raw Gemini, just video image understanding as you would get out of a normal— - Yeah. So in this case, we’re using Vanilla 3.8 Flash, mostly because we want to make sure that things run in real time as well.

[16:32] But we have done experiments also with Argon, for example, and seeing how far we can push, for example, in robotics examples, which we can talk about as well. Nice. - Here, Genie 4 is certainly a multimodal world model on its own, but it’s also enriched, and many of the intelligences are provided by the underlying Gemini layer. - Yeah. Do we have any Live plus Genie 4 examples? Is that what it’s using, the new live model and you can stream a video and then have the video stream be used?

[17:02] Or is it actually just baseline 3.8 Flash taking in images? - This is just baseline 3.8 Flash, but you’re talking about the audio model that could be plugged in A2A and— - A2A, but I think for A2A you can also share a video. - Yeah. - A video stream. - It’s an interesting experiment. In this case, we’re just doing 3.8 Flash as a tech station. - We’ll do it in AI Studio. Perfect. - We’ll do it in AI Studio. Yeah. - I love it. It’s already all hooked up. - We just took a picture here of the set. We wanted to turn the set into maybe something a little bit more creative

[17:32] and fantastical to showcase that a big part of this is world simulation, but you can also be able to simulate, like we were talking about earlier, maybe things that are harder to recreate in reality. So, let’s see. So here I am on set. People are moving around. Let’s see. - In case there has ever been any illusion, we have nice cameras. So, very nice cameras. We don’t have that lounge though. - Yeah, of course it’s— oh, there it is. Okay, so we got a dragon there. Let’s see what the audio says.

[18:03] - Looks like framing and lighting are locked on this end. - Okay, so we got some audio there. And then let’s see, the dragon blows fire. - I really like the ability to pause stuff. - Yeah. - I feel like for interactive stuff, I feel like it’s very helpful to be honest. So you’ve got your “sample size one” to add this to Project Genie in the API. - Yeah. So, this is a fun little different type of example. I think one, so for example, in the past we spoke about trying to understand how people would use this for filmmaking, for example,

[18:35] or for just creation and different creativity purposes. The thing that has become clear is that there is a phase in pre-vis or in the ideation phase or in the storyboard phase that benefits a lot from this idea of rough input or rough outputs that you can get rapidly and iterate on. So this idea for let me move from this very coarse idea to this very rich interactive medium that I can see and iterate on and say put in a dragon, throw fire, change the camera angle. And so I think even just that as an interim output is really valuable.

[19:09] And to that point, you could pause the scene, you could move around, and so on. That could be really interesting. - Yeah, it’s fascinating. We had talked before about robotics and education as two places that there’s excitement from an application perspective. Why, if folks are not deep in robotics, why does this matter for robotics, Raia? I’m curious, what’s the application use case? - Yeah, it’s not immediately clear, but think about how humans move through the world. We really we have a world model in our heads essentially that just predicts a little bit forward, and that’s what allows us

[19:42] to move fluidly, to be predicting when we’re going to make contact with things and what’s going to happen for every move that we make. Having that model that plays things forward in our head, we’re not generating pixels, but we’re still, we are constantly running that forward. And we think that if robots have a world model as well, that they’re going to be able to make use of that to do all of those short-term and some slightly longer-term predictions, and just be able to do a much better job of being dexterous, being agile,

[20:15] being a little bit more at that level of biological movement that we would like to see in a robot. - Yeah. And that’s for like, the idea is it’s like, actually onboard real, as I see a humanoid robot walking around the office and it is actually doing planning… …on, maybe not on device, but in a real live deployment? Or is it more like you want to get good training data for those types of or could be both or many different things?

[20:48] - I mean, we started out thinking just about training data and oh, if we had this world model and we can prompt it to look like our robotic setups then we can use it to generate a lot of training data. - Yeah. - I think that we can go far beyond that if we’re actually directly using the world model, using Genie to produce the actions for the robot. Then, you’re actually producing the actions, but the model knows what’s going to happen next. It can make those predictions accurately and knows that physics

[21:20] of interactions and motions and what happens picking up a heavy cup versus a light cup and what happens when you drop things, what happens when you drop the cappuccino. It really could be a significant unlock in terms of generalizable robotic movement and skills. - Interesting. - Research is always research. You never really know until you’ve really done it. So, it’s very promising, but I’d say there’s still work to go. - I love that. - Maybe a good segue to maybe show– this is a recorded demo that our robotics partners did.

[21:53] - Nice. - Which could be an interesting proof point of this is actually building— let me just pull up an example here of Scrabble with captions. And then I’ll highlight before I play what’s happening behind the scenes. So in this case, I was talking about how we were using 3.8 Flash. In this case, they actually use Argon as the text station. So, this is not necessarily running in real time, but the actual orchestration of Argon and Genie 4 is producing interleaved actions for the robot to perform things to complete a certain task. So, what you can see at the top are actually captions

[22:26] that are drafted by Argon directly based on the user intent of like you should fulfill X task. And in this case, I think it’s arrange the Scrabble letters to actually spell. - And we’re seeing a simulation through Genie? - Exactly. All of this is rendered through Genie. - Okay. - So, maybe one analogy here is Argon is providing the instructions and then Genie is generating the actions and the pixels. - Interesting. For that example, again, it’s this is more of like a, at least in that one

[22:58] particularly, it’s like a more training data type example where like we want to be able to visualize robots doing specific tasks and we can just do it better, faster, cheaper than actually–if folks haven’t seen, I just for the first time went over to the robotics lab and like it is, there’s like, it takes time to get robots set up to actually do a task. And then they’re, it’s almost like a movie scene. They’re like, okay. And stop this thing and now we have to do this. And so the idea that you could just scale up simulation somewhere behind

[23:28] the scenes and be able to capture lots of data, I think seems super interesting. - It’s this path through which you can start to really push on this idea of spatial thinking and spatial reasoning in infinite permutations. You could just let this run with Argon and Genie infinitely effectively and then just have all these variants of different checkerboards and see how far you can push it. - Yeah, We’ve seen robotics, we’ve seen audio, we’ve seen new steerability controls. If we were to summarize the places where Genie 4 really shines versus previous models,

[24:01] it’s those three things? - I think realism is a big one. We’re getting some early feedback on this as well. One thing that jumped out with Genie 3 is that it was a pretty massive leap from Genie 2. But one point of feedback that people would bring up is that the people generated in the scene were actually not— they were either static or they maybe didn’t actually behave as intended. And you could see from the jazz example that it was much more realistic. There’s still, I think, some ways to go there. And I think that’s the exciting

[24:32] part of research is that we can continue to push in that direction. But it’s a pretty meaningful step forward, again, building on that Omni Foundation. The idea of freeform controls is super interesting. Because one piece that jumped out from Genie 3 as well is that it was this pathway through which people could imagine anything and explore it. But there was also only navigation, at least in the way that we released it. And now that we’re actually pushing on the quality of these ideas of freeform controls, you can actually then have pretty much anything that you can do in the world. And so it’s the shift from exploration to simulation almost.

[25:06] The last piece, and probably the most obvious one, is audio. Audio just going back to the earlier point is the obvious thing that we should get to at some point that we didn’t know that we, the impact of not having it. And I think it’s a pretty interesting unlock from a simulation perspective, from a dialogue perspective. And I think we’ll see a lot of progress there over time. - I feel like for Veo, that was the thing that moved the needle. I feel like Veo 2, no audio, Veo 3, I think with audio was just like, I think it made all the difference. Yeah, I’m curious where the things are, obviously, continuing to scale the model, but I’m curious where are the bottlenecks?

[25:38] I feel like it’s pretty obvious and my mind is mostly in mainline Gemini world, but it’s scale compute, scale data, throw some new algorithmic innovation in there. And I think generally the recipe works. We keep getting better models. Argon hopefully is a great example of that. Future versions after that are a great example. Is it roughly the same stuff on the world model side where it’s just we get better base models? Actually, the caption stuff that we are seeing is maybe a great example of this

[26:08] cross-capability transfer, improving one thing? We have state-of-the-art now image understanding models. I’m sure it’s helpful in generating these captions and scenes and stuff like that. So is it? - I think that having the model be able to generate a given environment more consistently for as long as possible. Originally, there were problems with things would just blur out after running for a little while. Now we get these very long, consistent, crisp, realistic scenes over time.

[26:40] But there’s still a big frontier to push. And although compute and scale is nice, we want this to be fast. - Yeah. - We want it to be really low latency so that it’s really reactive so that you can really engage with these worlds. So that’s a challenge. How do you keep on bringing in new capabilities, but actually train a model that’s small enough and efficient? And then, of course, there’s the future. I think that we all know how good coding has gotten. The best coding models can just generate you

[27:12] a 3D scene or a game that you can then interact with. So I guess the question is, do we still need Genie if we can just generate a world with code and have it be interactive? And I think that I would say yes, we still want to have this, but there’s really interesting ways in which— generative coding is going to come together with generative pixels to be able to really bring something to life and have it be potentially more efficient to run in terms of the compute required

[27:44] and be very long-lasting. - Yeah. - Could even support multiple players at the same time, things like this. So, I think there’s a lot more to come. - Yeah. No, this is super exciting. Well, actually, a couple of really quick follow-ups on this. For example, this speed bit, I think, is the thing that I think people maybe is look at AI videos and it’s like what’s the discerning characteristic of an AI video? When I use world models, sometimes it’s like the discerning characteristic is almost like the FPS.

[28:14] And I’m curious, is this an is this a production limitation where we could actually run the models if you just had infinite, or maybe not infinite TPUs, but if you put all your TPUs for one person, could you just run Genie 4 at sixty FPS and it’s really incredibly snappy, feels like real time, and we just trade that off with scale and availability for more users? Or is it like actually there’s still technical breakthroughs that we need to make from an infrastructure or from a research perspective to make it so that you can get this very fast sixty FPS,

[28:49] whatever the video games run at, experience from a world model? - Yeah, there are a lot of trade-offs, we have been it’s certainly not linear. And I think one of the moments while we were developing this model was the point where the model was able to first time run live, was able to first time run real time. There we had to do a lot of exploration on the space on how do we trade off different configurations, how do we optimize different components,

[29:19] and eventually get the model to run real time still in a cost-effective way. So it’s not always clear and trivial to scale, to having scale as an answer. - Yeah. - But Hang, If we wanted to put all the TPUs for one, just for Logan, - Just for me. - could we run it at sixty FPS? I actually don’t know the answer to that. - Good question. Sixty FPS, we never tried. I actually do not know. - We’re happy if we get to, what, twenty-five to thirty, twenty-four.

[29:51] - Is it like same thing with pixels for image quality where at a certain FPS it’s like I’m just I just, sixty just is a random number that came to my head because I think things run at sixty FPS or whatever, or maybe videos are sixty FPS, but is there a specific value at which, are we just choosing twenty-four because it’s where we are at today, or that’s mostly noticeable by humans and after that they can’t discern the difference or something? - It’s more the latency, I think, that you see in terms of when you take an action, how long that takes, right?

[30:23] So that’s a different, there’s a couple of different dimensions to looking at that. That’s–how snappy it is. One of them is the FPS, one of them is the latency. - So playback and the interactivity are also like two slightly different components where if you want to get the fluent playback, you could generate more, let’s say frames, and throw more compute at it to generate frames faster. And then you get a higher frame rate when you play back the video. So that would of course give you higher FPS playback.

[30:54] To the point of input latency, the reason we also choose twenty-four is that’s the latency where we can interrupt the generation. That, at certain breaking point, we have to take a user interaction here, in this case from a laptop, into the generation and close that loop. So, there’s a connection between what’s the frequency that you allow the external input signals to flow in and also generate sufficient frames in the next immediate window to stream back to user without making the whole experience laggy or choppy.

[31:27] - Got it. Well, that makes sense. And Raia, one more question on this interplay between code and world models is, and maybe this is, I’m sure my intuition is wrong, and so this won’t reveal any technical details, but is the intuition that you walk around and one of the constraints I think for Genie 3, as I remember it, is there’s a context window constraint, which is after thirty seconds or sixty seconds, whatever it is, we would run out of tokens in context and so

[31:58] you would lose whatever the parts of the world that you had explored, which previously you could look back at and see, you know, a house was there or something like that. And so is the idea that you could like look away, use code to generate a house and then replace it almost in simulation or something like that? Or is that completely a wrong random intuition? Or how, and maybe we can’t talk about it, but like how would those two things actually come together? - If you’re bringing code together with a world model, then I think it does allow

[32:28] you to have infinite consistency in a way, because then you’re able to remember the state of the world, which isn’t always what you want though, interestingly. The power of a world model is that it’s so expressive. - Yeah. - Right? There’s a dragon that comes through and flies around, or everything turns into watercolor and you’re all of a sudden swimming. And it’s that expressiveness of a concept brought to life in an amazing way.

[33:00] And so we talk about this with the team because using code, using 3D, there’s a lot of ways to potentially bring in structure and consistency over time. - Yeah. - But we don’t want to lose as well the freedom of just having a purely generated world that you can interact with. - Yeah. - But yes, the idea is that you could use code or some way to have that as your backend, your underlying structure, and then that can stay fixed. That state can be easily maintained so that you can go wander the hillsides,

[33:32] come back, and find the house is the same as you left it. - Yeah. - I mean, there’s an interesting product question behind that on the point of more exploratory/open-ended world models, which is: this is something we’re exploring with labs. What is the future of these interactive experiences that are almost open-ended and adaptive, and you don’t know what you’re going to explore, what you’re going to encounter? I think there’s a question behind that, which is: that open-endedness, Is it represented by code? Is it represented by pixels or something else? But besides that, I think there’s just this open thesis of

[34:04] if you create something that is genuinely open-ended that no one knows exactly where the boundaries are what is the experience or the end experience that people create with that? And I think that’s just a pretty fascinating product direction to explore, maybe with the API as well. - I’m super excited for Genie 4. Where will it actually be available? - So it will be available still in Project Genie. So we’ll continue to build out that surface, and there’s some interesting and exciting updates there. And then it will also be available in the API. I think that’s part of the feedback that we got from the previous release that we want to expose different ways of people

[34:35] building with the model in novel ways that maybe we haven’t thought about. So, yeah, we’re excited about that. - Nice. I’m excited too. One of the interesting things that the science team has been pushing for a long time is SynthID, which allows us to watermark all the stuff that— all the different models that we’re creating across Gemini, the GenMedia models, et cetera. I assume this is supported in Genie as well. And so I’m curious, yeah, any interesting difficulties of actually doing that in a real-time model? - Outputs will have SynthID.

[35:06] And then also just more broadly, maybe taking a step back, it’s worth maybe touching briefly on the complexity of safety running in real time. Because I think there’s a question on what– an uncharted question, I would say, of what happens when photorealism starts to meet real time. And then you can simulate anything in the world. And obviously we want that to be used for good, but there’s also a lot of important things that we need to think about along the way. And so, we have, with the team, with the safety teams, we’ve started to build almost pioneering systems of how these

[35:36] should be filtered and, or how edge cases should be filtered in real time or how we should set the right guardrails, but also at the same time not compromising on the real-time aspect. So it’s this interesting balance of how do you ensure that you keep the quality with the bars around real-time and latency and all these things, but also make sure that you’re doing it responsibly? - Yeah. I’m always having to remind myself on this safety point for world models that actually a lot of these, Raia, you mentioned this educational use case, but there’s also this sort of,

[36:06] which is related, which is this almost role-play scenario type of situation. And these are explicitly scenarios you actually don’t want to put humans in. And this is like, how do you, as a first responder, what happens in these disaster scenarios or something like that? I can imagine people using this for, but you probably have to generate stuff that is, relevant and realistic of a disaster scenario, which is probably things that would normally you’d block in a model output. And so there is this really interesting, I can imagine the tension of you want to enable

[36:39] these very positive use cases for people to keep humans out of harm’s way. And at the same time, yeah, need to make a model that’s safe, that can’t do bad things. And so I’m curious, yeah, I don’t know if there’s anything more on this or if that’s just - I think it’s the similar approach in general as we take for Omni and how a model is used differently when you just want to have it being used by the general public for general things versus by a creator or somebody with a specific purpose in mind.

[37:11] It just, it’s a different context and there’s lots of valid reasons for a filmmaker to want to prompt a model in a specific way or an educator to be able to create a realistic scene of a battlefield, you know? Yeah. Something like that. So, yeah, it’s funny; these questions felt like real stumbling blocks a couple of years ago and now it feels like oh, we’ve got some answers here. We can address these by simply looking at who is using it and how are they using it?

[37:43] But certainly the first time that we put something out, we really want to make sure that we are able to have the guardrails and keep the content safe for people who are going to be using this. - Yeah. - This is also one of the reasons why we start with Trusted Testers, by the way. That’s part of the plan behind the gradual rollout is to get early feedback on the model, but also to make sure that we’re doing that in the right way and figuring out what are the edge cases that we can actually start to get feedback on. - I’m curious about of course, you can’t usually be steering the model in real time, but we can actually do that.

[38:15] So is that part of the safety approach to steer it rather than simply terminating an episode? - Yeah. - It’s a good question. I think that a part of, or benefit of having Gemini in the loop and maybe Hang, you can expand on this as well, is you are able to actually almost steer the model with text. Those captions could be steered in certain ways, but I think it’s also very scenario dependent. I don’t know if we’ve seen specific examples where maybe Gemini is the path to steer

[38:45] us towards a specific or away from a specific scenario. - I think with more intelligence layers being added here with Gemini being one, we have more just tools to deal with safety. One way is of course we can try to understand what’s being generated and see whether it’s safe. Cut it off when the time is right. Or now, the Gemini intelligence layer essentially also plays the role of monitoring the scene, observing what’s happening in the scene, and driving the underlying logic of the scene.

[39:17] So, certainly that’s a possibility where the scene can be steered away just from the Gemini level. - Yeah, very interesting. And Raia, I think actually this different user persona thread is very interesting. I feel like the breadth of Google’s products sometimes I think works against us in certain scenarios, but I think this is actually a great example where you want to be able to meet these really diverse set of people with really capable models in a different way. And so I’m curious, is that front and center as we think?

[39:47] And obviously for this initial, I feel like the deployment services for Genie has continued to expand over time. And so I’m curious as we think about next iterations, increasing the distribution and the deployment services. Maybe into Flow or something for movie creators or video creators in the future and other things like that? - Yeah, it’s never a single model and it’s never a single deployment. To your point, Google is big. We have a lot of customers that come to us from very different types of spaces.

[40:18] And so it is often necessary to really provide something that is more, you know, that is customized for that need. A director using Genie might have a very different need in terms of it’s all about the camera control that you want to have be very accurate, have very good control. But for another user, it’s just going to be something else. So we do as much as we can with a single model, and then we figure out what more is needed. - I love that. - But I can’t wait to see what developers do with the API.

[40:51] - I think it’s going to be fun. There’s all these examples in my head of like, we do something cool with our models internally, we’re super jazzed. And then we’re like, we see external people doing stuff and we’re even more jazzed. And so it really is like a, it’s a “1+1 = 3” scenario, I feel like in almost all cases, which is exciting. Yeah. So it’ll be cool to see what people build. One of the fun things is always hearing about the cool, interesting prompts that folks, as you all probably use the models more than anybody.

[41:21] And so do you have any good go-to prompts when you’re testing a new rev of Genie? - I think one of the favorite ones that we were testing in the earlier iterations of the model was a photorealistic restaurant kitchen, and maybe with everyone busy, cooking. Let’s try this out and see. - Why do you like this? What’s the spark? - I think it points to a few things. The first is I feel like it really highlights the dynamics of a busy environment, of a lot of things happening in sequence.

[41:54] So for example, here you can tell that there’s a lot of people there’s a chef over there, there’s someone chopping onions over here, and there’s a lot of interplay dynamics between them. But then my other favorite part of this is you can also do fun things. So for example, let’s say I grab the cucumbers. - So if you got to get an audio thing for this. - Yes. Here, I’ll just turn the audio on. - And can you just talk to it? - Yeah. Let’s see. Let’s go.

[42:25] Let’s go to the chef. - Grab cucumbers there. Hey, Chef, what are you cooking? - Maybe let’s go… let’s go closer to the chef. - He’s cooking. He’s like, I’m not talking to you right now. - Fresh salmon with herbs and garlic for the evening service. - Oh, there you go. Okay. - Nice. Thank you, Chef.

[42:57] - Yes, Chef. - Just pan-searing some fresh salmon with herbs and garlic for the evening service. - Could we ask these– is it possible to ask them to increase the sense of— this is the most zen kitchen that I’ve been in, in a long time. We got to get these guys moving and chopping. - Let’s see the sprinkler system. - Just pan searing some fresh salmon, herbs, and garlic for the evening service.

[43:28] - Are these guys twins? - Yeah, that’s one of your guys. - If you turn around, there will be three more. - Exactly. And I turn this on. - Oh, the sprinkler system is on. - The sprinkler system is on, yeah. - Excellent. - Okay. Wow. Interesting sprinkler system. - I feel like this is like a little bit of one of those chef watering stations, if you know what I mean. To spray down into pots. - Yeah. - That’s awesome. - We’ve been trying to set fire to this kitchen a lot of times. - Yeah, we had this fun, to the point on the kitchen being mellow,

[44:02] we had this fun example where we were really trying to push on the Gemini intelligence point on just something that seems very simple, but it’s actually not super trivial, which is you want a sequence of events, very specific events to react. To your point. Let’s say if a fire starts, the sprinklers start, and then everyone starts doing a sequence of actions to mitigate that. So you want that to be happening in the world. - See, I usually go non-photorealistic. I usually go like, I like bumper cars where every bumper car is a different animal or something like that,

[44:33] or where the bumper cars are vegetables or something, just to try to push it to do something arbitrary and where you get some of the dynamics. And it always does a racing game well. So bumper cars is a variation there. - Yeah. - But I haven’t done as much with the photorealistic. That’s amazing, the detail. - Yeah. - That is a dirty— - that is a dirty— that is also a lot of burners. Never been in a professional restaurant. So I don’t know. I’ve never been in a restaurant behind before. So I’ll add this to my bucket list and find out

[45:03] whether or not there’s really this many burners inside of it. - You can go in Genie 4. But yeah. Seemed too real. - No, this is awesome. Actually, this is just one other follow-up is, is it easier or harder? There’s so much talk about the eval space for mainline Gemini models or just mainline LLMs right now, just exponential difficulty improvement or increase rather. And to build a new benchmark, it used to take fifty hours and now it’s 500 or 5,000 or something like that.

[45:35] I’m curious. Is it easy to hill climb or know whether we’re hill climbing model quality for world models, or is it so subtle in the like, the burners are weirdly configured and that’s not the way that kitchens really look or something like that makes it difficult? - Certainly, the evals are never great, never ready, and we keep evolving the evals as we evolve the build of the model. Always we discover new problems, new aspects we want the model to be better.

[46:09] So as all research goes, it’s really a lot of the challenges, also surprises would arise. So EVAL is never ready, I guess. Yeah, that’s also one of the reasons why we are about to release this. - Yeah. - One of the other projects that we have in frontier AI within Google DeepMind is agents that can play games. So this was a SIMA release about the same time. And so we have agents that can play

[46:42] in these worlds and explore them automatically. So we actually want those agents to be able to eval Genie worlds for us. And that would be helpful. - That’s super interesting. Raia, Diego, Hang, thank you so much for sitting down. This was a ton of fun to see all the live demos. I’m excited for more folks to try the model. Excited to see what people, I know it’s too cliché, everyone says excited to see what you build, but I am excited to see what people build with Genie 4 and the API. It’s going to be awesome. So thank you all three and the rest of the teams for making this possible.

[47:15] And thanks everyone for tuning into this episode of Release Notes. We’ll see you in the next one.