Gemini 4 Argon: novidades e próximos passos

Autoria: Google for Developers · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Gemini 4 Argon: What’s new and what’s next · Canal: Google for Developers · 29:46 · Assistir no YouTube

Tópicos: Agentes de IA, Engenharia de prompts e contexto, Engenharia de software com IA, Modelos de IA, Segurança de IA

Resumo

Neste episódio de Release Notes, a equipe do Google apresenta o Gemini 4 Argon e fala sobre sua disponibilização no Gemini app, no AI Studio, na Gemini API no Cloud e no Antigravity. Os participantes destacam melhorias em escrita, programação, raciocínio e tarefas longas, além de exemplos de uso interno, como migrações de código e investigação de problemas de hardware. Também discutem testes, segurança e a importância de verificar as respostas do modelo, iterar sobre os prompts e manter o julgamento humano. No encerramento, abordam o comportamento do modelo, o equilíbrio entre persistência e transparência e a capacidade de gerar até um milhão de tokens de saída em uma única etapa.

Pontos-chave

Gemini 4 Argon está disponível no Gemini app, no AI Studio, na Gemini API no Cloud e no Antigravity.
O modelo foi testado internamente, com clientes e empresas, pesquisadores e defensores de cibersegurança; a equipe também relata melhorias em segurança e monitoramento.
A equipe trabalhou para tornar a escrita mais concisa e precisa, reduzindo vícios de estilo associados a textos gerados por IA.
Exemplos de uso incluem migrações de Fortran para Rust, otimizações, desenvolvimento de aplicativos e investigação de problemas de hardware.
Os participantes recomendam examinar as respostas, questionar o que parecer incorreto e iterar, em vez de tratar a primeira resposta como definitiva.
A equipe atribui o avanço tanto ao aumento da cadência de desenvolvimento quanto a um salto tecnológico entre gerações do modelo.
O modelo pode gerar até um milhão de tokens de saída em uma única etapa, o que pode ajudar em tarefas difíceis de raciocínio e matemática.
A equipe buscou equilibrar persistência, capacidade de esclarecer ambiguidades e transparência sobre o que o modelo está fazendo.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do Gemini 4 Argon	A equipe introduz o modelo, suas plataformas de lançamento e os testes realizados antes da disponibilização.
03:08	Cadência de desenvolvimento e qualidade de escrita	Os participantes discutem o ciclo acelerado de modelos e melhorias para produzir textos mais concisos e precisos.
08:54	Usos internos e exemplos práticos	A equipe relata usos do modelo em otimizações, migrações de código e investigação de falhas de hardware.
13:01	Como validar as respostas do modelo	Os participantes recomendam ceticismo, revisão do resultado e iteração sobre os prompts.
17:45	O que tornou Argon possível	Sergey atribui o avanço ao aumento da cadência e a uma nova geração de tecnologia, enquanto a equipe compartilha exemplos que a impressionaram.
22:27	Um milhão de tokens de saída	A conversa explica como uma saída longa em uma única etapa pode ajudar em problemas difíceis de raciocínio e matemática.
26:35	Comportamento, persistência e transparência	A equipe descreve como busca equilibrar persistência, esclarecimento de ambiguidades e comunicação sobre as ações do modelo.
29:14	Encerramento e feedback	Os participantes comentam a exibição de resumos de pensamento e convidam o público a enviar feedback.

Citações

Deve parecer mais conciso, mais preciso. — 06:16

Você precisa ter ceticismo, quer seja uma IA apresentando informações, quer seja uma pessoa. — 14:04

Leia você mesmo o resultado, certifique-se de que faz sentido, questione-o e depois faça outra rodada de iteração. — 16:42

Um mês de pensamento em uma única solicitação. — 26:04

Conceitos e entidades

Gemini 4 Argon (modelo): Modelo apresentado no episódio, com exemplos de uso em escrita, programação, raciocínio e outras tarefas.
Gemini app (ferramenta): Aplicativo do Gemini citado como uma das formas de acessar o Gemini 4 Argon.
AI Studio (ferramenta): Produto do Google citado como uma das plataformas em que o modelo está disponível.
Gemini API (ferramenta): API mencionada como disponível no Cloud para uso do modelo.
Antigravity (ferramenta): Produto citado como plataforma de acesso ao modelo e como ambiente usado por integrantes da equipe.
Wiz (empresa): Empresa mencionada em parceria com o programa Scan For Good para identificar e corrigir vulnerabilidades.
Google DeepMind (empresa): Equipe à qual Logan Kilpatrick diz pertencer e que participa do desenvolvimento do modelo.
Fortran (conceito): Linguagem de programação citada em exemplos de migração de bases de código para Rust.
Rust (conceito): Linguagem de programação citada como destino de migrações a partir de Fortran.
um milhão de tokens de saída (conceito): Capacidade destacada para gerar uma sequência longa de saída em uma única etapa.
Logan Kilpatrick (pessoa): Apresentador do episódio e integrante da equipe do Google DeepMind.
Josh (pessoa): Participante do episódio que comenta, entre outros temas, a qualidade de escrita do modelo.
Melvin (pessoa): Participante do episódio que comenta o uso de tokens de saída longos em tarefas de raciocínio.
Sergey (pessoa): Participante que fala sobre a cadência de desenvolvimento e o uso dos modelos na criação de versões futuras.
Tulsee (pessoa): Participante que comenta o comportamento do modelo e os níveis de raciocínio.

Tradução completa (pt-BR)

00:00 Temos visto otimizações de desempenho em todas as áreas e em todos os casos de uso. Algumas pessoas da equipe do Antigravity têm usado o modelo para migrar de Fortran para Rust. Então, migrações de código. — Espera, quem usa Fortran em… — Não, eles têm usado bases de código em Fortran. — Bases de código externas em Fortran. — Bases de código externas. É meio coisa de museu. — É, o mundo funciona com Fortran. Mas ainda existem bases de código em Fortran por aí. — Quem aqui já… Eu já escrevi em Fortran. — Eu não. — Ah, você já? Legal. Certo.

00:31 Alguém já usou cartões perfurados, de papel? Não. Não? Quer dizer, eu já vi, mas, para ser sincero, nunca usei de verdade. Oi, pessoal. Como vão? Bem-vindos de volta ao Release Notes. Meu nome é Logan Kilpatrick. Faço parte da equipe do Google DeepMind. Hoje estamos aqui para falar do Gemini 4 Argon. Estou muito empolgado. Temos Josh, Melvin, Sergey, Tulsee, a equipe inteira, abrangendo produto, modelo, pesquisa e tudo que há entre essas áreas. Então, Josh, talvez você possa começar contando as novidades.

01:02 Gemini 4 Argon está disponível hoje para as pessoas usarem. — Isso mesmo. Ele estará no app Gemini, no AI Studio, na Gemini API no cloud, assim como no Antigravity. Mal podemos esperar para vocês experimentarem. Ele traz vários avanços. Podemos falar sobre isso aqui hoje. — Adoro. É, acho que anunciamos os gráficos de benchmark do modelo. O disponibilizamos para um grupo de pessoas do programa Fairwind, defensores de cibersegurança. E talvez valha a pena começar pelo que tem acontecido. Mostramos vários… mostramos um gráfico de benchmark bonito, bem feito,

01:33 mais ou menos duas semanas atrás. E, de lá para cá, aconteceu tudo isso. Sei que podemos falar sobre isso de vários ângulos: testes de produto, pesquisa de acesso antecipado e por aí vai. — Sim, tem sido ótimo. Como você disse, anunciamos o modelo há cerca de duas semanas. E, desde então, fizemos algumas coisas muito legais. Uma delas foi simplesmente continuar testando o modelo. Nós o disponibilizamos para um grupo de defensores de cibersegurança e, na verdade, estamos trabalhando com a Wiz, uma empresa interna de cibersegurança, por meio do programa Scan For Good, para começar a identificar e corrigir vulnerabilidades

02:04 em vários sistemas críticos. Também começamos a testá-lo com empresas e clientes, fazendo uma implementação gradual para começar a receber feedback. É claro que o testamos muito internamente e também com alguns dos nossos pesquisadores, que estão se concentrando em diferentes áreas, certo? Computação quântica, robótica, ciência, e isso tem sido muito interessante. E, por último, mas realmente de forma muito importante, temos investido bastante na questão da segurança. Isso não inclui apenas nossa relação com o governo dos EUA, para o qual enviamos o modelo para testes, mas também o aprimoramento das nossas próprias proteções, certo? Garantindo que tenhamos a configuração de monitoramento adequada,

02:36 as proteções internas certas no modelo e as proteções externas em torno da configuração do modelo. Assim, ficamos muito à vontade para lançá-lo amanhã, hoje ou ontem, seja quando este podcast sair. — Seja quando este podcast sair. Sergey, para mim, o uso interno dos modelos é uma das maiores diferenças — parece uma das maiores diferenças — na forma como pensamos sobre o que faz um ótimo modelo para levar ao mundo. Temos 100 mil engenheiros incríveis usando o modelo. Varun mencionou isso mais cedo, quando conversamos com ele: 100 mil pessoas testando internamente, o que, para mim, é

03:08 provavelmente mais do que já tivemos para qualquer modelo lançado antes. Então, estou curioso: sinto que você está à frente de boa parte desse ciclo interno de aprimoramento e dos testes que estão acontecendo. — Sim, estou muito empolgado com o ritmo que temos hoje em dia. E, se você olhar até mesmo para antes do Gemini 4, quando tivemos o Flash 3.6, 3.7, 3.8, começamos a entrar nessa esteira de RSI. E agora, você sabe, nossos pesquisadores

03:39 e o modelo trabalham juntos para criar a próxima versão do modelo. Na verdade, acabei de aparecer aqui por acaso, porque Melvin e eu estávamos conversando sobre a próxima versão do modelo. E provavelmente, quando as pessoas estiverem assistindo a isto, internamente já estaremos usando alguns modelos mais adiante. Então, é muito empolgante ver o progresso e o ritmo. E espero que isso continue acelerando. — É. À medida que a aceleração continua, quase como se o parâmetro para

04:09 lançarmos o modelo, ou o que realmente conta como um padrão de lançamento, continuasse mudando e evoluindo, porque parece algo dinâmico. Então, estou curioso para saber como estamos lidando com esse parâmetro em constante mudança e com a questão do que é bom o suficiente para levar ao mundo, do ponto de vista da pesquisa e, Tulsee, talvez também do ponto de vista do produto do modelo. — Uma coisa sobre o Argon que me deixa muito satisfeito é que testamos o modelo extensivamente, por mais de três ou quatro semanas, e todos os sinais indicam que ele está bom. Mas o que me empolga é disponibilizá-lo para um conjunto mais amplo de casos de uso

04:42 e para um conjunto mais amplo de usuários no app Gemini, no Antigravity e no cloud. Assim, nesse ritmo acelerado em que estamos desenvolvendo o próximo modelo, podemos iterar com base nesse feedback. No momento, estamos recebendo informações aos poucos, mas queremos que cada vez mais pessoas usem o modelo. Estamos nesse ciclo rápido de três a quatro semanas. A cada duas semanas temos candidatos; a cada três semanas, podemos aprovar alguns promissores. Mas, se conseguirmos incorporar esse feedback à forma como projetamos os modelos, eles ficarão ainda melhores. — É. Bem, uma coisa interessante é que estou citando o Varun em sequência,

05:15 e ele mencionou mais cedo que, além dos engenheiros dentro do Google, um dos principais grupos de usuários do Argon internamente é a equipe de vendas do cloud. E isso abrange todo esse conhecimento. Ele não é ótimo apenas para programação, para todos esses casos de uso e para ciência, mas também para o trabalho intelectual. E sinto que um monte de atualizações está chegando ao app Gemini. Josh, não sei se você quer falar sobre alguma delas. — Sim. Bem, uma das coisas em que nos concentramos bastante, e que espero que todo mundo perceba, é simplesmente a qualidade da escrita.

05:45 Ele tem um estilo próprio, que parece único. Parte desse trabalho começou com o acompanhamento do feedback sobre isso. Há lixo de IA por toda parte: expressões estruturantes, para ser sincero, a transformação de tudo em listas, essas coisas. Então, fizemos um esforço concentrado de verdade para tentar eliminar tudo isso. A escrita deve parecer mais concisa e mais precisa. Trabalhamos com vários redatores profissionais, que fizeram marcações nos resultados do modelo. Transformamos essas marcações em exemplos-ouro e usamos isso para melhorar.

06:16 E dedicamos bastante reflexão a isso. Então, seja você da área de vendas, jurídica, financeira ou até mesmo de programação — na qual ele obviamente é ótimo —, esperamos que você perceba que ele não parece nem soa como outro modelo qualquer. Ele tem um tom próprio. Esse tem sido um foco importante para o app Gemini e para além dele. — É. Minha pergunta pessoal, bem rápida, é: não uso IA para escrever nada. Você acha que isso… Não sei se você sentiu isso por conta própria, já que escreve bastante, na verdade, tanto internamente quanto externamente. Então, será que já passou desse limiar a ponto de você começar a

06:46 deixá-lo assumir mais o controle? Porque eu sou 100% artesanal. Digito ou escrevo cada palavra. Quero que as palavras sejam minhas, também por causa de toda essa questão do direito de pensar. — É. — Mas, sim, ainda acho… — Ainda escrevo, não desisti de escrever, mas ele é um editor de texto incrível. — Entendi. — Então, normalmente, escrevo alguma coisa… Na verdade, dito algo enquanto estou indo a algum lugar a pé ou no carro, e mando para o Argon dizendo: “Dê uma lapidada nisso. Quais são as três partes mais fracas? Quais são três ideias em que não pensei, três ideias que podem confundir as pessoas?”

07:17 Ele é excepcional nisso. — Sim, e eu, na verdade, tenho tido problemas no pulso, então simplesmente fico falando sem parar com o Antigravity e depois peço para ele transformar isso em texto. E descobri que, normalmente, isso é bem difícil de fazer, porque o resultado fica muito denso, truncado, bem desleixado, com cara de texto de IA, e não fica tão bom. Mas, com o Argon, consegui fazer isso muito mais e achei o resultado razoável, então posso editá-lo. Mas pelo menos o conceito ainda vem do meu pensamento, só que mais da minha contribuição verbal, o que acho bem legal.

07:50 — Adorei isso. Sim. Alguém viu outros bons casos de uso internos ou exemplos que realmente chamaram atenção, enquanto os funcionários do Google usavam esse modelo em grande escala? Estou curioso. — Acho que esta provavelmente é a primeira vez que o Sergey pode confirmar isso, porque ele tem nos pressionado a fazer isso: usar agents de forma mais substancial no processo de desenvolvimento do modelo. Então, temos agents monitorando as execuções hero. Temos agents dando feedback sobre configurações incorretas. Temos agents analisando escalas de recompensa ou encontrando e corrigindo bugs,

08:21 agents analisando dados e duplicatas e coisas do tipo. Acho isso empolgante, e só vamos melhorar nesse tipo de coisa. — Você viu o jogo do data center que estava circulando? — Não. — Era uma simulação dos nossos data centers. E, enquanto eles executam esses trabalhos de treinamento, chegava até a mostrar pessoas tendo que ir trocar GPUs e todas essas coisas. Não sei se circulou só no chat. É incrível. Quer dizer, o tipo de coisa que dá para fazer agora só com um prompt: você volta e está tudo pronto.

08:54 — Fizemos um chamado aos funcionários do Google para perguntar o que de empolgante estão fazendo com o Argon e quais são alguns dos casos de uso. Temos reunido muitos exemplos para entender melhor como o modelo está funcionando. E houve vários: a equipe do Chromium tem usado o modelo de forma bastante intensiva para cuidar de parte do trabalho. Vimos otimizações do Gemma. Vimos otimizações de desempenho em geral, em diferentes casos de uso. Algumas pessoas da equipe do Antigravity têm usado o modelo para migrar de Fortran para Rust. Então, migrações de código.

09:25 — Espera, quem usa Fortran? — Não, eles estão pegando bases de código em Fortran. — Bases de código externas em Fortran. — É coisa de museu. — Sim, é como… o mundo ainda funciona com Fortran. Ainda há bases de código em Fortran fora daqui, então eles estão tentando simplesmente… certo. — Quem aqui já… Eu já escrevi em Fortran. — Eu não. — Ah, você já? Legal. Certo. Alguém usou cartões perfurados? De papel? — Não. — Não? — Não. — Quer dizer, já vi, mas, para ser sincero, nunca escrevi programas usando eles. — Isso conta. — Já usei BASIC, COBOL.

09:57 — Já usei BASIC. — Ah, sim. Não, BASIC. Nunca usei COBOL. Nossa. — Você precisa voltar a usar. Há um grande mercado. Desenvolvedores de COBOL. — Para migrações. — Sim, para migrações. — Acho que, certo, outro exemplo, na verdade, que talvez o Sergey também conheça: tivemos problemas de hardware durante nossas execuções hero, em que as máquinas ficavam em algum estado defeituoso. Tentamos descobrir a causa por muito tempo. Aprendemos a conviver com isso. Então, um dos engenheiros enviou o problema ao Argon

10:28 e ele encontrou um problema real no hardware. Levamos isso à equipe de hardware em Sunnyvale. Eles disseram: “Vocês estão trazendo porcaria de IA para nós? Não queremos ouvir vocês.” Mas fomos até lá e nos sentamos com eles, e eles acabaram voltando ao fornecedor e encontrando HPM corrompida. — Uau. — Então, isso é muito bom. Agora conseguimos identificar todas as máquinas que vêm desse fornecedor e removê-las da frota quando for possível. — Melvin, você não enviou isso para a lista de exemplos legais. — Desculpa. — Eu devia ter enviado. — Eu devia ter enviado. — Aqui, ao vivo.

10:58 — Eu devia ter enviado. — Sabe, uma história engraçada. Os primeiros vinte servidores ou mais que compramos para o Google, deve ter sido em 98, 99, talvez. Mas eu simplesmente não conseguia instalar o sistema operacional nesses servidores. Antes tínhamos umas duas máquinas e aumentamos para vinte, mas nenhuma das novas funcionava. Depurei, depurei, depurei e, por fim, executei um programa de teste de memória e percebi que havia uma incompatibilidade

11:29 entre a memória e a placa-mãe, ou algo assim. Na verdade, tinham nos dado de graça uma memória mais sofisticada, mas ela não funcionava. Mas passei dias tentando descobrir isso, então obrigado, Argon. Acho que, no mundo de hoje, eu não teria precisado fazer isso. — Aqueles servidores ficavam nos racks de servidor de Lego, naquela época… isso foi antes. — Não, certo, o Lego, que na verdade era uma imitação de outra marca do Duplo chamada Mega Bloks. Sim, meu filho adora aquilo. Não, isso foi na época de Stanford.

11:59 Sim, são baratos, mas não têm as mesmas tolerâncias que os Legos, mas serviram para uma caixa de disco rígido. Enfim, não, isso ainda foi em Stanford. E, quando viramos uma empresa, fomos comprar da KingStar Computers, acho. Não era inteiramente… na verdade, a culpa era deles. A culpa era da KingStar. Mas enfim. Havia uma incompatibilidade entre a memória que eles tinham escolhido e a placa-mãe. Memória. — Sim. — E, para ser justo, acho que usaram uma memória de categoria superior à que a placa-mãe deveria ter.

12:30 Mas ela simplesmente corrompia dados de vez em quando. É uma daquelas coisas. Funciona bem por algumas horas e, de repente, dá problema. Sim. Então, trinta anos depois, a mesma coisa. — E o ECC não detecta essa corrupção. Por isso não conseguíamos encontrá-la nem identificar a causa raiz. — Melvin, esse é um exemplo interessante e acho que vamos ouvir muitos outros, mas, enfim, agora mais pessoas conseguem levar os modelos mais longe, à medida que o Argon chega a mais gente e consegue fazer todas essas coisas realmente impressionantes.

13:01 Agora cabe a nós validar se isso é verdade. E tenho esse desafio internamente: as pessoas me enviam coisas, fazem uma investigação aprofundada e usam o Argon para isso. E eu penso: meu ceticismo está um pouco maior hoje, neste momento de transição em que as pessoas estão me enviando coisas, porque penso: isso parece convincente. Não faço ideia se é verdade mesmo. Então, estou curioso para saber como vocês estão lidando com isso e se têm conselhos para as pessoas à medida que usam esse modelo e começam a fazer coisas realmente impressionantes. Como fazer isso se elas não têm 100.000

13:32 funcionários ou colaboradores do Google com quem trabalhar? Como fazer essa análise introspectiva e ganhar confiança no trabalho que está sendo feito de fato? — Quer dizer, na verdade, acho que este modelo é bom. Ele não exagera nas afirmações. Não é bajulador demais. É bem fundamentado… Quer dizer, poderíamos melhorar em termos de fundamentação, mas ele não tenta inventar coisas, certo? Então, confio bastante no que ele produz. Obviamente, há mal-entendidos, mas não há falsificação das informações.

14:04 — Bem, antes de tudo, boas-vindas ao meu mundo. Assim como a história da memória HBM, que aconteceu antes da IA, quero dizer, o tempo todo me apresentam coisas pessoas que parecem muito inteligentes, sejam pessoas que trabalham conosco, parceiros ou empresas querendo fazer negócios. Quer dizer, sim, é preciso ter ceticismo, quer seja uma IA apresentando informações, quer seja uma pessoa. É difícil distinguir. Quer dizer, o legal é que você pode usar a IA para verificar a si mesma, seja exatamente o mesmo modelo ou outro.

14:37 Em geral, elas não parecem ter ego nesse sentido: se você usar o Argon para verificar o Argon, ele não vai dizer: “Ah, esse sou eu.” Elas conseguem verificar a si mesmas. — Sim, de forma mais independente. Sim. — Internamente, hoje temos uma família inteira de modelos que também podemos usar para obter opiniões diversas. — Sim. — Mais algum conselho? — Eu só ia dizer que, na minha área, estamos vendo os gargalos mudarem.

15:07 Então, obviamente, as revisões de código são um foco importante. As pessoas têm falado disso. Uma coisa que tenho dito muito às equipes agora é: às vezes recebo algo e fico desconfiado, tipo, isso parece… Não sei, será que isso foi gerado de uma vez só ou algo assim? Então, minha resposta padrão é: compartilhe seu prompt comigo. Vamos refiná-lo um pouco. Porque não quero desencorajar as pessoas a confiar no modelo e recorrer a ele. Mas também não dá para fazer uma primeira tentativa de uma vez só e encerrar. - É. - Então, acho que essa é pelo menos a fase em que estou percebendo…

15:38 um pouco no lado do produto: as pessoas estão fazendo análises realmente interessantes, ou até tendo ideias para conceitos de produtos. - Eu gosto deste, na verdade, Josh. Você e eu conversamos sobre isso em outra reunião, no começo desta semana ou na semana passada. Nem sei mais que dia é hoje. Um dos fios condutores desta conversa é que este modelo realmente parece ter… e é por isso que estou animado com as próximas iterações, como os harnesses, para ver o modelo ganhar vida nos nossos produtos e nos produtos de outras pessoas. Mas parece que ainda há muito… há bastante potencial de iteração a explorar. - É. - De verdade, enquanto desenvolvo software, enquanto faço algum trabalho,

16:11 continuo pedindo ao modelo que faça mais, até com prompts bem ruins. “Melhore esta coisa.” E, em muitos casos, ele realmente vai lá e melhora, o que é impressionante. Então é interessante ver que, logo de cara, sem nem precisar ter uma ideia muito clara do que quero melhorar, o modelo simplesmente vai lá, pensa, usa mais tokens e cria algo realmente impressionante. - Mas acho que é aí que a pressão aumenta para garantir que você está, de fato, pensando, e não terceirizando a parte do pensamento. Acho que é isso que eu também percebo,

16:42 quando converso com as pessoas: sim, claro. Use o modelo para reunir as análises, apresentar perspectivas e desenvolver suas ideias junto com você, mas não parta do princípio de que tudo o que ele diz é canônico. E acho que, quando você começa a fazer perguntas sobre o que recebe, passa a examinar melhor onde o modelo pode estar errado, porque olha para algo e pensa: “Espera, isso não parece certo.” Então, acho que definitivamente é importante ler você mesmo a resposta e garantir que ela faça sentido para você,

17:14 questioná-la e, depois, fazer mais uma rodada de iteração. Porque acho que, muitas vezes, alguns dos pontos em que o modelo falha são mais sutis, e você pode não perceber. E, principalmente se não for especialista, com certeza vai deixar passar. Mas, em alguns casos, se examinar com atenção, vai pensar: “Isso parece um pouco estranho.” E acho que só fazer essa pergunta já ajuda bastante. - É, adorei isso. Sergey, tivemos muitas iterações de modelo nas últimas semanas, semanas e meses, talvez até nos últimos seis meses. E, obviamente, tudo isso culminou neste momento.

17:45 Então, estou curioso: o que… sim, que combinação de fatores tornou possível este momento do Gemini 4 Argon? - Sim, ótima pergunta. Eu diria que, basicamente, duas coisas se juntaram. Uma foi a decisão deliberada de aumentar nossa cadência e poder usar nossos próprios modelos para criar a próxima geração de modelos. A outra foi um salto geracional, e não dá para programar exatamente os avanços.

18:17 Se eu pudesse, teria feito isso um pouco antes. Mas, do Gemini 3 ao 4, há várias novas tecnologias. Esperamos que o Gemini passe de uma versão para outra em uma cadência cada vez maior. - Sim, isso é empolgante. Talvez também possamos dar uma volta e falar se alguém teve algum momento “aha” com o Argon, como com os primeiros prompts ou até com algum predecessor mais antigo, porque tivemos muitas versões internas antes do Argon em que você fazia alguma coisa e pensava: “Uau, este…

18:47 é um modelo que me empolga e que quero lançar.” E vou começar com meu exemplo fácil e meio tosco: adoro criar clones de Minecraft. E este é divertido… porque o jogo em si tem muitas nuances. Muitos modelos simplesmente davam algo que parecia Minecraft, mas sem profundidade. Você minera e explora as cavernas, e elas têm só dois níveis de profundidade, com diamantes por toda parte ou algo assim. Então, há essas maneiras fáceis de… fáceis, muito simples e rápidas de entender,

19:18 se o modelo está pensando a fundo, e é por isso que gosto desse exemplo. E o Argon arrasou para mim. Fiz dois prompts. No primeiro, tudo estava incrível visualmente. O segundo acrescentou a profundidade ao jogo e a interface HUD que eu queria. E fiquei impressionado. Pensei: “Este é o modelo. Estou empolgado.” Mais alguém tem algum exemplo bom? - Bem, na verdade, antes de falar de um prompt, sobre o qual vou falar daqui a pouco, uma coisa que achei engraçada neste modelo — e que, na verdade, acho que tem a ver com o que você disse sobre como estamos testando internamente e sobre a cadência — é que, normalmente, quando temos um novo checkpoint,

19:49 todos nós o testamos bastante por conta própria e começamos a sentir como ele é. Desta vez, recebemos este modelo e quase imediatamente o disponibilizamos para um grupo de funcionários do Google testá-lo. Lembro claramente de estar em casa, acho, e um monte de gente já tinha começado a testar o modelo antes mesmo de eu testar o checkpoint. Então, olho para o celular e o grupo de conversa está bombando. As pessoas dizem: “Espera, este modelo é bom demais. Estou muito empolgado com isso. Acabei de testar este caso de uso. É incrível. Minha vida mudou.”

20:20 E esse é o momento em que você percebe que não é só você usando o modelo e ficando empolgado. Você pensa: “Algo mudou no tom.” E acho que isso foi uma mudança significativa em relação ao que vínhamos ouvindo. Este é um grupo crucial de testadores. Não é um grupo que simplesmente vai ficar empolgado porque lançamos algo. E já vimos críticas a versões anteriores dos checkpoints. Então, perceber essa mudança foi, por si só, um momento muito interessante. - Adorei isso. - É. - Acho que, para mim, mais do que um conjunto de prompts, o que importa é quando

20:50 você está fazendo pós-treinamento: muita gente chega e pede: “Ei, preciso de chips para esta ideia” ou “Preciso de chips para esta ideia”. “Preciso de 500, preciso de 1.000, preciso de 600.” Agora, as pessoas chegam e eu digo: “Preciso de QPS do Argon.” E então: “Preciso de dez QPS, preciso de quinze QPS, preciso de uns cinco QPS”, porque elas simplesmente querem usar o modelo. Geram dados com o modelo, fazem suas pesquisas com o modelo. Então, na verdade, isso muda a forma como fazemos pós-treinamento, porque, como o Sergey disse, o modelo está criando a próxima versão do modelo. - Isso é incrível.

21:21 - Acho ótimo estarmos nesta era. - É, outro exemplo que eu acrescentaria: alguém da equipe tem um filho pequeno e está tentando ensiná-lo a ler. Então, pediu ao Argon que fizesse isso e, basicamente, o objetivo era criar um aplicativo de leitura para ensinar o filho. Mas o Argon não montou simplesmente, de uma vez só, um aplicativo com sons fonéticos. Ele foi pesquisar teorias de aprendizagem na primeira infância, incorporou isso em um aplicativo com determinadas etapas ao longo do processo e, depois, fez todo o frontend e deixou o aplicativo hospedado.

21:54 Foi algo incrível, de ponta a ponta. Não se trata apenas de produzir o site ou o aplicativo no final, mas também de todo o trabalho preparatório. E acho que isso mostra muito da persistência e da busca por objetivos que o modelo tem agora, uma combinação bem interessante. Ele criou sua própria base de conhecimento e só então fez a tarefa de programação, em vez de simplesmente realizar uma tarefa de programação do nada. - Adorei isso. E a eval é: em quanto tempo essa criança vai aprender a ler? - Isso mesmo. - Então, estamos acompanhando. O som do “th”. Se ela não aprender a ler logo, vamos mandar o modelo de volta.

22:27 - Já vi ele corrigir os próprios dados de treinamento, o que é impressionante. Ele percorre os dados de treinamento, recebe a tarefa de provar várias coisas, como teoremas matemáticos, e diz: “Sabe, esta está errada, e aqui está um contraexemplo.” Só de ver ele fazer isso já é bem impressionante. - Que demais. Uma das coisas que me deixam animado com esse modelo é que fomos os primeiros a lançar um milhão de tokens de entrada. Talvez agora sejamos os primeiros — não sei se somos os primeiros — a oferecer um milhão de tokens de saída, mas estamos na liderança do setor com um milhão de tokens de saída.

22:58 E acho que vale a pena nos aprofundarmos em onde realmente vimos isso, porque fizemos vários testes internamente. Disponibilizamos o modelo para clientes de acesso antecipado. Eles nos deram feedback sobre onde se obtém mais valor com um milhão de tokens de entrada e saída, ou, neste caso, um milhão de tokens de saída. Então, talvez possamos falar de casos de uso em que isso realmente se destaca. - Acho que, em alguns problemas difíceis de raciocínio e matemática, temos uma equipe ou várias equipes trabalhando em problemas em aberto. Para essas pessoas, essa decodificação longa — o modelo realmente quer continuar por muito tempo, e permitir que ele chegue a

23:29 um milhão de tokens de saída ajuda bastante. - Já fiz essa pergunta à Tulsee três vezes, então vou fazê-la de novo neste fórum também: como… - A gente simplesmente faz isso. - Como alguém deveria pensar sobre isso? Quando você descreve isso, eu penso implicitamente em níveis de raciocínio. Então, como devo entender a diferença entre um nível de raciocínio extra alto ou máximo e esse contexto longo de um milhão de tokens de saída? - Acho que, no nível alto, que é o nosso máximo, o modelo consegue chegar a um milhão de tokens, se for capaz.

24:01 - Entendi. - Acho que isso não é possível com os modelos concorrentes, e vimos uma porcentagem considerável de trajetórias atingindo esse limite nas evals. - E acho que esse é o ponto principal, na verdade. Melvin continua usando a palavra “permitir”, e gosto muito disso: o modelo já é capaz de fazer isso, certo? Mas, se você só permite 64 mil tokens de saída, o modelo tem que parar, certo? Você precisa, por assim dizer… ele só tem essa capacidade de produzir o que consegue. Então, se você permite que ele continue por mais tempo, passa a aproveitar a capacidade do modelo de raciocinar mais,

24:32 especialmente com esse esforço de raciocínio alto, para chegar ao resultado completo. E acho que é isso que realmente queremos viabilizar. - Sim. - Outro comentário sobre isso: quero fazer o agradecimento obrigatório a todas as equipes de infraestrutura e pesquisa do Google que estão tornando isso possível, porque não é fácil fazer o modelo executar tarefas com horizontes tão longos, nem fazer todo o trabalho de infraestrutura de SDK, API e backend necessário para isso. É impressionante ver tudo o que está acontecendo para viabilizar esse recurso. - E um agradecimento também às nossas equipes de serving.

25:02 Para lançar um modelo como este para todas as pessoas a quem queremos disponibilizá-lo, acho que é um feito e tanto, e essas equipes estão trabalhando muito. - Sim. - Talvez valha a pena esclarecer… Certo, só para deixar claro: quando dizemos agora um milhão de tokens de saída, queremos dizer em uma única etapa, porque o nosso antigo 3.8 Flash conseguia gerar um milhão de tokens se fizesse uma etapa, depois outra e depois mais uma. - Sim, correto. - Então, estamos falando de uma única etapa.

25:33 E acho que isso serve para coisas sobre as quais o modelo precisaria pensar muito profundamente. Normalmente, não seria um problema de programação, porque, num problema de programação, você analisa esse trecho de código, escreve um pouco, executa, enfim. Mas, por exemplo, para um problema de matemática muito difícil, talvez seja necessário pensar por bastante tempo. E, se pensarmos em termos humanos, talvez você consiga pensar a alguns tokens por segundo. Não sei. Mas um milhão de tokens,

26:04 se você pensar nisso como meio milhão de segundos, dá mais ou menos uma semana inteira. Sem contar que, se você dormir, comer e fizer outras coisas, talvez estejamos falando de um mês pensando. É uma capacidade enorme. - Gostei dessa analogia. Um mês pensando em uma única solicitação. - Gostei. - É poderoso. - Sim, é uma boa forma de apresentar. - Vale a pena falar de uma coisa, e, Josh, talvez alguns dos exemplos de escrita reforcem isso: acho que também vimos isso na programação,

26:35 mas as pessoas realmente gostam de trabalhar com o modelo Argon. E, sobre esse aspecto comportamental de alinhamento que as pessoas vêm desenvolvendo, fiquei curioso para saber se alguém quer explicar em linhas gerais o que fizemos, por que é ótimo e qual tem sido o feedback interno. - Algumas coisas, certo? Quando pensamos em comportamento, consideramos vários eixos diferentes de como o modelo interage com você. E acho que isso é importante, porque é possível chegar a qualquer um dos extremos, e nenhum deles é particularmente bom, certo?

27:08 Por exemplo, falamos bastante sobre como este modelo é persistente. E acho que isso é uma característica muito positiva, porque o modelo se esforça bastante e continua tentando. - Sim. - Mas dá para levar isso ao extremo: o modelo fica persistente demais e vai longe demais sem confirmar com você, fazer perguntas sobre ambiguidades ou pedir esclarecimentos. Também dá para ir ao outro extremo, em que o modelo se torna irritante porque fica fazendo perguntas para você repetidamente, certo? Então, acho que pensamos muito em como encontrar o equilíbrio certo nesse tipo de concessão, certo? Por isso, incentivamos o modelo a ser persistente.

27:40 Então, estamos claramente nos inclinando mais para esse lado, mas queremos que ele consiga esclarecer ambiguidades. Da mesma forma, outra área em que investimos para este modelo foi a transparência. Mais uma vez, é preciso encontrar o equilíbrio certo entre ser prolixo demais e não contar nada ao usuário. Por isso, uma das coisas em que tentamos investir é fazer o modelo comunicar mais o que está fazendo. Essas são mudanças que planejamos intencionalmente, tanto em termos das evals e de como temos medido o modelo quanto no treinamento. E estamos vendo isso no feedback dos funcionários do Google,

28:12 o que também é muito bom. Na verdade, temos usado o Argon para reunir feedback de dezenas e dezenas e dezenas de salas de bate-papo, tentando extrair e analisar os comentários. Depois, fazemos experimentos ao vivo. Nesses experimentos, avaliamos os sinais implícitos dos funcionários do Google sobre como eles interagem com o modelo. Isso também nos ajuda a entender como o modelo está encontrando o equilíbrio nesses vários aspectos. - E os funcionários do Google têm opiniões. - Os funcionários do Google têm opiniões. - Têm mesmo, e isso é bom. Acho que é aí que isso se cruza com o produto de maneiras interessantes.

28:42 Porque, mesmo no Antigravity ou no app Gemini, fizemos muitos experimentos sobre o tamanho que esses rastros de pensamento deveriam ter e quantos deveriam aparecer. E em que momento as pessoas apertam parar ou reclamam do modelo? Então, você analisa todas essas coisas diferentes e pensa em qual é a interface certa e no equilíbrio a encontrar em relação a essa transparência. É interessante: o que costumamos observar é que, no início, quando um modelo é novo, as pessoas valorizam muito rastros de pensamento detalhados e frequentes. Com o tempo, ou passam a confiar mais no modelo ou não, e começam a dar menos atenção a isso.

29:14 Então, experimentamos bastante com quanto mostrar ao longo do ciclo de interação do usuário com o modelo. - Adorei. Que demais. Sim, bem, eu gostaria de ter uma experiência personalizada do app Gemini com níveis de pensamento assim. Acho que estamos lançando um novo resumidor de pensamentos em todos os… pelo menos na API, ele está sendo lançado. Não sei se isso já está no app Gemini ou não, mas vai ser interessante ver o que as pessoas acham de pensamentos mais concisos. Pensamentos mais concisos. Deve ser interessante. - Acho que a qualidade é melhor. - Isso é demais. Obrigado aos quatro por se sentarem para conversar.

29:46 Sinto que o Gemini 4 Argon é um grande avanço, que impulsiona o ecossistema e é só o começo. Mais modelos novos estão por vir; o ciclo de iteração rápida está a todo vapor, o que é empolgante. E espero que recebamos muitos comentários excelentes que ainda não vimos e possamos agir com base neles também. Então, obrigado a todos — sim, compartilhem seus comentários. — Sim, mandem seus comentários para nós. — Estamos tentando modelar. — Ótimo. E obrigado a todos por acompanharem este episódio de Release Notes. Até o próximo.

Transcrição original

[00:00] We’ve seen performance optimizations across the board, across use cases. Some folks on the Antigravity team have been using the model to migrate from Fortran to Rust. So, code migrations. - Wait, who’s using Fortran in the— - No, they’ve been taking Fortran code bases. - External Fortran code bases. - External code bases. It’s like a museum kind of thing. - Yeah, it’s like the world runs on Fortran. But there are still code bases in Fortran externally. - Who here has ever— I have written Fortran. - I have not. - Oh, you have? Nice. Okay.

[00:31] Anybody used punch cards, paper? No. No? I mean, I’ve seen them, I haven’t really used them, to be honest. Hey, everyone. How’s it going? Welcome back to Release Notes. My name’s Logan Kilpatrick. I’m on the Google DeepMind team. Today we’re here talking about Gemini 4 Argon. I’m super excited. We’ve got Josh, Melvin, Sergey, Tulsee, the entire crew spanning product, model, research, everything in between. So, maybe, Josh, maybe you kick us off with the news.

[01:02] Gemini 4 Argon available, today, for people to use. - That’s right. It’s going to be in the Gemini app, in AI Studio, the Gemini API on cloud, as well as Antigravity. And we can’t wait for you to try it. It’s got a bunch of leaps. We can unpack it here today. - I love it. Yeah, I think we announced the model benchmark charts. We handed it off to a bunch of folks in the Fairwind program, cyber defenders. And maybe actually, it’s worth just starting with what’s been going on. We showed a bunch of, we showed a nice, beautiful benchmark chart,

[01:33] two weeks ago roughly. And between now and then, all this stuff, I know we can talk about it from all different angles, product testing, early access research, et cetera? - Yeah, it’s been great. So I think, like you said, we announced it about two weeks ago. And since then, we’ve been doing a few things that have been really great. One is just continuing to test the model. So we’ve been giving it to a set of cyber defenders and have actually been working with Wiz, which is an internal cybersecurity company, through their Scan For Good program to actually already start identifying and patching vulnerabilities

[02:04] across a bunch of critical systems. We’ve actually started also testing it with enterprises and customers, so slowly rolling out to start getting some feedback. We’ve been testing it, of course, internally a ton, and also with some of our researchers who are focusing on different domains, right? So quantum, robotics, science, and that’s been really interesting. And then lastly, but really critically, we’ve been really investing in the safety story. So that doesn’t just include our relationship with the US government where we submitted the model for testing, but we’ve also been improving our own guardrails, right? Really making sure we have the right monitoring setup,

[02:36] the right internal guardrails within the model, external guardrails around the model setup. So that we’re actually very comfortable releasing tomorrow or today or yesterday whenever this podcast drops. - Whenever this podcast drops. Sergey, I feel like the internal usage of the models to me is one of the biggest— feels like one of the biggest differences in how we’ve gone about thinking about what is a great model to bring to the world. And we have 100,000 amazing engineers who are using the model. Varun quoted this earlier when we were catching up with him, 100,000 people internally testing, which I feel like is

[03:08] probably more than we’ve ever had for any model released before in the past. And so I’m curious how, I feel like you’re at the helm of a lot of this internal flywheel and the testing that’s happening. - Yeah, I’m very excited about the cadence that we have nowadays. And if you look at even before Gemini 4, when we had Flash 3.6, 3.7, 3.8, we’re starting to get onto that RSI treadmill. And now the, you know, our researchers

[03:39] and the model work hand in hand to make the next version of the model. Actually, I just popped in here randomly because Melvin and I were talking about the next version of the model. And, probably by the time folks are viewing this, internally we’re already using a couple models ahead. So it’s just very exciting to see the progress and the cadence. And I expect it’ll only continue to accelerate. - Yeah. As the acceleration continues to happen, almost like the bar for where

[04:09] we bring the model out, or what the launch bar actually is, I feel like continues to change and evolve because it feels dynamic. And so I’m curious, from a research perspective, also Tulsee, maybe from the model product perspective, how, yeah, how are we dealing with that shifting bar and like what is good enough to bring to the world? - One thing about Argon that, I feel really good about is we have extensively tested the model for, more than three, four weeks now internally and all of the signs tell us that it’s good. But what I’m excited about is getting it out to a broader set of use cases

[04:42] and a broader set of users across Gemini app, Antigravity, and cloud. So when we’re in this fast cadence where we’re building the next one, we can actually iterate on that feedback. Right now we’re getting bits and pieces but we want more and more people to use it. And we’re on this fast three to four week cycle. Every couple of weeks we have candidates every three weeks we can graduate some promising ones. But if we can inject that feedback back into how we design the models, that’s going to get us even better. - Yeah. Well, something that’s interesting is I’m on a Varun quoting

[05:15] chain right now, and he mentioned earlier that one of the most— other than engineers inside of Google, I feel like one of the other top personas is the cloud sales team using Argon internally. And so it’s like this whole knowledge. It’s not just great for coding, great for all those use cases, great for science, but also, great for knowledge work. And so I feel like in the Gemini app, a bunch of updates landing. Josh, I don’t know if you want to talk through any of those. - Yeah. So, well, one we focused a lot on that hopefully everyone will feel is just writing quality.

[05:45] It has a house style that feels unique. And so part of that started, we’ve been tracking feedback on this and there’s AI slop everywhere, though, load-bearing phrases, to be honest, listification, all this stuff. And so we made a real concerted effort to really try to just stamp that out. So it should feel more concise, more precise. We’ve worked with a bunch of professional writers, and they’ve just been marking up the model output. And we turn those into goldens, and we climb on that.

[06:16] And so there’s a lot of thought that’s gone into that. So yeah, whether you’re on the sales side, the legal side, the finance side, even writing code, obviously, it’s great at. But hopefully you’ll feel that it doesn’t feel or sound like another model. It has its own tone. So that’s been a big focus for the Gemini app and beyond. - Yeah. What my really quick personal question is, I don’t use AI for any writing. And so like, do you think this– I don’t know if you felt this for yourself because you do a lot of writing actually internally, externally. And so has it crossed that chasm where you’re willing to start

[06:46] letting it be more in the driver’s seat? Because I’m like 100% artisanal. I type or write every word. I want my words coming out, also because of all the right to think stuff. - Yeah. - But yeah, I still think— - I still write, so, I haven’t given up writing, but it’s an incredible copy editor. - Got it. - And so usually I’ll write something— actually, I’ll dictate something when I’m walking somewhere or in the car, and I’ll throw it over to Argon and say sharpen this. What are the three weakest parts of this? What are three ideas I didn’t think of, three ideas that might confuse people.

[07:17] It’s exceptional at this. - Yeah, and I actually, like, I’ve been having wrist issues, and so I actually will just ramble at Antigravity and then have it turn that into writing. And I found that, actually usually that’s pretty hard to do because it comes out very, dense, clunky, very AI sloppy, and, then it doesn’t actually feel that good. But with Argon, I’ve been able actually to do that a lot more and actually find the artifact reasonable, which then I can then edit. But at least the concept is still from my thinking, but it’s more from my verbal input, which I think is actually pretty cool.

[07:50] - I love that. Yeah, Any other good internal use cases or examples that folks have seen that have really stuck out as Googlers have used this model at scale? I’m curious. - I think this is probably the first time Sergey can attest to this because he’s been pushing us to do that, is having agents in the model building process in a more substantial way. So, we actually have agents monitoring the hero runs. We have agents giving feedback on misconfigurations. We have agents looking at reward scales or finding bugs, patching bugs,

[08:21] agents looking at data and duplicates and stuff like that. I think that’s exciting, and we’re only going to get better at that kind of thing. - Did you see the data center game that was going around? - No. - Did a simulation of our data centers. And as they’re running these training jobs and even down to, like, people having to go and swap GPUs and all those things. I don’t know if it just went around the chat. It’s amazing. I mean, the kinds of things you can do now with just a prompt and you just come back and there it is.

[08:54] - We put out a call to Googlers to ask them, like, what are the exciting things that they’re doing with Argon and what are some of the use cases? And we’ve been compiling a lot of that as just to better understand how the model is working. And there’s been a bunch, like the Chromium team has been using the model pretty aggressively to address some of their work. We’ve seen Gemma optimizations. We’ve seen performance optimizations across the board, across use cases. Some folks on the Antigravity team have been using the model to migrate from Fortran to Rust. So code migrations.

[09:25] - Wait, who’s using Fortran? - No, they’ve been taking Fortran code bases. - External Fortran code bases. - It’s like a museum thing. - Yeah, it’s like— the world runs on Fortran still. There’s still code bases in Fortran externally, and so they’ve been trying to do just like— okay. - Who here has ever— I have written Fortran. - I have not. - Oh, you have? Nice. Okay. Anybody used punch cards? Paper? - No. - No? - No. - I mean, I’ve seen them. I haven’t written them, to be honest. - That counts. - I’ve done BASIC, COBOL.

[09:57] - I’ve done BASIC. - Oh, yeah. No, BASIC. I’ve never done COBOL. Wow. - You got to get back into it. There’s a big market. COBOL developers. - For migrations. - Yeah, for migrations. - I think, okay, one other example, actually, Sergey might know this also, is we’ve had these hardware issues during our hero runs where we would get some bad state in the machines. And we’ve been trying to get to the bottom of it for a long time. We’ve learned to live with it. And then one of the engineers sent the problem to Argon

[10:28] and it found an actual issue in the hardware. We took it back to the hardware team in Sunnyvale. They’re like, are you bringing us AI slop? We don’t want to listen to you. But we actually, went, sat there with them and they actually went back to the provider and found corrupted HPM. - Wow. - So this is pretty good. Now we’re able to identify all of the machines that come from that vendor and when we can outcast them from the fleet. - Melvin, you didn’t submit this into what are the cool examples. - Sorry. - I should have. - I should have. - Right now, live.

[10:58] - I should have. - You know, funny story. The first twenty or so servers we bought for Google, it must have been ’ninety-eight, ’ninety-nine maybe. But I just couldn’t get the operating system to install on these servers. We’d had like two machines before and we scaled up to twenty and just none of the new ones were working. And I debugged and debugged and debugged and eventually I ran a memory tester and I realized there was an incompatibility

[11:29] between the memory and like the motherboard or whatever. They’d actually given us fancier memory for free, but it didn’t work. But I had spent days figuring that out, so thank you, Argon. I guess in today’s world I wouldn’t have had to do that. - Were those in the Lego server racks back–that was before. - No, okay, the Lego, which was in fact an off-brand Duplo knockoff called Mega Bloks. Yes, my son loves those. No, that was from Stanford days.

[11:59] Yeah, they’re cheap, but they don’t have the same tolerances as Legos, but it worked for a hard drive case. Anyway, no, that was still at Stanford. And then once we became a company, we went and we bought from KingStar Computers, I think. It wasn’t entire— it was their fault, actually. It was KingStar’s fault. But whatever. There was an incompatibility between the memory they’d selected and the motherboard. Memory. - Yeah. - And to be fair, I think they used a higher end of memory than the motherboard should have had.

[12:30] But it just would periodically corrupt. It’s one of those things. They’ll run for a couple hours fine and then boom. Yeah. So thirty years later, same thing. - And then the ECC does not catch this corruption. So that’s why we couldn’t find it or we couldn’t root cause it. - Melvin, this is an interesting example and I feel like we’ll hear a lot more of these, but like this, the models, more people being able to push the models now as Argon rolls out to more folks and like it can do all these really impressive things.

[13:01] The onus now to go and validate that this is true. And I have this challenge internally, which is people send me stuff and they do this deep investigation and they’ve used Argon to do it. And I’m like, my skepticism is actually a little bit higher today in this transitionary moment of people sending me stuff because I’m like this sounds compelling. I have no idea if this is actually true. And so, I’m actually curious how you all are, if you all have advice for folks as they use this model and now they start to do this really impressive stuff. How to do that if they don’t have 100,000

[13:32] Google employees or collaborators to work with? How to do that introspection and get the confidence in the work that’s actually happening? - I mean, I actually find that this model will be good. It does not overclaim. It’s not too sycophantic. Like, it is as ground— I mean, we could do better in terms of being grounded, but it does not try to fabricate stuff, right? So I trust a lot of what it produces. Obviously, there’s misunderstandings, but there’s no misrepresentation of stuff.

[14:04] - Well, first of all, welcome to my world. Just like the HBM memory story predating AI, I mean, I get pitched stuff all the time from like, very intelligent seeming, whether they’re folks who work with us or partners or companies wanting to do business. I mean, yeah, you need to have skepticism whether it’s an AI presenting you information or a person. It’s hard to tease apart. I mean, the cool thing is you can use the AI to check itself, whether it’s exactly the same model or a different model.

[14:37] They generally don’t seem to have an ego about it in the sense that just because, if you use Argon to check Argon, it’s not going to be like, “Oh, that’s me.” They can actually check themselves. - Yeah, more independent. Yeah. - Internally, we have a whole family of models that we can use to also get diverse opinions nowadays. - Yeah. - Any other advice? - I was just going to say, we’re seeing in my neck of the woods, the bottlenecks are shifting.

[15:07] So code reviews obviously is where a lot of focus is. People have talked about that. One thing I’m saying a lot to teams right now is I might get something I might suspect, like, this feels like— I’m not sure, this is— it just generated in one shot or something? So my go-to reply back is, share your prompt with me. Let’s refine it a little bit. Because I don’t want to discourage trusting the model, reaching for the model. But I also— you can’t just do your first one shot and be done with it. - Yeah. - So I think at least that’s the phase I’m finding

[15:38] a little bit on the product side is people doing really interesting analysis or even ideas for product concepts. - I like this one actually, Josh. So you and I were talking in some other meeting earlier this week or last week. I don’t even know what day it is anymore. One of the threads of this conversation is this model really feels like there’s— and it’s why I’m excited for next iterations, like the harnesses, to see the model come to life in our products and other people’s products. But it feels like there’s a lot of— there’s iteration juice to squeeze. - Yeah. - I really am, as I’m building software, as I’m doing some work,

[16:11] I continue to ask the model to do more and even very crappy prompts. Make this thing better. it actually goes and a lot of cases makes it better, which is really impressive. And so it’s interesting to see just out of the box without actually having to even have a really good perspective about what are the things that I want better. The model just goes and thinks and spends more tokens and creates something that’s really impressive. - But I think this is where the pressure gets higher to make sure that you are in fact doing the thinking and not outsourcing the thinking part. I think that’s what I find too,

[16:42] that I’m having conversations with people, which is yes, absolutely. Use the model to aggregate the analysis, to give you perspectives, to riff with your perspectives, but don’t fully assume that everything there is canon. And I think what you find is that when you start asking questions of what you get back, you do start scrutinizing where the model might be off because you start looking at something and say, wait, that doesn’t actually sound right. So I think it’s definitely read the output yourself, make sure that the output makes sense to you,

[17:14] question it, and then do another loop of iteration. Because I think oftentimes, actually, the places where the model fails, some are more nuanced and you might miss it. And especially if you’re not an expert, you’ll definitely miss it. But some are, if you scrutinize it, you’ll be like that seems a little off. And I think just asking that question gets you quite far. - Yeah, I love that. Sergey, we’ve had a lot of model iteration over the last few weeks, weeks and months, over the last six months maybe even. And obviously all of that has culminated with this moment.

[17:45] So I’m curious, what— yeah, what were the combination of things that, made this Gemini 4 Argon moment possible? - Yeah, great question. And I would say that there are basically two things that came together. One was a deliberate decision to increase our cadence and to be able to use our own models to then make the next generation of models. The other is a generational leap that, you can’t quite schedule your breakthroughs.

[18:17] If I could, I would have done it a little sooner. But, from Gemini 3 to 4, there’s a bunch of new technology in there. Gemini’s going to go from one version to the other, hopefully at an increasing cadence. - Yeah, that’s exciting. Maybe we also go around and talk about if anyone had any “aha” moments with Argon, like the first set of prompts or even maybe earlier predecessor, because we had tons of internal versions prior to Argon that you did the thing and you’re like, wow, this

[18:47] is a model that I’m excited about and I want to get out the door. And I’ll tee off with my crappy easy example, which is I love making Minecraft clones. And so this is a fun— it’s because there’s so much nuance in the actual game. And so a lot of models would just give you something that like looks like Minecraft, but there isn’t depth. You go mine and look through the caves and there’s two levels deep, there’s just diamonds everywhere or whatever. And so there’s all these easy to— easy, very simple fast to grok,

[19:18] is the model thinking deeply, which is why I like that example. And Argon crushed it for me. I did two prompts. The first one, visually everything was amazing. The second one added the depth to the game and the UI HUD that I really wanted. And so I was impressed. I was like, this is the model. I’m excited. Anyone else have any good ones? - Well, actually, before I talk about a prompt, which I’ll talk about in a second, one thing that I think was funny with this model, and this actually, I think, speaks to your point about just how we’re testing internally in cadence. Normally, I feel like when we have a new checkpoint,

[19:49] we all bash it ourselves and start getting some vibes for it. This time we had this model and we almost immediately gave it to a set of Googlers to test. And I distinctly have this memory of, I think I was at home and a bunch of folks had started testing the model before I had even started testing the checkpoint. And so I’m looking at my phone and this chat group is blowing up. Of people being like, wait, this model is so good. I’m so excited about this. I just tried this use case. This is incredible. My life has changed.

[20:20] And it’s that moment where you’re actually, it’s not even just you using the model and being excited about it. You’re like, something has shifted in the tenor. And that actually was a meaningful shift I think, from how we’ve heard. This is a critical audience of testers. This is not an audience that is just going to get excited because we put something out. And we’ve seen that criticism in previous earlier versions of the checkpoints. And so to see that shift. I think was actually a really interesting moment in and of itself. - I love that. - Yeah. - I think one thing for me more than a set of prompts is actually when

[20:50] you’re running post-training, a lot of people come and pitch, “Hey, I need chips for this idea,” or “I need chips for this idea.” “I need 500, I need 1,000, I need 600.” Now, people come and I’m like, “I need Argon QPS.” And “I need ten QPS, I need fifteen QPS, I need like five QPS,” because they just want to use the model. They generate data with the model, they go and do their research with the model. So, it’s actually a shift in how we do post-training, because as Sergey said, the model actually is building the next version of the model. - That’s awesome.

[21:21] - So I think that’s cool for us to be in this era. - Yeah, the one I’d add we had someone on the team who has a young kid, trying to teach him how to read. And so he had Argon go out, and basically his goal was to make a reading app to teach his son. But Argon didn’t just whip together some one-shot app with phonetic sounds. It actually went out, researched early childhood learning theory, incorporated that into an app with certain steps along the way, and then did the whole front end and got it, hosted it.

[21:54] It was just this unbelievable end-to-end. Where it’s not just producing the site or the app at the end, but it’s all the stuff up front. And I think it speaks to a lot of the persistence and the goal-seeking that’s in the model now, which was a pretty interesting combination. It built its own knowledge base and then did the coding task, as opposed to just doing some coding task out of thin air. - I love that. And the eval is: how fast is this kid going to learn how to read? - That’s right. - So we’re checking on that. The TH sound. If they can’t read soon, we’re sending it back.

[22:27] - I’ve seen it correct its own training data, which is impressive. It’ll go through and in training data, it’ll be asked to prove various things, mathematical theorems, and said, you know, this one’s wrong and here’s a counterexample. And just seeing it do that, it’s pretty impressive. - That’s awesome. One of the things that I’m excited about for this model is we were the first to launch one million input tokens. Maybe now we’re the first, I don’t know if this, if we’re the first for one million output tokens but industry-leading one million output tokens.

[22:58] And I think it’s worth double-clicking on where we’ve actually seen, because we’ve done a bunch of tests internally. We’ve handed the model off to early access customers. They’ve given us feedback of where do you get the most value from one million input and output tokens, or one million output tokens in this case. So, maybe we can talk about use cases where this actually shines. - I think on some of the hard reasoning and math problems, we have a team or multiple teams going after open problems. And for those people, this long decode, the model really wants to go

[23:29] long, and enabling the model to go to one million output tokens helps a lot. - I’ve asked Tulsee this question three times now, so I’ll ask it again in this forum as well, which is how– - We just do this. - How should somebody frame their thoughts of, as you describe that, I implicitly think of reasoning levels. And so how should I think about the difference between an extra high or a max reasoning level relative to this long, one million output token context length? - I think at high, which is our max, the model has the ability to really go to one million tokens if it can.

[24:01] - Got it. - I don’t think it’s possible with competitor models, and we’ve seen a non-trivial percentage of trajectories hitting that limit on evals. - And I think that’s the key point, actually. Melvin keeps using the word enable, which I really like, which is the model is already capable of doing that, right? But if you only have the ability for 64K output, then the model has to stop, right? You have to sort of– it only has that capacity of what it can actually pull out. So, if you enable that to go longer, you’re now leveraging the model’s capacity to reason more,

[24:32] especially at that high reasoning effort, to get you that full outcome. And that’s, I think, what we really want to enable. - Yeah. - One other comment on this is I will give the obligatory shout-out to all the Google infrastructure and research teams who are making this happen, because it is not easy to make the model do these very long horizon tasks and all the SDK API backend infra work that’s required to do this. It’s been impressive to see all the stuff that’s happening to enable this. - Also, shout out to our serving teams.

[25:02] To ship a model like this to everyone we’re trying to ship it to, I think it’s quite the feat, and they’re hustling. - Yeah. - Maybe it’s worth a moment– Okay, just to clarify, I think when we say now a million output tokens, we mean over a single step because our old 3.8 Flash could do a million tokens if it does this step, then that step then the other step. - Yes, correct. - So we’re talking about in one step.

[25:33] And I think that’s for things it would have to think very deeply about. So typically not like a coding problem because in a coding problem, you’re looking at this piece of code, writing a bit, running it, whatever. But for a very hard math problem, for example, that’s where you might need to think for quite a long time. And if you think about it in human terms, maybe you can think at a few tokens a second. I don’t know. But a million tokens,

[26:04] if you think about that as half a million seconds, that’s like a full week or so, plus or minus. Not to mention if you sleep, and eat and do other things, then maybe it’s we’re talking about like a month of thinking. It’s an enormous amount of capacity. - I like this analogy. A month of thinking in a single request. - I like it. - That’s powerful. - Yeah, it’s a good pitch. - Something that’s actually worth talking about, and Josh, maybe actually some of the writing examples underscore this, I think for coding as well

[26:35] that we’ve seen so far, but people actually like working with the Argon model. And so this alignment behavioral aspect that folks have been driving, I’m curious if anyone wants to talk through the high level, what we’ve done, why it’s great, what the internal feedback has been on this. - So, a few things, right? When we think about behavior, we actually think about it across a number of different axes of how the model is engaging with you. And I think it’s important because you can get to either extreme and neither is particularly good, right?

[27:08] So if you talk about for example, we talk a lot about how this model is persistent. And I think that’s a really positive trait in that the model works really hard and it keeps going. - Yeah. - You can take that to an extreme where the model is, too persistent and goes too far without checking in with you or, asking questions around ambiguity or clarifying. You could also go to the other extreme where the model is annoying because it is just, like asking you questions again and again and again, right? And so, like, I think we think a lot about how do you find the right middle ground of that type of trade-off, right? And so we’ve push the model to be persistent.

[27:40] And so we definitely are anchoring more to that angle, but we want it to be able to clarify ambiguity. Similarly, another area that we’ve invested in for this model has been transparency. You also want to again, find the right balance between being too verbose and not telling the user anything at all. And so one of the things we’ve tried to invest in is the model communicating more about what it is doing. And so these are changes that we’ve thought through intentionally both in terms of the evals and how we’ve been actually measuring the model, but also in training. And we’re seeing that in Googler feedback,

[28:12] which is also really nice. So we’ve been actually, using Argon to compile feedback across, dozens and dozens and dozens of chat rooms, trying to pull out and parse feedback. And then we actually run live experiments. And in those live experiments, we actually evaluate for Googler implicit signals on how they’re engaging with the model. And that also helps us understand where is the model balancing, in these various places? - And the Googlers have opinions. - The Googlers have opinions. - They do, in a good way. I mean, I think this is where it intersects the product in interesting ways.

[28:42] Because even if you’re in Antigravity or the Gemini app, we’ve done tons of experiments on how long should those thought traces be and how many should show up. And when do people hit stop or complain at the model? So you look at all these different things and think through what’s the right UI. Trade-off when it comes to that transparency too. Interesting, what we tend to see is early on in a new model, people really value deep, frequent thought traces. And then over time, they either grow to trust the model more or they don’t, and they start to look at that less.

[29:14] And so we’ve played around a lot with how much to show over the lifecycle of the user’s engagement with the model. - I love that. That’s awesome. Yeah, well, I want my personalized Gemini app experience with thinking levels like that. I think we’re actually shipping a new thought summarizer in all the— at least in the API is shipping. I don’t know if this is in— if it’s already in Gemini app or not, but it’ll be interesting to see what people think of the more concise thoughts. More concise thoughts. Should be interesting. - Better quality, I think. - This is awesome. Thank you, all four of you, for sitting down.

[29:46] I feel like Gemini 4 Argon feels like a huge step, push the ecosystem forward, and just the start. More new models to come the rapid iteration. Flywheel is in full effect, which is exciting. And I think hopefully we’ll see lots of great new feedback that we haven’t seen yet and we’ll be able to take action on that as well. So, thank you all - yeah, please share your feedback. - Yeah, please send us feedback. - We’re trying to model. - Awesome. And thanks everyone for tuning in to this episode of Release Notes. We’ll see you in the next one.