Gemini 4 Argon: 13 vitórias e 5 derrotas (a tabela do próprio Google)

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Gemini 4 Argon: 13 Wins, 5 Losses (Google’s Own Table) · Canal: Prompt Engineer 48 · 05:42 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Cibersegurança e segurança de software, Engenharia de software com IA, Modelos de IA, Segurança de IA

Resumo

O vídeo analisa a tabela de benchmarks divulgada pelo Google para o Gemini 4-Argon, modelo ainda restrito a um grupo de testadores confiáveis. Segundo os números do Google, ele vence 13 das 19 comparações, empata em uma e perde cinco, com resultados fortes em conhecimento profissional, programação, contexto longo e cibersegurança. O apresentador também destaca medidas de segurança, exemplos de uso interno no Google e os preços anunciados. Como não testou o modelo e o acesso ainda é limitado, recomenda cautela, especialmente para quem usa agentes de programação em terminal.

Pontos-chave

O Gemini 4-Argon ainda não está disponível ao público; o acesso inicial é destinado a testadores confiáveis pelo programa Fairwind.
Na tabela apresentada, o modelo tem 13 vitórias, um empate e cinco derrotas em 19 linhas.
O Google destaca resultados em conhecimento profissional, tarefas jurídicas e financeiras e programação.
O vídeo cita o uso interno do modelo pelo Google em migrações de C e C++ para Rust e em tarefas de otimização.
O limite de saída anunciado passa de 64 mil para 1 milhão de tokens.
Em benchmarks de cibersegurança, o modelo obtém resultados competitivos e, em alguns testes, supera modelos anteriores do Google.
O teste de prompt injection citado mostra taxa de sucesso de ataque de 0,7% para o Argon, sendo menor o resultado considerado melhor.
O preço introdutório anunciado é de US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída; depois, sobe para US$ 4 e US$ 20, respectivamente.
O apresentador ressalta que os dados são do próprio Google e que ainda não testou o modelo.
Para quem usa agentes de programação em terminal, a recomendação é esperar e avaliar o modelo em tarefas próprias.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do Gemini 4-Argon	O vídeo introduz o modelo, seu acesso restrito e a comparação com outros modelos.
01:31	Programação e uso interno no Google	São apresentados resultados de programação e exemplos de migrações e otimizações realizadas pelo Google.
02:36	Visão, cibersegurança e segurança	O apresentador percorre benchmarks de visão e cibersegurança e as medidas de segurança descritas pelo Google.
04:09	Preços, derrotas e disponibilidade	O vídeo informa os preços anunciados, destaca cinco linhas em que o modelo perde e explica quem poderá acessá-lo.
05:11	Para quem o modelo pode ser útil	O apresentador resume os possíveis casos de uso e recomenda testar o modelo quando houver acesso.

Citações

Há 19 linhas aqui: 13 vitórias, um empate e cinco linhas em que outro modelo fica à frente. — 00:30

O limite de saída passa de 64 mil tokens para 1 milhão de tokens. — 02:36

O Google chama o Argon de seu modelo mais resiliente até agora contra prompt injections indiretos. — 03:39

Esses são números do próprio Google, na tabela do próprio Google. — 04:41

Se você usa principalmente agentes de programação em terminal, a tabela diz para esperar e testar no seu próprio trabalho. — 05:11

Conceitos e entidades

Gemini 4 Argon (modelo): Modelo de fronteira do Google DeepMind apresentado no vídeo, ainda limitado a testadores confiáveis.
Google DeepMind (empresa): Organização que anunciou o Gemini 4-Argon e publicou os benchmarks discutidos.
Fairwind Program (conceito): Programa pelo qual o Google disponibiliza o modelo inicialmente a um grupo de testadores confiáveis.
GPT-6 Astra (modelo): Modelo comparado ao Gemini 4-Argon em diversas linhas da tabela de benchmarks.
Claude Opus 5.5 (modelo): Modelo da Anthropic usado como comparador e vencedor de algumas das linhas mencionadas.
CWE Bench (conceito): Benchmark de cibersegurança citado na comparação de identificação de vulnerabilidades.
Gray Swan (empresa): Organização associada ao teste de prompt injection mencionado no vídeo.
Wiz (empresa): Empresa com a qual o Google trabalhou em testes de invasão e identificação de vulnerabilidades.

Tradução completa (pt-BR)

00:00 Certo. Então, o Google acabou de lançar o Gemini 4-Argon, e dá para ver que esta é uma tabela bem grande. Vale lembrar que ninguém de fora de um pequeno grupo pode usar este modelo ainda, então não posso testá-lo para vocês, mas analisei o anúncio inteiro e toda a tabela de benchmarks. Neste vídeo, vou mostrar o que parece muito bom e em que ele realmente perde. Então, o que é? É o novo modelo de fronteira do Google DeepMind, anunciado em 30 de setembro. Eles dizem que foi criado para workflows complexos em programação, trabalho de conhecimento empresarial e defesa em cibersegurança. E ele está sendo disponibilizado hoje apenas para um grupo de

00:30 testadores confiáveis por meio de algo que chamam de programa Fairwind. Então, veja o que vamos fazer. Primeiro, a tabela comparativa com GPT-6, Astra, Claude Fable 5.1 e Claude Opus 5.5. Depois, o que o Google já está fazendo com ele dentro da empresa. Em seguida, cibersegurança, segurança e preço. E, no final, as linhas em que ele não vence, porque isso também importa. Então, vamos dar uma olhada na tabela. Há 19 linhas aqui. Gemini 4-Argon está na primeira coluna, e as células azuis indicam onde ele está em primeiro lugar. Se contar, são 13 vitórias incontestáveis,

01:00 um empate e cinco linhas em que outro modelo está à frente. Começando pelo trabalho de conhecimento: Vells Index, 68,9%, e o próximo melhor é Opus 5.5, com 67. Automation bench, da Zapier, 51,3, e o seguinte é Opus, com 42,5. Vells finance agent, 65,4 contra 58,9. E veja o benchmark jurídico da Harvey: 19,6%, enquanto os outros ficam entre 3,8 e 6,7. Agora, programação: Deep SWE versão 1.1, 77,9%. Esse é o número que o

01:31 Google chama de estado da arte em tarefas reais de longo horizonte. GPT-6, Astra e Opus 5.5 ficam todos em torno de 74. Vibe code bench, 91,9, e o Google diz que ele é bom em depuração, migrações de grandes bases de código e design de algoritmos. Esta foi a parte que achei mais interessante. O Google já está usando o modelo no próprio código: está migrando C e C++ para Rust em toda a infraestrutura, incluindo mais de 800 mil linhas no kernel Fuchsia Zircon. E, no decodificador de vídeo lib gav one, eles dizem que o resultado é 2,7 vezes mais rápido que a versão anterior em Rust. E

02:03 mais dois números de dentro do Google: em computação quântica, ele otimizou um algoritmo, usando 40% menos recursos de espaço e tempo que a referência publicada. E, em uma análise de memória de toda a frota, liberou mais de 300 TB bytes, com uma economia total estimada entre 500 TB bytes e 1 PB byte. Mais uma vez, esses são números do Google, não meus. Em seguida, percursos em grafos com contexto longo, de até 128.000 tokens: 99,7%. Mas veja a segunda linha, de 256.000 até 1 milhão de tokens. Argon alcança 84,2 e o próximo melhor, 71,8. É uma diferença grande

02:36 e corresponde à outra mudança: o limite de saída passou de 64.000 tokens para 1 milhão de tokens. Em visão e uso do computador: LV bench, que avalia a compreensão de vídeos longos, 91,7%; fotografia, 71,6; e agents last exam, 39,5%, também o maior número dessa linha. Agora, cibersegurança, que é o verdadeiro foco deste lançamento. No CWE bench, há empate pelo primeiro lugar, com 68%, junto com GPT-6 Astra e Grok 4.7. No teste próprio do Google, que busca vulnerabilidades em 20 linguagens de programação,

03:07 ele alcança 85,8%, em comparação com 71 para Gemini 3.8 flash cyber. E, no teste de penetração da Wiz, 70,9 contra 58,2. Trabalhando com a Wiz, o Google diz que encontrou uma vulnerabilidade crítica em um software de saúde que os modelos anteriores não detectaram. Portanto, não se trata apenas de encontrar bugs: o modelo os valida e depois os corrige. Dá para ver que esse é o objetivo do programa Fairwind. Agora, segurança — e este gráfico é realmente impressionante. É o teste de prompt injection da Gray Swan, e quanto menor, melhor. Argon tem 0,7% de sucesso de ataque;

03:39 Claude Opus 5.5 e Fable 5.1 têm 1%. GPT-6 Astra tem 8,5 e, lá no extremo, Grok e Kimmy passam de 50. O Google chama Argon de seu modelo mais resiliente até agora contra prompt injections indiretos. Eles também listam quatro medidas que adotaram: recusar solicitações prejudiciais de cibersegurança e CBRN com monitoramento de ativação; defesa contra prompt injection; monitoramento da cadeia de pensamento e das ações; e interromper a execução se ela ultrapassar o que você pediu, além de colocar o ambiente em sandbox

04:09 antes dos evals de alto risco. Agora, o preço, já que é isso que me interessa: o preço promocional inicial é de US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída. Depois, passa para US$ 4 pela entrada e US$ 20 pela saída, e a entrada em cache tem 95% de desconto em relação à tarifa padrão. Certo, agora vamos ver onde ele perde. Frontier Swivel: Argon fica com 55%, e GPT-6 Astra, com 65,5. No Terminal Bench 4.0, Opus 5.5 vence, com 66,4. No Post-train Bench, Opus

04:41 vence de novo. No Terminal Bench Science, Astra tem 68,1 contra 57,6; e, no OSWorld 2.0, 72,6 contra 69,2. Então, são cinco linhas. E há duas observações honestas. Primeiro, estes são os números do próprio Google, apresentados na tabela da empresa, e a metodologia está no site do DeepMind. Segundo, não rodei este modelo, e vocês também não podem usá-lo agora. O acesso é exclusivo a defensores confiáveis de cibersegurança. Eles dizem que um processo de pré-lançamento do governo dos EUA está em andamento, e que os clientes da API e os assinantes do Google AI Ultra

05:11 terão acesso primeiro, quando ele for disponibilizado. Então, para quem é? Se você faz grandes migrações de código, trabalha com documentos longos, finanças ou questões jurídicas, ou cuida da segurança de uma empresa, vale a pena acompanhar este modelo. Se você usa principalmente agents de programação no estilo terminal, a tabela sugere esperar e testá-lo no seu próprio trabalho. Então, neste vídeo, vimos o que é Gemini for Argon, como ele se sai em comparação com GPT-6 Astra e os modelos Claude, e onde perde. Assim que ele for disponibilizado, vou testá-lo pessoalmente e mostrar os resultados reais no próximo vídeo. Me diga qual benchmark você quer que eu teste primeiro. Vejo vocês

05:42 no próximo. Obrigado. >> [sino]

Transcrição original

[00:00] All right. So, Google just dropped Gemini 4-Argon, and you can see this is a really big table. Now, mind you, nobody outside a small group can use this model yet, so I can’t test it for you, but I’ve gone through the whole announcement and the whole benchmark table. And in this video, I’ll show you what looks really good and where it actually loses. So, what is it? It’s the new frontier model from Google DeepMind announced on the 30th of September. They say it’s built for complex workflows across coding, enterprise knowledge work, and cybersecurity defense. And it’s rolling out today only to a set of

[00:30] trusted testers through something they call the Fairwind program. So, here’s what we’ll do. First, the table against GPT-6, Astra, Claude Fable 5.1, and Claude Opus 5.5. Then, what Google is already doing with it inside Google. Then, cybersecurity, safety, and the price. And at the end, the rows where it doesn’t win because that matters, too. So, let’s go ahead and look at the table. There are 19 rows here. Gemini 4-Argon is in the first column, and the blue cells are where it’s number one. If you count them, that’s 13 outright wins,

[01:00] one tie, and five rows where somebody else is ahead. Starting with knowledge work, Vells Index 68.9%, and the next best is Opus 5.5 at 67. Automation bench, which comes from Zapier, 51.3, and the next one is Opus at 42.5. Vells finance agent 65.4 against 58.9. And look at Harvey’s legal benchmark, 19.6%, where the others are between 3.8 and 6.7. Now, coding, Deep SWE version 1.1 77.9%. That’s the number

[01:31] Google calls state-of-the-art on long-horizon real-world tasks. GPT-6, Astra, and Opus 5.5 are both around 74. Vibe code bench, 91.9, and Google says it’s good at debugging, big code base migrations, and algorithm design. Here’s the part I found more interesting. Google is already using it on its own code, is migrating C and C++ to Rust across their infrastructure, over 800,000 lines in the Fuchsia Zircon kernel, and on the lib gav one video decoder they say the result is 2.7 times faster than the previous rust port. And

[02:03] two more numbers from inside Google in quantum computing it optimized an algorithm space-time resources 40% better than the published baseline. And in a fleet-wide memory analysis it freed up over 300 TB bytes with an estimated 500 TB bytes to 1 PB byte in total savings. Again, these are Google’s numbers, not mine. Next long context graph walks up to 128,000 tokens 99.7% but look at the second row 256,000 up to 1 million tokens. Argon gets 84.2 and the next best is 71.8. That’s a big

[02:36] gap and it matches the other change which is the output limit going from 64,000 tokens to 1 million tokens. On vision and computer use LV bench which is long video understanding 91.7% photography 71.6 and agents last exam 39.5% which is the top number in that row too. Now cybersecurity which is what this release is really about on CWE bench it’s tied for first place at 68% along with GPT 6 Astra and Grok 4.7. On Google’s own test finding vulnerabilities across 20 programming

[03:07] languages it gets 85.8% compared to 71 for Gemini 3.8 flash cyber. And on the Wiz penetration test 70.9 against 58.2. And working with Wiz Google says it found a critical vulnerability in healthcare software that previous models missed. So it’s not only finding bugs, it’s validating them and then patching them. You can see that’s the whole point of the fairwind program. Now safety and this chart is really something. This is gray swan’s prompt injection test and lower is better. Argon is at 0.7% attack

[03:39] success, Claude Opus 5.5 and Fable 5.1 are at 1%. GPT 6 Astra is 8.5 and at the far end Grok and Kimmy are both over 50. Google calls Argon its most resilient model yet against indirect prompt injections. They also list four things they’ve done, refusing harmful cyber and CBRN requests with activation monitoring, defense against prompt injection, monitoring the chain of thought and the actions, and stopping the run if it goes beyond what you asked, and sandboxing the environment

[04:09] before the high-risk evals. Now, the price, since that’s what I care about, introductory pricing is $2 per million input tokens and $10 per million output tokens. After that, it goes to $4 for input and $20 for output, and cached input is 95% off the standard rate. Okay, so now where it loses, Frontier Swivel Argon is at 55% and GPT-6 Astra is at 65.5. Terminal Bench 4.0 Opus 5.5 wins with 66.4. Post-train Bench Opus

[04:41] again, Terminal Bench Science Astra is at 68.1 against 57.6 and OSWorld 2.0 72.6 against 69.2. So, that’s five rows. And two honest things. First, these are Google’s own numbers from their own table, and the methodology is on their DeepMind site. Second, I haven’t run this model, and you can’t either right now. Access is only for trusted cyber defenders. They say a US government pre-release process is underway, and API customers and Google AI Ultra

[05:11] subscribers get it first when it opens up. So, who is this for? If you do big code migrations, long documents, finance or legal work, or you run security for a company, this one is worth watching. If you mostly use terminal-style coding agents, the table says wait and test it on your own work. So, in this video, we’ve seen what Gemini for Argon is, how it does against GPT-6 Astra and the Claude models, and where it loses. As soon as it opens up, I’ll test it myself and show you the real results in the next video. Let me know which benchmark you want me to try first. I’ll see you

[05:42] in the next one. Thank you. >> [bell]