Gemini 4 Argon vs. Opus 5.5: dei o mesmo repo aos dois

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Gemini 4 Argon vs Opus 5.5: I Gave Both the Same Repo · Canal: Prompt Engineer 48 · 08:20 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Engenharia de software com IA, Modelos de IA, Open source e ecossistemas de software

Resumo

O vídeo compara Gemini 4 Argon e Claude Opus 5.5 em cinco tarefas no repo Python tabulate, com o mesmo prompt e sem ferramentas. Os dois modelos corrigem vários bugs, mas Argon produz um diff malformado em uma tarefa e falha em três testes ao implementar um recurso; Opus passa em todas as tarefas. O apresentador destaca que o teste é pequeno e de execução única, e que não confirma os resultados de benchmark divulgados pelo Google. A conclusão é que Argon acompanhou Opus na correção de bugs, enquanto Opus foi melhor nesse teste ao implementar um recurso com casos de borda.

Pontos-chave

O teste usa cinco tarefas no repo Python tabulate: quatro bugs introduzidos pelo apresentador e um novo recurso.
Os dois modelos corrigem os dois primeiros bugs e passam pelos testes existentes.
Na tarefa C, Argon faz a alteração pretendida, mas gera um diff malformado que precisa ser aplicado com fuzz.
Na tarefa D, os dois modelos encontram três bugs em funções diferentes e passam nos 382 testes.
Na tarefa E, Argon falha em três testes: dois por erro de variável local não vinculada e um teste de assinatura.
Opus passa nos 10 testes ocultos e na suíte existente, totalizando 392 testes.
O resultado final do apresentador é Opus com cinco tarefas aprovadas e Argon com quatro, incluindo um patch que precisou de fuzz.
O apresentador não informa o custo de Argon porque o app Gemini não mostra a contagem de tokens; para Opus, o custo total informado foi US$ 2,08.
O teste foi de execução única, sem ferramentas, e não permite concluir que Argon teria o mesmo resultado em um ambiente que executa testes e permite iterar.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação de Gemini 4 Argon	O vídeo apresenta as características, os usos divulgados pelo Google, os benchmarks e o acesso a Argon.
02:38	Contexto do teste e preços	O apresentador ressalva que não confirma os números de benchmark e explica o custo da API antes de descrever o experimento.
03:39	Comparação em tarefas de correção de bugs	Os modelos recebem tarefas no repo Python tabulate, com resultados empatados nas primeiras tarefas e desempenho semelhante em um conjunto de três bugs.
05:13	Teste de recurso e análise das falhas	Argon falha em testes ao implementar max_rows, enquanto Opus passa; o apresentador explica os erros e informa o custo de Opus.
07:17	Placar e conclusão	O apresentador resume as limitações do teste e conclui que Argon acompanhou Opus em bugs, mas Opus foi melhor na tarefa de recurso.

Citações

Gemini 4 Argon acertou quatro delas. Claude Opus 5.5 acertou as cinco. — 00:00

Argon fez a alteração certa de uma palavra, mas o diff estava malformado. — 04:43

Opus passou nos 10 testes e na suíte completa: 392 testes aprovados. — 06:14

Para encontrar bugs, Argon acompanhou, até com três de uma vez. — 07:48

Conceitos e entidades

Gemini 4 Argon (modelo): Modelo do Google comparado a Opus 5.5 em tarefas de programação.
Claude Opus 5.5 (modelo): Modelo da Anthropic que passou nas cinco tarefas do teste apresentado.
Python tabulate (repo): Repo open source em Python usado para comparar os dois modelos.
Claude Code (ferramenta): Ferramenta pela qual Opus recebeu as tarefas, com ferramentas desativadas no teste.
Gemini app (ferramenta): Aplicativo em que Argon foi testado e que, segundo o apresentador, não exibe a contagem de tokens.
Antigravity (ferramenta): Interface de programação mencionada como um ambiente em que Argon poderia executar testes e iterar.
RunPod (empresa): Serviço recomendado pelo apresentador para quem procura GPUs baratas e confiáveis.
Google (empresa): Empresa que desenvolveu Argon e divulgou os benchmarks e exemplos de uso citados no vídeo.
Anthropic (empresa): Empresa associada ao modelo Claude Opus 5.5.
Deep Subly (conceito): Nome do benchmark citado na transcrição, no qual o vídeo atribui a Argon uma pontuação de 77,9% divulgada pelo Google.

Tradução completa (pt-BR)

00:00 Cinco tarefas de programação, o mesmo repo e o mesmo prompt para os dois modelos. Gemini 4 Argon acertou quatro delas. Claude Opus 5.5 acertou as cinco. E a tarefa que Argon errou é a que mais importa. Vamos ver exatamente o que aconteceu. Afinal, o que é Gemini 4 Argon? O Google o chama de seu modelo de ponta para programação no mundo real, trabalho de conhecimento empresarial e defesa cibernética. A publicação do anúncio é datada de 30 de setembro, e o cartão do modelo foi publicado em 13 de outubro. Segundo o cartão do modelo, ele é um transformer de mistura esparsa de especialistas

00:31 Ele recebe texto, imagens, áudio e vídeo como entrada. Só produz texto, e seu limite de conhecimento é março de 2026. Agora, quanto ao tamanho, o blog do Google diz que o limite de tokens de saída chega a 1 milhão, acima dos 64 mil. Portanto, ele foi feito para execuções muito longas, em que o modelo continua trabalhando no mesmo problema por bastante tempo. O cartão do modelo descreve isso de um jeito um pouco diferente: uma janela combinada de entrada e saída de até 1 milhão. São duas descrições. Então confira a documentação antes de se planejar com base nisso. O que o Google diz que já fez com

01:02 Argon dentro da empresa? Nesta página há três exemplos. Em computação quântica, ele superou um resultado de referência publicado em 40%, em questão de minutos. Seus agents encontraram otimizações de memória nos data centers que liberam mais de 300 TB. E, para um decodificador de vídeo chamado libgav1, ele escreveu Rust que roda 2,7 vezes mais rápido que a implementação existente em Rust, com saída idêntica. Esses são relatos do próprio Google sobre os próprios sistemas, e não tenho como verificá-los. Agora, nos benchmarks do Deep Subly versão 1.1, ele marca 77,9%.

01:34 Este é o gráfico do próprio Google. GPT-6 Astra está em 74,1. Claude Opus 5.5 está em 74,2. E Claude Fable 5.1 está em 67,4. Então, no gráfico do Google, Argon está 3,7 pontos à frente de Opus 5.5. O Google também relata o primeiro lugar no benchmark de automação da Zapier, com 51,3%, e 91,7 no LV bench, que avalia a compreensão de vídeos longos. Mais uma vez, tudo isso é divulgado pelo próprio Google. Depois, há a parte cibernética. Argon está

02:06 sendo oferecido primeiro a defensores cibernéticos de confiança por meio do programa que o Google chama de Fairwind. E o Google diz que removerá as salvaguardas cibernéticas para esses defensores. O cartão do modelo também é direto sobre isso. Ele diz que o Google não pode descartar a possibilidade de Argon atingir níveis críticos de capacidade em cibersegurança e em riscos químicos, biológicos e nucleares. Essa é a razão para a implantação cuidadosa. E, para nós, há o app. Em 13 de outubro, assinantes do Google AI Pro e do Ultra receberam Argon no app Gemini. O Google diz que as respostas são mais diretas

02:38 e têm menos ressalvas. Há uma opção para alternar do chat para tarefas, em que Gemini continua trabalhando quando você está longe do computador. A interface de programação do Anti-gravity agora está dentro do app Gemini para macOS, e o cartão do modelo lista a limitação de sempre: ele pode alucinar. Então, esse é o Argon em geral. Agora, a afirmação que quero testar… Agora, este é o placar real do Deep Search, não o gráfico do Google. Ele tem 113 tarefas em 91 repositórios e foi atualizado pela última vez em 22 de setembro, 8 dias antes de Argon ser

03:09 anunciado. Portanto, Argon ainda não está neste placar. Os melhores modelos nele ficam na casa dos 70%, e não consigo confirmar por conta própria esse número de 77,9. Agora, quanto ao preço na página de preços da API Gemini, Argon custa US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída até 30 de novembro. A partir de 1º de dezembro, passa a custar 4 e 20, ou seja, o dobro. A entrada em cache custa 10 centavos por milhão agora e 20 centavos depois. E veja esta observação no topo. Ela diz que Argon

03:39 não está disponível no plano gratuito nem no plano Google AI Pro para a API. Então, vamos testá-lo. Peguei o Python tabulate, um repo open source real, com licença MIT, cerca de 2.600 estrelas e 382 testes aprovados. Depois, quebrei o projeto de quatro maneiras diferentes e pedi que criassem um novo recurso. Os testes do próprio repo decidem quem passa. Mesmo prompt, mesmo arquivo e mesma saída dos testes antes das mudanças para os dois modelos. Opus 5.5 é executado pelo Claude Code, com as ferramentas desativadas, então é uma única tentativa, assim como Argon no app Gemini. Cada resposta precisa

04:11 ser um diff, e eu aplico esse diff a uma cópia limpa e executo toda a suíte de testes. Sem segunda tentativa, sem dicas, e os arquivos anexados são iguais para os dois. A tarefa A é um erro de uma unidade no alinhamento dos decimais. 97 testes falham. Os dois encontraram o problema e o corrigiram com uma linha; os 382 testes passaram. Tarefa B: o texto de valor ausente é ignorado. Cinco testes falham. Os dois corrigiram, os dois passaram. Até agora, empate. Tarefa C: uma coluna de valores booleanos é

04:43 tratada como números inteiros. Quatro testes falham. Opus corrigiu sem problemas. Argon fez a alteração certa, de uma palavra, mas o diff estava malformado. Então o Git se recusa a aplicá-lo. Só dá para aplicar com fuzz. Agora, também preciso ser sincero: na primeira vez que fiz isso, o anexo não chegou ao Gemini. Foi um erro do meu script, e Argon adivinhou. Fiz a execução mesmo assim. Então, esta é a segunda tentativa. A tarefa D é onde aumentei a dificuldade. Três bugs em três funções diferentes ao mesmo tempo. 103 testes falhando. Os dois encontraram os três. Argon respondeu em cerca de

05:13 30 segundos. Opus levou cerca de 23. Os dois passaram nos 382 testes. E, a esta altura, sinceramente, Argon parece muito bom. Mas ainda há uma tarefa, e é nela que eles divergem. Prestem atenção nesta. A tarefa E não é um bug. É um recurso. Pedi aos dois modelos que adicionassem um novo argumento chamado max_rows a tabulate. A ideia é manter as primeiras n linhas e adicionar uma linha de rodapé dizendo quantas linhas estão ocultas.

05:44 As linhas separadoras depois do limite precisam ser descartadas, e a suíte de testes existente ainda precisa passar. Aqui está Argon. Anexo os dois arquivos, colo o prompt e envio. Ele gera a resposta por 28 segundos, e lá está o diff. Agora, veja como faço a avaliação. Executo 10 testes ocultos que escrevi e nunca mostrei a nenhum dos modelos, além da suíte completa existente. Argon falha em três. Dois dos meus testes ocultos causam um erro de variável local não associada, e o teste existente da assinatura também falha

06:14 nos dois. Opus passou nos 10 testes e na suíte completa: 392 testes aprovados. Então, por que Argon falhou? Veja esta compreensão de lista, que deveria filtrar as linhas separadoras. Ela usa a variável I na condição, e I só é definida no laço for que vem depois. Python avalia a condição primeiro, então a variável ainda não existe e ocorre um erro de variável local não associada. É um bug lógico que só aparece quando uma tabela tem uma linha separadora. E o segundo erro é mais simples. Tabulate tem

06:46 um teste que conta seus argumentos. 20. Argon adicionou um 21º argumento e deixou esse teste em 20, embora meu prompt dissesse para atualizá-lo se necessário. Opus o atualizou. Quanto ao custo de Opus, tenho valores reais do CLI: entre 38 e 42 centavos nas quatro primeiras tarefas e 50 centavos na tarefa do novo recurso. US$ 2,08 pelas cinco. Para Argon, o app Gemini não mostra a contagem de tokens, então não posso informar o custo real e não vou inventar um.

07:17 Algumas limitações que você deve conhecer. Cada modelo teve uma execução por tarefa, e estes são bugs que eu introduzi, não problemas reais do histórico do repo. Além disso, os dois modelos responderam em uma única tentativa e sem ferramentas. Argon dentro do Anti-gravity, onde pode executar os testes e repetir o processo com base nas falhas, talvez conseguisse corrigir esse recurso. Não testei isso, então não estou afirmando que conseguiria. Então, o placar: Opus 5.5, cinco de cinco. Argon, quatro de cinco, com um patch que precisou de fuzz. Quatro variantes com bugs e um recurso formam uma amostra pequena e não dizem nada sobre os 77,9 no

07:48 Deep Swell. O que os resultados dizem é o seguinte: na detecção de bugs, Argon acompanhou o ritmo, até com três de uma vez. Para uma especificação com casos extremos e para manter uma suíte existente passando, Opus se saiu melhor no meu teste. Se você costuma corrigir bugs e tem o plano Pro, experimente Argon no app. Ele é de verdade. Se você der a um modelo uma especificação de recurso, confira o diff com seus testes. Se estiver procurando GPUs baratas e confiáveis, eu uso RunPod, e o link está na descrição. Então, neste vídeo, comparamos Gemini 4 Argon e Claude Opus 5.5 no Python tabulate. Conte nos

08:20 comentários que tipo de tarefa devo quebrar em seguida. Vejo vocês em outro vídeo. Confira o próximo vídeo.

Transcrição original

[00:00] Five coding tasks, same repo, same prompt for both models. Gemini 4 Argon got four of them right. Claude Opus 5.5 got all five. And the one Argon missed is the one that matters most. Let’s go ahead and see exactly what happened. So, what actually is Gemini 4 Argon? Google calls it its frontier model for real-world coding, enterprise knowledge work, and cyber defense. The announcement post is dated September 30th, and the model card was published on October 13th. According to the model card, it is a sparse mixture of experts

[00:31] transformer. It takes text, images, audio, and video as input. It outputs text only, and its knowledge cut-off is March 2026. Now, the size Google’s blog says the output token limit goes up to 1 million tokens, up from 64,000. So, it is built for very long runs, where the model keeps working on one problem for a long time. The model card describes it a bit differently, a combined input and output window of up to 1 million two descriptions. So, check the docs before you plan around it. What does Google say it already did with

[01:02] Argon inside the company? Three examples are on this page in quantum computing. It beat a published baseline by 40% in a matter of minutes. Its agents found memory optimizations across the data centers that free up over 300 TB. And for a video decoder called libgav1, it wrote Rust that runs 2.7 times faster than the existing Rust port with identical output. These are Google’s own reports on its own systems, and I cannot check them. Now, the benchmarks on Deep Subly version 1.1, it scores 77.9%.

[01:34] This is Google’s own chart. GPT-6 Astra is at 74.1. Claude Opus 5.5 is at 74.2. And Claude Fable 5.1 is at 67.4. So, on Google’s chart, Argon is 3.7 points ahead of Opus 5.5. Google also reports first place on Zapier’s automation bench with 51.3% and 91.7 on LV bench, which is long video understanding. Again, all of this is Google’s own reporting. Then there is the cyber side. Argon is

[02:06] going first to trusted cyber defenders through what Google calls the Fairwind program. And Google says it will remove the cyber guardrails for those defenders. The model card is also direct about it. It says Google cannot rule out that Argon reaches its critical capability levels for cybersecurity and for chemical, biological, and nuclear risk. That is the reason for the careful rollout. And for us, there’s the app. On October 13th, Google AI Pro and Ultra subscribers got Argon in the Gemini app. Google says the answers are more direct

[02:38] with less hedging. There’s a toggle from chat to tasks where Gemini keeps working when you are away from your computer. Anti-gravity’s coding interface is now inside the Gemini macOS app, and the model card lists the usual limitation. It can hallucinate. So, that is Argon in general. Now, the claim I want to test Now, this is the actual Deep Search leaderboard, not Google’s chart. It has 113 tasks across 91 repositories, and it was last updated on September 22nd, which is 8 days before Argon was

[03:09] announced. So, Argon is not on this board yet. The best models on it sit in the low 70s, and that 77.9 is a number I cannot confirm myself. Now, the price on the Gemini API pricing page, Argon is $2 per million input tokens and $10 per million output tokens through November 30th. Then from December 1st, it is 4 and 20, so it doubles. Cached input is 10 cents per million now, 20 cents after. And see this note at the top. It says Argon is

[03:39] not available on the free tier or on the Google AI Pro plan for the API. So, let’s test it. I took Python tablet, a real open source repo, MIT license, about 2,600 stars with 382 passing tests. Then I broke it in four different ways and gave it one new feature to build and the repo’s own tests decide who passes. Same prompt, same file, same pretest output to both models. Opus 5.5 gets it through Claude code with tools turned off, so it is one-shot just like Argon in the Gemini app. Each answer has

[04:11] to be a diff and I apply that diff to a fresh copy and run the whole test suite. No second tries, no hints, and the files I attach are the same for both. Task A is an off-by-one bug in how decimals are aligned. 97 tests fail. Both models found it and fixed it one line and all 382 tests pass. Task B, missing value text gets ignored. Five tests fail. Both fixed it, both pass. So far, a tie. Task C, a column of booleans gets

[04:43] treated as integers. Four tests fail. Opus fixed it cleanly. Argon made the right one-word change, but its diff was malformed. So Git refuses to apply it. It only applies with fuzz. Now, I also have to be honest here. The first time I ran this, the attachment did not reach Gemini. That was my script and Argon guessed. I ran it. So this is the second attempt. Task D is where I made it harder. Three bugs in three different functions at once. 103 failing tests. Both models found all three. Argon replied in about

[05:13] 30 seconds. Opus took about 23. Both passed 382 of 382. And at this point, honestly, Argon looks very good. But there is one more task and this is the one where they split. Hold on to this one. Task E is not a bug. It is a feature. I asked both models to add a new argument to tabulate called max_rows. Keep the first n rows and add a footer line saying how many rows are hidden.

[05:44] Separating lines after the cutoff have to be dropped and the existing test suite must still pass. Here is Argon. I attach the two files, paste the prompt, and send it. It generates for 28 seconds, and there is the diff. Now, here’s how I score it. I run 10 hidden tests that I wrote and never showed either model, plus the full existing suite. Argon fails three. Two of my hidden tests crash with an unbound local error, and the existing signature test fails

[06:14] two. Opus all 10 tests and the full suite 392 tests green. So, why did Argon crash? Look at this list comprehension that is supposed to filter the separating lines. It uses the variable I in the condition, and I only gets defined in the for loop that comes after it. Python reads the condition first, so the variable does not exist yet, and you get an unbound local error. It is a logic bug that only shows up when a table has a separating line. And the second miss is simpler. Tabulate has

[06:46] a test that counts its arguments. 20 Argon added a 21st argument and left that test at 20, even though my prompt said to update it if needed. Opus updated it. Cost for Opus, I have real numbers from the CLI between 38 and 42 cents for the first four tasks, and 50 cents for the feature task. $2.08 for all five. For Argon, the Gemini app shows no token count, so I cannot give you a real cost, and I’m not going to make one up.

[07:17] A few limits you should know about. Each model got one run per task, and these are bugs I planted, not real issues from the repo history, and both models answered one shot with no tools. Argon inside anti-gravity, where it can run the tests and loop on the failures, might well fix that feature task. I did not test that, so I’m not claiming it. So, the scoreboard. Opus 5.5, five out of five. Argon four out of five with one patch that needed fuzz. Four broken variants and one feature is a small sample and it says nothing about 77.9 on

[07:48] Deep Swell. What it does say is this, for finding bugs Argon kept up even with three at once. For a spec with edge cases and keeping an existing suite green, Opus was better in my run. If you mostly fix bugs and you have pro, try Argon in the app. It is real. If you hand a model a feature spec, check its diff against your tests. If you’re looking for cheap and reliable GPUs, I use RunPod and the link is in the description. So, in this video we put Gemini 4 Argon against Claude Opus 5.5 on Python tabulate. Tell me in the

[08:20] comments which kind of task I should break next. I’ll see you in another one. Check out the next video.