Gemini 4 Argon (análise aprofundada de benchmarks): o Google voltou com força?

Autoria: AICodeKing · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Gemini 4 Argon (In-depth benchmark analysis): Did Google make a big comeback? · Canal: AICodeKing · 14:08 · Assistir no YouTube

Tópicos: Automação de tarefas e workflows, Avaliação e benchmarks de IA, Engenharia de software com IA, Mercados e economia, Modelos de IA

Resumo

O vídeo analisa resultados publicados do Gemini 4 Argon em benchmarks independentes, destacando seu desempenho em workflows empresariais, planilhas e reconhecimento de incerteza. Os resultados de programação são mistos, e o apresentador recomenda testar o modelo em tarefas reais antes de mudar um workflow inteiro. O preço promocional da API é temporário e, após o período introdutório, o custo por tarefa pode tornar o Argon menos competitivo. No geral, o apresentador considera o modelo um concorrente promissor, mas diz que ainda precisa ver resultados consistentes em uso prático.

Pontos-chave

O Argon obteve bons resultados em benchmarks de automação empresarial e planilhas, embora esses resultados não garantam que possa executar tarefas sem supervisão.
No Valves Index, o modelo ficou à frente de Sonnet 5.5 e Opus 5.5, mas o peso elevado de finanças pode não representar as prioridades de quem trabalha principalmente com código.
Os resultados de programação variam entre benchmarks: o Argon lidera em alguns testes e fica atrás de concorrentes em outros.
Uma avaliação da Artificial Analysis reportou uma taxa de alucinação de 15% no AA Omniscients, mas isso mede a frequência de respostas incorretas entre respostas que não estavam corretas, não entre todas as respostas.
O modelo parece mais disposto a admitir quando não sabe, embora tenha obtido menor precisão de conhecimento que Astra nessa avaliação.
O limite de até um milhão de tokens de saída pode permitir raciocínios mais longos, mas o benefício precisa justificar o custo adicional.
A API custa inicialmente US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída; após o período promocional, os valores passam a US$ 4 e US$ 20.
O apresentador recomenda avaliar o custo total e a qualidade do resultado em tarefas reais, em vez de comparar apenas o preço por milhão de tokens.

Capítulos

Início	Capítulo	Resumo
00:02	Apresentação e contexto das versões anteriores	O apresentador introduz os resultados do Argon e explica por que as experiências anteriores com modelos Gemini o deixam cauteloso.
02:47	Resultados em benchmarks profissionais	A análise aborda os resultados em índices de inteligência, workflows empresariais e avaliações de planilhas.
05:28	Programação e reconhecimento de incerteza	O Argon apresenta resultados mistos em benchmarks de código, além de uma taxa de alucinação baixa sob a definição específica da avaliação citada.
08:09	Preferência humana, contexto longo e cibersegurança	O vídeo examina o ranking da Arena, os limites de tokens, avaliações de contexto longo e diferentes resultados em cibersegurança.
10:52	Preços, custo por tarefa e conclusão	O apresentador compara os preços promocionais e padrão da API e conclui que o Argon merece testes seletivos, sobretudo em tarefas profissionais.

Citações

Isso parece uma opção séria para trabalho profissional, mas tem fraquezas suficientes para eu não mudar todo o meu workflow de programação só por causa dos gráficos de lançamento. — 00:37

O modelo dizer que concluiu a tarefa não basta para ser aprovado. — 04:23

A taxa de 15% não significa que 15% de tudo o que o Argon diz seja falso. — 07:36

No preço introdutório, o Argon parece valer a pena testar. No preço padrão, eu seria mais seletivo. — 13:33

Conceitos e entidades

Gemini 4 Argon (modelo): Modelo do Google analisado no vídeo por meio de benchmarks publicados e considerações de preço e disponibilidade.
Google (empresa): Empresa que anunciou o Gemini 4 Argon e publicou parte das avaliações discutidas.
Artificial Analysis (ferramenta): Fonte de avaliações citada para comparar inteligência, alucinações, custos e uso de tokens.
Valves Index (conceito): Índice que combina benchmarks de finanças, programação, direito e impostos, ponderados por setor.
Zapier (empresa): Empresa cujo benchmark de automação avalia se um agent conclui workflows em aplicativos empresariais simulados.
Surge (empresa): Organização citada como responsável pelo benchmark de planilhas GDP.xlsx.
Arena (ferramenta): Plataforma cujo ranking de preferência humana colocou Argon em primeiro lugar em uma classificação preliminar.
CWE Bench (conceito): Benchmark de cibersegurança usado para comparar resultados de modelos sob diferentes métodos de avaliação.
Google AI Ultra (ferramenta): Assinatura mencionada como uma das formas previstas de acesso mais amplo ao Argon.

Tradução completa (pt-BR)

00:02 [música] >> Oi. Bem-vindos a mais um vídeo. Então, o Google anunciou o Gemini 4 Argon, e há alguns resultados bem interessantes aqui. Ele lidera um benchmark independente de workflows empresariais, ocupa o primeiro lugar no índice Valves e parece muito melhor em admitir quando não sabe alguma coisa. Mas os resultados de programação são mistos, e o preço tem uma ressalva que muda bastante a comparação de custo-benefício. Analisei o anúncio do Google, as notas de rodapé das avaliações e os resultados da Artificial Analysis, da Valves, do Zapier, da Surge, da Arena e das pessoas por trás do SWE-

00:37 bench. Esta é uma análise dos testes publicados. Ainda não fiz meus próprios testes práticos com o Argon. Minha impressão inicial é que ele parece uma opção séria para trabalho profissional, mas tem pontos fracos suficientes para que eu não migrasse todo o meu workflow de programação só por causa dos gráficos de lançamento. Então, vamos direto ao assunto. E há um motivo para eu ser cauteloso com o Google. Fiquei decepcionado com alguns lançamentos anteriores do Gemini, especialmente quando as pontuações impressionantes de raciocínio não correspondiam ao que eu queria de um agent de programação. Com o Gemini 3.1 Pro, meu resultado no KingBench em uma única tentativa foi muito bom,

01:10 com 96%, mas meus testes com agent mostraram problemas recorrentes de planejamento no uso das ferramentas e erros básicos de programação. Em uma tarefa de Go, ele duplicou um método e causou um erro de compilação. É esse tipo de coisa que uma pontuação chamativa de raciocínio não revela. Foram execuções específicas em uma configuração específica, mas bastaram para me fazer questionar a utilidade dele no meu workflow. Depois, o Gemini 3.5 Flash me decepcionou em custo-benefício. Os preços padrão eram de US$ 1 para entrada e US$ 9 para saída por milhão de tokens, comparados a 50 centavos e US$ 3 para o Gemini 3 Flash.

01:45 Isso dá três vezes o preço por token. Para algo que leva o nome Flash, eu queria um motivo muito mais forte para pagar essa diferença. E ainda houve a espera pelo Gemini 3.5 Pro no I/O, em maio. O Google disse que esperava lançá-lo no mês seguinte. Na teleconferência de resultados de 22 de julho, ele ainda estava em testes. Agora estamos diante do anúncio de mais um modelo principal, com acesso inicial limitado. Entendo que seja necessário mais tempo para deixar um modelo pronto, mas o cronograma anterior me dá motivos para esperar que ele esteja realmente disponível antes de me empolgar demais.

02:15 Então, o Argon precisa reconquistar um pouco da confiança. Isso torna os resultados independentes especialmente úteis neste caso. Quero reconhecer as melhorias do Google, mas também verificar se ele resolveu os problemas que tornaram aqueles lançamentos anteriores frustrantes. Primeiro, o acesso. O lançamento inicial será feito pelo programa Fairwind do Google, para parceiros selecionados de cibersegurança. O Google diz que o acesso mais amplo começará com clientes pagos da API e assinantes do Google AI Ultra, mas o anúncio não informa uma data de lançamento público. Portanto, não se deve considerar que assinar hoje garante que você poderá usar o Argon imediatamente. Agora, vamos começar

02:47 pelos resultados independentes, porque eles ajudam a contextualizar o anúncio. Na Artificial Analysis, o Argon teve pontuações altas de raciocínio: 53 no Intelligence Index. É a mesma pontuação arredondada do GPT-6 Astra no nível máximo de raciocínio e um ponto acima do GPT-6.1 Sonnet no nível máximo. O Opus 5.5 marca 58 e o Sonnet 5.5 marca 56, ambos no nível máximo, com o roteamento padrão de fallback para recusas. Portanto, o Google é competitivo aqui, embora a Anthropic ainda esteja à frente nessa medida geral específica. Além disso, esses são pontos do índice.

03:20 Uma pontuação de 53 não significa que ele conclui 53% do seu trabalho. E uma vantagem de um ponto não significa que você vai notar uma melhora em todas as tarefas. O Valse Index apresenta um resultado melhor para o Argon. Ele marca 68,9%, à frente do Sonnet 5.5, com cerca de 67%, e do Opus 5.5, também com cerca de 67%. O Valse combina benchmarks de finanças, programação, direito e impostos, com pesos baseados na participação desses setores na economia dos EUA. Um detalhe de que gosto aqui é que o Valse já usa os preços padrão mais altos por token do Argon no cálculo de custo.

03:51 Mesmo assim, ele informa um custo de cerca de US$ 15,68 por teste, contra US$ 21,34 para o Sonnet e US$ 32,14 para o Opus. Portanto, há um argumento real de custo-benefício dentro desse conjunto de testes. Mas finanças representam um pouco mais da metade da ponderação desse índice. Se você passa a maior parte do dia corrigindo código, essa classificação geral talvez não reflita suas prioridades. Eu analisaria os componentes de programação antes de decidir qual modelo usar. O benchmark de automação do Zapier é outro resultado forte. O Argon, no nível alto de raciocínio, chega a 51,29%, comparado a 44,75%

04:23 do Sonnet 5.5 no nível máximo, com o roteamento padrão de fallback. Esse benchmark verifica se um agent realmente conclui workflows em aplicativos empresariais simulados. Isso significa conferir os registros e as outras alterações que ele deixa para trás. O modelo dizer que concluiu a tarefa não basta para ser aprovado. Todas as verificações exigidas precisam ser bem-sucedidas, o que considero uma maneira útil de avaliar automação. O Argon está à frente aqui, e é bom ver isso. Mas cerca de metade das tarefas ainda não passa em todas as verificações. Para mim, isso justifica usá-lo para ajudar nesses workflows, desde que os resultados sejam conferidos. Não demonstra que você pode deixá-lo administrar uma empresa sem supervisão. Há

04:55 outra vitória independente no benchmark de planilhas GDP.xlsx da Surge. O Argon marca 38,3%, comparado a 30,3% do Opus 5.5 e 29,1% do Sonnet 5.5. Essa é uma pontuação baseada em critérios de avaliação, então não a interprete como a porcentagem de planilhas que ele concluiu perfeitamente. Considerados em conjunto, esses resultados tornam bastante convincente a proposta de uso em trabalho profissional. Eu teria interesse em testá-lo em uma planilha desorganizada, na qual ele precisasse seguir referências entre abas e explicar como chegou à resposta. Esse é o tipo de tarefa em que conferir algumas células simples não é suficiente. Enfim, agora vamos

05:28 à programação, porque é aqui que o quadro fica mais complicado. O Google informa 77,9% no DeepWay U versão 1.1, à frente dos 74,2% do Opus 5.5 e dos 74,1% do Astra na comparação. É um resultado forte. Mas, na versão 2 do Frontier’s Way, o Argon marca 55%, enquanto o Astra marca 65,5% e o Opus, 62,3%. E, na comparação do Google no Terminal Bench 4, o Argon fica em 57,4%

06:00 contra 66,4% do Opus. Portanto, até mesmo na tabela do próprio Google, a resposta muda dependendo do teste de engenharia de software analisado. Há também um detalhe metodológico. O Google calculou o resultado do Argon no Deep Stew AU usando o agent Mini Stew AU, enquanto o resultado do Astra vem do placar do benchmark e o do Claude, dos cartões de sistema. São avaliações publicadas separadamente. Eu gostaria de ver uma comparação controlada na mesma configuração de agent antes de atribuir todas as diferenças ao modelo. A Vala coloca o Argon em segundo lugar, de forma independente, tanto no benchmark de criação de aplicativos quanto no de migração de código,

06:31 atrás do Sonnet 5.5. Isso é animador, mas a diferença na criação de aplicativos é inferior a meio ponto percentual, menor que os erros padrão informados. Eu não daria muita importância a quem ficou em primeiro ou segundo lugar nesse caso. Para programação, minha leitura é que vale a pena testar o Argon em tarefas substanciais, especialmente migrações e criação de aplicativos. Os resultados não me dão motivos para presumir que ele vá superar consistentemente seu agent atual em depuração, trabalho no terminal e mudanças difíceis em repositórios. Esse também é o motivo pelo qual eu não me limitaria a contar quantas linhas o Google vence. Uma melhora em um benchmark de leitura de gráficos e uma melhora em correção de repositórios não são intercambiáveis quando você escolhe algo para o trabalho do dia a dia. Mais um

07:03 exemplo é o resultado de direito. Os 19,6% do Argon parecem dominantes em comparação com os modelos que o Google selecionou para o gráfico, mas o relatório próprio da Vala sobre o Argon o coloca em quinto lugar na avaliação jurídica da Harvey. Isso não apaga o resultado. A comparação de lançamento simplesmente não demonstra que ele lidere todo o setor. Agora, o resultado sobre alucinações provavelmente é a parte mais interessante deste lançamento para mim. A Artificial Analysis informa uma taxa de alucinação de 15% no AA Omniscients, a menor entre os modelos que marcaram pelo menos 45 no Intelligence Index. O Astra no nível máximo fica em 51%. No entanto, a

07:36 precisão de conhecimento do Argon é de 50%, comparada aos 63% do Astra. Esses números podem parecer contraditórios até você conferir a definição. A métrica de alucinação analisa as respostas incorretas e mede com que frequência o modelo deu uma resposta errada, em vez de uma resposta parcial ou de admitir que não sabia. As respostas corretas não entram nesse denominador. Portanto, 15% não significa que 15% de tudo o que o Argon diz seja falso. Também não significa que ele tenha resolvido o problema das alucinações. O resultado útil é que ele demonstra mais disposição para reconhecer lacunas, embora acerte menos dessas perguntas do que o Astra. Pessoalmente, gosto dessa troca para

08:09 pesquisa. Se um modelo não consegue sustentar uma afirmação, quero que diga isso. Uma resposta confiante com uma API ou referência inventada pode desperdiçar muito tempo, mas ainda quero verificar como esse comportamento se mantém na navegação e na programação, quando o modelo tem ferramentas disponíveis para verificar as coisas. A Arena nos dá um tipo diferente de evidência. O ranking de texto de 30 de setembro coloca Argon em primeiro lugar, com uma pontuação de 1525 e cerca de 4.900 votos. O resultado está marcado como preliminar. Isso é um sinal encorajador de como as pessoas reagem às respostas do modelo. Também ajuda a explicar por que um modelo pode parecer excelente no chat sem

08:42 liderar todos os benchmarks técnicos. Preferência humana, conhecimento factual e capacidade de alterar uma base de código com sucesso são coisas distintas. Eu usaria o resultado da Arena como mais um sinal, junto com os testes baseados em tarefas. Agora, o Google também destaca um limite de saída de um milhão de tokens. A parte da saída é importante. Isso dá muito mais espaço para uma trajetória de raciocínio continuar trabalhando. Não se trata apenas de uma afirmação sobre quanto material você pode colocar no prompt. A Artificial Analysis diz que testou um recurso chamado continuação de decodificação longa, que pausa respostas longas e as retoma por meio de chamadas subsequentes, permitindo que o raciocínio alcance esse limite sem que as solicitações atinjam o tempo limite.

09:15 Então, a questão prática é saber se esse pensamento extra produz um resultado melhor a um custo que você considera aceitável. Não preciso que um modelo escreva um milhão de tokens para corrigir um bug pequeno; para um problema de otimização difícil, eu estaria mais disposto a gastar esse tempo e dinheiro se isso produzisse algo que eu pudesse verificar. Há também um resultado separado sobre contexto longo. O resultado de navegação em grafos divulgado pelo Google cobre contextos entre 256.000 e 1 milhão de tokens. Argon pontua 84,2 na métrica F1, em comparação com 71,8 de Astra. Isso é promissor para acompanhar relações em entradas longas,

09:48 embora um benchmark de grafos não possa determinar o quão bem ele entende todos os grandes repositórios. E os resultados de vídeo precisam de uma ressalva. O Google informa 91,7% no LVBench, mas sua metodologia usa um quadro por segundo para Gemini e limites fixos de quadros para os concorrentes, por causa dos limites de suas APIs. Isso pode ser uma vantagem prática para a configuração do Gemini, mas não é um teste com entradas visuais iguais para avaliar o raciocínio. A cibersegurança também tem detalhes úteis do mesmo tipo. No CWE Bench versão 1, Argon empata com Astra e Grok 4.7, com 68%, segundo a métrica programática de

10:21 uma única tentativa. Na métrica separada do painel de avaliadores, Argon obtém 62%, enquanto Opus obtém 67%. O benchmark também informa US$ 63 por execução para Argon e 79 centavos para Opus. Esses valores usam agent harnesses diferentes, e o cálculo de Argon usa um preço de entrada em cache que difere do desconto introdutório do Google. Então, eu não transformaria isso em uma proporção de custos universal. Mas isso mostra por que vale a pena analisar a pontuação, o método de avaliação e os gastos antes de chamar algo de melhor

10:52 agent de segurança. Agora, vamos falar dos preços da API, porque isso pode mudar se Argon faz sentido para você. O Google anuncia US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída, com um desconto de 95% na entrada em cache. A nota de rodapé diz que os preços passam a ser US$ 4 e US$ 20 depois do período introdutório. O Google não informou uma data exata de término no anúncio. Isso representa o dobro nas tarifas de entrada e saída. Se você estiver calculando o orçamento de uma aplicação, eu calcularia o custo com a tarifa padrão e trataria o preço de lançamento

11:25 como um benefício temporário. A Artificial Analysis mede cerca de 199 por tarefa no índice de inteligência, usando a tarifa promocional. Ela calcula US$ 3,98 depois que o desconto termina. Astra no máximo custa cerca de US$ 3,26 na mesma avaliação, enquanto GPT-6.1 Soul no máximo custa cerca de US$ 0,72. Isso muda bastante a comparação. Argon parece mais barato que Astra no lançamento, mas mais caro depois da promoção, nesta carga de trabalho. Soul é muito mais barato e fica apenas um ponto abaixo no índice. A combinação de tarefas que você usa pode produzir um resultado diferente, mas

11:59 você não deve escolher com base apenas no preço por milhão de tokens. A Artificial Analysis também informa cerca de 62.000 tokens de saída por tarefa para Argon, em comparação com cerca de 27.000 para Astra. Então, esse preço unitário mais baixo faz uma grande diferença. A quantidade que o modelo gera também importa, e a eficiência não é a mesma em todas as avaliações. Lembre-se de que Valves ainda coloca Argon abaixo de Sonnet e Opus em custo por teste, usando o preço padrão. É por isso que quero medir o custo da tarefa real: quanto custa ter um patch aceito ou uma pasta de trabalho revisada, incluindo quaisquer novas tentativas.

12:30 Eu também não prometeria que Argon será rápido no editor. A Artificial Analysis não publica uma medição da velocidade de saída dele na página do modelo. Valves tem números de duração das tarefas, mas eles não nos dizem o quanto o serviço público final parecerá responsivo durante o trabalho. Então, no geral, como está se saindo o Gemini 4 Argon? Acho que o argumento mais forte a favor dele está no trabalho profissional que exige acompanhar informações entre documentos e ferramentas, além de tarefas em que é útil admitir incerteza. Há vários resultados independentes

13:01 que dão suporte a esse argumento, então eu não descartaria o modelo como algo que só parece bom nos gráficos do próprio Google. Para programação, sou mais cauteloso. Ele tem resultados fortes em algumas áreas e perde claramente em outras. Eu o testaria em uma migração ou em uma tarefa difícil com a qual meu modelo habitual teve problemas e, depois, compararia o resultado final e o custo total. Não presumiria que um nome de modelo novo significa que devo reconstruir meu workflow em torno dele. Os testes que quero fazer quando o acesso for liberado são bastante práticos. Ele consegue concluir alterações sem deixar requisitos de lado silenciosamente? Consegue se recuperar depois de uma abordagem malsucedida? E dar a ele mais

13:33 tempo realmente melhora o patch o suficiente para justificar os tokens adicionais? No preço introdutório, vale a pena experimentar Argon. No preço padrão, eu seria mais seletivo quanto às tarefas que enviaria para ele. As evidências fazem do Google um concorrente plausível, depois das decepções anteriores. Resultados consistentes nas ferramentas que realmente usamos seriam o que mais ajudaria a recuperar minha confiança. No geral, é bem legal. Enfim, contem nos comentários o que vocês acham. Se gostaram [música] deste vídeo, considerem fazer uma doação pela opção Super Thanks ou se tornar membro clicando no botão de participar. E também deixem um gostei [música] neste vídeo

14:08 e se inscrevam no meu canal. Vejo vocês no próximo [música]. Até lá, tchau. >> [música e sino]

Transcrição original

[00:02] [music] >> Hi. Welcome to another video. So, Google has announced Gemini 4 Argon, and there are some pretty interesting results here. It leads an independent benchmark for business workflows, takes the top spot on the Valves index, and looks much better at admitting when it doesn’t know something. But, the coding results are mixed, and the pricing has a catch that changes the value comparison quite a bit. I’ve gone through Google’s announcement, evaluation footnotes, and results from artificial analysis, Valves, Zapier, Surge, Arena, and the people behind CWE

[00:37] bench. This is an analysis of their published testing. I haven’t run my own hands-on tests with Argon yet. My initial take is that this looks like a serious option for professional work with enough weaknesses that I wouldn’t move my entire coding workflow over just because of the launch charts. So, let’s get right into it. And there’s a reason I’m cautious with Google. I’ve been disappointed by some of the previous Gemini releases, especially when the impressive reasoning scores didn’t match what I wanted from a coding agent. With Gemini 3.1 Pro, my one-shot KingBench result was actually very good

[01:10] at 96% but my agent testing had repeated planning problems using the tools, and basic coding mistakes. On one go task, it duplicated a method and caused a compiler error. That’s the kind of thing a headline reasoning score doesn’t tell you. Those were particular runs in a particular setup, but they were enough to make me question its usefulness for my workflow. Then Gemini 3.5 Flash disappointed me on value. Its standard prices were one par at $50 for input and nine tars for output per million tokens, compared with 50 cents and $3 for Gemini 3 Flash.

[01:45] That’s three times the token price. For something carrying the Flash name, I wanted a much stronger reason to pay that difference. And there was the wait for Gemini 3.5 Pro at I/O in May. Google said it expected to roll it out the following month. By its July 22 earnings call, it was still in testing. Now we’re looking at another flagship announcement with limited initial access. I understand taking more time to get a model ready, but the earlier timeline gives me a reason to wait for actual availability before getting too excited.

[02:15] So, Argon has some confidence to earn back. That makes the independent results especially useful here. I want to give Google credit where it has improved while checking whether it has fixed the things that made those earlier releases frustrating. First, access. The initial rollout is through Google’s Fairwind program for selected cybersecurity partners. Google says wider access will start with paid API customers and Google AI Ultra subscribers, but the announcement doesn’t give a public release date. So, buying a subscription today shouldn’t be treated as a guarantee that you can immediately use Argon. Now, let’s start

[02:47] with the independent results because these help put the announcement in context. On Artificial Analysis, Argon had high reasoning scores, 53 on the Intelligence Index. That’s the same rounded score as GPT-6 Astra at max reasoning and one point above GPT-6.1 Sonnet at max. Opus 5.5 scores 58 and Sonnet 5.5 scores 56, both at max with default fallback routing for refusals. So, Google is competitive here, although Anthropic is still ahead on this particular overall measure. Also, these are index points.

[03:20] A score of 53 doesn’t mean it completes 53% of your work. And a one-point lead doesn’t mean you’re going to notice an improvement on every task. The Valse Index gives Argon a stronger result. It scores 68.9% ahead of Sonnet 5.5 at about 67% and Opus 5.5 at about 67%. Valse combines finance, coding, legal, and tax benchmarks with weights based on those sectors’ shares of the US economy. One detail I like here is that Valse already uses Argon’s higher standard token prices in its cost calculation.

[03:51] Even then, it reports about $15.68 per test versus 21.34 for Sonnet and $32.14 for Opus. So, there’s a real value argument within this suite. But, finance accounts for a little over half of that index’s weighting. If most of your day is fixing code, that overall ranking might not reflect your priorities. I’d look at the coding components before deciding which model to use. Zapier’s automation bench is another strong result. Argon at high reasoning gets 51.29% compared with 44.75%

[04:23] for Sonnet 5.5 at max with its default fallback routing. This benchmark checks whether an agent actually completes workflows across simulated business apps. That means checking the records and other changes it leaves behind. The model saying that it completed the task doesn’t earn it a pass. Every required check has to succeed, which I think is a useful way to evaluate automation. Argon is ahead here, and that’s good to see. But, roughly half the tasks still don’t pass every check. For me, that supports using it to assist with these workflows while checking the results. It doesn’t establish that you can leave it to run a business without supervision. There’s

[04:55] another independent win on Surge’s GDP.xlsx spreadsheet benchmark. Argon scores 38.3% compared with 30.3% for Opus 5.5 and 29.1% for Sonnet 5.5. This is a rubric-based score, so don’t read it as the percentage of spreadsheets it completed perfectly. Taken together, those results make the professional work pitch look pretty credible. I’d be interested in testing it on a messy workbook where it has to follow references across sheets and explain how it arrived at the answer. That’s the sort of task where checking a few easy cells isn’t enough. Anyway, now let’s

[05:28] come to coding because this is where the picture gets more complicated. Google reports 77.9% on Deep Way U version 1.1 ahead of Opus 5.5 at 74.2% and Astra at 74.1% in its comparison. That’s a strong result. But, on Frontier’s way version 2, Argon gets 55% while Astra gets 65.5% and Opus gets 62.3% and on Google’s Terminal Bench 4 comparison, Argon is at 57.4%

[06:00] versus 66.4% for Opus. So, even within Google’s own table, the answer changes depending on which software engineering test you look at. There’s a methodology detail here, too. Google computed Argon’s Deep Stew AU result with Mini Stew AU agent, while Astra’s comes from the benchmark leaderboard and Claude’s from system cards. These are separately published evaluations. I’d want a controlled comparison in the same agent setup before attributing every difference to the model. Vala independently puts Argon second on both its app building and code migration benchmarks

[06:31] behind Sonnet 5.5. That is encouraging, but the app building gap is less than half a percentage point, smaller than the reported standard errors. I wouldn’t make a big deal out of who is first or second there. For coding, my reading is that Argon deserves testing on substantial tasks, especially migrations and app building. The results don’t give me a reason to assume it will consistently beat your current agent on debugging, terminal work, and difficult repository changes. This is also why I wouldn’t just count how many rows Google wins. A chart reading improvement and a repository fixing improvement aren’t interchangeable when you’re choosing something for your daily work. One more

[07:03] example is the legal result. Argon’s 19.6% looks dominant against the models Google selected for its chart, but Vala’s own Argon report lists it fifth for the Harvey legal evaluation. That doesn’t erase the result. The launch comparison simply doesn’t establish that it leads the whole field. Now, the hallucination result is probably the most interesting part of this release for me. Artificial Analysis reports a 15% hallucination rate on AA Omniscients, the lowest among the models scoring at least 45 on its intelligence index. Astra at max is at 51%. However, Argon’s

[07:36] knowledge accuracy is 50% compared with Astra’s 63%. Those numbers can sound contradictory until you check the definition. The hallucination metric looks at the responses that weren’t correct and measures how often the model gave an incorrect answer instead of a partial answer or an admission that it didn’t know. Correct answers aren’t in that denominator. So, 15% doesn’t mean 15% of everything Argon says is false. It also doesn’t mean it has solved hallucinations. The useful result is that it is more willing to acknowledge gaps even though it answers fewer of these questions correctly than Astra. Personally, I like that trade-off for

[08:09] research. If a model can’t support a claim, I’d like it to say so. A confident answer with a made-up API or reference can waste a lot of time, but I still want to check how that behavior carries over to browsing and coding where the model has tools available to verify things. Arena gives us a different kind of evidence. Its September 30th text leaderboard puts Argon high at number one with a score of 1525 and around 4,900 votes. The result is marked preliminary. That’s encouraging for how people respond to its answers. It also helps explain why a model can look excellent in chat without

[08:42] topping every technical benchmark. Human preference, factual knowledge, and successfully changing a code base are separate things. I’d use the Arena result as another signal alongside the task-based tests. Now, Google also highlights a million token output limit. The output part matters. This gives a reasoning trajectory much more room to continue working. It isn’t just a claim about how much material you can put into the prompt. Artificial Analysis says it tested a feature called long decode continuation, which pauses long responses and resumes them through follow-up calls, allowing reasoning to reach that limit without request timeouts.

[09:15] So, the practical question is whether that extra thinking produces a better result at a cost you’re happy with. I don’t need a model to write a million tokens for a small bug fix, for a difficult optimization problem. I’d be more willing to spend that time and money if it produces something I can verify. There’s a separate long context result, too. Google’s reported graph walks result covers context between 256,000 and 1 million tokens. Argon scores 84.2 on the F1 metric compared with Astra’s 71.8. That’s promising for following relationships across long inputs,

[09:48] although one graph benchmark can’t establish how well it understands every large repository. And the video results need a footnote. Google reports 91.7% on LVBench, but its methodology uses one frame per second for Gemini and fixed frame caps for competitors because of their API limits. That can be a practical advantage for the Gemini setup, but it isn’t an equal input test of visual reasoning. Cybersecurity has some similarly useful detail. On CWE Bench version 1, Argon ties Astra and Grok 4.7 at 68% under the programmatic

[10:21] single attempt measure. Under the separate judge panel measure, Argon gets 62% while Opus gets 67%. The benchmark also lists $63 per rollout for Argon and 79 cents for Opus. Those figures use different agent harnesses, and the Argon calculation uses a cached input price that differs from Google’s introductory discount. So, I wouldn’t turn that into a universal cost ratio. But it does show why the score, grading method, and spending all deserve a look before calling something the best

[10:52] security agent. Now, let’s talk about the API pricing because this could change whether Argon makes sense for you. Google advertises $2 per million dollar input tokens and $10 per million output tokens with a 95% discount on cached input. The footnote says the prices become $4 and $20 after the introductory period. Google hasn’t given an exact end date in the announcement. That is a doubling of the input and output rates. If you’re budgeting for an application, I would calculate the cost at the standard rate and treat the launch price

[11:25] as a temporary benefit. Artificial analysis measures about 199 per intelligence index task at the promotional rate. It calculates $3.98 after the discount ends. Astra at max costs about $3.26 on that same evaluation, while GPT-6.1 Soul at max costs about $0.72. That changes the comparison quite a bit. Argon looks cheaper than Astra at launch, but more expensive after the promotion on this workload. Soul is much cheaper while scoring only one index point lower. Your own task mix could produce a different result, but

[11:59] you shouldn’t choose based only on the price per million tokens. Artificial Analysis also reports around 62,000 output tokens per task for Argon, compared with around 27,000 for Astra. So, that lower unit price is doing a lot of work. The amount the model generates matters, too, and efficiency isn’t the same across evaluations. Remember that Valves still puts Argon below Sonnet and Opus in cost per test using its standard price. That’s why I want to measure the bill for the actual job, how much it costs to get a patch accepted or a work book

[12:30] checked, including any retries. I also wouldn’t promise that Argon feels fast in an editor yet. Artificial Analysis doesn’t publish an output speed measurement for it on the model page. Valves has task duration numbers, but those don’t tell us how responsive the eventual public service will feel while you’re working. So, how good is Gemini 4 Argon looking overall? I think the strongest case is professional work where it needs to follow information across documents and tools, plus tasks where admitting uncertainty is useful. There are several independent results

[13:01] supporting that case, so I wouldn’t dismiss this as a model that only looks good in Google’s own charts. For coding, I’m more cautious. It has strong results in some areas and clear losses in others. I try it on a migration or a difficult task that my usual model struggled with, then compare the finished result and the total cost. I wouldn’t assume a new model name means I should rebuild my workflow around it. The things I want to test when access opens are fairly practical. Can it finish changes without quietly dropping requirements? Can it recover after a failed approach? And does giving it more

[13:33] time actually improve the patch enough to justify the extra tokens? At the introductory price, Argon looks worth trying. At the standard price, I would be more selective about which jobs I send to it. The evidence gives Google a credible contender here after the earlier disappointments. Consistent results in the tools we actually use would do the most to win back my confidence. Overall, it’s pretty cool. Anyway, let me know your thoughts in the comments. If you like [music] this video, consider donating through the Super Thanks option or becoming a member by clicking the join button. Also, give this video [music] a thumbs up

[14:08] and subscribe to my channel. I’ll see you in the next [music] one. Until then, bye. >> [music and bell]