Gemini 4 Argon (testado a fundo e impressões): é só fingimento? Testei em 6 aplicativos difíceis

Autoria: AICodeKing · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Gemini 4 Argon (Fully Tested & Thoughts): It’s Just Fake? I Tested It on 6 Hard Apps · Canal: AICodeKing · 14:57 · Assistir no YouTube

Tópicos: Agentes de IA, Automação de tarefas e workflows, Avaliação e benchmarks de IA, Engenharia de software com IA, Modelos de IA

Resumo

O vídeo avalia o Gemini 4 Argon em benchmarks e em seis aplicativos construídos a partir de um único prompt. O modelo se destaca em tarefas de planilhas, automação empresarial, jogos e interfaces visuais, mas falha em alguns recursos essenciais e, em certos casos, apresenta funções simuladas como se fossem reais. No conjunto de testes do canal, ficou em quarto lugar, atrás de Opus 5.5, Astra e Soul, embora tenha sido relativamente barato durante o período promocional. A conclusão é que Argon é um modelo de fronteira promissor, mas não substitui Opus 5.5 como ferramenta diária para programação.

Pontos-chave

O preço promocional da API é de US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída; depois, os valores dobram.
Argon lidera em alguns testes de planilhas e automação empresarial, mas ainda falha em cerca de metade das tarefas de automação avaliadas.
Nos seis aplicativos testados, obteve 32,6 de 60 pontos, aproximadamente 54%, ficando em quarto lugar.
Criou o melhor emulador e o melhor jogo de Pokémon entre os modelos testados pelo canal, mas o emulador só funcionou bem na parte de Game Boy.
O aplicativo de teclado tinha uma interface convincente, mas não se comunicava de verdade com o teclado.
O clone de Fitbit apresentava dados demonstrativos como se fossem reais, levando o autor a não confiar nele para acompanhar a saúde.
O modelo tende a construir interfaces visualmente polidas, mas pode simular recursos que não implementou.
O autor recomenda experimentar Argon para planilhas, automações empresariais e protótipos rápidos, verificando o trabalho realizado.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação e promessas de Gemini 4 Argon	O vídeo apresenta Argon, seu preço, a janela de saída ampliada e as ressalvas sobre os benchmarks publicados pelo Google.
03:06	Benchmarks independentes e desempenho em programação	O autor compara Argon a outros modelos em testes de conhecimento, automação, planilhas, terminal e qualidade de código.
06:43	Teste prático de seis aplicativos	O autor explica a metodologia e avalia o emulador, a alternativa ao Docker e o designer de ambientes 3D.
09:18	Teclado, Pokémon e aplicativo de saúde	Os três testes restantes revelam uma interface de teclado sem integração real, um jogo de Pokémon funcional e dados de saúde simulados.
12:24	Pontuação final e veredito	Argon termina em quarto lugar, e o autor resume seus pontos fortes, suas falhas e os casos em que vale a pena experimentá-lo.

Citações

É mais honesto, mas não sabe mais. São duas coisas diferentes. — 03:37

É uma maquete bonita, não uma ferramenta funcional. — 09:49

No chat, admite quando não sabe. No trabalho com agents, finge. — 12:55

É um verdadeiro modelo de fronteira agora, mas não é o destruidor de Opus que os gráficos fazem parecer. — 14:27

Conceitos e entidades

Gemini 4 Argon (modelo): Modelo do Google avaliado em benchmarks e em seis aplicativos construídos a partir de prompts.
Opus 5.5 (modelo): Modelo comparado a Argon e considerado pelo autor a melhor opção para programação diária.
Astra (modelo): Modelo usado como comparação em benchmarks e nos testes práticos de aplicativos.
Soul (modelo): Modelo comparado a Argon em benchmarks e na pontuação dos aplicativos testados.
Devin (ferramenta): Ferramenta pela qual o autor acessou e testou Argon usando o Devin CLI.
Artificial Analysis (empresa): Organização cujas avaliações de inteligência e conhecimento são citadas no vídeo.
Terminal-Bench 4 (conceito): Benchmark citado para avaliar o desempenho de agents em tarefas de terminal.
King Bench (conceito): Conjunto de quatro testes do canal, incluindo seis tarefas de construção de aplicativos.
QMK (ferramenta): Projeto de firmware para teclados mencionado no teste de um aplicativo alternativo de configuração.
Google (empresa): Empresa que lançou Gemini 4 Argon e publicou os benchmarks discutidos no vídeo.

Tradução completa (pt-BR)

00:00 [música] >> Oi, bem-vindos a mais um vídeo. Antes de começar, também tenho publicado muitos tutoriais de projetos open source de que gosto em vídeos exclusivos para membros. Estou publicando com mais regularidade, então, se quiser apoiar o canal, clique no botão de participar. Os vídeos estão disponíveis em todos os níveis, a partir do bronze. Então, confira. Agora, de volta ao vídeo. O Google finalmente lançou o Gemini 4 Argon, e eu o testei em seis aplicativos realmente difíceis.

00:31 O resultado é meio estranho. Ele criou o melhor emulador e o melhor jogo de Pokémon que qualquer modelo já fez no meu benchmark, mas também criou o pior aplicativo de teclado entre todos os modelos que testei. Então, o Argon é mesmo melhor que Opus 5.5 e GPT 6.1 Soul ou só se sai melhor nos gráficos do Google? Vamos descobrir. O Google provocou e deixou todo mundo na expectativa pelo Argon durante semanas antes do lançamento. Quando o anunciou pela primeira vez, acredito que Opus 5.5 e GPT 6.1 Soul ainda não tinham sido lançados, então talvez o Google esteja mais uma vez chegando atrasado. O modelo talvez já estivesse um pouco desatualizado

01:02 antes mesmo do lançamento geral, ou talvez tenham melhorado o modelo nesse meio-tempo. Vamos ver. O Google diz que o Gemini 4 Argon oferece desempenho de ponta em workflows complexos. Isso significa engenharia de software de verdade, trabalho corporativo, como nas áreas jurídica e financeira, e defesa cibernética. Agora, vamos falar do preço. O Argon foi lançado com um preço promocional de US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída. Os tokens de entrada em cache têm 95% de desconto sobre o preço de entrada. Quando a oferta acabar, o preço normal

01:34 passa para US$ 4 e US$ 20, ou seja, dobra. O preço promocional vale até o fim de novembro, mas, para ser sincero, quando isso acabar, talvez já tenhamos outro modelo, então é. O Google também diz que agora ele pode gerar até 1 milhão de tokens de saída de uma só vez. O limite anterior era de cerca de 64 mil. Em termos simples, ele pode pensar e escrever por muito mais tempo antes de parar. Isso não significa que todas as respostas sejam melhores. Significa apenas que ele tem mais espaço. Agora, na maioria dos benchmarks apresentados pelo Google, o Argon supera Opus 5.5, com exceção de alguns.

02:04 Ele também supera GPT-6, Astra e GPT-6.1 Soul na maioria dos… Mas a maioria desses benchmarks pode ser facilmente manipulada. Manipular um benchmark significa que uma empresa treina ou ajusta o modelo para se sair bem no teste, e não no seu trabalho real. Portanto, um gráfico nem sempre é uma forma correta de verificar o que um modelo consegue fazer. E, se você ler as letras miúdas do próprio Google, vai encontrar alguns detalhes interessantes. Em um teste de uso de computador, eles o executaram três vezes e mostraram o melhor resultado, e usaram apenas parte do teste. Em um

02:35 teste de ciências, deram aos avaliadores seis vezes mais tempo que o normal. Em um teste de vídeo, o Gemini pôde analisar mais quadros do vídeo do que os outros modelos. Nada disso é trapaça, mas significa que os números não são uma comparação justa. Então, encare os gráficos do lançamento com cautela. Agora, vamos ver o que outras pessoas mediram. Isso é mais útil. Na Artificial Analysis, o Argon marca 53 no índice de inteligência deles. É a mesma pontuação de GPT-6, Astra no Max, e um ponto acima de GPT-6.1

03:06 Soul. Opus 5.5 no Max marca 58. Sonnet 5.5 marca 56. Então, o Argon está entre os melhores modelos, mas a Anthropic ainda está na frente nesse índice. Agora, há um resultado de que gosto bastante. A Artificial Analysis faz muitas perguntas difíceis de conhecimento aos modelos. Quando o Argon não sabe a resposta, geralmente diz que não sabe. Ele inventa coisas apenas 15% das vezes nesses casos. Astra inventa coisas 51% das vezes, e Soul, 54%. Então, o Argon mente bem menos

03:37 quando está em dúvida. Mas aqui está o porém: o Argon também acerta completamente menos respostas. Ele acerta cerca de 50%, enquanto Astra acerta cerca de 63%. Portanto, ele é mais honesto, mas não sabe mais. São duas coisas diferentes. O Valves Index é o melhor resultado do Argon. Ele está em primeiro lugar, com 68,9%. Sonnet 5.5 e Opus 5.5 ficam em cerca de 67%. O Automation Bench da Zapier é outro bom resultado para o Argon. Esse teste dá ao modelo uma tarefa de negócios

04:08 em aplicativos fictícios, como um CRM e um de e-mail. Depois, verifica se o trabalho foi realmente feito. Não basta o modelo dizer que terminou. O Argon marca 51%. E o próximo melhor, Sonnet 5.5, marca cerca de 45%. Então, ele lidera. Mas ainda falha em cerca de metade das tarefas. Portanto, você ainda precisa conferir o trabalho dele. No teste de planilhas do Serge, o Argon marca 38%, contra 30% de Opus e 23% de Astra. Então, ele é claramente bom em ler e corrigir arquivos do Excel.

04:38 Mas, no outro teste do Serge, que dá ao modelo solicitações de trabalho curtas e vagas na área da saúde, o Argon marca cerca de 10%. Opus marca cerca de 25%. Então, quando a tarefa não está clara e o modelo precisa descobrir o que você realmente quer, Opus ainda é muito melhor. Na EleutherAI, onde pessoas reais votam na resposta de que mais gostam, o Argon está em primeiro lugar no momento. Isso é um bom sinal para conversas. Mas votos não são o mesmo que realizar o trabalho. Agora, programação. É aqui que as coisas ficam mistas. No teste de criação de aplicativos da Valves, o Argon marca cerca de 92%. Sonnet 5.5 fica

05:09 praticamente empatado. Opus e Astra ficam em torno de 90%. Então, é um empate. Mas o custo não é. O Argon custa cerca de US$ 8 por aplicativo. Opus custa cerca de US$ 58 e Astra, cerca de US$ 39. É uma diferença enorme. No Terminal Bench 4, que testa agents trabalhando em um terminal, o Argon fica em quinto lugar no Valves, com cerca de 58%. Opus e Sonnet ficam entre 64% e 65%. No teste de terminal de ciências, o Google relata cerca de 58%. Quando a Valves executou o teste, o Argon marcou cerca de 44%, atrás de Astra e Opus. As configurações são diferentes, então não

05:40 posso dizer quem está certo. Mas é uma diferença grande. Na migração de código, que significa passar código de uma linguagem para outra, o Argon é bom em Java e mais fraco em Rust. A Valse também avalia o quão limpo é o código. O Argon recebe 3,6 de 5, Opus recebe 4,5 e Astra, 4,5. Então, o código funciona com uma frequência parecida, mas é mais confuso de ler e manter. Mais uma coisa sobre o custo: o Argon usa muitos tokens. Na Artificial Analysis, ele gera cerca de 62 mil tokens de saída por tarefa. Astra gera cerca de 27 mil.

06:11 Então, o Argon é barato porque o preço por token é baixo, não porque usa menos tokens. Quando o preço dobrar depois de novembro, ele ficará mais caro que Astra no Max. Agora, esse é o lado da API. Vamos falar de quem quiser usá-lo por um preço mais baixo, por exemplo, com uma assinatura. Bem, tecnicamente, dá para encontrá-lo em vários lugares, mas o plano do Google que dá acesso custa US$ 200, o que é muito caro, para ser bem sincero. Sou embaixador da Devin, então tenho acesso ao plano Devin Max e usei esse acesso para testá-lo. O único lugar

06:43 onde pude usá-lo foi na Devin. A Devin oferece Argon nos modos baixo, médio e alto. Foi assim que o testei. Usei-o nas últimas 24 horas e rodei meus quatro testes do King Bench. São seis aplicativos grandes, cada um criado a partir de um único prompt. Usei Argon no modo alto pela Devin CLI. Depois, cada aplicativo foi verificado em detalhes. Isso significa criá-lo, clicar em tudo, testar arquivos corrompidos e ler o código. Vou passar por eles um por um. O primeiro é um emulador de Game Boy, DS e 3DS em Rust, escrito do zero. É uma tarefa absurdamente difícil. Nenhum modelo

07:14 se saiu bem aqui. O Argon marcou 5,2 de 10. É a melhor pontuação nessa tarefa entre todos os modelos que testei. Opus 5.5 marcou 3,7 e Solon Astra, 2,2. A parte de Game Boy realmente funciona. Ele rodou um jogo caseiro de construção de cidades chamado U City, e consegui entrar na cidade e abrir o menu de construção. Os estados de salvamento também funcionam. Mas as partes de DS e 3DS são, em grande parte, só de fachada. No DS, um programa de teste pinta a tela de vermelho, mas ela continua preta. A memória recebe os pixels vermelhos.

07:45 Mas a tela lê do lugar errado. No 3DS, ele carrega incorretamente arquivos homebrew comuns, então eles simplesmente ficam em branco. E há um pequeno bug engraçado. O botão de velocidade 0,5x faz o jogo rodar na velocidade normal, então ele não roda a maioria dos jogos como pedi. Mas ainda é a melhor tentativa até agora. O segundo é uma alternativa ao Docker. Argon marcou três de 10. Ele consegue baixar imagens e gerenciá-las, e muitos dos comandos locais funcionam. Mas há um grave problema de segurança. Quando descompacta uma imagem, uma imagem maliciosa pode gravar arquivos fora da própria pasta, no restante

08:16 do seu computador. Para uma ferramenta de contêiner, isso é inaceitável. Ela também salva a configuração de limite da CPU, mas nunca a aplica. E, quando não consegue baixar uma imagem-base, substitui silenciosamente por uma falsa e não avisa você. Soul marcou cinco aqui, e Opus marcou 4,6. Então, Argon fica na última posição, junto de alguns dos modelos menores. O terceiro é um designer de ambientes 3D. Argon marcou 8,1 e, para ser sincero, ficou muito bom. Deixe-me mostrar. Você tem uma sala de estar aconchegante, com uma parede de ripas de madeira, um sofá verde, luminárias, um móvel para TV e uma estante. Os materiais têm aparência de veludo e madeira. Você pode definir o

08:47 tamanho do ambiente, criar suas próprias formas, como mesas e arcos, e mudar as cores da iluminação. E a luz realmente muda a cor do ambiente. Exportar e importar também funcionam perfeitamente. Mas há problemas. Se você olhar para a barra superior, alguns botões ficam uns sobre os outros. Os recursos de recorte automático e raios solares cobrem o botão da grade. Em uma tela menor de laptop, os botões ficam para fora da borda. Desfazer depois de alterar o tamanho volta mais do que deveria. Um arquivo de cena corrompido trava o aplicativo inteiro, e há um vazamento de memória. Cada vez que redesenha o ambiente, ele mantém os objetos 3D antigos na memória.

09:18 No teste, o mesmo ambiente com nove itens passou de cerca de 100 objetos para mais de 7.000. Então, ele é bonito, mas ficaria lento com o tempo. Opus marcou 8,5, e Astra marcou 8,3. Então, Argon fica no meio aqui. O quarto é uma alternativa ao VIA para teclados QMK com um tema amarelo. Argon marcou… Essa é a menor nota nessa tarefa entre todos os modelos que testei. Opus marcou 7,5. E este é o caso estranho, porque parece ótimo. O tema amarelo e

09:49 preto é elegante. Ele tem mapas de teclas, camadas, macros, tap dance, RGB e uma lista de teclas. Mas, na verdade, nunca se comunica com o seu teclado. Você clica em conectar, ele abre o dispositivo e, em seguida, descarta a conexão. Cada alteração que você faz muda apenas a tela e um registro falso. Então, nada é salvo no teclado. E o readme diz que ele tem um mecanismo de protocolo real e um botão de gravação de firmware. Isso não é verdade em dispositivos móveis. O lado esquerdo do teclado fica cortado. E, se você importar um arquivo de macro corrompido, o

10:20 aplicativo fica em branco. Então, é uma maquete bonita, não uma ferramenta funcional. O quinto é Pokémon Red em HTML, de Pallet Town até o Ginásio de Pedra. Argon marcou 8,7. Essa é a melhor nota nessa tarefa entre todos os modelos que testei. Astra marcou 8,5, Soul marcou 8,2 e Opus marcou apenas três. Este jogo pode ser jogado do começo ao fim. Você sai de casa, pega seu inicial com Oak, luta contra seu rival, pega o pacote de Oak no mercado, atravessa a Floresta de Viridian

10:50 e derrota Brock. Você ganha XP da maneira normal. Squirtle aprende bubble, e você vence e recebe a Insígnia da Rocha e o TM. Se perder para Brock, você desmaia e perde metade do seu dinheiro, como no jogo original, e os salvamentos carregam exatamente como deveriam. Mas a arte é bem básica. Olhe para o Onix aqui. Ele é só alguns quadrados cinza. O laboratório de Oak é composto, em sua maior parte, por blocos simples. As rotas são muito menores do que no original. O diálogo de Brock é cortado depois de três linhas. E, se o salvamento falha, ainda assim aparece a mensagem de que o jogo foi salvo. Também notei que ele deixou um painel de acesso rápido às missões na barra lateral, identificado como sendo para testes. Então, você

11:21 consegue, de certa forma, pular direto para Brock. Ainda assim, esta é a melhor execução de Pokémon na minha bateria de testes. O sexto é um aplicativo Fitbit para desktop com um backend em Rust, como o aplicativo Whoop. Argon marcou 5,2. Opus marcou 7,4. Astra marcou… e Soul marcou 6,6. Mais uma vez, parece muito refinado. Você tem indicadores de recuperação, esforço, sono, zonas de frequência cardíaca e um monitor de saúde. Parece um clone real do Whoop. O diário, o planejador de sono e os exercícios de respiração funcionam. Os dados permanecem após reiniciar, mas a sincronização ao vivo com o Fitbit é totalmente falsa. Quando você importa um treino, os valores ausentes da frequência cardíaca

11:53 são preenchidos com números inventados. Os dados de sono e recuperação vêm de dados de demonstração, mas o aplicativo os exibe como se viessem do seu relógio. E o monitor de saúde diz que todos os seus sinais vitais estão dentro da faixa normal, com base nesses dados de demonstração. Se você mudar sua frequência cardíaca máxima, os números antigos não são atualizados. Então, é bonito de ver, mas eu não confiaria nele para cuidar da minha saúde. O total final é 32,6 de 60. Isso dá cerca de 54%. Para comparar, Opus 5.5 está em cerca de 58%. Astra está em cerca de 57%. Soul está em 55%.

12:24 E Haiku 5.5 está em cerca de 54%. Então, Argon fica em quarto lugar. Está praticamente empatado com Haiku, que é um modelo pequeno. Uma observação: Argon foi executado no Devon, enquanto os outros modelos foram executados em suas próprias ferramentas. Então, pequenas diferenças aqui não são importantes. O custo foi bem baixo. Os seis aplicativos usaram cerca de 772.000 tokens de saída. Isso deu cerca de US$ 10 nas tarifas do Devon ou cerca de US$ 20 no preço promocional de lançamento do Google. E isso não inclui algumas tentativas extras que não consegui medir. Então, o valor real

12:55 é um pouco maior. Agora, este é o padrão que notei. Argon é muito bom nas partes que você consegue ver. A interface fica ótima. Os jogos podem ser jogados e os botões principais funcionam. Mas, quando a parte difícil está escondida, ele finge que funciona e a apresenta como real. O aplicativo de teclado nunca se comunica com um teclado. A sincronização com o Fitbit é falsa. A ferramenta Docker substitui uma imagem por uma falsa e diz que as coisas funcionaram quando não funcionaram. Isso é o oposto do que a artificial analysis encontrou nas perguntas que fez. No chat, ele admite quando não sabe. No trabalho com agents, ele finge. Isso é um problema para qualquer pessoa

13:25 que queira dar uma tarefa para ele e ir embora. Então, vamos concluir. Argon é melhor ou pior? É melhor em algumas áreas e pior em outras. É melhor em trabalho de escritório. Isso inclui planilhas, workflows empresariais e tarefas financeiras. É melhor para criar jogos e interfaces visualmente atraentes. É melhor em dizer “Não sei” no chat. E, neste momento, é mais barato do que Opus para muitas dessas tarefas. É pior em tarefas vagas, nas quais precisa descobrir o que você quer. É pior em tarefas de terminal e ciência. O código dele

13:55 é mais bagunçado. E, nos meus aplicativos, ele finge que resolveu as partes difíceis em vez de dizer que elas estão faltando. No geral, na minha bateria de testes, Opus 5.5 ainda é melhor. Astro e Sol também estão um pouco à frente. Então, a maioria das pessoas deveria usá-lo? Primeiro, a maioria das pessoas nem sequer consegue acesso a ele para uso regular. Você não deveria pagar cerca de US$ 200 por esse modelo de jeito nenhum. Hoje, não há uma assinatura de baixo custo que dê acesso a ele, exceto por meio de ferramentas como Devin. Segundo, se você programa todos os dias, Opus 5.5 ainda é a melhor opção para o dia a dia. E, se você quer algo barato, Sol

14:27 continua muito barato e muito próximo. Mas, se você tem acesso à API, vale a pena experimentá-lo para algumas coisas. Experimente para trabalhar com planilhas, automatizações empresariais e protótipos rápidos de jogos ou interfaces enquanto durar o preço promocional de lançamento. Só confira o que ele diz que fez depois de novembro, quando o preço dobrar. Não acho que seja um bom custo-benefício para a maioria das pessoas. Então, é um bom retorno para o Google. Agora é um modelo de ponta de verdade, mas não é o Opus killer que os gráficos fazem parecer. No geral, é bem legal. Enfim, contem nos comentários o que acharam. Se gostaram [música] deste vídeo, considerem fazer uma doação pela

14:57 opção Super Thanks ou se tornar membro clicando no botão [música] de inscrição. Além disso, deixem um gostei neste vídeo e se inscrevam no meu canal. Vejo vocês no próximo. Até lá, tchau. >> [música]

Transcrição original

[00:00] [music] >> Hi, welcome to another video. Before starting the video, I have been posting many tutorials of open source projects that I like in members only videos as well. I am posting more regularly, so if you want to support the channel, please hit the join button and the videos are available on all tiers from bronze and up. So please go ahead and check them out. Now, back to the video. So Google has finally launched Gemini 4 Argon and I tested it on six really hard apps.

[00:31] The result is kind of weird. It built the best emulator and the best Pokémon game that any model has made on my benchmark, but it also built the worst keyboard app out of every model that I have tested. So is Argon actually better than Opus 5.5 and GPT 6.1 Soul or is it just better on Google’s charts? Let’s find out. Google teased and edged Argon for weeks before this launch. When they first teased it, I believe Opus 5.5 and GPT 6.1 Soul were not out yet, so Google might once again be late to the show. The model might have been a bit outdated

[01:02] before the general release itself or maybe they improved it in that time. We will see. Google says that Gemini 4 Argon delivers frontier performance in complex workflows. That means real software engineering, enterprise work like legal and finance and cybersecurity defense. Now, let’s talk about the price. Argon launches at an introductory price of $2 per million input tokens and $10 per million output tokens. Cached input tokens get 95% off the input price. After the offer ends, the regular price

[01:34] goes to $4 and $20, so it doubles. The intro price runs until the end of November, but to be honest, by the time it ends, we might see a new model anyway, so yeah. Google also says that it can now write up to 1 million output tokens in one go. The old limit was about 64,000. In simple words, it can think and write for a much longer time before it stops. That does not mean that every answer is better. It just means that it has more room. Now, in most of the benchmarks that Google shows, Argon beats Opus 5.5 except in a few of them.

[02:04] It also beats GPT-6, Astra, and GPT-6.1 Soul in most of But most of these benchmarks can be benchmarked easily. Benchmarking means a company trains or tunes the model to look good on the test and not on your real work. So, a chart is not always a correct way to check what a model can do. And if you read Google’s own fine print, there are some fun details. On one computer use test, they ran it three times and showed the best run, and they only used part of the test. On a

[02:35] science test, they gave the checkers six times more time than normal. On a video test, Gemini got to look at more frames of the video than the other models did. None of this is cheating, but it means the numbers are not apples to apples. So, take the launch charts with a grain of salt. So, let’s look at what other people measured. This is more useful. On Artificial Analysis, Argon scores 53 on their intelligence index. That is the same score as GPT-6, Astra on Max, and one point above GPT-6.1

[03:06] Soul. Opus 5.5 on Max scores 58. Sonnet 5.5 scores 56. So, Argon is up there with the top models, but Anthropic is still ahead on this one. Now, there is one result here that I really like. Artificial Analysis asks models a lot of hard knowledge questions. When Argon does not know an answer, it usually says that it does not know. It makes stuff up only 15% of the time in those cases. Astra makes stuff up 51% of the time, and Soul 54%. So, Argon lies much less

[03:37] when it is unsure. But here is the catch. Argon also gets fewer answers fully right. It gets about 50% right, and Astra gets about 63%. So, it is more honest, but it does not know more. Those are two different things. The Valves Index is Argon’s best result. It is number one there with 68.9% Sonnet 5.5 and Opus 5.5 are at about 67%. Zapier’s Automation Bench is another good one for Argon. This test gives the model a business

[04:08] task across fake apps like a CRM and email. Then it checks if the work actually got done. The model saying done does not count. Argon gets 51%. And the next best, Sonnet 5.5, gets about 45%. So, it leads. But it still fails about half of the tasks. So, you still need to check its work. On Serge’s spreadsheet test, Argon scores 38%. versus 30% for Opus and 23% for Astra. So, it is clearly good at reading and fixing Excel files.

[04:38] But on Serge’s other test, which gives the model short and vague job requests in healthcare, Argon gets about 10%. Opus gets about 25%. So, when the task is unclear and the model has to figure out what you actually want, Opus is still much better. On EleutherAI, where real people vote on which answer they like more, Argon is number one right now. That is a good sign for chat. But votes are not the same as getting work done. Now, coding. This is where things get mixed. On Valves’ app building test, Argon scores about 92%. Sonnet 5.5 is

[05:09] basically the same. Opus and Astra are around 90%. So, it is a tie. But the cost is not a tie. Argon costs about $8 per app. Opus costs about $58 and Astra about $39. That is a huge difference. On Terminal Bench 4, which tests agents working in a terminal, Argon is fifth on Valves with about 58%. Opus and Sonnet are around 64% to 65. On the science terminal test, Google reports about 58%. When Valves ran it, Argon got about 44%. behind Astra and Opus. The setups are different, so I

[05:40] can’t say who is right. But it is a big gap. On code migration, which means moving code from one language to another, Argon is good at Java and weaker at Rust. Valse also rates how clean the code looks. Argon gets 3.6 out of five, Opus gets 4.5 and Astra 4.5. So, the code works about as often, but it is messier to read and maintain. One more thing on cost. Argon uses a lot of tokens. On artificial analysis, it writes about 62,000 output tokens per task. Astra writes about 27,000.

[06:11] So, Argon is cheap because the price per token is low. Not because it uses fewer tokens. When the price doubles after November, it becomes more expensive than Astra on Max. Now, that is the API side. Let’s talk about if you want to use it where you can get it for cheaper like with a subscription. Well, technically you can find it at many places, but the plan from Google that gives you access costs $200, which is a lot to be very honest. I am a Devin ambassador, so I have access to the Devin Max plan and I used that to test it. The one place

[06:43] where I could use it was Devin. Devin has Argon in low, medium, and high. So, that is how I tested it. So, I have used it for the last 24 hours and I ran it on my King Bench four tests. These are six big apps from one prompt each. I used Argon on high through the Devin CLI. Each app was then checked in detail. That means building it, clicking through it, trying broken files, and reading the code. Let me go through them one by one. The first one is a Game Boy DS and 3DS emulator in Rust written from scratch. This is a crazy hard task. No model has

[07:14] done well here. Argon scored 5.2 out of 10. That is the best score on this task out of every model I have tested. Opus 5.5 got 3.7 and Solon Astra got 2.2. The Game Boy part actually works. It ran a home brew city builder game called U City and I could go into the city and open the build menu. Save states also work. But, the DS and 3DS parts are mostly for show. On the DS, a test program paints the screen red, but the screen stays black. The memory gets the red pixels.

[07:45] But the display reads from the wrong place. On the 3DS, it loads normal homebrew files wrong, so they just stay blank. And there is a small funny bug. The 0.5x speed button runs the game at normal speed, so it does not run most games like I asked. But it is still the best attempt so far. The second one is a Docker alternative. Argon scored three out of 10. It can pull images and manage them, and a lot of the local commands work. But there is a serious safety bug. When it unpacks an image, a bad image can write files outside of its own folder onto the rest

[08:16] of your computer. For a container tool, that is a big no. It also saves your CPU limit setting, but never applies it. And when it fails to download a base image, it quietly swaps in a fake one and does not tell you. Soul got five here, and Opus got 4.6. So, Argon is at the bottom with some of the smaller models. The third one is a 3D room designer. Argon scored 8.1, and to be honest, this looks really good. Let me show you. You get a warm lounge with a wood slat wall, a green sofa, lamps, a TV unit, and a bookshelf. The materials have that velvet and wood look. You can set the

[08:47] room size, create your own shapes like tables and arches, and change the light colors. And the light actually changes the color of the room. Export and import also work perfectly. But there are problems. If you look at the top bar, some buttons sit on top of each other. Auto cutaway and sunbeams cover the grid button. On a smaller laptop screen, buttons go off the edge. Undo after a size change jumps back too far. A broken scene file crashes the whole app, and it has a memory leak. Each time it redraws the room, it keeps the old 3D objects in memory.

[09:18] In the test, the same nine-item room went from about 100 objects to over 7,000. So, it is pretty, but it would slow down over time. Opus got 8.5, and Astra got 8.3. So, Argon is in the middle here. The fourth one is a VA alternative for QMK keyboards with a yellow theme. Argon scored That is the lowest score on this task out of every model that I have tested. Opus got 7.5. And this is the strange one because it looks great. The yellow and

[09:49] black theme is clean. It has key maps, layers, macros, tap dance, RGB, and a key list. But it never actually talks to your keyboard. You press connect, it opens the device, and then it throws the connection away. Every change you make only changes the screen and a fake log. So, nothing is ever saved to the keyboard. And the readme says that it has a real protocol engine and a flash button. That is not true on mobile. The left side of the keyboard is cut off. And if you import a bad macro file, the

[10:20] app goes blank. So, it is a nice mock-up, not a working tool. The fifth one is Pokémon Red in HTML from Pallet Town to the Rock Gym. Argon scored 8.7. That is the best score on this task out of every model I have tested. Astra got 8.5, Soul got 8.2, and Opus only got three. This one is actually playable from start to end. You leave your house, get your starter from Oak, fight your rival, get Oak’s parcel from the mart, go through Viridian Forest,

[10:50] and beat Brock. You earn XP the normal way. Squirtle learns bubble, and you win the Boulder Badge and the TM. If you lose to Brock, you black out and lose half your money like the real game, and saves load back exactly. But the art is very basic. Look at Onix here. It is just a few gray squares. Oak’s lab is mostly flat blocks. The routes are much smaller than the original. Brock’s dialogue cuts off after three lines. And if saving fails, it still says game saved. Also, I noticed that it left a quest quick jump panel in the sidebar, which is labeled for testing. So, you

[11:21] can kind of skip right to Brock. Still, this is the best Pokémon run on my bench. The sixth one is a Fitbit desktop app with a Rust back end like the Whoop app. Argon scored 5.2. Opus got 7.4. Astra got and Soul got 6.6. Again, it looks really polished. You get recovery, strain, sleep scores, heart rate zones, and a health monitor. It looks like a real Whoop clone. The journal, the sleep planner, and the breathing exercises work. Data survives a restart, but the live sync with the Fitbit is fully fake. When you import a workout, missing heart

[11:53] rate values get filled in with made-up numbers. Sleep and recovery come from demo data, but the app shows them as if they came from your watch. And the health monitor says all your vitals are within range based on that demo data. If you change your max heart rate, the old numbers do not update. So, nice to look at, but I would not trust it with my health. So, the final total is 32.6 out of 60. That is about 54%. For comparison, Opus 5.5 is at about 58%. Astra is at about 57%. Soul is at 55%.

[12:24] And Haiku 5.5 is at about 54%. So, Argon lands in fourth place. It is basically tied with Haiku, which is a small model. One small note, Argon ran in Devon and the other models ran in their own tools. So, small gaps here are not a big deal. The cost was quite low. The six apps used about 772,000 output tokens. That came to about $10 at Devon’s rates or about $20 at Google’s intro price. And that does not include a few retries that I could not measure. So, the real number

[12:55] is a little higher. Now, here is the pattern that I noticed. Argon is really good at the parts you can see. The UI looks great. The games are playable and the main buttons work. But when the hard part is hidden, it fakes it and labels it as real. The keyboard app never talks to a keyboard. The Fitbit sync is fake. The Docker tool swaps in a fake image and it tells you that things worked when they did not. That is the opposite of what artificial analysis found in their questions. In chat, it admits when it does not know. In agent work, it pretends. That is a problem for anyone

[13:25] who wants to give it a task and walk away. So, let’s conclude. Is Argon better or worse? It is better in some parts and worse in others. It is better at office work. That means spreadsheets, business workflows, and finance tasks. It is better at building games and good-looking front ends. It is better at saying, “I don’t know.” in chat. And right now, it is cheaper than Opus for a lot of these tasks. It is worse at vague tasks where it has to figure out what you want. It is worse at terminal and science work. Its code

[13:55] is messier. And in my apps, it fix the hard parts instead of telling you that they are missing. Overall, on my bench, Opus 5.5 is still better. Astro and Sol are also slightly ahead. So, should most people use it? First, most people can’t even get it for regular use. You shouldn’t pay like $200 for this model at all. There is no low-cost subscription that gives it to you today, except tools like Devin. Second, if you code every day, Opus 5.5 is still the better daily driver. And if you want cheap, Sol is

[14:27] still very cheap and very close. But if you have API access, it is worth a try for some things. Try it for spreadsheet work, for business automations, and for quick game or front-end prototypes while the intro price lasts. Just check what it says it did after November, when the price doubles. I don’t think it is good value for most people. So, it is a good comeback for Google. It is a real frontier model now, but it is not the Opus killer that the charts make it look like. Overall, it’s pretty cool. Anyway, let me know your thoughts in the comments. If you like [music] this video, consider donating through the

[14:57] Super Thanks option or becoming a member by clicking [music] the join button. Also, give this video a thumbs up and subscribe to my channel. I’ll see you in the next one. Until then, bye. >> [music]