Testei DeepSeek, MiniMax, Haiku e Gemini na mesma tarefa

Ver no idioma original →

Autoria: Rafael Quintanilha – QuantBrasil · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Testei DeepSeek, MiniMax, Haiku e Gemini na mesma tarefa · Canal: Rafael Quintanilha – QuantBrasil · 38:13 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Engenharia de software com IA, Modelos de IA

Resumo

O vídeo compara modelos rápidos e baratos com modelos maiores, discutindo desempenho, preço, velocidade e a relação custo-benefício. O apresentador explica a fronteira de Pareto e argumenta que, para muitas tarefas rotineiras, modelos menores como DeepSeek podem ser suficientes. Em um teste prático, quatro modelos recebem a mesma tarefa de reformular uma página 404, e Opus avalia os resultados. Haiku foi o preferido do apresentador pelo design minimalista e pela velocidade, enquanto DeepSeek se destacou como uma alternativa de bom custo-benefício.

Pontos-chave

• O apresentador destaca que atualizações do DeepSeek e o lançamento de modelos como MiniMax ampliam a oferta de modelos rápidos e baratos.
• A fronteira de Pareto é usada para comparar a inteligência agregada dos modelos com o custo por tarefa, sem considerar todos os fatores, como velocidade.
• O vídeo propõe uma distribuição bimodal de uso: modelos de ponta para tarefas que exigem máxima capacidade e modelos menores para boa parte do trabalho cotidiano.
• O apresentador afirma que o DeepSeek oferece desempenho competitivo por uma fração do custo de modelos maiores.
• O experimento compara DeepSeek, MiniMax, Haiku e Gemini na reformulação de uma página 404, com cada modelo trabalhando em um worktree isolado.
• Haiku foi o mais rápido no teste e o preferido do apresentador pelo resultado mais minimalista.
• Opus avaliou a página de Gemini como a melhor e DeepSeek como a melhor opção em custo-benefício.
• O apresentador ressalta que testes automatizados de ponta a ponta podem ajudar agents a validar o próprio trabalho e reduzir erros.

Capítulos

Início	Capítulo	Resumo
00:00	Modelos rápidos e baratos em comparação	O apresentador introduz as atualizações do DeepSeek e compara a possibilidade de substituir modelos mais caros por opções menores.
02:02	Desempenho e custo do DeepSeek	O vídeo discute resultados de benchmarks e compara o custo por inteligência do DeepSeek com modelos anteriores.
05:09	MiniMax e a fronteira de Pareto	O apresentador compara MiniMax e DeepSeek e explica como interpretar a fronteira de Pareto e o índice de inteligência.
09:51	Categorias de modelos e usos cotidianos	O apresentador organiza os modelos em faixas de desempenho e argumenta que modelos menores podem atender à maioria das tarefas rotineiras.
19:47	Testes automatizados para validar agents	O vídeo apresenta o Test Sprite e explica como testes end-to-end podem ajudar um agent a detectar e corrigir erros.
21:54	Preparação do experimento da página 404	O apresentador define a tarefa e prepara uma comparação paralela entre quatro modelos usando worktrees isolados.
27:14	Execução dos modelos e comparação de velocidade	O apresentador acompanha a execução dos agents, resolve um problema de seleção de provedor e compara os tempos e as velocidades.
32:29	Avaliação visual das páginas 404	O apresentador examina os designs produzidos por DeepSeek, MiniMax, Haiku e Gemini e compartilha suas preferências.
35:05	Veredito e conclusões do teste	Opus avalia os resultados, e o apresentador compara qualidade, preço e tempo para discutir quando modelos maiores são necessários.
37:41	Encerramento	O apresentador pede comentários sobre o experimento e divulga recursos e cursos de engenharia de IA.

Citações

A fronteira de Pareto, a fronteira de custo-benefício. — 07:13

Não adianta o modelo ser rápido se ele não entrega um resultado correto. — 19:47

O vencedor para mim foi o Haiku, que também foi o mais rápido. — 34:34

Será que realmente precisamos e nos beneficiamos desses modelos maiores no trabalho do dia a dia? — 37:11

Conceitos e entidades

• DeepSeek V3.1 Flash (modelo): Modelo rápido da DeepSeek apresentado como uma opção de baixo custo para programação e tarefas cotidianas.
• MiniMax M3.1 Flash (modelo): Modelo flash da MiniMax comparado ao DeepSeek em desempenho, custo e velocidade.
• Claude Haiku 3.5 (modelo): Modelo usado no teste prático, que o apresentador considerou rápido e adequado para um design minimalista.
• Gemini 1.5 Pro (modelo): Modelo do Google incluído na comparação e avaliado por criar uma página 404 mais detalhada.
• Opus 3.5 (modelo): Modelo da Anthropic usado como avaliador independente dos resultados do teste.
• Artificial Analysis (ferramenta): Serviço citado para comparar índices de inteligência, custo por tarefa e a fronteira de Pareto dos modelos.
• OpenCode (ferramenta): Ferramenta usada para executar modelos e orquestrar tarefas em segundo plano com agents.
• OpenRouter (ferramenta): Plataforma usada no vídeo para acessar e comparar modelos de diferentes provedores.
• TestSprite (ferramenta): CLI apresentada como uma forma de gerar testes end-to-end e incorporá-los ao workflow de desenvolvimento de um agent.
• Fronteira de Pareto (conceito): Critério visual usado para identificar modelos que oferecem o melhor desempenho dentro de determinada faixa de custo.
• self-validation (conceito): Prática de permitir que um agent execute testes para verificar se a tarefa foi implementada corretamente.

Tradução completa (pt-BR)

00:00 E o custo por inteligência dos modelos de IA continua caindo. Desta vez, o crédito vai para as novas atualizações do DeepSeek V 3.1 Flash e o lançamento do Gemini 1.5 Flash. Dois modelos rápidos, baratos e pequenos que entregam um nível de inteligência que, há apenas alguns meses, seria considerado de ponta. Quero fazer um teste prático para confirmar se realmente podemos substituir os modelos mais caros por esses mais baratos e responder à pergunta: o

00:30 DeepSeek V 3.1 Flash tem o que é preciso para ser seu modelo do dia a dia? Pessoal, vamos começar este vídeo direto com o lançamento da versão 1017 do DeepSeek V 3.1 Flash, ou seja, ela foi lançada em 17 de outubro. E esse número de versão é um pouco enganoso, porque a equipe do DeepSeek tem um sistema de versionamento meio estranho. Eles têm o V 3.1 e, depois, fazem um novo lançamento. Em vez de chamá-lo de V 3.2, dão um nome… sei lá, simplesmente colocam a data aqui, certo? Então, à primeira

01:01 vista, você poderia imaginar que, como essa nova atualização nem merece ser chamada de 3.2, ela não seria tão boa. Mas estaria enganado se pensasse assim. Isso porque o lançamento do DeepSeek traz uma melhoria substancial em raciocínio, programação, tarefas agênticas e benchmarks visuais, certo? Além dos ganhos nos benchmarks, o modelo reduz o tempo de execução e também o tamanho das respostas, certo? O tamanho das respostas

01:32 influencia diretamente o preço, já que a maior parte do custo vem dos tokens de saída, que são, na verdade, mais caros, certo? Isso permite que os usuários concluam tarefas mais rápido e a um custo menor, além de avançar na relação entre custo e desempenho na fronteira de Pareto. Falarei mais sobre isso daqui a pouco. Bem, olhando para o benchmark aqui, temos o novo snapshot de 17/10 e o anterior. E veja, por exemplo, o salto que ele dá no Terminal-Bench 4.0, certo? Vai de 31 para 42. Estamos falando de um aumento de mais de um terço, certo? Um aumento de 35% só nesse benchmark, superando, por exemplo, o Claude 3.5, mesmo sem ser o modelo Flash, certo? O Claude 3.5 grande, e ficando à frente do GPT-4o, embora sem superar o Claude 3 Opus. Quero fazer agora uma comparação específica com essas duas classes de modelos. Certo? No Deep SWE, ele está superando todo mundo, certo? Inclusive o Claude 3 Opus. Só para lembrar que essas

02:02 benchmark 4.0, certo? Vai de 31 a 42. Estamos falando de um aumento de mais de um terço, certo? Um aumento de 35% só neste benchmark, superando, por exemplo, o Claude 3.5, sem nem ser o modelo Flash, certo? O Claude 3.5 grande, e deixando o GPT-4o para trás, embora sem superar o Claude 3 Opus. Agora quero fazer uma comparação específica entre essas duas classes de modelos. Tudo bem? No Deep SWE, ele está superando todo mundo, certo? Inclusive o Claude 3 Opus. Só lembrando que esses

02:32 versões aqui são as anteriores, certo? Já estamos no Sol 6.1 e no Opus 5. Então, se olharmos até para a forma como a equipe do DeepSeek posiciona o modelo, parece que, sem dúvida, ele não veio para competir no topo, na primeira categoria. Veio para competir com a geração anterior de modelos que estava no topo. Isso é muito interessante, especialmente se considerarmos que o custo caiu bastante. Queria refletir sobre isso com

03:04 vocês. Olhem só, certo? O GPT 5.6 Sol foi lançado em 9 de julho de 2026. Estou gravando este vídeo no dia 21, então faz cerca de três meses e meio que o GPT 5.6 Sol foi lançado. Hoje, o DeepSeek V 4.1 Flash basicamente supera o GPT 5.6 Sol. Se você usa para programação, ele já ficou para trás nos benchmarks Terminal-B e Deep SWE. Se formos até o Artificial Analysis e

03:35 colocarmos o GPT 5.6 na comparação, veremos que o DeepSeek ficaria atrás do 5.6 Sol em Reasoning Max. Mas, como já disse algumas vezes aqui no canal, não gosto muito de usar o Reasoning Max como benchmark, porque acho que, na maior parte do tempo, você não vai usá-lo e, portanto, não vai extrair toda essa inteligência. Em 95% dos casos, você vai usar um nível de raciocínio mais baixo. Eu sempre usei o GPT 5.6 Sol no X High. Era meu modelo favorito até recebermos as atualizações, antes do Astra e até a chegada da família 5.5 do Claude, certo? Então, eu gostava muito do GPT 5.6 Sol no X High. E olhem só: se colocarmos o 5.6 Sol no X High no Artificial Analysis, o DeepSeek V 4.1 fica à frente dele. Isso mesmo: é melhor que o modelo que, há três meses e meio, era de ponta e que, talvez há um mês e meio ou dois meses, a maioria dos programadores usava no dia a dia. Mas temos um modelo muito mais barato e também open source

04:07 do Claude chegaram, certo? Então fiquei muito feliz com o GPT 5.6 Sol X High. E olha, se colocarmos o 5.6 Sol X High na Artificial Analysis, temos o DeepSeek V 4.1 à frente dele. Isso mesmo, ele é melhor do que o modelo que, há três meses e meio, era o estado da arte e que, talvez há um mês e meio ou dois meses, a maioria dos programadores usava no dia a dia. Mas agora temos um modelo muito mais barato e também open source

04:39 Se olharmos aqui o custo por inteligência, o DeepSeek custa 26 centavos, enquanto o 5.6 Sol custava 1,18, certo, no X High. Em outras palavras, ele custa cerca de cinco vezes menos, certo? O DeepSeek é melhor ou, pelo menos, comparável, mas custa 20% do preço, certo? Isso é muito interessante. E, além do DeepSeek, também tivemos o lançamento do Minimax M 3.1 Flash, que basicamente entra nessa disputa com o DeepSeek.

05:09 Tanto que a comparação feita pelo pessoal da Minimax é principalmente com eles. Então, no Terminal-Bench, o Minimax perderia para o DeepSeek V 4.1 e, no Deep SWE, também perderia. Então, tudo bem, o Minimax entra na disputa aqui. Estou mencionando o Minimax M 3.1 Flash porque, no momento em que estou gravando este vídeo, você pode usá-lo de graça no OpenCode Go, certo? Ou seja, não custa nada. Você pode

05:40 assinar por 10 dólares e basicamente usá-lo sem limite. Claro que ele não terá o melhor TPS. E claro que não podemos garantir por quanto tempo. Pode ser que, quando você estiver assistindo a este vídeo, isso já tenha acabado. Mas o fato é que o modelo é tão barato de servir que dá para oferecer um subsídio ilimitado aqui, como acontece com o pessoal do OpenCode. Então, ele vai entregar um desempenho parecido com o do GPT, inferior na maioria dos benchmarks, mas está na disputa, certo? Se voltarmos aqui para

06:11 o benchmark, olhem para o Minimax M 3.1 Flash aqui. Ele está empatado com o Haiku e um pouco atrás do DeepSeek V4 Flash, certo? Mas esses são modelos, pessoal, que vieram competir nessa categoria de modelos Flash, ou seja, modelos que costumam ser menores, têm no máximo 500 bilhões de parâmetros e podem ser servidos bem rápido, mas que também são comparados a modelos muito maiores, como o GLM 5.3 normal, o GPT 5.6 Sol e o Qwen Max, além de

06:42 estarem relativamente perto do que seria o Grok 4.7, um modelo que se acredita talvez ter trilhões de parâmetros. Não sabemos, mas certamente é um modelo com mais de um trilhão de parâmetros. Então, de fato, esses dois lançamentos ampliaram a oferta de modelos bons e baratos, certo? Por tempo limitado, o Minimax chega até a oferecer de graça uma inteligência que, há apenas alguns meses, seria considerada o melhor que a humanidade tinha a oferecer. Isso é muito interessante. E isso também nos leva a falar da fronteira de Pareto. E

07:13 aqui está a principal reflexão que eu queria fazer com vocês no vídeo de hoje, certo? Vou fazer testes práticos já já. Então, fiquem comigo até o fim deste vídeo. E, se estiverem assistindo e ainda não forem inscritos, aproveitem para se inscrever no canal; isso ajuda muito. Deixem um like e também um comentário contando o que acharam desses dois modelos. Mas vamos ao que interessa, pessoal. Por quê? Porque, no anúncio do DeepSeek, eles dizem: “Olhem, conseguimos avançar a fronteira de Pareto, a fronteira do custo-benefício.” Para visualizarmos isso, vou abrir o Artificial Analysis, porque eles têm este gráfico de que eu gosto muito. E vocês vão notar que há aqui a linha de Pareto, certo? O que exatamente seria essa linha de Pareto? Ela nos mostra qual modelo oferece o melhor desempenho dentro de determinada faixa de preço. Um breve parêntese: o que eles consideram desempenho? Aqui, desempenho é o índice de inteligência, um indicador agregado criado pelo Artificial Analysis, certo? Nesse indicador agregado do Artificial Analysis, há muitas coisas que não se limitam à programação, que é o foco da maioria das pessoas neste canal, certo? Claro, há o benchmark de programação, mas também há a prova de humanidades e, portanto, algo voltado para as humanidades, para outros tipos de tarefas que não necessariamente envolvem código, certo? Então, tendo isso em mente, saibam que aquilo que eles chamam de desempenho, pontuação ou inteligência é esse indicador agregado aqui. Mas, na linha de Pareto, teremos os modelos que oferecem o melhor desempenho, segundo o Artificial Analysis, naquela faixa de preço. Portanto,

07:43 vamos à Artificial Analysis, porque eles têm este gráfico de que eu gosto muito. E vocês vão notar que aqui há a linha de Pareto, certo? O que exatamente seria essa linha de Pareto? Ela nos mostra qual modelo oferece o melhor desempenho para sua faixa de preço. Um rápido parêntese: o que eles consideram desempenho? Aqui, desempenho é o índice de inteligência, um agregado criado pela Artificial Analysis, certo? Então, nesse agregado feito pela Artificial Analysis, há muitas coisas que não são apenas programação, que acaba sendo o que

08:14 mais preocupa a maioria das pessoas neste canal, certo? Então, claro, há o benchmark de programação, mas também há a prova de humanidades, ou seja, há também algo voltado para humanidades, para outros tipos de tarefas que não são necessariamente de código, certo? Então, tendo isso em mente, saibam que o que eles chamam de desempenho, pontuação ou inteligência é esse agregado aqui. Mas, na linha de Pareto, teremos os modelos que oferecem o melhor desempenho, segundo a Artificial Analysis, naquela faixa de preço. Então, para

08:47 Por exemplo, se olharmos para o GPT 6.1 Sol Max aqui, ele tem uma pontuação de 52 e um custo por tarefa de 72. Isso significa que, na faixa dele, ninguém oferece um desempenho tão bom por um preço tão baixo. Por exemplo, temos aqui o Gemini 4 Argon, que oferece 52 — bem, na verdade, oferece 53 —, mas custa três vezes mais e perde em todas as dimensões para o Opus 5.5 R. Por exemplo, veja isto. O Opus custa

09:19 1,82 e tem uma pontuação de 54. O Argon custa 1,99, então é um pouco mais caro, e tem uma pontuação de 53. Ou seja, você paga um pouco mais para ter menos inteligência. Não vale a pena. O que está na linha de Pareto aqui é o Opus. Assim, você pode acompanhar quais modelos fazem sentido levando em conta inteligência e preço. Note que há coisas que não estão sendo mencionadas aqui, como a velocidade. O GPT 6.1 Sol Max é muito lento, certo? O GPT Sol é um modelo lento, e na versão Max é ainda mais lento

09:51 certo? Se olharmos para este grupo de modelos menores, temos aqui, veja: o Haiku 5.5, o MiniMax M 3.1, o DeepSeek V 4.1 Flash e o GLM 5.3 Flash. É evidente que o DeepSeek é superior em termos de inteligência, embora seja mais caro aqui do que o Haiku e o MiniMax, certo? Mas o DeepSeek oferece algumas vantagens, certo? A primeira é o fato de ser open source. Então, em comparação com o Haiku, ele já leva vantagem. Isso deixa também o MiniMax M 3.1 Flash e o GLM 5.3 Flash.

10:23 No momento em que estou gravando este vídeo, o MiniMax não tem os pesos abertos, então ninguém consegue replicá-lo. Tanto que, se você vier aqui ao OpenRouter, vai ver que a versão gratuita do MiniMax só é oferecida pelo próprio pessoal da MiniMax, certo? Então, ainda não dá para avaliar muita coisa aqui. Se compararmos o DeepSeek V 4.1 Flash desta nova atualização com o GLM 5.3, aí sim: o DeepSeek domina o GLM 5.3. O que queremos dizer com dominar aqui? Ele é mais inteligente e mais barato. Vence nas duas dimensões. Então, racionalmente, não

10:54 haveria muito motivo para você escolher o GLM 5.3 aqui em vez do DeepSeek, certo? “Ah, Rafael, mas o Sol Medium domina o DeepSeek, olha só. É mais barato e tem mais inteligência.” Sim, de fato, ele está na fronteira de Pareto, certo? O modelo 6.1 do ChatGPT. É um modelo muito interessante. Eu mencionei isso e, na verdade, vou colocar aqui para você assistir depois à minha análise do GPT 6.1. É um modelo tão barato que me fez repensar se o plano de US$ 200 valia a pena. Mas qual é o principal ponto que quero destacar aqui, pessoal? O

11:26 GPT 6.1 Sol é, de fato, um bom modelo, mas é provável que você o use dentro de uma assinatura. E, nesse caso, se compararmos as assinaturas, hoje temos os modelos Claude, que são muito superiores, certo? Tanto o Sonnet quanto o Opus 5.5, que, na minha opinião, é o melhor modelo já criado. Eu já fiz a análise do Opus 5.5 e vou deixar aqui para você assistir também. Então, aonde quero chegar com isso? Olha, claramente, se viermos aqui ao índice de inteligência,

11:56 temos três faixas, certo? Temos uma faixa aqui com os melhores modelos, modelos que realmente estão na vanguarda, aqueles em que dá para notar a diferença. “Ah, o benchmark diz isso, mas ele é visivelmente superior?” Se você tem dúvida, confira qualquer comentário nos meus vídeos ou até os tweets que fiz falando do Opus 3.5: muita gente concorda que é o melhor modelo que existe. Então, temos os benchmarks e as impressões de todo mundo. Acho difícil alguém discordar que o Opus 3.5

12:29 está entre os dois melhores, certo? É o melhor modelo que temos hoje, certo? Então, claramente, temos esses modelos Claude. O Sonnet 3.5 também é um modelo excelente, especialmente se levarmos em conta algumas vantagens. Vamos deixá-lo numa prateleira separada, certo? Vou desconsiderar o Mistral Large aqui, algo que não podemos testar e que só apareceu no Artificial Analysis. Se o tirássemos da lista, os três principais modelos seriam da Anthropic, certo? E o Haiku está na versão anterior, 3.0; o 3.5 ainda está por vir. Depois, temos uma faixa intermediária

13:01 de modelos que, na minha opinião, perderam a razão de existir. Estou falando do GPT-4o, do Gemini 1.5 Pro e também do Mistral Large. Por quê? Porque, se você os usar, vai descobrir que são modelos lentos e caros, que não serão superiores no geral, por exemplo, ao Opus. Claro que haverá tarefas em que serão superiores. O Gemini 1.5 Pro, por exemplo, é bom com texto, certo? O GPT-4o se mostrou muito bom em modelagem 3D.

13:31 Confesso que não testei o Mistral Large, mas já tinha testado o anterior, que também era um bom modelo. Não superava os melhores, mas era um bom modelo. Mas qual é o grande problema? Esse grupo de modelos aqui é inferior e não oferece uma relação custo-benefício muito interessante. Então, você pagará um preço alto, relativamente falando; pagará relativamente caro por um modelo que não está na categoria mais alta, quando poderia pagar mais ou menos o mesmo para ter o melhor modelo, pelo menos hoje, que é o Opus 3.5, ou ter uma versão ainda mais rápida dele, o Sonnet 3.5.

14:03 Mas hoje você pode ter o Opus e o Sonnet na assinatura da Anthropic, com um limite excelente, certo? Inclusive, agora há a API key, que dá um desconto se você tiver, por exemplo, uma assinatura do plano Max. Já falei sobre isso — vou deixar aqui para você assistir depois — e eles continuam sendo rápidos. Se você olhar para os TPS, os tokens por segundo desses modelos, verá que eles têm um bom desempenho. Então, na minha opinião, esse grupo intermediário foi, de certa forma, superado pelos modelos da Anthropic em inteligência,

14:34 velocidade e preço. Mas, embora tenham sido superados, ainda são superiores, certo, a esse terceiro grupo, que começa aqui com o Grok 4.7 e a antiga geração do ChatGPT, o 5.6, certo? Estou até deixando o GPT-6 de fora, que foi o principal modelo da OpenAI por uma semana, certo? Então, temos o Grok aqui, depois o Mimo, que não dá para usar muito, certo? Depois vêm o Qwen e o DeepSeek, que acabou de entrar. Temos o GLM 5.3, o Kimi K3, o Haiku, o MiniMax M 3.1, o GLM 5.3 Flash

15:06 e o Gemini 3.8 Flash. Os outros modelos já ficaram bem mais para trás aqui, certo? Então, pessoal, olha só: temos um primeiro grupo de modelos muito bons, um terceiro grupo de modelos interessantes, rápidos e baratos, e esse grupo do meio, que perdeu um pouco a razão de existir. Entenderam? Então, hoje vejo uma distribuição bimodal, por assim dizer. O que quero dizer com isso? Quando você trabalha com IA, geralmente tem dois tipos de tarefa. A tarefa em que você realmente quer usar o máximo de inteligência, quer usar o melhor que tem à disposição, e as tarefas rotineiras do dia a dia, certo? E esse terceiro grupo ficou tão bom — e o DeepSeek V 4.1 Flash 1017 elevou ainda mais esse patamar — que você consegue fazer, digamos, 80, 90% das tarefas do seu dia a dia com ele. A prova disso é que, em muitos aspectos, ele é superior ao GPT 5.6 Sol. Se olharmos aqui para o GPT 5.6 Sol no eixo XY, ele é superior no Artificial Analysis, como vimos em outros benchmarks. E, só para

15:38 você ter uma ideia, até resgatei aqui o lançamento do GPT 5.6. Olha só: o GPT 5.6 Sol Max costumava liderar o índice de coding agent do Artificial Analysis, certo, o índice de programação. Se olharmos aqui para o índice de programação, veja onde o GPT 5.6 Sol Max está agora. Cara, está em 1, 2, 3, 4, 5, 6, 7, 8, 9º; está em décimo lugar aqui, certo? E isso sem contar vários outros aqui, certo? Tudo bem? Esse índice aqui é um pouco diferente porque também varia conforme o harness, então você vai ver que o DeepSeek não aparece aqui, mas caiu bastante

16:09 terem uma ideia, até abri aqui o lançamento do GPT 5.6. E olhem só: o GPT 5.6 Sol Max costumava liderar o índice de agent harness de programação da Artificial Analysis, certo? O índice de programação. Se olharmos aqui para o índice de programação, vejam onde o GPT 5.6 Sol Max está agora. Cara, está em 1, 2, 3, 4, 5, 6, 7, 8, 9, está em décimo lugar aqui, certo? E isso sem contar vários outros aqui, certo? Tudo bem? Este índice aqui é um pouco diferente porque também varia conforme o harness, então vocês vão ver que o DeepSeek não está aqui, mas ele caiu bastante

16:40 atrás, certo? Está atrás de várias outras combinações de modelos e harnesses. Então, esse modelo, que há pouco tempo era um dos melhores que tínhamos, pode ser completamente substituído por um DeepSeek, com a vantagem de que, com o DeepSeek, você nem precisa de uma assinatura: pode pagar por ele, certo, normalmente via API. Ou até pode ter uma assinatura como a do OpenRouter e vai ter, cara, muitos, muitos limites para usar pagando US$, certo? Então, por US$ 10, você pode usar, certo, o modelo

17:11 que, basicamente, há dois meses era o estado da arte, certo? E sei que talvez você que está me assistindo esteja um pouco cansado; a todo momento surge um modelo novo, você precisa acompanhar, que saco. O que quero dizer aqui, talvez até em detrimento do meu canal, é que, cara, você nem precisa se preocupar, porque pode tomar essa decisão. Posso pagar para ter acesso ao estado da arte. Se você tem a assinatura do Claude por US$ e não esgota o limite, talvez hoje, com US$ 100, US$ 120, certo, consiga usar IA de maneira ilimitada e profissional, com o melhor que

17:42 a inteligência artificial oferece hoje, sem precisar de mais nada, certo? É isso. Não precisa decidir mais nada, nem pensar em mais nada. Coloque no Opus, coloque no Sonnet; se estiver acabando, se quiser fazer uma orquestração um pouco mais avançada, coloque no Riku se quiser implementar usando créditos de API que serão devolvidos como reembolso. Praticamente não resta nada no processo de decisão sobre qual modelo escolher com que você precise se preocupar. Agora, se você não pode investir esse dinheiro, também não há muito o que pensar: não há motivo para escolher modelos intermediários que você não vai conseguir aproveitar. Basicamente, você terá

18:13 uso infinito com um modelo como o DeepSeek V3/R1 Flash, que é excelente, certo? Então, você gasta US$ 10, US$ 20, ou seja, estamos falando de um valor de cinco a dez vezes menor do que se você desse um salto para usar um Opus 3.5, certo, numa assinatura Claude Pro. Não dá para fazer isso, cara. Com US$ 20, com US$ 10, ou você vem para o Open Code GO e usa bastante, ou adiciona créditos a um provedor e basicamente usa de forma ilimitada, sem se preocupar. E se

18:46 a gente vier para o OpenRouter, certo? Você vai poder ver aqui um provedor; olha, vamos selecionar um provedor como a Cloudflare. Olha só, estamos falando de 10 centavos por entrada, 60 centavos por saída, e aqui ela entrega, olha, 70 tokens por segundo na Cloudflare. Se selecionarmos aqui a Fireworks, que eu gosto bastante, olha, 105, comparando com a MiniMax, que hoje entrega 74. Esqueci de mencionar o preço aqui, certo? Como a MiniMax está gratuita no momento, o preço não aparece aqui, mas eles o divulgaram no lançamento, certo? No lançamento, o preço era este:

19:16 olha: 15 centavos por entrada, 60 por saída e cache a 0,015, certo? Então, basicamente, é o mesmo que o DeepSeek V 4.1, certo? Na Cloudflare, por exemplo, é até um pouco mais caro, certo? E, para fins de comparação, também adicionei o GPT 5.6, que é o que temos usado para comparar. E olha que diferença bizarra, cara! Eram 4 por milhão de tokens de entrada e 20 por milhão de tokens de saída, simplesmente absurdo. E temos aqui o Haiku 5.5, o modelo da Anthropic, que também entrega uma velocidade muito interessante. Este é o mais rápido

19:47 de todos, mas aqui, é claro, você vai estar numa assinatura ou usando créditos de API na Anthropic. Certo? Agora, não adianta seu modelo ser rápido se ele dá um resultado incorreto. É por isso, pessoal, que sempre insisto que vocês precisam dar ao seu agent a capacidade de se autovalidar. E é também por isso que o parceiro do vídeo de hoje é o TestPrie. O TestPrie é uma CLI que permite gerar testes de ponta a ponta e incorporá-los ao workflow de desenvolvimento do seu agent. Por que isso é legal?

20:20 Porque, se você tem um modelo menos inteligente e está abrindo mão dessa inteligência em troca de um preço menor ou de mais velocidade, ele fica mais propenso a cometer erros. Então, se você der a ele uma ferramenta de autovalidação, com a qual possa gerar esse teste e, ao final da tarefa, verificar se ele passou, você equipara a capacidade de um modelo mais barato à de um modelo caro. Então, com a CLI do Test Sprite instalada, você pode, por exemplo, listar todos os

20:51 testes de um determinado projeto, certo? E também pode, por exemplo, consultar o status de um teste específico. Vamos supor que queiramos verificar este aqui, o teste “o usuário pode mudar o nome”. Então, vamos lá e executamos. Test Sprite, test run. Passe o ID desse teste e, olha, agora temos uma execução na fila dos servidores do Test Sprite para comparar. Você passa isso para um agent, e ele fica de olho para ver se o teste vai passar. Se o teste passar, ótimo, ele retorna para você ao terminar. Se

21:24 o teste não passar, ele continua trabalhando, identificando quais eram os problemas, para que você tenha muito mais segurança de que, quando terminar, aquilo que você pediu não só esteja implementado, como também sem bugs. Recomendo que dê uma olhada na CLI do Test Sprite e, se quiser conhecê-la e testá-la de graça, vou deixar um link tanto na descrição quanto no comentário fixado. Ótimo, pessoal. No restante deste vídeo, quero fazer um experimento prático com vocês. Quero validar minha tese de que esse grupo intermediário já não faz tanto sentido e que ou você escolhe o estado da arte ou fica com um modelo menor, mais rápido e mais barato. Vou fazer o seguinte experimento. Então, para quem assistiu à minha análise do Gemini 1.5 Pro — se ainda não assistiu, vou deixar o link aqui; confira, especialmente se você tem uma assinatura do plano Google AI, certo? —, lá eu fiz um teste em que pedi ao Gemini para mudar a página 404, certo? Era a página 404 do “Programa AI”, meu curso de engenharia de IA. E eu disse: “Cara, vamos melhorar esta página.” Conversei com o Gemini 1.5 Pro,

21:54 dei algumas instruções, fiz alguns ajustes e, no fim, naquela sessão inteira de programação simples, ele usou 10% do meu limite semanal com o plano Google AI Pro, que custa cerca de R$ 100. Então, vimos que o resultado foi razoável, mas foi lento e, no fim das contas, eu não conseguiria usá-lo na prática, não conseguiria usá-lo no meu trabalho cotidiano, porque, se um prompt pequeno, uma tarefa pequena como aquela, consome 10% do meu limite semanal, eu teria, no máximo, um ou dois dias de trabalho e depois não conseguiria mais usá-lo. Então, meu ponto aqui é o

22:26 seguinte, certo? Como a maioria das tarefas costuma ser mais bem definida, certo? Não vou reinventar a roda todos os dias. Para a maioria das tarefas, sei aonde quero chegar e como vou resolvê-las. Talvez não sejam tarefas muito longas. E, imaginando que é isso que a maioria de nós faz durante a maior parte do dia, vamos fazer um experimento refazendo esta página 404. Uma tarefa simples, mas que você pode encontrar normalmente no seu trabalho, certo? Mas vou fazer isso com quatro modelos. Quero fazer isso com a nova

22:58 versão do DeepSeek V3 4.1 Flash, vou incluir o MiniMax 01-1.5 Flash e o Qwen 2.5, e também vou colocar o Gemini 1.5 Pro na mistura. E, para fazermos isso juntos, vou usar o OpenRouter, certo, pessoal? Porque aqui posso executar todos esses modelos ao mesmo tempo, certo? Como já falei sobre a assinatura do OpenRouter, no momento em que estou gravando este vídeo, você tem acesso aqui ao DeepSeek V3 4.1 Flash, e o MiniMax 01-1.5 Flash é gratuito. Também podemos usar o Qwen 2.5 aqui, ou você pode

23:31 versão do DeepSeek V3 4.1 Flash, vou adicionar o MiniMax 01-1.5 Flash, o Qwen 2.5 e vou incluir o Gemini 1.5 Pro na mistura. E, para fazer isso tudo junto, vou usar o OpenRouter, certo, pessoal? Porque aqui posso executar todos esses modelos ao mesmo tempo, certo? Como já contei a vocês sobre a assinatura do OpenRouter, na hora em que estou gravando este vídeo, vocês têm acesso aqui ao DeepSeek V3 4.1 Flash e ao MiniMax 01-1.5 Flash de graça. Também podemos usar o Qwen 2.5 aqui, ou vocês podem

24:01 adicioná-lo pela API. E também temos o Gemini 1.5 Pro disponível, certo? Então é muito interessante podermos usar o Gemini 1.5 Pro dentro do OpenRouter. Claro que você não vai conseguir usar muito, certo? Se você vier aqui aos limites, veja: na época em que estou fazendo este vídeo, o Gemini 1.5 Pro está com uso multiplicado por dois, o que significa que você pode usar o equivalente a US$ 60 em custos de API na sua assinatura mensal do OpenRouter, certo? Para comparar, o DeepSeek V3 4.1 Flash dá US$ 80, só que, claro, né? Olha a diferença de preço: 60 centavos fora do horário de pico, certo? No horário de pico,

24:34 na China, US$ 1,20 durante os horários de pico. Então estamos falando de um modelo 15 vezes mais barato e com um limite ainda maior. Você não vai conseguir usar muito o Gemini 1.5 Pro no plano GO, mas, para a nossa comparação aqui, é suficiente, certo? Vou executar essas quatro tarefas em paralelo usando um recurso do OpenCode 2.0 chamado Background Tasks. Na verdade, você já conseguia distribuir tarefas em segundo plano no OpenCode, mas agora, na nova atualização, ele consegue fazer uma orquestração muito melhor. Então, temos estes subagents em segundo plano aqui. Vou executar esses quatro subagents em segundo plano e colocar a cereja no topo do bolo: usar o Opus 3.5 para escolher quem foi o vencedor. Esses quatro modelos — DeepSeek, MiniMax, Haiku e Gemini 1.5 Pro — vão tentar resolver a mesma tarefa. Eles vão trabalhar separadamente em uma worktree. Vou passar o resultado de cada um ao Opus 3.5 como um juiz independente, por assim dizer. Espero que ele não escolha o Haiku.

25:05 E depois vamos conferir o resultado final considerando o desempenho, mas também o preço e a velocidade, porque isso importa no seu dia a dia. Muito bem, pessoal. Já falei demais. Então, a primeira coisa que vou fazer é definir meu modelo como Opus 3.5, porque quero que ele seja o juiz. Depois vou selecioná-lo aqui no provedor Anthropic, que já conectei pela API. Então vou colar meu prompt aqui. Ótimo. Vamos ler o prompt enquanto o Opus começa a trabalhar. Use agents em segundo plano para comparar quatro modelos na mesma tarefa de programação na base de código.

25:38 Depois, DeepSeek V3 4.1 Flash 1017 pelo OpenCode. MiniMax M 3.1 Flash também pelo OpenCode. Claude Haiku 3.5: aqui vou usar pela Anthropic para ser mais rápido, né? E também para usar meus créditos de API. Gemini 1.5 Pro Contributor também pelo OpenCode. Crie uma worktree isolada para cada modelo, todos partindo do mesmo commit, e dê a eles a mesma tarefa: reformular a página 404, certo? Blá-blá-blá, a mesma coisa que fizemos no vídeo do Gemini 1.5 Pro. Uma tarefa simples, certo? Não estou nem fingindo

26:10 que isso seja complexo. O que quero fazer aqui é verificar se, em uma tarefa diária típica, conseguimos perceber alguma diferença significativa. Então vamos ter esses quatro agents trabalhando em paralelo, certo? E cada um deles terá uma porta separada que o Opus 3.5 poderá usar para verificar os resultados como juiz, certo? Ele deve até tirar capturas de tela, compará-las e retornar uma tabela no final. Então, isso certamente vai demorar um pouco. Vamos conferir aqui quando ele distribuir as tarefas em segundo plano e se vai fazer isso direito. Enquanto o Open

26:42 Code trabalha aqui, você pode conferir tudo isso nos logs, está vendo? Olha os logs do OpenCode aqui. Consigo ver todas as requisições sendo executadas. E o custo aqui é zero. Por quê? Porque estou usando o provedor Anthropic. Basicamente, vim até o console do OpenCode, selecionei Connect Provider e inseri minha chave de API. Peguei minha chave de API, fui para platform.cloud.com, entrei na seção de API, gerei uma, coloquei no OpenCode e pronto, consigo ver

27:14 o log das requisições executadas há 1 minuto, 2 minutos, 3 minutos. Então, o custo vem daqui, não está sendo descontado do meu OpenCode, mas vamos ver esse custo ser descontado do OpenCode quando ele começar a usar os outros modelos. Então, esse é um recurso bem legal do OpenCode para acompanhar quais requisições estão sendo feitas. Pessoal, ele parou aqui porque tem uma pergunta: está dizendo que não encontrou o 1017, mas acho que é porque no OpenCode ele simplesmente chamou de V 4.1 Flash. Acho que esse é o 1017, né? Porque não colocou o nome completo aqui, como fizeram Orama

27:44 Cloud, Fireworks e DeepSeek, certo? Então vou tentar continuar usando o OpenCode. Está dizendo aqui que o Minimax é gratuito e que, de qualquer forma, a base de código é privada, mas não tem problema, ele pode continuar. Então selecionei isso aqui. Vamos ver se isso basta para ele começar a trabalhar. Bem, ele está me contradizendo. Disse: “Cara, conferi a própria documentação do OpenCode e não é isso.” Então, não sei se ainda não atualizaram a documentação enquanto estou gravando este vídeo ou se é um erro na documentação. Acho que a documentação não foi atualizada, mas, só para garantir, certo? Vou dizer o seguinte:

28:16 Vamos usar o 4.1 Flash 1017 da Fireworks AI. Gosto muito da Fireworks, tenho alguns créditos lá, então vamos usá-la. Isso não deve mudar nada, pessoal! O máximo que vai mudar é o TPS, a velocidade. Olha só, pessoal, que bonito. Vejam os agents em segundo plano do OpenCode V2 funcionando aqui. Olha: DeepSeek V3 4.1 Flash 1017, MiniMax M 3.1 Flash Free, Claude 3.5 Sonnet, Gemini 1.5 Pro Contributor.

28:47 Ótimo. Já temos todos os agents funcionando aqui. Agora é só esperar terminarem e ver qual será o veredito do Opus 3. Enquanto isso, podemos até investigar cada um deles. Olha, se verificarmos o DeepSeek aqui, podemos ver exatamente a thread dele, certo? O que está fazendo. Gemini 1.5 Pro: olha, está falhando ao fazer a requisição aqui. Isso é um problema no OpenRouter; o Haiku está funcionando, e o MiniMax também. Vamos ver se o Pro continua falhando; talvez tenhamos que trocar de provedor, certo? Olha só, pessoal. Na verdade, não consegui executar o Pro pelo Contributor,

29:20 certo? Mas tenho a API do Google conectada aqui, então já pedi para ele executar pelo provedor Google. Enquanto isso, o Haiku já terminou, certo? Então o Haiku foi disparado o mais rápido de longe aqui. E de fato tem o TPS mais alto, o maior número de tokens por segundo. Então, o que vimos aqui no OpenRouter está dando resultado. Olha a diferença de velocidade, né? Pelo menos o dobro, certo? Em comparação com os concorrentes. Não estamos usando GPT-4o aqui. Vou configurar o Pro aqui. Certo. O Pro, coitado, nem conseguiu executar ainda. Mas este TPS aqui, 22 tokens

29:52 por segundo, é oito vezes mais rápido que o do Gemini 1.5 Pro. Então conseguimos ver isso na prática. Veja como a diferença de velocidade também afeta o dia a dia. Voltando ao nosso experimento, então. O DeepSeek terminou em segundo lugar. Vamos clicar aqui para ver o que o DeepSeek fez. Legal, né? Olha só, pessoal: 116,9 tokens por segundo novamente. Bem legal mesmo, certo? Terminou em 8 minutos e 56 segundos, certo? Vou voltar aqui para podermos ver o Haiku. Olha, terminou em 2 minutos e 52 segundos, 147,3 tokens

30:24 por segundo. Cara, bem legal mesmo. Terminou três vezes mais rápido que o segundo colocado, né? Muito, muito bom. Certo, enquanto os outros estão rodando, já que demoram um pouco, pedi ao Opus para começar a verificar os que terminaram, certo? Até falei: “Cara, pode executar isso em um agent em segundo plano aí, certo?” E comece a validar para não perdermos tempo. Bem legal, né? Como dá para executar esses agents aqui. Na verdade, o Gemini terminou antes do Minimax. Olha, levou 12 minutos e 27 segundos,

30:56 certo? Pessoal, esses 12 minutos e 27 segundos aqui não incluem o problema que tivemos no começo, certo? Então, esta é a execução isolada que ele fez com o Google. Já demorou 50% a mais que o segundo colocado, né? Aqui foram 32,5 tokens por segundo, certo? Uma diferença de velocidade bem grande. E olha, enquanto conversávamos, o Minimax também terminou. O Minimax é o mais lento aqui: 16 minutos e 25 segundos, embora a velocidade dos tokens seja relativamente alta, certo? Tem um detalhe aqui: estamos executando isso para

31:27 certo? Pessoal, esses 12 minutos e 27 segundos aqui não incluem o problema que tivemos no começo, certo? Então, esta é a execução isolada que ele fez com o Google. Assim, ele já demorou 50% mais do que o segundo colocado, certo? Foram 32,5 tokens por segundo aqui, certo? Uma diferença de velocidade realmente bem grande. E olha, enquanto conversávamos, o MiniMax também terminou. O MiniMax é o mais lento aqui. Foram 16 minutos e 25 segundos, embora a velocidade dos tokens seja relativamente alta, certo? Há um detalhe aqui: estamos executando isso por

31:58 gratuito no OpenCode GO, certo? Então, essa lentidão aqui provavelmente não é na geração de tokens, certo? É porque as solicitações estão demorando mais, já que estão fazendo isso de graça. Obviamente, os servidores deles devem estar bem ocupados, certo? Então eu não me preocuparia tanto com essa lentidão. Estou prestando mais atenção aos tokens por segundo aqui. Isso também serve para você entender que, se não pagar em dinheiro, vai pagar com o seu tempo. Vamos dar uma olhada no design, porque estou curioso. Olha, na porta 3101 está o DeepSeek

32:29 , na porta 3102 está o MiniMax. Na 3103 está o Haiku, e na 3105 está o Gemini. Então vamos começar por aqui. Olha: 3101, que é o DeepSeek. Vou entrar numa página que não existe. Olha como ele fez, cara. Bem diferente do que o Gemini tinha feito, na verdade, naquele nosso vídeo. Embora tenha algumas coisas que não fazem muito sentido, né? Endereço solicitado, GET, certo? É porque é uma página 404, certo? Deixa eu inventar um curso aqui, qualquer curso. Pronto, ele tentou fazer um GET aqui, encontrou um 404, algo ficou desalinhado aqui, mas tem botões para a pessoa conhecer a trilha de engenharia de IA ou os cursos, e também tem botões aqui.

33:00 Encontrou um link quebrado? Avise pelo WhatsApp. Não faz muito sentido. Vamos ver aqui. Ah, no celular. OK. Legal, né? Gostei do layout. Ele colocou algumas coisas aqui que não fazem muito sentido. Esse aqui é o DeepSeek. Então, certo. Agora vamos para o 02, que é o MiniMax. Bem mais simples aqui. Esta página não existe. Erro 404. Os mesmos botões principal e secundário. Ele também colocou isso aqui neste canto, né? HTTP 404, endereço não encontrado. Para onde ir agora?

33:31 Aqui tem mais alguns botões, certo? Engraçado, ele colocou algumas coisas bem parecidas, né? O 3103 é o Haiku. E olha só, ele fez algo diferente, né? Colocou aqui, olha, um rodapé diferente de novo, o botão com a seta, as cores e assim por diante. E vamos para o Gemini. Aqui está o Gemini, usando o mesmo estilo que temos. Um endereço aleatório de curso. Ele também adicionou um link do WhatsApp e outros botões aqui. O Gemini fez algo com mais conteúdo, né? Eu diria que ficou mais denso.

34:02 Então, qual deles você achou melhor aqui? Engraçado como eles têm variações bem parecidas, né? Vou dizer que, sinceramente, gostei mais do Haiku, sabe? Uma página 404 não precisa ter um milhão de informações, né? Ah, acho que o do MiniMax foi o que menos gostei, né? Ele colocou um monte de botões aqui em outra faixa. Esse do DeepSeek, não gostei deste cartão lateral aqui. E o do Gemini, cara, parece uma página normal

34:34 e tem informação demais. Olha aqui a quantidade de texto. Duas colunas, seta, 40 aqui, 40 aqui, botão aqui, link aqui. Bem carregado, né? Sinceramente, acho que gostei. Para mim, o vencedor foi o Haiku, que também foi o mais rápido, certo? Olha só, né? Foi rápido e, para mim, o melhor. Maravilha, gente. Depois de muito tempo, o Opus terminou o relatório aqui. Então vamos ver o que ele achou. Olha, nas palavras do Opus 5. O Gemini 1.5 Pro criou a melhor página, com o DeepSeek V3 Flash 1017 oferecendo o melhor custo-benefício, certo? A página do DeepSeek é quase tão boa quanto a do Pro, mas custa um quinto do preço. Certo? Então todos receberam as mesmas tarefas e, basicamente, todos acertaram. Nenhum deles cometeu erros funcionais. Certo? A principal diferença está no design e na qualidade do código. Além disso, claro, se falarmos de preço e tempo. Em termos de preço, gente, de longe o mais caro foi o Pro, que custou 10

35:05 contra 21 do DeepSeek, zero do MiniMax, mas teria custado cerca de 30 centavos se comparássemos com o preço anunciado por eles. Ou seja, ainda mais caro que o DeepSeek. E o Haiku está simplesmente arrasando aqui: custa 3 centavos e também é muito mais rápido, né? Então, basicamente, o Haiku fez menos alterações, por isso terminou mais rápido. Ele optou por um design minimalista, mas o Opus o avaliou como inferior porque criou um cabeçalho e um rodapé personalizados. Então foi mais

35:36 inventivo aqui, sem seguir tão de perto o padrão, embora, para o meu gosto pessoal, o design tenha ficado melhor. Então ele considerou alta a qualidade do Gemini, do DeepSeek, do MiniMax e do Claude aqui. Então, a que conclusão podemos chegar? Em termos de funcionalidade, qualquer um deles teria dado conta. Se já tivéssemos um design, provavelmente o Haiku seria a melhor opção. Como demos liberdade criativa, o Gemini, que é o modelo maior e mais inteligente, fez mais, reutilizou mais coisas e adicionou mais estilo. Para o meu

36:08 gosto, como eu disse, não gostei. Achei a página carregada demais, com coisas demais, sabe? Gostei mais do minimalismo do Haiku, embora ele tenha cometido alguns erros, como usar esse azul no texto principal, que não faz parte do sistema de design. Então temos o DeepSeek aqui, que acho que foi, na verdade, minha segunda opção. Eu teria deixado o DeepSeek em segundo lugar. E não sei se gostei deste do Gemini, não por causa do layout, né? Ele usou tudo, certo? Adicionou outros links, só achei que ficou um pouco carregado. Eu

36:39 achei o DeepSeek e o Gemini relativamente parecidos, sabe? Estamos falando aqui de uma diferença de preço de cinco vezes, e o DeepSeek é até mais rápido, sabe? Então aqui está um teste para vocês. Não é científico, mas serve para termos uma ideia. Será que realmente precisamos desses modelos maiores no nosso trabalho do dia a dia? Será que eles trazem benefícios? Talvez, se tivéssemos apenas o DeepSeek, já fosse suficiente. E nem teríamos um limite de gastos se o usássemos via API, por um quinto do custo e com um TPS bem interessante. Mas

37:11 agora quero saber o que vocês acharam do nosso experimento, da discussão e qual desses modelos teriam escolhido. Contem aqui nos comentários. Já que estão nos comentários, cliquem no botão de curtir, porque isso ajuda muito o canal, gente. Compartilhem este vídeo com aquele amigo que gosta de programar com IA e está em dúvida sobre como escolher o melhor modelo. Tenho certeza de que este vídeo vai ser útil. Se estiverem no celular, não se esqueçam de curtir o vídeo por aqui também. Agradeço de verdade por terem ficado comigo até agora. Quero agradecer ao pessoal da Test Pride por patrocinar este vídeo. Não se esqueçam: se

37:41 quiserem aprender mais sobre engenharia de IA, confiram meu programa, meu treinamento especificamente sobre esse assunto, em que temos a trilha de engenharia de IA, com cursos de RAG Engineering, programação agêntica e fundamentos de engenharia de IA. Tenho certeza de que vocês também vão gostar. Deem uma olhada no programa; o link está tanto na descrição quanto no comentário fixado. Obrigado mais uma vez por terem ficado comigo até agora, e até a próxima. É.

38:13 Se quiserem aprender mais sobre engenharia de IA, confiram meu programa, meu treinamento especificamente sobre esse assunto, em que temos a trilha de engenheiro de IA, com cursos de RAG Engineering, programação agêntica e fundamentos de engenharia de IA. Tenho certeza de que vocês também vão gostar. Deem uma olhada no programa; o link está na descrição e no comentário fixado. Agradeço novamente por terem ficado comigo até aqui, e até a próxima. É isso.

Transcrição original

[00:00] And the cost per intelligence for AI models keeps on dropping. This time, the credit goes to the new DeepSeek V 3.1 Flash updates and the launch of the Gemini 1.5 Flash. Two fast, cheap, and small models that deliver intelligence that just a few months ago would have been considered state-of-the-art. I want to run a practical test to confirm if we can actually replace the more expensive models with these cheaper ones and answer the question: does the

[00:30] DeepSeek V 3.1 Flash have what it takes to be your daily driver? Folks, let’s start this video right off with the launch of the DeepSeek V 3.1 Flash version 1017, meaning it was just released on October 17th. And this version number is a bit misleading, because the DeepSeek team has a rather strange versioning system. They have the V 3.1 there, and then they do a new release. Instead of calling it V 3.2, they name it—I don’t know—they just put the date here, right? So, at first

[01:01] glance, you might imagine that because this new update isn’t even worth calling 3.2, it wouldn’t be that good. But you’d be mistaken to think that way . That’s because the DeepSeek release delivers a substantial improvement in reasoning, programming, agentic tasks, and visual benchmarks, right? So, beyond the benchmark gains, the model reduces execution time and also the response size, right? The response size

[01:32] directly influences the price, since most of the cost comes from output tokens, which are actually more expensive, right? So this allows users to complete tasks faster at a lower cost, while also advancing the cost-per-performance on the Pareto frontier. More on that shortly. Well, looking at the benchmark here, we have the new snapshot from 10/17 and the previous one. And you see, for example, look at the jump it has in the terminal

[02:02] bench 4.0, right? It goes from 31 to 42 . We’re talking about an increase here of more than a third, right? 35% increase just in this benchmark, surpassing, for example, the Claude 3.5 , without even being the Flash model, right? The large Claude 3.5 and leaving behind the GPT-4o, although without surpassing the Claude 3 Opus. I want to make a specific comparison with these two classes of models now. All right? On Deep SWE, it is outperforming everyone, right? Including Claude 3 Opus. Just a reminder that these

[02:32] versions here are the previous versions , okay? We are already on Sol 6.1 and we are already on Opus 5. So, if we look here even at the way the Deepsic team positions the model, it seems it didn’t come to compete, without a doubt , at the top, in the first category. It came to compete with the previous generation of models that were the top. This is very interesting, especially if we consider that the cost has dropped significantly. I wanted to reflect with

[03:04] you guys. Look at this, okay? The GPT 5.6 Sol was released on July 9, 2026. I’m recording this video on the 21st, so it’s been about three and a half months since GPT 5.6 Sol was released. Today, the Deepsic V 4.1 Flash basically outperforms GPT 5.6 Sol. If you use it for programming, the Terminal B and Deep SWE benchmarks, it has already been left behind. If we go here even to Artificial Analysis, and

[03:35] you put the GPT 5.6 in the comparison, you see that Deepsic would be behind the 5.6 Sol in Reasoning Max. But, as I’ve said a few times here on the channel, I don’t really like using Reasoning Max as a benchmark, because I think most of the time you won’t use it , so you’re not really extracting that intelligence. In 95%of cases, you will use a lower reasoning level. I always used GPT 5.6 Sol on X High. It was my favorite model until we had the updates , before Astra and until the 5.5 family

[04:07] of Claude arrived, okay? So I was very happy with the GPT 5.6 Sol X High. And look, if we put the 5.6 Sol X High in Artificial Analysis, we have the Deepsic V 4.1 ahead of it. That’s right , it’s better than the model that 3 and a half months ago was the state of the art and that perhaps a month and a half , two months ago, most programmers used in their daily lives. But we have it being much cheaper and also open source

[04:39] . If we look here at the cost per intelligence, we have the Deepsic at a cost of 26 cents, while the 5.6 Sol was at 1.18, right, on X High. In other words, we have it here about five times cheaper, right? The Deepsic is better or at least comparable, but it costs 20 %of the price, okay? So this is very interesting. And besides DeepSeek, we also had the Minimax M 3.1 Flash being released, and it basically enters the

[05:09] conversation right here with DeepSeek. So much so that the comparison the folks at Minimax made is mainly with them. So, in the BCH terminal, Minimax would be losing to DeepSeek V 4.1, and in Deep SWE, it is also losing. So, alright, Minimax enters the fight here. I’m mentioning the Minimax M 3.1 Flash because, at the moment I’m recording this video, you can use it for free over at OpenCode Go, okay? So, it’s not costing anything. You can

[05:40] subscribe here for $ 10 and basically use it unlimitedly. Of course, it won’t have the best TPS. Of course, we can’t guarantee for how long. It may be that by the time you’re watching this video, this might already be over, but the fact is that it’s a model so cheap to serve that you can get an infinite subsidy here, as is the case with the folks at OpenCode. So it will deliver performance similar to GPT , lower in most benchmarks, but it’s in the fight, right? If we come here to

[06:11] the benchmark again, look at the Minimax M 3.1 Flash right here. It’s tied with Haiku and also a little bit behind DeepSeek V4 Flash, right? But these are models, folks, that came here to compete in this class of flash models, meaning models that are typically smaller, have at most 500 billion parameters; you can serve them quite fast, but they are also compared to much larger models, like GLM 5.3 normal, GPT 5.6 Sol, and Qwen. Max and

[06:42] even relatively close to what would be Grok 4.7, which is a model considered to have maybe trillions of parameters; we don’t know, but it is certainly a model with over a trillion parameters. So, in fact, there was a greater supply of good and cheap models with these two releases, right? Minimax, for a limited time, even for free, delivers intelligence that just a few months ago would have been considered the best we have to offer as humanity. So that is very interesting. Which also leads us to talk about the Pareto frontier. And

[07:13] here is the main reflection I wanted to make with you in today’s video, okay? I’ll do practical tests right away. So stay with me until the end of this video. And if you’re watching and aren’t subscribed yet, go ahead and subscribe to the channel, it really helps us out. Leave a like, and also leave a comment saying what you’ve thought of these two models. But let’s get into it, folks. Why? Because in the DeepSeek announcement they say: “Look, we managed to advance the Pareto frontier, the cost-benefit frontier.” And for us to visualize this, let me go

[07:43] over to Artificial Analysis, because they have this chart that I really like . And you will notice it has the Pareto line here, right? What exactly would this Pareto line be? This line tells us which model delivers the best performance for its price range. A quick parenthesis here: what do they consider performance? Performance here is the intelligence index, which is an aggregate created by Artificial Analysis, okay? So, in this aggregate made by Artificial Analysis, there are many things that aren’t just programming, which ends up being what

[08:14] most people on this channel are concerned with, right? So, sure, there’s the coding benchmark, but there’s also the humanities exam, so there’s also something aimed at humanities, for other types of tasks that aren’t necessarily code, okay? So, keeping that in mind, know that what they are calling performance, score, or intelligence is this aggregate here. But on the Pareto line, we will have the models that deliver the best performance, according to Artificial Analysis, at that price range. So, for

[08:47] example, if we look at the GPT 6.1 Sol Max here, it has a score of 52 and a cost per task of 72. Which means that in its zone here, there’s no one who delivers as well for such a low price. For example, we have the Gemini 4 Argon here that delivers 52—well, it actually delivers 53, but at a cost three times higher and losing in all dimensions to the Opus 5.5 R. For example, look at this. The Opus costs

[09:19] 1.82 and has a score of 54. The Argon costs 1.99, so a little bit more expensive, and has a score of 53. So you pay a little bit more to get lower intelligence. It’s not worth it. The one on the Pareto line here is the Opus . So here you can keep track of the models that make sense, considering intelligence and price. Note, some things aren’t being said here, for instance, speed. So the GPT 6.1 Sol Max is very slow, right? The GPT Sol is a slow model, and in Max it’s even slower

[09:51] , okay? If we look here at this cluster of smaller models, right? We have here, look: the Haiku 5.5, the MiniMax M 3.1, the DeepSeek V 4.1 Flash, and the GLM 5.3 Flash. We clearly have the DeepSeek as superior in terms of intelligence, although it is more expensive here than the Haiku and MiniMax, okay? But the DeepSeek delivers some advantages, okay ? The first advantage it delivers is the fact that it’s open source. So compared to the Haiku, it already wins. That would leave the MiniMax M 3.1 Flash and the GLM 5.3 Flash as well.

[10:23] MiniMax, at the moment I’m recording this video, doesn’t have its weights open, so no one can replicate it. So much so that if you come here to OpenRouter, the MiniMax only has its free version being delivered by the MiniMax folks themselves, okay? So here we can’t really judge much yet. If we compare the DeepSeek V 4.1 Flash in this new update with the GLM 5.3, then yes, DeepSeek dominates the GLM 5.3. What do we mean by dominate here? It is smarter and cheaper. It wins in both dimensions. So, rationally, there

[10:54] wouldn’t be much reason for you to select the GLM 5.3 here instead of DeepSeek, okay? Oh, Rafael, but the Sol Medium dominates the DeepSeek, look. It is cheaper and has higher intelligence. Yes, in fact, it is on the Pareto frontier, right? The 6.1 model from ChatGPT. It is a very interesting model . I mentioned this, and actually, I’ll put it here for you to watch my GPT 6.1 review later. It’s such a cheap model that it made me rethink if the $ 200 plan was worth it. But what is the main point I want to make here, folks? The

[11:26] GPT 6.1 Sol is, indeed, a good model, but you will possibly use it within a subscription. And then, if we compare with subscriptions, we have the Claude models today that are much superior, right? Both the Sonnet and the Opus 5.5 , which in my view is the best model ever created, and I’ve already done the Opus 5.5 review, which I’ll leave here for you to watch too. So, where am I getting at with this? Look, clearly, if we come here to the intelligence index,

[11:56] we have three tiers, okay? We have a tier here for the best models, models that are truly state-of-the-art, the ones you can really notice. Oh, the benchmark says so, but is it visibly superior? Are you in doubt about that? Check any comment on my videos or even tweets I’ve made talking about the Opus 3.5, the amount of people agreeing it’s the best model there is. So, we have the benchmarks, we have everyone’s impressions. I think it’s hard for people not to agree that the Opus 3.5.

[12:29] It’s the top two, right? Best model we have nowadays, okay? So we clearly have these Claude models, the Sonnet 3.5 is also an excellent model, especially if you consider some benefits. We have it on a separate shelf, okay? I will disregard the Mistral Large here, which is something we can’t test and only appeared here on Artificial Analysis. If we took it out, we would have the three main models being from Anthropic, okay? And that’s with Haiku being the previous version, 3.0, and 3.5 is still coming. We then have an intermediate

[13:01] tier of models that, in my view, have become purposeless. I’m talking about GPT-4o, I’m talking about Gemini 1.5 Pro and I’m talking about Mistral Large too. Why? Because if you use them, you will find that they are slow, expensive models that won’t be superior in the aggregate, for example, to Opus. Of course, there will be tasks where they are superior, like Gemini 1.5 Pro, it’s good for text, for example, right? GPT- 4o proved to be very good for 3D

[13:31] modeling. I confess I haven’t tested Mistral Large, but I had tested the previous one before, which was also a good model, it didn’t beat the best ones, but it was a good model there. But what is the big issue? This platoon of models here, they are inferior and they don’t have a very interesting cost-benefit ratio. So, you will be paying a high price, relatively speaking; you will be paying relatively dearly for a model that isn’t the top tier, while you could pay more or less the same to have the best model, at least today, which is Opus 3.5, or have

[14:03] an even faster version of it, which is Sonnet 3.5. But you can get Opus and Sonnet in the Anthropic subscription today with an excellent limit, right? Including now with the API key that gives you a rebate if you have a Max plan subscription, for example, which I’ve already talked about—I’ll leave it here for you to watch later— and they are still fast. If you look at the TPS, the tokens per second of these models, they are delivering well. So this intermediate group has been somewhat dominated in intelligence,

[14:34] speed, and price by the models from Anthropic, in my view. But even though they are dominated, they are still superior, right, to this third platoon, which is the one here that starts from Grok 4.7 and the old generation of ChatGPT, right, the 5.6. I’m even excluding GPT-6, which was OpenAI’s main model for a week, right? So there’s Grok here, then there’s Mimo, which we can’t really use much, right? Then there’s Qwen, and DeepSeek, which just entered now. We have GLM 5.3, Kimi K3, Haiku, MiniMax M 3.1, GLM 5.3 Flash

[15:06] , and Gemini 3.8 Flash. The other models have already fallen further behind here, right? So folks, look, we have a first platoon of very good models, we have a third platoon of models that are interesting, fast, and cheap, and we have this middle platoon here that has become a bit purposeless. Got it? So, today I see a bimodal distribution, let’s put it that way. What do I mean by that? When you work with AI, you typically have two types of tasks. The task where you actually want to use the maximum intelligence,

[15:38] you want to use the best you have at your disposal, and you have the day-to-day, routine tasks, okay? And this third platoon has become so good, and the DeepSeek V 4.1 Flash 1017 has raised that bar even higher. It has become so good that you can do, let’s say, 80, 90%of the tasks you do in your daily life with it. The proof of this is that it is in many aspects superior to the GPT 5.6 Sol. If we look here at GPT 5.6 Sol on the XY axis, it is superior on Artificial Analysis, as we saw in other benchmarks. And just so

[16:09] you have an idea, I even pulled up the launch of GPT 5.6 here, and look at this: the GPT 5.6 Sol Max used to lead the Artificial Analysis coding agent index, right, the programming index. If we look here at the coding index, look at where GPT 5.6 Sol Max is now. Man, it’s in 1, 2, 3, 4, 5, 6, 7, 8, 9, it’s in tenth place here, right? And that’s not even counting several others here, right? Okay? This index here is a bit different because it also varies with harness, so you’ll see that it doesn’t have DeepSeek here, but it fell way

[16:40] behind, right? It’s behind several other combinations of models and harnesses. So, this model, which just a short while ago was one of the best we had, can be completely replaced by a DeepSeek, with the advantage that with DeepSeek you don’t even need a subscription, you can pay for it, right , via API normally. Or you could even have a subscription like OpenRouter’s, and you’ll have, man, a lot, a lot of limits to use it by paying $, okay? So, for $ 10, you can use, right, the model

[17:11] that basically two months ago was state-of-the-art, okay? And I know that maybe you watching me there are a bit tired; every moment there’s a new model , you have to keep up, what a pain. What I want to say to you here, perhaps even to the detriment of my channel, is that, man, you don’t even need to worry , because you can make this decision. I can pay to have the state-of-the-art. If you have the Claude subscription for $ and you don’t burn through it, you can possibly, today, with $ 100, $ 120, right, use AI in an unlimited, professional way, with the best that

[17:42] artificial intelligence offers us today , without needing anything else, okay? That’s it. No need to decide anything else, no need to think about anything else. Put it on Opus, put it on Sonnet, if it’s running out, if you want to do some slightly more advanced orchestration, put it on Riku if you want to implement it with API credits that you’ll get back as a rebate. There’s practically nothing left in the decision-making process for choosing a model that you need to worry about. Now , if you can’t invest that money, there’s also not much to think about; there’s no reason for you to go for intermediate models that you won’t be able to utilize. Basically, you’ll have

[18:13] infinite usage using a model like DeepSeek V3/R1 Flash, which is an excellent model, right? So, you go there spending $ 10, $ 20, which means we’re talking about between 10 to 5 times less than if you were to, right, take a leap there to use an Opus 3.5. On a Claude Pro subscription. You can’t do that, man. With $ 20, with $ 10, you either come here to Open Code GO and use it a lot, or add credit to a provider and basically use it in an unlimited way, without worrying. And if

[18:46] we come here to OpenRouter, okay? You will be able to see here as a provider, look, let’s select a provider like Cloudflare. Look at that, we’re talking about 10 cents for input, 60 cents for output, and delivering here, look, 70 tokens per second on Cloudflare. If we set it here to Fireworks, which is one I really like, look, 105, comparing it here with Minimax today delivering at 74. I forgot to mention the price here, right? Since Minimax is currently free, the price isn’t showing here, but at their launch, they mentioned it, right? At their launch, the price was here,

[19:16] look: 15 cents for input, 60 for output , and a cache of 0.015, alright? So it’s basically the same as DeepSeek V 4.1, right? On Cloudflare, for example, it’s even a little more expensive, right? And for comparison purposes, I also added GPT 5.6, which is what we’ve been using to compare. And look how bizarre the difference is, man! It was 4 per million for input. 20 per million for output, simply absurd. And we have here the Haiku 5.5, the model from Anthropic, also delivering a very interesting speed. This is the fastest

[19:47] of all, but here, of course, you’ll either be on a subscription or using API credits over at Anthropic. Alright? Now, it’s no use for your model to be fast if it gives you a result that isn’t correct. That is why, folks, I always hammer home the point that you need to give your agent the ability to self-validate. And that is also why our partner in today’s video is TestPrie. TestPrie is a CLI that allows you to generate end-to-end tests and incorporate them into your agent’s development workflow. Why is that cool?

[20:20] Because if you have a model that is less intelligent, and you’re sacrificing that intelligence for a lower price or higher speed, it’s more susceptible to making errors. So, if you give it a self-validation tool, where you’re able to generate that test and at the end of the task verify if that test is passing, then you’ve equalized the capability of a cheaper model compared to the expensive one. So , having the Test Sprite CLI installed, you can, for example, list all the

[20:51] tests in a given project, right? And then you can also, for example, get the status of a specific test. So let’s assume we want to check this one, the “ user can change name” test. So we go there, and we execute it. Test Sprite, test run. Pass the ID of that test and look, we now have an execution on the Test Sprite servers in the queue for us to compare. You give this to an agent, it keeps an eye on whether that test will pass. If the test passed, great, it returns to you after finishing. If

[21:24] the test didn’t pass, it keeps working, identifying what the problems were, so you have much greater security that when it finishes, what you asked for is not only implemented, but bug-free. I recommend you take a look at the Test Sprite CLI, and if you want to get to know it and test it for free, I’ll leave a link both in the description and in the pinned comment. Wonderful, everyone. For the rest of this video, I want to do a practical experiment with you. I want to validate my thesis that this intermediate group doesn’t make as

[21:54] much sense anymore, and that you either go to SOTA or you stay with a smaller, faster, and cheaper model. I’m going to conduct the following experiment. So, those who watched my Gemini 1.5 Pro review, if you haven’t watched it, I’ll link it here; check it out, especially if you have a Google AI plan subscription, okay? There, I did a test where I asked Gemini to change the 404 page, right? That was the 404 page for “Programa AI,” my AI engineering course . And I said: “Man, let’s improve this page here.” I talked to Gemini 1.5 Pro,

[22:26] gave it some instructions, made some adjustments, and in the end, for that entire simple programming session, it used 10%of my weekly limit using the Google AI Pro plan, which costs about R $ 100. So, we saw there that the result was okay, but it was slow, and in the end, I wouldn’t be able to use it in practice, I couldn’t use it in my day-to-day work, because if a small prompt, a small task like that, consumes 10%of my weekly limit, I would have at most one or two days of work and then wouldn’t be able to use it anymore. So my point here is the

[22:58] following, all right? Since most tasks are typically better-defined tasks, right? I’m not going to go around reinventing the wheel every day. For most tasks, I know where I want to get to and how I’m going to solve them. Maybe they aren’t very long tasks. And imagining that this is what most of us do for most of the day, let’s do an experiment by remaking this 404 page. A simple task, but one you might typically encounter in your work, okay? But I’m going to do this with four models. I want to do this with the new

[23:31] version of DeepSeek V3 4.1 Flash, I’ll add the MiniMax 01-1.5 Flash, Qwen 2.5, and I’ll throw Gemini 1.5 Pro into the mix. And to do this together, I’m going to do it in OpenRouter, okay guys? Because here I can run all these models at the same time, right? As I already told you about the OpenRouter subscription, at the time I’m recording this video, you have access here to DeepSeek V3 4.1 Flash, you have the MiniMax 01-1.5 Flash for free. We can use Qwen 2.5 here as well, or you can

[24:01] add it via API. And we also have Gemini 1.5 Pro available, okay? So it’s very interesting that we can use Gemini 1.5 Pro inside OpenRouter. Of course, you won’t be able to use it much, okay? If you come here to the limits, look, Gemini 1.5 Pro at the time I’m making this video is at two times usage, which means you can use the equivalent of $ 60 in API costs in your monthly OpenRouter subscription, okay? To compare, DeepSeek V3 4.1 Flash gives you $ 80, only of course, right? Look at the price difference, right? 60 cents off-peak, right? At peak usage

[24:34] over in China, $ 1.20 during peak hours . So we’re talking about a model that is 15 times cheaper and has an even higher limit. So you won’t be able to use much of Gemini 1.5 Pro on the GO plan, but for the purpose of our comparison here, it’s enough, okay? So I’m going to run these four tasks in parallel, using a feature in OpenCode 2.0 called Background Tasks. Actually, you were already able to dispatch background tasks in OpenCode, but now in the new update, they can handle much better orchestration. So, there are

[25:05] these background sub-agents here. I’ll run these four sub-agents in the background and set the cherry on top here, which is using Opus 3.5. To choose who the winner was. Between these four models, DeepSeek, MiniMax, Haiku, and Gemini 1.5 Pro, they will all try to solve the same task. They will work separately in a worktree. I will pass the result of each one to Opus 3.5 as an independent judge, so to speak. I hope it doesn’t select Haiku.

[25:38] And then we’ll check the final result in light of performance, but also price and speed, because that matters in your day-to-day. Wonderful, everyone. I’ve talked too much already. So the first thing I’ll do is set my model here to Opus 3.5, because I want it to be my judge. And then I’ll select it here from the Anthropic provider, which I’ve already connected via API. And then I’ll paste my prompt here. And wonderful. Let’s read the prompt while Opus gets to work. Use background agents to compare four models on the same programming task in the codebase.

[26:10] Then DeepSeek V3 4.1 Flash 1017 via OpenCode. MiniMax M 3.1 Flash also via OpenCode. Claude Haiku 3.5 here I’ll use via Anthropic to be faster, right? And also to use my API credits. Gemini 1.5 Pro Contributor also via OpenCode. Create an isolated worktree for each model, all starting from the same commit, and give them the same task: redesign the 404 page, right? Blah blah blah, the same thing we did in the video, right? Of Gemini 1.5 Pro. A simple task, okay? I have no pretense

[26:42] of saying that this is complex at all. What I want to do here is verify if, for a typical daily task, we can perceive any significant difference. So we’re going to have these four agents working in parallel, right? And then each of them will have a separate port that Opus 3.5 can use to verify as a judge, okay? It should even take screenshots, compare them, and return a table at the end. So this will certainly take a while. Let’s just check here to see when it dispatches the backgrounds and if it’s really going to do it properly. While Open

[27:14] Code works here, you can check all of this in the logs, see? Look at the logs here for Open Code. I can see all the requests being executed. And this cost here is zero. Why? Because I’m using the Anthropic provider. So, basically, I came here to my Open Code console, Connect Provider, selected it, and entered my API key. I got my API key, went to platform.cloud.com, went to the API section, generated one, put it into Open Code, and there it is, I can see

[27:44] the request log, executed 1 minute, 2 minutes, 3 minutes ago. So the cost is coming from here, not drawing from my Open Code, but we’ll see it draw from Open Code once it starts using the other models. So this is a cool feature of Open Code to keep track of which requests are being made. Hey guys, it stopped here because it has a question, saying it didn’t find the 1017, but I think it’s because in Open Code it just called it V 4.1 Flash, but I think that is the 1017, right? Because it didn’t put the full name here, like Orama

[28:16] Cloud, Fireworks, and DeepSeek did, okay? So I’ll try to keep using Open Code. It’s saying here that Minimax is free and that, anyway, the codebase is private, no problem, it can continue. So I selected it here. Let’s see if this will be enough for it to start the work here. Well, it’s contradicting me here. It said: “Man, I checked the Open Code documentation itself and that’s not it.” So, I don’t know if they haven’t updated it yet while I’m recording this video, or if it’s a documentation error. I think the documentation isn’t updated, but just to be safe, okay? I’m going to say this

[28:47] : Let’s use the 4.1 flash 1017 from Fireworks AI. Fireworks is a provider I really like, I have some credit there, so let’s use that. It shouldn’t change anything, guys! This won’t change the model’s capabilities. The most it will change is the TPS, the speed. Look at that, guys, how beautiful. Look at the Open Code V2 background agents running here. Look, DeepSeek V3 4.1 Flash 1017, MiniMax M 3.1 Flash Free, Claude 3.5 Sonnet, Gemini 1.5 Pro Contributor.

[29:20] Wonderful. We already have all the agents running here. Now we just wait for them to finish and see what Opus 3’s verdict will be. In the meantime, we can even investigate each of them. See, if we look here at DeepSeek, we can see exactly its thread, right? What it’s doing. Gemini 1.5 Pro, look, it’s failing to make the request here. That’s a problem over at OpenRouter; Haiku is working, MiniMax is working too. Let’s see if it keeps failing with Pro; we’ll have to switch providers, okay? Look at this, guys. I actually couldn’t run Pro via the contributor,

[29:52] okay? But I have the Google API connected here, so I already asked it to run the Google provider. And in the meantime, Haiku has already finished, okay? So Haiku was by far the fastest here. And it truly has the highest TPS, the highest tokens per second. So what we saw here on OpenRouter is paying off . Look at the speed difference, right? At least double, right? Compared to its competitors. We aren’t using GPT-4o here. Let me set up Pro here. Alright. Pro, poor thing, hasn’t even managed to run yet. But this TPS here, 22 tokens

[30:24] per second, it’s eight times faster than Gemini 1.5 Pro. So we were able to see that in practice. Look at how the speed difference impacts daily life too . Returning here, then, to our experiment. DeepSeek finished in second place. Let’s even click here to see what DeepSeek did. Nice, right? Look at this, guys. 116.9. Tokens per second again. Really quite cool, okay? It finished here in 8 minutes and 56 seconds, okay? Let me go back here so we can see Haiku. Look, it finished in 2 minutes and 52 seconds, 147.3 tokens

[30:56] per second. Man, really quite cool. It finished here three times faster than the second-place runner, right? Very, very good. Okay, while the others are running, since they take a little while , I asked Opus to start verifying the ones that have finished, right? So I even said, “Man, go ahead, run it in a background agent right there, okay?” And start validating so we don’t waste any time here. Pretty cool, right? How you can run these agents here. Gemini finished before Minimax, actually, look , it took 12 minutes and 27 seconds,

[31:27] okay? These 12 minutes and 27 seconds here, folks, do not count the issue we had at the beginning, okay? So this is the isolated run it had with Google. So it already took 50%longer than the runner-up, right? 32.5 tokens per second here, okay? Really quite a big difference in speed. And look, while we were talking, Minimax finished too. Minimax is the slowest one here. 16 minutes and 25 seconds, although the tokens are relatively fast, okay? There is a detail here: we are running it for

[31:58] free within OpenCode GO, okay? So, this slowness here is probably not from token generation, okay? But it’s because the requests are taking longer since they are doing this for free. Obviously, their servers must be quite busy, okay? So I wouldn’t worry so much about this slowness here. I am looking more closely at the tokens per second here. This is for you to also understand that if you don’t pay financially, you will pay with your time. Let’s look at the design, as I’m curious. Look, on port 3101 is DeepSeek

[32:29] , on port 3102 is Minimax. On 3103 is Haiku, on 3105 is Gemini. So let’s start here, look. 3101, which is DeepSeek. I’m going to enter a page that doesn’t exist. Look at how it did it, man. Very different from what Gemini had done, actually. In that video of ours. Although there are some things that don’t make much sense, right? Requested address, get, okay? It’s because it’s a 404 page, okay? Let me invent a course here, any course. Done, it tried to do a get here, found a 404, something misaligned here, but there are buttons so the person can

[33:00] learn about the AI engineer track or courses, and buttons here too. Found a broken link? Notify on WhatsApp. Doesn’t make much sense. Let’s see here . Eh, on mobile. OK. Cool, right? So, I liked the layout. It put some things here that don’t make much sense. This one here is DeepSeek. So, okay. Now let’s go to 02, which is Minimax. Well, much simpler here. This page does not exist. 404 error. The same primary and secondary buttons. It also put it here in this corner, right? HTTP 404, address not found. Where to go now?

[33:31] Here are some more buttons, okay? Funny , it put some very similar things, right? The 3103 is Haiku. And look at that, it did something different, right ? It put here, look, a different footer again, the button with the arrow, the colors, and so on. And let’s go to Gemini. Here’s Gemini, it’s using the same style we have. Some random course address. It also added a WhatsApp link, and it also added other buttons here. Gemini did something with more content, right? It did something denser, I would

[34:02] say. So, which one did you think was better here? Funny how they have a very similar variation, right? I’ll tell you that, honestly, I liked Haiku better, you know? A 404 page doesn’t need to have a million pieces of information, right? Uh, this one from Minimx I think was the one I liked least, right? It put a bunch of buttons here in another strip. This one from Deepseek, this side card here I didn’t like. Here from Gemini, man, it looks like a normal

[34:34] page, it has too much info. You take a look here, look at the amount of text it has. Two columns, arrow, 40 here, 40 here, button here, link here. Very cluttered, right? I honestly think I liked it. The winner for me was Haiku, which was also the fastest, okay? Look at that, right? It was fast and for me the best. Wonderful, guys. After a long time, Opus finished the report here. So let’s see what it thought. Look, in the words of Opus 5. Gemini 1.5 Pro made the best page with Deepseek V3 Flash

[35:05] 1017 being the best value, okay? Deepseek’s page is almost as good as Pro, but for 1/5 of the cost. Alright? So they all received the same tasks and they all basically got them right. So none of them made any functional errors . Alright? The main difference is in design and code quality. Plus, of course, if we talk about price and time . Price, guys, by far the most expensive was Pro, which cost. 10

[35:36] versus 21 for Deepseek, zero for Minimx , but it would have been about 30 cents if we had compared it to the price they announced. So even more expensive than Deepseek. And Haiku is simply crushing it here at 3 cents and also much faster , right? So, basically, Haiku made the fewest changes, which is why it finished faster. It went for a minimalist design, but Opus judged it as weaker because it created a custom header and footer. So it was more

[36:08] inventive here, not following the standard as closely, though for my personal taste, the design turned out better. So it considered the quality of Gemini, PSIC, Minimax, and Claude High here. So what could we conclude here? That in terms of functionality, any of them would have worked. If we already had a design, Haiku would probably be the best. Since we gave it creative freedom, Gemini, which is the larger, smarter model, did more, reused more, and added more style. To my personal

[36:39] taste, as I said, I didn’t like it. I thought the page was too crowded, too much stuff, you know? I liked Haiku’s minimalism more, although it did make some mistakes, like using this blue for the main text, which isn’t in the design system. So we have DeepSeek here , which I think was actually my second choice. I would have kept DeepSeek as the second option. And I don’t know if I liked this one from Gemini, not because of the layout, right? It used everything, okay? It added other links, I just thought it got a bit crowded. I

[37:11] thought DeepSeek and Gemini were relatively similar, you know? We are talking here about a fivefold price difference, and DeepSeek is even faster , you know? So here is a test for you, nothing scientific, but just so we can get an idea. Do we really need and benefit from these larger models in our day-to-day work? Maybe if we only had DeepSeek, that would already be enough. We don’t even have a spending limit if you’re using it via API at 1/5 of the cost and a very interesting TPS. But

[37:41] now I want to know what you thought of our experiment, what you thought of the discussion, and which of these models you would have chosen. Let me know here in the comments. While you’re down in the comments, hit the like button, as it really helps us out here on the channel, guys. Share this with that friend of yours who likes to code with AI and is in doubt about how to choose the best model. I’m sure this video will be useful. If you’re on your phone , don’t forget to like the video here too. I truly thank you for being with me until now. I’d like to thank the folks at Test Pride for partnering with me on this video. Don’t forget, if

[38:13] you want to learn more about AI engineering, check out my program, my training specifically on this subject, where we have the AI engineer track, featuring courses on RAG Engineering, agentic programming, and the fundamentals of AI engineering. I’m sure you’d like it too. Take a look at the program; the link is in both the description and the pinned comment. Thanks again for being with me until now, and see you next time. Yeah.