Desconto de 70%: testei 10 modelos de IA em uma única tarefa de programação — a diferença de preço é absurda

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: (70% OFF) I Tested 10 AI Models on ONE Coding Task — The Price Gap Is INSANE (One API, Real Costs) · Canal: Prompt Engineer 48 · 04:22 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Engenharia de software com IA, Mercados e economia, Modelos de IA

Resumo

O vídeo compara 10 modelos de IA em uma tarefa de programação: criar do zero um mecanismo de expressões regulares em Python, avaliado com 80 testes ocultos. Usando uma única chave e o mesmo formato de chamada, o apresentador compara acurácia, velocidade e custo por meio de Oxywhy. Sete modelos obtêm pontuação perfeita, mas os custos variam bastante; dois falham, e um não gera resultado por causa de erros e timeouts. O apresentador recomenda Haiku para tarefas pequenas e bem definidas, ressalvando que foi apenas uma execução por modelo.

Pontos-chave

A tarefa principal foi implementar um mecanismo de expressões regulares em Python sem usar o módulo re.
A avaliação tinha 80 testes ocultos, incluindo casos de desempenho para detectar explosão exponencial.
Sete dos 10 modelos alcançaram 80 de 80 pontos.
O custo da resposta perfeita variou de menos de meio centavo a 28 centavos, conforme os preços de tabela informados.
O script usa uma única chave e altera apenas o nome do modelo para testar opções diferentes.
DeepSeek V4 flash marcou 60 de 80; GLM 5.2 esgotou o espaço disponível antes de concluir o código.
Grok 4.7 passou pela tarefa fácil, mas teve timeouts na tarefa principal e não recebeu uma pontuação.
O apresentador sugere Haiku para tarefas pequenas e definidas, Sonnet quando se deseja mais margem e Opus para tarefas em que modelos mais baratos falhem.
Os resultados são limitados: cada modelo teve apenas uma tentativa, e uma tarefa mais difícil poderia alterar a comparação.

Capítulos

Início	Capítulo	Resumo
00:01	Comparação de custo e configuração dos testes	O apresentador introduz a diferença de preço entre modelos e explica o script, a chave única e a tarefa de expressões regulares.
01:06	Critérios de avaliação e demonstração ao vivo	São detalhados os 80 testes ocultos, o aquecimento com uma calculadora e os resultados de três modelos na API.
02:11	Resultados, custos e falhas dos modelos	A comparação completa mostra sete pontuações perfeitas e descreve as falhas de DeepSeek V4 flash, GLM 5.2 e Grok 4.7.
03:50	Custo real e recomendações	O apresentador informa o gasto total, observa variações entre execuções e recomenda modelos para tarefas pequenas, com ressalvas sobre o teste.

Citações

Uma custou menos de meio centavo; a outra, 28 centavos. — 00:01

Cada modelo tem uma tentativa. Sem dicas, sem segunda chance. — 01:39

Nesta tarefa, pagar mais não trouxe mais acurácia. — 02:44

Chamo isso de um problema de orçamento de tokens. — 03:18

Uma execução por modelo é apenas um relato, e uma tarefa mais difícil poderia separar esses modelos. — 04:22

Conceitos e entidades

Oxywhy (ferramenta): Serviço usado para acessar vários modelos com uma única chave e comparar custos e resultados.
Claude Haiku 5.5 (modelo): Modelo citado como o mais barato entre os que concluíram a tarefa com pontuação perfeita.
Claude Sonnet 5.5 (modelo): Modelo que obteve pontuação perfeita e terminou a tarefa em cerca de 35 segundos.
Opus 5 (modelo): Modelo que obteve pontuação perfeita, mas teve o maior custo citado, de 28 centavos.
Gemini 3.5 Flash (modelo): Modelo incluído na comparação, com pontuação perfeita no teste principal.
Gemini 3.7 Flash (modelo): Modelo que errou um teste do aquecimento e também aparece na comparação da tarefa principal.
GPT-5.6 Soul (modelo): Modelo que obteve 80 de 80 na demonstração ao vivo e cujo custo foi comparado aos de Haiku e Sonnet.
GPT-5.6 Terra (modelo): Modelo citado entre os que alcançaram pontuação perfeita, com custo entre quatro e seis centavos.
DeepSeek V4 Flash (modelo): Modelo que marcou 60 de 80 e falhou em vários casos de repetição e nos testes de desempenho.
GLM-5.2 (modelo): Modelo que esgotou o espaço disponível durante o raciocínio e não concluiu o bloco de código.
Grok 4.7 (modelo): Modelo que demorou cinco minutos no teste fácil e teve timeouts na tarefa principal.
Expressão regular (conceito): Padrão de texto que o programa testado precisava interpretar e executar.

Tradução completa (pt-BR)

00:01 Dois modelos de IA escreveram do zero um mecanismo de expressão regular funcional. Mesmo prompt, os mesmos 80 testes ocultos, a mesma pontuação perfeita. Um custou menos de meio centavo; o outro, 28 centavos. Isso é 66 vezes mais caro pela resposta exatamente igual. Já perdi a conta de quantas vezes escolhi um modelo por intuição e depois tive que lidar com uma chave diferente e uma conta diferente para cada um. Então, fui procurar uma única chave que desse acesso a todos, encontrei a OpenRouter e a usei para rodar 10 modelos na mesma tarefa de programação. Anotei quanto cada resposta realmente custou. Alguns passaram, outros falharam de formas que me surpreenderam. A OpenRouter me deu alguns créditos para rodar estes

00:33 testes, e é assim que ela se encaixa no meu workflow de verdade. Este é o runner que escrevi para esses testes. É um script curto em Python, e as únicas partes da OpenRouter são a URL base e a chave. Todo o resto é o formato normal de chat da OpenAI. Primeiro, ele consulta o endpoint de modelos para obter o catálogo. Na minha conta, são 198 modelos, cada um com seu preço por milhão de tokens. Assim, meu script consegue calcular quanto custa cada resposta com base na contagem de tokens da resposta. Depois disso, o loop é só uma lista de nomes de modelos para testar um modelo diferente. Mudo uma string: Claude, GPT, Gemini, DeepSeek, Grok. Mesma chamada, mesma chave, mesma conta. Para obter uma

01:06 chave, você se cadastra, cria chaves da OpenAI, dá um nome para ela e a copia, porque ela só aparece uma vez. Não vou mostrar a minha. Se quiser experimentar a OpenRouter, acesse openrouter.ai e se cadastre. O código promocional está na descrição. Minha conta está no plano Tier One. Isso significa 60 solicitações por minuto e até cinco ao mesmo tempo. Vou voltar a esse limite, porque atingi esse limite. A tarefa que escolhi: escrever um pequeno mecanismo de expressão regular em Python. Literais, ponto, asterisco, mais, ponto de interrogação, repetição contada, alternância, grupos e classes de caracteres, sem poder usar o módulo re do Python. Aqui vem a parte complicada. Padrões aninhados em uma string de 40 caracteres não podem causar crescimento exponencial. Escolhi

01:39 essa tarefa porque uma máquina consegue avaliá-la. São 80 testes ocultos: 58 comparados com o módulo re real do Python, 17 padrões inválidos que precisam gerar um erro e cinco testes de tempo. Primeiro, escrevi meu próprio mecanismo de referência, e ele marcou 80 de 80. Então, sei que o avaliador é justo. Cada modelo tem uma tentativa. Sem dicas, sem segunda chance. Antes disso, um aquecimento mais fácil: um parser de calculadora. Nove dos 10 modelos passaram em todos os testes. O Gemini 3.7 Flash errou um: um número escrito como .5. Então, uma tarefa fácil quase não diz nada, porque todos passam. Por isso, passei para o mecanismo de expressões regulares. Aqui está uma execução ao vivo com três dos modelos

02:11 contra a API real. O Sonnet responde em cerca de 30 segundos, o Haiku em cerca de 40, e o GPT 5.6 Soul leva 94. Os três marcam 80 de 80. Agora, olhe a coluna de custo. Meu script calcula o valor com base na contagem de tokens de cada resposta. O Haiku custa meio centavo, o Sonnet cerca de 5 centavos, e o Soul, 12 centavos. Mesma pontuação, contas bem diferentes. Aqui está a tabela completa da execução completa. Sete modelos tiveram pontuação perfeita. O mais barato é o Claude Haiku 5.5, a 4/10 de centavo; depois vêm Gemini 3.5 Flash, Sonnet 5.5, Gemini 3.7 Flash e GPT 5.6 Terra, todos entre 4 e 6 centavos. O Soul

02:44 custa 9 centavos, e o Opus 5 custa 28 centavos. A velocidade os separa de outra forma. Sonnet e Haiku terminaram em cerca de 35 segundos. O Gemini 3.5 Flash levou quase 3 minutos para dar uma resposta perfeita. Então, nesta tarefa, pagar mais não trouxe mais acertos. Às vezes, trouxe velocidade; às vezes, nada. Mas esta foi uma única tarefa, e uma muito mais difícil poderia mudar a ordem. Agora, os dois que falharam: o DeepSeek V4 Flash marcou 60 de 80. Veja quais testes ele errou. A maioria dos casos de repetição contada voltou errada, e ele nunca terminou os cinco testes de tempo. Custou menos de um centavo, então o preço parece ótimo até você ler a

03:18 saída. O GLM 5.2 marcou zero. Não estava exatamente errado. Ficou sem espaço: aproximadamente 28.000 dos seus 32.000 tokens foram usados pensando, e o bloco de código nunca foi fechado. Chamo isso de um problema de orçamento de tokens, e o limite que defini foi de apenas 32.000. E o Grok 4.7 passou na rodada fácil, mas levou 5 minutos. Na rodada de expressões regulares, atingiu o tempo limite duas vezes, e depois o provedor retornou um erro. Então, não há pontuação para ele, e não vou chutar. Agora, o dinheiro de verdade. Tudo o que mencionei é pelo preço de tabela. Minha conta tinha uma promoção de lançamento, então pago 40% do preço de tabela, e a página de atividades confirma o valor até o centavo. O projeto inteiro, com cada

03:50 teste, nova tentativa e execução que falhou, custou cerca de US$ 1 em 59 solicitações. Uma coisa estranha: a página de atividades lista minhas solicitações do Gemini 3.5 Flash como Gemini 3.7 Flash, com a tarifa mais barata; então, considere esses dois valores com cautela. E esses custos não são fixos. Rodei Sonnet, Haiku e Sol uma segunda vez. Sol usou cerca de um terço a mais de tokens e custou cerca de um terço a mais. Mesmo prompt, mesmo modelo. Então, o que eu usaria para tarefas pequenas e bem definidas como esta? Haiku, primeiro. Foi o mais barato entre os mais rápidos e acertou todos os testes. Passe para o Sonnet quando quiser mais margem, e deixe o Opus para tarefas em que modelos mais baratos realmente falham,

04:22 o que este teste não mostrou. Duas ressalvas: uma execução por modelo é apenas um caso isolado, e uma tarefa mais difícil poderia distinguir melhor esses modelos. Esse é o runner que vou continuar usando nesses testes. Uma chave, e eu mudo o nome do modelo. Conte nos comentários qual modelo você quer que eu teste em seguida.

Transcrição original

[00:01] Two AI models wrote a working regular expression engine from scratch. Same prompt, same 80 hidden tests, same perfect score. One cost under half a cent, the other cost 28 cents. That’s 66 times more for the exact same answer. I’ve lost count of how often I’ve picked a model on gut feeling then juggled a different key and a different bill for each one. So, I went looking for one key that reaches all of them, found Oxy why and used it to run 10 models on the same coding job. I wrote down what every answer really cost. Some passed, some failed in ways that surprised me. Oxy why gave me some credits to run these

[00:33] tests and here’s how it fits into my actual workflow. This is the runner I wrote for these tests. It’s a short Python script and the only Oxy why parts are the base URL and the key. Everything else is the normal OpenAI chat format. First, it asks the models endpoint for the catalog. On my account, that’s 198 models each with its price per million tokens. So, my script can work out what every answer costs from the token counts in the response. After that, the loop is just a list of model names to test a different model. I change one string Claude, GPT, Gemini, Deep Seek, Grok. Same call, same key, same bill. To get a

[01:06] key, you sign up OpenAI keys, name it and copy it because it’s only shown once. I won’t show mine. If you want to try Oxy why yourself, go to oxywhy.ai and sign up. The promo code is in the description. My account is on tier one. So, that’s 60 requests a minute and five at once. I’ll come back to that limit because I hit it. The job I picked, write a small regular expression engine in Python. Literals.star plus question mark counted repeat alternation, groups, and character classes and no Python re module allowed. Here’s the nasty part. Nested patterns on a 40 character string mustn’t blow up exponentially. I picked

[01:39] it because a machine can grade it. 80 hidden tests, 58 checked against Python’s real re module, 17 bad patterns that must raise an error, and five timing traps. I wrote my own reference engine first and it scores 80 out of 80. So, I know the grader is fair. Every model gets one try. No hints, no second chance. Before that, an easier warm up. A calculator parser. Nine of the 10 models got every test. Gemini 3.7 flash missed one, a number written as .5. So, an easy task tells you almost nothing because everything passes. That’s why I moved on to the regex engine. Here’s a live run with three of the models

[02:11] against the real API. Sonnet answers in about 30 seconds, Haiku in about 40, GPT 5.6 Soul takes 94. All three score 80 out of 80. Now, look at the cost column. My script works it out from the token counts in each response. Haiku is half a cent, Sonnet about 5 cents, Soul 12 cents. Same score, very different bill. Here’s the full table from the full run. Seven models got a perfect score. Cheapest is Claude Haiku 5.5 at 4/10 of a cent, then Gemini 3.5 flash, Sonnet 5.5, Gemini 3.7 flash, and GPT 5.6 Terra, all between 4 and 6 cents. Soul

[02:44] is 9 cents, and Opus 5 is 28 cents. Speed splits them differently. Sonnet and Haiku finished in about 35 seconds. Gemini 3.5 flash took almost 3 minutes for a perfect answer. So, on this task, paying more bought no extra correctness. Sometimes it bought speed, sometimes nothing. But, this was one task, and a much harder one might change the order. Now, the two that failed, DeepSeek V4 flash got 60 out of 80. Look at which ones it missed. Most of the counted repeats, those came back wrong, and it never finished the five timing traps. It cost under a cent, so the price looks great right up until you read the

[03:18] output. GLM 5.2 scored zero. It wasn’t wrong, exactly. It ran out of room, roughly 28,000 of its 32,000 tokens went on thinking, and the code block never closed. I call it a token budget problem, and I only capped it at 32,000. And Grok 4.7, on the easy round it passed, but it took 5 minutes. On the regex round it timed out twice, and then the provider returned an error, so there’s no score for it, and I won’t guess. Now, the real money. Everything I quoted is list price. My account had a launch promo, so I’m billed 40% of list, and the activity page confirms it down to the cent. The whole project, every

[03:50] test, retry, and failed run, billed about $1 across 59 requests. One oddity, the activity page lists my Gemini 3.5 flash requests under 3.7 flash at the cheaper rate, so treat that pair with care. And those costs aren’t fixed. I ran Sonnet, Haiku, and Sol a second time. Sol used about a third more tokens and cost about a third more. Same prompt, same model. So what would I use for small, well-defined jobs like this one? Haiku first. It was the cheapest among the fastest, and it got every test right. Move up to Sonnet when you want more headroom, and keep Opus for jobs where cheaper models actually fail,

[04:22] which this test didn’t show. Two caveats: one run per model is an anecdote, and a harder task could separate these models. That’s the runner I’ll keep using for these tests. One key, and I change a model name. Tell me in the comments which model you want me to run next.