Onde Haiku supera GPT, Luna e DeepSeek

Autoria: Cortes do Rafael Quintanilha · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Onde o Haiku supera GPT Luna e DeepSeek · Canal: Cortes do Rafael Quintanilha · 06:21 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Inferência e otimização de modelos, Modelos de IA

Resumo

O vídeo apresenta o Haiku 3.5 como um modelo barato e competitivo em benchmarks, inclusive em programação agentic, embora fique atrás do Sonnet na maioria das tarefas. Rafael ressalta que ele é mais adequado a tarefas de escopo bem definido e alto volume do que a trabalhos longos e complexos, e que o preço aumenta bastante acima de 100 mil tokens. Na comparação de preços via Open Router, o Haiku fica próximo do GPT-4o Mini, enquanto o custo relativo do DeepSeek V3 depende do uso de cached input e do provider escolhido. O vídeo também destaca a velocidade do Haiku via API e conclui que ele se junta ao grupo de modelos bons, baratos e rápidos.

Pontos-chave

O Haiku 3.5 supera modelos anteriores e concorrentes em todas as categorias de benchmark mencionadas, inclusive em programação agentic.
Apesar de ficar atrás do Sonnet na maioria das tarefas, o Haiku é apresentado como muito mais barato.
O preço aumenta significativamente quando a context window ultrapassa 100 mil tokens.
O Haiku é recomendado para tarefas de alto volume e escopo bem definido, não para tarefas muito longas ou complexas.
Em uma comparação via Open Router, Haiku e GPT-4o Mini têm preços semelhantes até 100 mil tokens; o custo do DeepSeek V3 varia conforme o provider e o cached input.
O vídeo afirma que o Haiku alcança 154 tokens por segundo via API, mais rápido que Luna na comparação apresentada.
A comparação também observa que DeepSeek pode atingir velocidade semelhante à do Haiku com outros providers.

Capítulos

Início	Capítulo	Resumo
00:00	Desempenho e custo do Haiku	O apresentador destaca os resultados do Haiku em benchmarks e seu preço muito inferior ao do Sonnet.
01:35	Para que tipo de tarefa usar Haiku	O Haiku é descrito como uma opção para tarefas de alto volume e escopo definido, não para trabalhos longos e complexos.
03:12	Comparação de preços entre modelos	O vídeo compara Haiku, GPT-4o Mini e DeepSeek V3 via Open Router e discute o efeito do cached input e dos providers.
04:47	Velocidade e latência via API	O apresentador compara a velocidade do Haiku com Luna e discute o acesso por API e assinatura.
05:50	Haiku entre modelos rápidos e baratos	A comparação com DeepSeek mostra que outros providers podem oferecer velocidade semelhante, colocando Haiku nesse grupo de modelos.

Citações

Ele supera os outros em todas as categorias. — 00:00

Haiku não é um modelo para tarefas muito longas. — 01:04

É um modelo para tarefas de alto volume e escopo bem definido. — 01:35

Haiku é cinco vezes mais rápido que Luna. — 04:47

Haiku entrou nesse grupo de modelos bons, baratos e rápidos. — 06:21

Conceitos e entidades

Haiku 3.5 (modelo): Modelo da Anthropic apresentado como econômico e adequado a tarefas rápidas e bem delimitadas.
Sonnet (modelo): Modelo usado como referência de desempenho e preço, descrito como superior ao Haiku na maioria das tarefas.
GPT-4o (modelo): Modelo citado entre as referências usadas na comparação de desempenho.
Gemini 1.5 Flash (modelo): Modelo citado entre as referências usadas na comparação de desempenho.
GPT-4o Mini (modelo): Modelo comparado ao Haiku e ao DeepSeek V3 em preço e velocidade.
DeepSeek V3 (modelo): Modelo descrito como uma opção geralmente barata e rápida, cuja comparação depende do provider.
Luna (modelo): Modelo usado pelo apresentador como referência de velocidade e latência.
Anthropic (empresa): Empresa associada ao Haiku e ao Sonnet.
OpenAI (empresa): Empresa associada ao GPT-4o Mini e à assinatura mencionada na comparação.
OpenRouter (ferramenta): Plataforma usada no vídeo para comparar modelos e providers.
Fireworks (empresa): Provider escolhido para o DeepSeek V3 na comparação por ser considerado estável pelo apresentador.
AWS (ferramenta): Plataforma mencionada na discussão sobre o acesso ao Haiku por API.
cached input (conceito): Entrada em cache, cujo custo reduzido pode influenciar o custo médio ponderado de uso.
tokens por segundo (conceito): Métrica de velocidade usada para comparar a geração de texto dos modelos.

Tradução completa (pt-BR)

00:00 Vamos começar analisando o desempenho do Haiku, porque isso realmente me surpreendeu. Pessoal, reparem que a comparação é feita com a versão anterior do Haiku, a 3.5, e também com GPT-4o e Gemini 1.5 Flash. E, basicamente, ele supera todos eles em todas as categorias, certo? Inclusive em programação com agents. Se usarmos a comparação do benchmark, ele é muito superior, certo? É verdade que ainda fica atrás do Sonnet na maioria das tarefas, mas, pessoal, ele é

00:32 20 vezes mais barato que o Sonnet. Ou seja, é um modelo que custa 5% do preço do Sonnet. Então, cara, com seu plano usando Sonnet e Haiku, provavelmente você vai conseguir usar o mês inteiro, certo? Isso me deixou bastante satisfeito e feliz com o que a Anthropic fez. E, olhando os preços, veja: temos leituras do cache e entrada a 10 centavos e 50 centavos, certo? Então, aqui, ele é 20 vezes mais barato nos dois casos. Agora, há um porém, certo? Se você passar de

01:04 100.000 tokens na context window, o preço aumenta bastante: ele quintuplica. Entendeu? Então, passa para US$ 2,50 para saída e 50 centavos para entrada. “Ah, Rafael, um truque da Anthropic.” “Eu sabia que tinha um porém.” Pessoal, Haiku não é um modelo para executar tarefas muito longas. Não é para você pegar uma tarefa supercomplexa e colocar Haiku para trabalhar nela. Não, na verdade, este é um modelo para executar tarefas em maior volume, como eles disseram, tarefas com escopo bem definido e para seus agents.

01:35 Então, não é para você fazer tarefas muito mais complexas com ele, certo? Esse não é o objetivo do modelo, e o preço dele está dizendo isso. Portanto, não use Haiku 3.5 como seu modelo principal para tarefas de programação e pense: “Ah, mas está ficando muito mais caro.” Esse não é o objetivo, embora ele talvez tenha um bom desempenho, certo? Afinal, também se sai bem em várias tarefas, principalmente quando o escopo é mais bem definido. Entendeu? Agora vamos dar uma olhada neste gráfico de benchmark usando Haiku 3.5. E aqui temos

02:07 o Sonnet, com a diferença de preço, certo? Primeiro, veja como a diferença de preço é interessante, não é? O gráfico está deslocado, certo? O gráfico foi empurrado para a esquerda, o que significa que está ficando mais barato, certo? E Haiku é este aqui em vermelho. Dá para ver que, em X alto, Haiku acaba ficando mais caro que o Sonnet, certo? Mas dá para ver que ele tem um desempenho parecido com o Sondium, não é? Então, a verdade aqui, pessoal, é que Haiku não é um modelo para você usar em programação, certo? Ele é um

02:40 modelo para você usar em outras coisas que veremos aqui. Certo? E o Sonnet também tem uma excelente relação custo-benefício. Isso também precisa ser dito, certo? Muito, muito legal. Bem, aqui eles estão falando de créditos de API, certo? Então, quem está no plano de $ vai receber $ em créditos de API. Quem está no plano de $ 200 vai receber $ 2 em créditos de API. E, se você estiver em um plano para equipes, poderá receber até $ 500, dependendo de quanto paga por pessoa, certo? Então, isso foi muito,

03:12 muito legal. Agora eu queria mostrar uma comparação aqui no Open Router entre Claude Haiku 3.5, GPT-4o Mini e também adicionei DeepSeek V3. Ele é um modelo geralmente considerado bom, barato e rápido, certo? Se compararmos esses três modelos, o que temos aqui? Certo? Primeiro, escolhi a Anthropic como provedor do Haiku, a OpenAI para o GPT-4o Mini e, para DeepSeek V3, usei a Fireworks, que é um provedor em que confio, mesmo que não seja necessariamente o mais barato, certo? Mas

03:44 não adianta escolher só pelo preço, porque, como é open source, você vai ver vários provedores oferecendo o modelo aqui. Alguns serão realmente mais baratos, certo? Mas não são tão confiáveis. Então, para ter uma comparação mais justa, escolhi um provedor bem estável, que é a Fireworks. E, se olharmos aqui, pessoal, vejam a diferença, certo? Haiku e Mini estão agora pelo mesmo preço, até 100.000 tokens, certo? E DeepSeek já está, veja, quase três vezes mais caro, certo? Mas a diferença é que, por causa da entrada em cache, que é absurdamente barata, no fim das contas, na média ponderada, ele acaba sendo ainda mais barato que as alternativas. E Haiku acaba ficando um pouquinho mais caro que Mini. Agora, repito, pessoal,

04:16 este não é o modelo para você fazer muitas iterações. Então, de fato, ele acaba ficando mais caro em termos de média ponderada, mas, na prática, isso talvez não aconteça com frequência, porque normalmente você vai usá-lo em tarefas nas quais o cache importa menos, principalmente porque o preço aumenta depois de certo ponto, certo? Agora, pessoal, uma coisa para a qual eu queria chamar a atenção de vocês

04:47 é isto aqui: o TPS, a velocidade, certo? Por quê? Se você usar Haiku pela API na plataforma de nuvem, vai conseguir usá-lo a 154 tokens por segundo no momento. Em comparação, Luna está atualmente a 28 tokens por segundo. Estamos falando de cinco vezes mais lento, certo? Haiku é cinco vezes mais rápido que Luna. E vejam a latência: seis vezes, ou cinco vezes melhor latência, certo? É mais rápido

05:17 em velocidade e também tem menor latência. Ah, Rafael, mas não é justo comparar a assinatura da OpenAI com Haiku na AWS. Sim, é justo. Por quê? Porque não acho que você necessariamente deva usar Haiku na sua assinatura. Talvez, se você estiver naquele plano de dólar, tudo bem. Mas, se estiver usando pela API — e agora quem está no plano Max terá pelo menos alguns dólares para gastar por mês —, vai conseguir usar Haiku pela API bastante, bastante, com um TPS de 154 tokens por segundo.

05:50 Isso é excelente. No GPT, claro, você pode se conectar com sua conta da OpenAI, certo? Também não vai pagar nada a mais, mas vejam a diferença de velocidade, pessoal: é enorme, certo? E, em comparação, DeepSeek V3 4.1 Flash na Fireworks, cara, está a 50 tokens por segundo, certo? É verdade que há outros provedores de DeepSeek aqui que oferecem uma velocidade bem maior, certo? A própria DeepSeek, certo? Ela oferece aqui, vejam, 147 tokens por segundo e uma latência muito boa. Então, na verdade, se fizermos esta comparação, temos DeepSeek e Haiku com velocidades parecidas e

06:21 preços parecidos. Então, Haiku entrou para esse pequeno grupo de modelos bons, baratos e rápidos.

Transcrição original

[00:00] Let’s start by looking at Haiku’s performance, because this really surprised me. Folks, notice that the comparison they make is against the previous version of Haiku, the 3.5, and also against GPT-4o and Gemini 1.5 Flash. And basically, it beats them in every single category, okay? Including agentic coding. If we use the benchmark comparison, it’s far superior, alright? It’s true that it still lags behind Sonnet in most tasks, but folks, it’s

[00:32] 20 times cheaper than Sonnet. So, it’s a model that costs 5%of the price of Sonnet. So, man, your plan using Sonnet and Haiku, you’ll probably be able to use it all month long, alright? So, this left me quite satisfied and happy with what Anthropic has done. And looking at the pricing, look, we have cache reads and input at 10 cents and 50 cents, okay? So here, it’s 20 times cheaper in both cases. Now, there is a catch, okay? If you go

[01:04] over 100,000 tokens in the window, then the price increases significantly, it quintuples. Got it? So it goes to $ 2.50 for output and 50 cents for input. “Oh, Rafael, an Anthropic trick.”“I knew there was a catch to this.” Guys, Haiku is not a model for you to run very long tasks. It’s not meant for you to take a super complex task and put Haiku to work on it. No, actually, this is a model for you to execute higher-volume tasks, as they said, tasks with a well-defined scope and for

[01:35] your agents. So it’s not meant for you to really be doing much more complex tasks, okay? That’s not the point of the model, and its price is telling you that. So, don’t make Haiku 3.5 your main model for coding tasks and think: “Oh, but it’s getting much more expensive.” That is not the goal, although it might possibly perform well , right? Since it also performs well on various tasks, especially when the scope is better defined. Got it? Now let’s take a look at this benchmark chart using Haiku 3.5. And here we have

[02:07] Sonnet with the price difference, right ? First, look at how the price difference is interesting, isn’t it? The graph is shifted, right? The graph is pushed to the left, meaning it’s getting cheaper, right? And Haiku is this red one here. You see that Haiku at high X ends up being more expensive than Sonnet, right? But you see it has a performance similar to Sondium, doesn’t it? So the truth here, guys, is that Haiku is not a model for you to be using for programming, okay? It is a

[02:40] model for you to use for other things that we will see here. Alright? And Sonnet really has an excellent cost-benefit here as well. That also needs to be said, right? Really, really cool. Well, here they are talking about API credits, right? So, those who are on the $ plan will receive $ in the API . Those who are on the $ 200 plan will receive $ 2 in the API. And if you are on a team, you can receive up to $ 500, depending on how much you pay per person, okay? So this was really,

[03:12] really cool. Now I wanted to show a comparison here on Open Router between Claude Haiku 3.5, GPT-4o Mini, and I also added DeepSeek V3. Which is a model typically considered a good, cheap, and fast model, okay? If we compare these three models, what do we have here? Okay? First, I set the provider for Haiku as Anthropic, for GPT-4o Mini as OpenAI, and for DeepSeek V3 I used Fireworks, which is a provider I trust, even if it isn’t necessarily the cheapest, okay? But

[03:44] it’s no use just picking by price, because since it’s open source, you will see several providers offering it here. Some will be cheaper indeed, okay ? But they aren’t as reliable. So, to have a fairer comparison, I chose a provider that is very stable, which is Fireworks. And if we look here, guys, look at the difference, okay? Haiku and Mini are now at the same price, up to 100,000 tokens, right? And DeepSeek is already, look, almost three times more expensive, okay? But the difference is that because of the cached input which is absurdly cheap, it ends up, in the

[04:16] end, in the weighted average, being even cheaper than the alternatives. And Haiku ends up being a little bit more expensive than Mini. Now I repeat, guys , this is not the model for you to be doing many iterations. So, in fact, it will end up being more expensive in terms of weighted average, but in practice, that might not happen often because you’ll typically use it for tasks where caching matters less, especially since the price increases after a while, okay? Now, folks, one thing I wanted to draw your attention

[04:47] to is right here, the TPS, the speed, right? Why? If you use Haiku through the API on the cloud platform, you’ll be able to use it at 154 tokens per second at the moment. By comparison, Luna is currently at 28 tokens per second. We’re talking about five times slower, okay? Haiku is five times faster than Luna. And look at the latency, six times, or five times better latency, right? It’s faster in

[05:17] speed and faster in latency too. Oh, Rafael, but it’s not fair to compare OpenAI’s subscription with Haiku on AWS . Yes, it is fair. Why? Because I don’t think you necessarily should use Haiku on your subscription. Maybe if you’re on that dollar plan, fine. But if you’re using it via API, and now those of you on the Max plan will have at least some dollars to spend per month, you’ll be able to have very, very generous usage of Haiku via API, man, with a TPS of 154 tokens per second.

[05:50] That is excellent. Over at GPT, sure, you can connect with your OpenAI account, okay? You won’t pay anything extra either, but look at the speed difference, folks, it’s huge, okay? And by comparison, DeepSeek V3 4.1 Flash over at Fireworks, man, it’s at 50 tokens per second, okay? Now, it is true that there are other providers here for DeepSeek that deliver much faster, right? DeepSeek itself, right? It will deliver here, look, 147 tokens per second and very good latency. So, in fact, if we’re going to make this comparison here, we have DeepSeek and Haiku at similar speeds and similar

[06:21] prices. So Haiku has joined this little group of good, cheap, and fast models.