As maiores diferenças entre Haiku 5.5 e GPT 6 Luna

Author: Cortes do Rafael Quintanilha · Watch on YouTube

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: As maiores diferenças entre Haiku 5.5 e GPT 6 Luna · Channel: Cortes do Rafael Quintanilha · 11:49 · Watch on YouTube

Topics: AI agents, AI evaluation and benchmarks, Model inference and optimization, AI models

Summary

A conversa compara Haiku 5.5 e GPT-6 Luna em custo, velocidade e desempenho em benchmarks e em um workflow de atendimento ao consumidor. Em um teste próprio, o Luna foi mais barato e atingiu 100% de assertividade, enquanto o Haiku 5.5 chegou a 97%, embora tenha seguido as etapas do workflow. Os participantes destacam que benchmarks externos não substituem testes no sistema de cada pessoa e apontam a velocidade, os níveis de reasoning e o desempenho em computer use como pontos fortes do Haiku 5.5. Ao final, comentam a posição da Anthropic nos benchmarks e a percepção de que a empresa vinha guardando modelos mais competitivos.

Key points

No teste de atendimento ao consumidor relatado, GPT-6 Luna foi mais barato e teve 100% de assertividade; Haiku 5.5 teve 97%.
A diferença de assertividade foi considerada próxima de um empate técnico, mas o custo pesou na comparação.
Os participantes recomendam executar benchmarks próprios, além de considerar resultados externos.
Haiku 5.5 é apresentado como um modelo mais competitivo em preço e inteligência do que as versões anteriores da linha Haiku.
Velocidade e visão são destacadas como qualidades úteis para tarefas de computer use, que envolvem várias etapas e análise de screenshots.
Haiku 5.5 oferece níveis de reasoning mínimo, médio, alto e máximo, o que pode ser útil em workflows com subagents.
A conversa cita resultados de benchmarks em que Haiku 5.5 aparece competitivo com modelos maiores e outros modelos rápidos e baratos.
Os participantes avaliam que a Anthropic passou a competir com mais força em eficiência, velocidade e desempenho.

Chapters

Start	Chapter	Summary
00:00	Teste de atendimento e comparação inicial	Os participantes relatam um teste próprio no qual GPT-6 Luna foi mais barato e mais assertivo que Haiku 5.5.
03:05	Proposta e pontos fortes de Haiku 5.5	A conversa apresenta a proposta do modelo e destaca sua competitividade, o desempenho em computer use e os níveis de reasoning.
05:38	Preço, velocidade e benchmarks	Os participantes comparam custos e discutem a velocidade de Haiku 5.5 e seus resultados frente a outros modelos.
08:12	Desempenho da Anthropic e modelos concorrentes	A conversa aborda a posição dos modelos da Anthropic em benchmarks e compara seu desempenho ao de concorrentes.
10:17	Histórico da Anthropic no mercado	Os participantes refletem sobre a evolução da Anthropic e a chegada de modelos que, na visão deles, estavam sendo guardados.

Quotes

É importante rodar os próprios benchmarks, e não confiar só nos benchmarks externos. — 01:31

Para computer use, você precisa de um modelo rápido e com boa visão. — 04:37

Agora ele tem níveis mínimo, médio, alto e máximo de reasoning. — 05:07

Esses caras estavam guardando ouro, não tem lógica. — 11:49

Concepts and entities

Haiku 5.5, GPT-6 Luna, Anthropic, OpenAI, Fominha Delivery, LLM as a judge, decision model, Computer Use, Cursor benchmark 4.0, Vini

Full transcript (original language)

00:00 Esse é um corte do podcast limite semanal que acontece toda segunda-feira às 7:00 da noite comigo e com o Vini lá da AI Coders. Se você quer ficar por dentro de tudo que acontece de relevante no mundo da IA, considere-se inscrever no canal através do link que está tanto na descrição quanto no comentário fixado. >> Enfim, por que que eu perguntei Rafa? Porque eu fiz um bench num sistema de agentes meu hoje e me surpreendeu que o Luna ainda tá melhor que o Haiku, você bota fé? >> É mesmo? >> Assim.

00:30 >> Em que sistema? No aquele eu vou >> É, inteligência, acurácia ou velo ou >> Então, que que é qual que é o sistema, né? Eu fiz uma validação num sisteminha de serviço atendimento ao consumidor para uma para uma tipo iFood, sabe? Eu chamei de Fominha Delivery. E daí eu botei alguns e-vals para rodar junto com LLM as a judge, com decision models as a judge e o próprio e-val do D17 que eu queria que eu configurei ele dentro. E daí nos resultados, o Haiku, ele ficou mais caro, quase o dobro que o Luna para

01:00 fazer as mesmas tarefas e o Luna ficou mais barato e o Luna foi o único que teve 100% de assertividade. O Haiku ficou em 97%. Não que ele não cumpriu as tarefas, ele ele respeitou todas as etapas, então não teve problema de tool call, mas o resultado de respeitar, por exemplo, ah, quando a pessoa é tiver pistola, mandar uma coisa com empatia e tudo mais, ele travou ali, então na parte do LLM as a judge, ele não passou em todos os testes. E aí eu fiquei muito curioso porque na maioria dos benchmarks

01:31 o Haiku, ele tá melhor do que o Luna 6, mas ainda assim para workflows agênticos, é aí que tá a importância do cara rodar os próprios benchs dele, de não só confiar no benchmark externo, mas rodar no próprio sistema dele ali, como que tá cada modelo. Ainda assim um baita modelo, tá? Ainda assim a Anthropic mandou bem nesse aspecto. >> É, eu acho que assim também a gente tem que tomar um pouco de cuidado porque pô, um as vezes acerta 100, outro acerta 97%. é, a gente pode quase chamar um empate técnico, né? A gente pode quase dizer que é um empate técnico ali.

02:01 >> A A diferença ficou no preço, tá, Rafa? >> É, exato. Isso que eu queria dizer. Porque eu acho que o Haiku ele vai >> É, até 100.000 tokens ali, ele custa um valor, né? E daí depois de 100.000 tokens ele custa outro. Mas para o workflow a gente, o cara, assim, atendimento, tal, isso não muda muita coisa, porque é muito difícil você gastar mais 100.000 tokens ali. >> Mas ainda assim, ele consumiu mais tokens nas etapas com o mesmo nível de reasoning do que o Luna 6. E me surpreendeu. Eu falei: “Caraca, não imaginava que ele ele seria mais caro ali”. Mas não foi tão mais caro, tá? Obviamente,

02:33 não foi tão mais caro, não deu era 7 ali. Mas botando em produção para 100.000 usuários, aí a gente teria uma uma diferença mais perceptível. >> Boa. É >> Pergunta do meu fã aí, ó. >> Aí como a Lu Genial matou o Haiku. >> Você acha que matou, Rafa? >> Aí se já esteve vivo, eu não sei. É. >> Pense de acordo. Mas diga lá. >> Eu tô vendo que você tá compartilhando a tela aqui. >> É, o que eu quero fazer é o seguinte, eu queria, vamos fazer o seguinte, vamos passar aqui, né, para quem não viu ainda o lançamento, né, vamos passar, é, os

03:05 principais é, os highlights aqui, digamos, do do Haiku. E aí nós, é, nós vemos aqui como que ele tá posicionado, né, nos benchmarks para a gente ver que, né, qual que é a proposta dele. É sempre importante a gente entender o modelo frente, né, à sua proposta, tá? Então, Vini, é, o que que o Haiku teve de interessante, né? Primeiro, claro, o preço, né? Ele veio muito mais barato do que o Haiku original, né? E também veio com uma inteligência que talvez muita gente não esperava, né?

03:35 Ele veio com o Haiku original, ele servia para, assim, tarefinha boba, né? E qualquer coisa além de tarefinha boba, e olhe lá. E olhe lá, exatamente. Então, era um modelo basicamente inútil, a verdade é essa. >> Aham. É. >> E ele veio para ba- bater ali o Luna, né? E, né, superar ou não, mas no mínimo, no mínimo para ser um modelo do nível do Luna, que é um modelo que o pessoal gosta muito, né? >> Exatamente. >> ó, o Premium Dupla falando aqui no chat, ó. “Gosto do Luna, mas o Grok bota Grok

04:06 Grok bot roda um agente melhor que eu conseguia fazer com o Luna no M”. Então, assim, eh, o Luna briga aí, briga com com com com esses modelos mais baratos e e rápidos, né? Eh, beleza, então, o Luna veio mais, eh, mais barato, o que é sempre legal, e veio com essa inteligência muito interessante, que nos benchmarks ele tá sempre acima do Luna, né? Ele ficou bem acima do Luna aqui, consideravelmente, inclusive, né? >> use chamou muita atenção, inclusive, tá? >> Sim, sim, excelente, né?

04:37 Excelente para você usar no computer use, que é uma tarefa que normalmente fica mais cara, porque o computer use é o quê? É o modelo tirando várias screenshots e iterando em cima daquelas screenshots, né? Então, ali, o que que você precisa? Não um modelo muito inteligente, precisa de um modelo que seja rápido, porque ele vai ter que fazer vários steps, >> Uhum. >> e que tenha um bom vision, né? Porque ele precisa, eh, analisar as imagens. Então, o o o Haiku, de fato, veio bem aqui. E, eh, então, veio, né, para para para

05:07 com competir com o Luna. E aí, eu quero colocar aqui ele na tela, né? >> legal, Rafa, que é o primeiro modelo Haiku que vem com nível de reasoning, né? Ele antes não tinha outros níveis, era só o padrão. Agora ele tem aquela ideia de trabalhar com nível mínimo, eh, médio, eh, alto e máximo. Isso é muito interessante pensando em workflows de subagentes ali, de agentes também, que você trabalhar com isso. >> Perfeito. Eh, e aí, então, se a gente for comparar aqui os dois, comparar o Haiku com o Luna, né, a gente tem aqui,

05:38 eh, eles são o mesmo preço, né? Eh, a até 100k tokens no contexto, eles são o mesmo preço, só que por conta aqui dessa diferença, né, Acaba que se você for até olhar aqui no no Open Router, no custo é ponderado, ele acaba ficando justamente o dobro do preço, que é o que a gente meio que tem observado, né? Foi o que você observou, né? É, e o que o que realmente tá sendo bem comum. Agora olha isso aqui, Vini. Olha a velocidade da resposta aqui, né, cara? >> Assim, ó, isso aí foi um um acerto muito

06:09 massa da da Anthropic, porque Rafa, vamos vamos olhar qual o mercado que a Anthropic brigava até antes do Haiku 5.5. Ela não brigava, ela dominava o mercado de eficiência. Os modelos mais eficientes eram os dela. É, só que não era barato, nem custo-benefício. Eram os mais eram os mais eficientes. Aí veio o Opus 5.5, a galera falou: “Opa, isso aqui tá bom, tá rendendo assinatura”. Aí veio o Sonnet 5.5. No lançamento do Haiku 5.5, caiu ainda 20% o valor do Sonnet 5.5. Então, opa, melhorou bastante. Aí o Haiku 5.5,

06:40 ele vem para brigar com aquela galera de GLM 5.3 Flash, DeepSeek V4.1 Flash, GPT-6 Luna. Então, essa essa galera de esses modelos, que eram modelos que eram bons e baratos, não eram os top de fronteira, mas que a galera usava ali o o modelo mais forte orquestrando eles. Então, ele entra numa briga interessante, só que ele vem superando e batendo de frente com modelos grandes também. Até o próprio, se você observar lá no no Artificial

07:10 Analysis, ele tá quase ele tá perdendo por um ponto só do Kimika 3. No índice de inteligência artificial, então é bizarro que o Kimika 3, que até outro dia era um modelo sinistro, agora, pelo menos no índice de inteligência geral ali, o Haiku tá alcançando ele, né? Então, ele tá na frente do Gemini 1.5 Flash, que é um modelo que muita gente gosta, e no frente do GLM. Cara, ele tá na frente de vários queridinhos aqui, né? >> E se você puxar os benchmarks de Exato. E se puxar puxar nos Gemini nos

07:41 benchmarks de programação, igual o cursor benchmark 4.0, você vai ver que ele não é aquele modelo bom e barato que tem que fazer muitos passos para executar as tarefas. Não, na verdade, ele está mais ou menos ali metade das tarefas que o que o Gemini 3.8 Flash precisa. Então, ele ainda assim é um modelo eficiente com na questão de quantos passos ele precisa fazer. Isso é uma parada muito legal dele aí, ó, no no max dele ali, ó, ele fez 163. O cadê o Gemini 3.8 Flash?

08:12 >> Cara, o Gemini nem sai na foto. Nem sai na foto. Cadê o Gemini? Ó. >> Bota no high aí, ó. Bota no high. Aí, ó. Olha que bizarro. >> Bizarro. >> Bizarro. Então, assim, a gente vê que ele veio otimizado também. E rápido. Acho que a parte mais legal é isso. Modelo rápido, que era um ponto fraco da Anthropic. A Anthropic não tinha modelos rápidos, eh, que na verdade a OpenAI ajudou bastante no último lançamento, que os modelos da OpenAI eram mais rápidos. Ficaram mais lentos. Eh, aí a promessa do tipo, ah, vamos dobrar a

08:43 velocidade. Pô, mas vai chegar a 50 tokens por segundo. Não é grandes coisas, né? Como se isso não tivesse no mercado. Então, >> E não dobraram. Não conseguiram dobrar. >> Não conseguiram. Cara, eu não sei o que que aconteceu, Rafa. Eu acho que aí é uma questão de foco. Eu até postei no X outro dia, o pessoal veio, eh, falar um algumas algumas questões da Anthropic. Eu falei, poxa, em questão de ecossistema de produto, OpenAI e SpaceX AI estão puxando mais o mercado. Mas o pessoal falou, pô, mas a Anthropic tá focando em modelo. E se for olhar bem agora, pô, os não tem como, de fato, os modelos da Anthropic agora, do jeito que

09:15 a gente tem, eh, cara, >> Ó, não, sinceramente, Vini, olha isso aqui. Olha olha esse top. Quando ó, qual que é o primeiro modelo que não é da Anthropic no top do cursor? >> Exatamente, cara. >> O primeiro modelo é o 14º que é o Grok. Vamos tirar o Grok aqui >> Isso que o Raiko 5.5 passa, né? >> Cara, é, vamos tirar até o Grok aqui porque é por questões de >> É. >> Que ele, que é o benchmark dele, tirar o Grok. >> É obrigação dele, né? >> Cara, o primeiro modelo, cara, olha isso, o primeiro modelo é o GPT 5.6.

09:47 >> Não tem o GLM 5.3 ali, ó. >> GLM, cara, cadê o Astra aqui? Eles não botaram, não botaram, ah, o Astra não botaram, porque não entra mais, tá, beleza. >> do Elon Musk, isso é outra parada bizarra, mas enfim. >> Não entra, mas beleza, vamos, vamos voltar aqui então pro, vamos pro Artificial Intelligence, ó. >> Boa. >> A gente teve o lançamento do, a gente já vai falar do Muse Wander. >> Estou até vendo aqui o o, opa, esqueci de botar a tela, pera aí. >> Vamos falar dele, o Muse Wander. >> Yuri e o Winchester estão falando aqui, né, que a gente vai falar do modelo. Já vamos falar do modelo. Mas, é, antes da gente entrar ali, Vini,

10:17 é, antes de, sei lá, há duas horas atrás, não existia o Muse Wander, que, entre parênteses, assim como o Argon, não está disponível pra gente testar nesse máximo de, quer dizer, o Muse Wander, acho que ele até tá disponível, mas, é, talvez não nesse máximo de, é, no, é, ou não nesse máximo de >> Dois modelos, Muse Wander e Muse Wonderful. O full não tá disponível. >> Wander Truck, né? >> Isso. >> É, mas assim, vamos esquecer então, já que esse aqui não tá disponível. Cara, o top três

10:47 é da Anthropic, é impressionante. >> É impressionante. E assim, mas não é tão impressionante, Rafa, vamos fazer um retrospecto? Em, em algum momento a Anthropic já teve pra trás? >> É, ela teve, eu acho. >> Tipo assim, existiu um momento que o Opus 5 tava uma bosta, mas o Fable 5.1 tava dominando. Tipo assim, não, eu não lembro de um momento que eu, que a gente falava assim, “Não, nem olha pra Anthropic”. Eu lembro de um momento que eu falava assim, “Pô, vale só pelo Fable”.

11:19 Esse momento existiu. >> É, ou as, o que eu falei, eu falei aqui no início da live, por muito tempo eu falei, é, que assim, ó, o, os modelos tá, do Claude são legais, mas você tem que ter pelo menos o plano de 100 dólares pra cima, senão você não consegue usar. >> Exato, exatamente. Vale a pena para quem tem grana, vale a pena para quem pode investir, beleza, usa. Mas você tem razão, né? Nunca houve um momento de não valer a pena usar ela. >> Exato. E o que o que parece que aconteceu foi que tipo assim, ah, o mercado alcançou a Anthropic, a Anthropic falou, beleza, então agora deixa eu soltar mais um. Parece que o mercado ficou o tempo inteiro correndo

11:49 atrás da Anthropic para conseguir alcançar nos modelos e aí a os o mercado alcançou ela, ah, beleza, então vamos soltar aqui de uma vezada só o Opus 5.5 Sonnet 5.5. Daí o Sonnet 5.5, ele performa melhor do que o Fable 5.1, cara. Cara, esses esses caras estavam guardando ouro, não tem lógica.