Haiku 5.5 chegou! Será o novo modelo com o melhor custo-benefício?

Autoria: Vini Lana · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: português

Vídeo original: Haiku 5.5 Chegou! Será o NOVO modelo com o melhor custo benefício? · Canal: Vini Lana · 06:17 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Mercados e economia, Modelos de IA

Resumo

O vídeo apresenta o Haiku 5.5 como um modelo da Anthropic com bom custo-benefício, que, segundo os benchmarks citados, supera o GPT-6 Luna em algumas avaliações. O apresentador destaca possíveis usos em tarefas simples de codificação e em sistemas de agentes, além de mencionar uma redução de preço do Sonnet 5.5. Ele compara preços e ressalta que o custo por token não equivale necessariamente ao custo por tarefa. Por fim, recomenda comparar modelos no uso diário com observabilidade e evals e especula sobre uma possível resposta da OpenAI.

Pontos-chave

O apresentador afirma que o Haiku 5.5 supera o GPT-6 Luna em alguns benchmarks, incluindo computer use e coding.
O vídeo descreve o Haiku 5.5 como uma opção de bom custo-benefício, adequada a quem procura uma assinatura de entrada.
Entre os usos sugeridos estão tarefas simples de codificação e sistemas de agentes.
O apresentador menciona uma redução de custos do Sonnet 5.5.
O vídeo compara Haiku, Sonnet e Opus como modelos que podem desempenhar papéis diferentes em sistemas com agentes.
O custo de input e output tokens não determina, por si só, o custo por tarefa.
O apresentador recomenda avaliar o desempenho dos modelos no dia a dia com observabilidade, evals e um dataset de comparação.
O vídeo termina especulando que a OpenAI pode responder ao lançamento com um novo modelo.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do Haiku 5.5	O apresentador introduz o Haiku 5.5 como um modelo que pode competir com o GPT-6 Luna em desempenho e custo.
01:34	Usos possíveis e sistemas de agentes	O vídeo sugere o modelo para tarefas simples de codificação e para sistemas de agentes, incluindo aplicações multiagentes.
03:07	Preços e posicionamento dos modelos	O apresentador comenta a redução de preço do Sonnet 5.5 e discute os papéis de Haiku, Sonnet e Opus.
04:14	Custo por token e custo por tarefa	A comparação de preços destaca que custos de input e output tokens não indicam necessariamente o custo final por tarefa.
05:16	Avaliação prática e próximos movimentos	O apresentador recomenda comparar modelos com evals e dados próprios e especula sobre uma resposta da OpenAI.

Citações

Ela deixa de brigar somente pelo modelo mais inteligente e vem brigar também pelo modelo com o melhor custo-benefício. — 00:00

O salto da versão anterior, que era o Haiku 4.5, chega a ser uma coisa ridícula. — 01:34

Custo por tarefa é mais caro para atingir o mesmo resultado do que nas versões superiores. — 04:14

A única maneira de dizer qual modelo está performando melhor é usando um dataset de dados para comparar. — 05:16

Conceitos e entidades

Haiku 5.5 (modelo): Modelo da Anthropic apresentado no vídeo como uma opção econômica com bons resultados em alguns benchmarks.
GPT-6 Luna (modelo): Modelo da OpenAI usado como comparação de desempenho e preço.
Sonnet 5.5 (modelo): Modelo da Anthropic cuja redução de custos é mencionada no vídeo.
Opus 5.5 (modelo): Modelo da Anthropic descrito pelo apresentador como uma opção mais capaz para tarefas exigentes.
Anthropic (empresa): Empresa responsável pelos modelos Haiku, Sonnet e Opus citados no vídeo.
OpenAI (empresa): Empresa cujos modelos são comparados aos da Anthropic.
benchmark (conceito): Avaliação usada para comparar capacidades de modelos, como computer use e coding.
observabilidade (conceito): Prática mencionada como parte da avaliação do desempenho dos modelos em tarefas reais.
sistemas multiagentes (conceito): Sistemas compostos por múltiplos agentes, tema anunciado pelo apresentador para uma live.

Tradução completa (pt-BR)

00:00 Finalmente, a Anthropic lançou o Haiku 5.5, que está superando o GPT-6 Luna na maioria dos benchmarks, custa o mesmo e agora parece que vai tornar praticamente infinita a sua assinatura da Anthropic. Ela deixa de brigar somente pelo modelo mais inteligente e passa a brigar também pelo modelo com o melhor custo-benefício. Será que o Haiku 5.5 superou o GPT-6 Luna? Não faria sentido a Anthropic lançar esse modelo se ele não fosse, no mínimo, bom e barato. E essa é exatamente a proposta do Haiku 5.5. Ele chega com um

00:32 modelo equiparável, que compete diretamente com o GPT-6 Luna, só que os números que apresenta são bem superiores. Aqui podemos comparar alguns deles. Dê uma olhada no OSWorld, o benchmark que permite mensurar a capacidade de uso do computador: ele está com 72,4%, comparado ao GPT-6 Luna, que está com 48,9%, ou seja, cerca de 50%. Então, são mais de 20 pontos percentuais de diferença entre um e outro. E vocês vão ver daqui a pouco

01:02 que o custo não tem essa diferença. Olhando também para o benchmark Terminal-Bench 4.0, você vê que o Haiku 5.5 está com 52%, enquanto o GPT-6 Luna está com 16,4%. Ainda em coding, no Frontier Code 1.1, você vai ver o Haiku 5.5 com 46,4%, e o GPT-6 Luna com 42,4%. Então, pelo menos nessa primeira leva de benchmarks, o que se observa é o Haiku 5.5 superando o GPT-6 Luna. Mas

01:34 preste atenção: o salto em relação à versão anterior, o Haiku 4.5, chega a ser ridículo. E, se você era uma das raras pessoas que ainda usavam esse modelo, tenho certeza de que isso vai fazer toda a diferença no seu workflow agora. E quais são os casos de uso mais comuns para aplicar um modelo desses, bom e barato? Vamos lá. O primeiro caso de uso é: estou sem dinheiro, não tenho grana, então você vai pegar uma assinatura de entrada, e provavelmente ela vai atender você muito bem. Segundo caso de uso: tarefas mais simples de codificação. Então, você vai pegar um

02:05 modelo que vai realizar uma tarefa específica de CRUD ou de uma tela, um componente específico, e vai conseguir bons resultados. Agora, o caso mais comum de todos é o das pessoas que estão desenvolvendo sistemas de agentes, desde sistemas como OpenClaw e Hermes Agent até sistemas que podem ser usados de fato em produção, como os que ensinamos aqui na EICOS Academy, com sistemas como IV, entre outros frameworks. Então, para esses casos, você vai ter um ponto de aplicação bem interessante. Inclusive, nesta semana, na live de quinta-feira, vou falar

02:36 aqui no canal sobre sistemas multiagentes. Você que está querendo aprender a desenvolver sistemas multiagentes para colocar em produção — e não estou falando de Hermes nem de OpenClaw, há coisas melhores —, na quinta-feira vou falar sobre isso, apresentar frameworks e falar sobre esses LLMs e como cada um se encaixa nisso, certo? O link da live está na descrição do vídeo e também no primeiro comentário fixado. Eles também trouxeram um anúncio importantíssimo sobre o Sonnet 5. Estamos brincando aqui no canal que parece que trocaram as equipes de marketing e relações públicas da OpenAI e da Anthropic, porque a Anthropic está fazendo exatamente aquilo que a OpenAI

03:07 fazia para cativar a audiência. E, se observarmos aqui, eles anunciaram uma redução de custos no Sonnet 5.5. Então, além de trazer o Haiku 5.5, também estão reduzindo o custo do Sonnet 5. Por que isso é interessante? Porque agora você tem o Opus 5.5, que é um baita modelo que segura as pontas na linha de frente. Você vai ter o Sonnet 5 para trabalhar com tarefas e com orquestração de agentes. E vai ter o Haiku 5.5, que é um modelo bom o suficiente e que vai ser

03:38 praticamente, digamos assim, virtualmente infinito, ainda mais porque a assinatura da Anthropic está dando mais subsídios hoje, neste dia, do que a assinatura da OpenAI. Então, é uma grande movimentação da Anthropic: parar de competir literalmente só com modelos inteligentes e começar a entrar na categoria de modelos inteligentes com bom custo-benefício. Já deixe aqui nos comentários: você acha que a Anthropic está acertando nessa decisão? Deixe sua opinião, quero saber. E olha que interessante: neste gráfico do Terminal-Bench 4.0, percebemos que o Haiku 5.5…

04:14 …é mais barato que os modelos da Anthropic que são mais caros. Por exemplo, se você pegar o Haiku 5.5 no nível X High, ele supera aqui o nível Medium tanto do Opus 5 quanto do Sonnet 5.5, só que a um custo menor por tokens de input e output — não necessariamente a um custo menor por tarefa. Preste atenção, isso é importante. O custo por tarefa é maior para atingir o mesmo resultado aqui, em comparação com as versões superiores. Porém, você vai observar que é um modelo teoricamente inferior, mas que consegue alcançar resultados que

04:45 esses modelos superiores também estão alcançando. Então, ele literalmente vem para cumprir o papel que o Luna desempenha na OpenAI, só que agora dentro da família da Anthropic. Vamos comparar os preços. O GPT-6 Luna custa 10 centavos de dólar de input para cada milhão de tokens e 50 centavos de dólar de output para cada milhão de tokens. E olha, aqui o Haiku 5.5 também tem a mesma precificação. Ou seja, se você tiver que optar entre um e outro, vai olhar para qual deles executa melhor as tarefas. Os benchmarks mostram que está sendo o Haiku 5.5, mas

05:16 só vamos saber isso de fato usando os modelos no dia a dia e trabalhando com observabilidade e evals. Eu já ensinei isso, inclusive, lá dentro da Coders Academy. É a única maneira de dizer qual modelo está tendo o melhor desempenho: usando um dataset de dados para comparar. Quer aprender comigo? O link está aqui na descrição. Então, é exatamente isso que vamos observar daqui para a frente. Rodando os evals, já dá para ter uma ideia interessante sobre isso. Olhando para o preço, fico muito feliz, porque temos um modelo bom e barato da Anthropic. Demorou, mas

05:46 chegou. Olhando para o lançamento, foi um lançamento bem curto; não teve tanta coisa, tanta papagaiada, e não houve nada dizendo que o Haiku é um modelo perigoso, certo? Na verdade, é um modelo bom e barato. Estou ansioso para ver os próximos movimentos do mercado. Acho que, em breve, talvez na próxima semana, já veremos a OpenAI respondendo, provavelmente com um Luna 6.1. Quero saber de você: o que a OpenAI precisa fazer agora para dar conta do mercado e responder à altura à Anthropic? Será que a OpenAI está se

06:17 sentindo ameaçada? Mesmo tendo um ecossistema grande, será que ainda vai ter dificuldade para competir de frente com os modelos da Anthropic? Quero saber sua opinião. No mais, este é o canal da EICOS Academy. Estamos juntos.

Transcrição original

[00:00] Finalmente a Antropic lançou o Haiku 5.5 que tá superando o GPT 6 Luna a na maioria dos benchmarks tá custando o mesmo valor e que agora parece que vai ser praticamente infinita a sua assinatura da Antropic. Ela deixa de brigar somente pelo modelo mais inteligente e ela vem brigar agora também pelo modelo que tem o melhor custob benefício. Será que o Raiku mogou o GPT6 Luna? Não faria sentido Tropic lançar esse modelo se ele não fosse no mínimo bom e barato. E é exatamente essa proposta do Rik 5. Ele chega com um

[00:32] modelo que tá equiparável competindo diretamente com o GPT6 Luna, só que os números que ele apresenta são bem superiores. Aqui a gente tem como comparar alguns deles. Dá uma olhada no OS Word, no benchmark que a gente consegue mensurar a capacidade de computer use, ele tá com 72.4% comparado ao GPT6 Luna. que tá com 48.9%, arredondando 50%. Então são mais de 20 pontos percentuais de diferença entre um e outro. E vocês vão ver já já

[01:02] que o custo não tem essa diferença. Olhando também para oenticing, você vê que o Rikus 5.2% lá no terminal BCH 4.0, enquanto o GPT 6 Luna tá com 16.4%. Ainda no coding, no Frontier Code 1.1, você vai ver o recurso 5.5 com 46.4%. 4% e você vai ver o GPT6 Luna com 42.4%. Então, pelo menos nessa primeira leva de benchmarks, o que se observa é o modelo Riku 5.5 superando o GPT6 Luna. Mas

[01:34] presta atenção, o que ele tem de salto da versão anterior, que era lá o Raiku 4.5, chega a ser uma parada ridícula. E se você era uma das raras pessoas que ainda usava esse modelo, eu tenho certeza que vai fazer total diferença no seu workflow agora. E quais são os casos de uso mais comuns pra gente aplicar um modelo desses bom e barato? Vamos lá. O caso de uso inicial é: tô duro, não tenho grana, então você vai pegar uma assinatura de entrada e provavelmente ela vai te atender muito bem. Segundo o caso de uso, tarefas mais simples de codificação. Então você vai pegar um

[02:05] modelo que vai fazer uma tarefa específica de um crude ou de uma tela, um componente específico, você vai conseguir bons resultados ali. Agora, o mais comum de todos são das pessoas que estão desenvolvendo sistemas de agentes, desde sistemas de OpenCla, Hermes agent, até sistemas que dá para usar de fato em produção, que é igual os que a gente ensina aqui dentro da EICOS Academy com sistemas como IV, entre outros frameworks. Então, para esses casos, você vai ter um ponto bem interessante de aplicação. Inclusive, nessa semana, na live de quinta-feira, eu vou falar

[02:36] aqui no canal sobre sistemas multiagentes. Você que tá querendo aprender a desenvolver sistemas multiagentes para colocar em produção, e eu não tô falando de Hermes nem OpenCloud, tem coisa melhor. Na quinta-feira eu vou falar sobre isso, vou te apresentar frameworks, falar sobre esses LLMs e como cada um se encaixa nisso aí, tá? O link da live na descrição do vídeo e também no primeiro comentário fixado. Eles também trouxeram um anúncio importantíssimo sobre o Sonet 5. A gente tá brincando aqui no canal que parece que trocaram os times de marketing em relações públicas da Openi com Antropic, porque a Antropic tá fazendo exatamente aquilo que a Openi

[03:07] fazia para cativar a audiência. E se a gente observar aqui, eles anunciaram uma redução de custos no Sonet 5.5. Então, além de trazer o Rik 5. Eles também estão reduzindo o custo do Sony 5. Por que que isso aqui é interessante? Porque agora você tem o Opp 5.5, que é um baita modelo que segura as pontas lá na frente. Você vai ter o Sony 5. Para você trabalhar com tarefas, com orquestração de agentes. Você vai ter o Riku 5.5, que é um modelo que é bom o suficiente e que vai ser

[03:38] praticamente, vamos dizer assim, virtualmente infinito, ainda mais porque a assinatura da Antropic tá dando mais subsídio hoje, nesse dia de hoje, do que a assinatura da Openi. Então, uma grande movimentação da Antropic de parar de competir literalmente só por modelos inteligentes e começar a entrar na casinha de modelos inteligentes e que tem um bom custob benefício. Já vai deixando aqui nos comentários, você acha que a Antropic tá acertando nessa decisão? Deixa aqui que eu quero saber sua opinião. E olha que interessante, nesse gráfico do terminal band 4.0, a gente percebe que o Hikus 5.

[04:14] Antropic que são mais caros. Por exemplo, se você pegar o high 5.5 no X High, ele supera aqui o medium tanto do OPO 5. Quanto do Sony 5.5, só que um custo mais barato, o custo de input, output tokens, não necessariamente um custo por tarefa mais barato. Presta atenção que isso é importante. Custo por tarefa é mais caro para atingir o mesmo resultado aqui, né, do que as versões superiores. Porém, você vai observar que é um modelo que teoricamente inferior, mas que consegue alcançar resultado que

[04:45] esses modelos superiores também estão alcançando aqui. Então ele literalmente vem para cumprir o papel que o Luna faz na Openi, só que agora dentro da família da Antropic. Vamos comparar preços. GPT6 Luna chega com 10 centavos de dólar o input para cada milhão de tokens. 50 centavos de dólar o output para cada milhão de tokens. E ó, aqui também tem o Rikus 5. Cegma precificação, ou seja, se você tiver que optar entre um e outro, você vai olhar para o que executa melhor as tarefas. Os benchmarks mostram que tá

[05:16] sendo high 5.5, mas a gente só vai saber isso de fato usando no dia a dia e trabalhando com observabilidade e evolv. Eu já ensinei isso inclusive lá dentro da Conders Academy. É a única maneira que você tem de você falar qual modelo tá performando melhor ou não usando o dataset de dados para comparar. Quer aprender comigo? O link tá aqui na descrição. Então é exatamente isso que a gente vai observar daqui por diante. Rodando os EVOLS já dá para ter uma ideia interessante sobre isso aqui. Olhando para preço, eu fico feliz para caramba porque a gente tem um modelo bom e barato da Antropic. Demorou, mas

[05:46] chegou. Olhando para o lançamento, foi um lançamento super curto, não teve tanta coisa, tanta papagaição, não teve nada falando que o Haiku é um modelo perigoso, né? Na verdade, é um modelo bom e barato. E eu tô ansioso para ver os próximos movimentos do mercado. Eu acho que bem em breve, talvez na próxima semana, a gente já vai ver a Openir respondendo com provavelmente um Luna 6.1. Eu quero saber de você o que que a Open precisa fazer agora para dar conta do mercado e responder à altura a Antropic. Será que a OpenI tá se

[06:17] sentindo? Mesmo tendo um ecossistema grande, será que eles ainda vão ter uma dificuldade de bater de frente com os modelos da Antropic? Quero saber sua opinião. No mais, esse é o canal da EA Coders Academy. Tamo junto.