Haiku 5.5 Chegou! Será o NOVO modelo com o melhor custo benefício?

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: Haiku 5.5 Chegou! Será o NOVO modelo com o melhor custo benefício? · Channel: Vini Lana · 06:17 · Watch on YouTube

Topics: AI agents, AI evaluation and benchmarks, Markets and economy, AI models

Summary

O vídeo apresenta o Haiku 5.5 como um modelo da Anthropic com bom custo-benefício, que, segundo os benchmarks citados, supera o GPT-6 Luna em algumas avaliações. O apresentador destaca possíveis usos em tarefas simples de codificação e em sistemas de agentes, além de mencionar uma redução de preço do Sonnet 5.5. Ele compara preços e ressalta que o custo por token não equivale necessariamente ao custo por tarefa. Por fim, recomenda comparar modelos no uso diário com observabilidade e evals e especula sobre uma possível resposta da OpenAI.

Key points

O apresentador afirma que o Haiku 5.5 supera o GPT-6 Luna em alguns benchmarks, incluindo computer use e coding.
O vídeo descreve o Haiku 5.5 como uma opção de bom custo-benefício, adequada a quem procura uma assinatura de entrada.
Entre os usos sugeridos estão tarefas simples de codificação e sistemas de agentes.
O apresentador menciona uma redução de custos do Sonnet 5.5.
O vídeo compara Haiku, Sonnet e Opus como modelos que podem desempenhar papéis diferentes em sistemas com agentes.
O custo de input e output tokens não determina, por si só, o custo por tarefa.
O apresentador recomenda avaliar o desempenho dos modelos no dia a dia com observabilidade, evals e um dataset de comparação.
O vídeo termina especulando que a OpenAI pode responder ao lançamento com um novo modelo.

Chapters

Start	Chapter	Summary
00:00	Apresentação do Haiku 5.5	O apresentador introduz o Haiku 5.5 como um modelo que pode competir com o GPT-6 Luna em desempenho e custo.
01:34	Usos possíveis e sistemas de agentes	O vídeo sugere o modelo para tarefas simples de codificação e para sistemas de agentes, incluindo aplicações multiagentes.
03:07	Preços e posicionamento dos modelos	O apresentador comenta a redução de preço do Sonnet 5.5 e discute os papéis de Haiku, Sonnet e Opus.
04:14	Custo por token e custo por tarefa	A comparação de preços destaca que custos de input e output tokens não indicam necessariamente o custo final por tarefa.
05:16	Avaliação prática e próximos movimentos	O apresentador recomenda comparar modelos com evals e dados próprios e especula sobre uma resposta da OpenAI.

Quotes

Ela deixa de brigar somente pelo modelo mais inteligente e vem brigar também pelo modelo com o melhor custo-benefício. — 00:00

O salto da versão anterior, que era o Haiku 4.5, chega a ser uma coisa ridícula. — 01:34

Custo por tarefa é mais caro para atingir o mesmo resultado do que nas versões superiores. — 04:14

A única maneira de dizer qual modelo está performando melhor é usando um dataset de dados para comparar. — 05:16

Concepts and entities

Haiku 5.5, GPT-6 Luna, Sonnet 5.5, Opus 5.5, Anthropic, OpenAI, benchmark, observabilidade, sistemas multiagentes

Full transcript (original language)

00:00 Finalmente a Antropic lançou o Haiku 5.5 que tá superando o GPT 6 Luna a na maioria dos benchmarks tá custando o mesmo valor e que agora parece que vai ser praticamente infinita a sua assinatura da Antropic. Ela deixa de brigar somente pelo modelo mais inteligente e ela vem brigar agora também pelo modelo que tem o melhor custob benefício. Será que o Raiku mogou o GPT6 Luna? Não faria sentido Tropic lançar esse modelo se ele não fosse no mínimo bom e barato. E é exatamente essa proposta do Rik 5. Ele chega com um

00:32 modelo que tá equiparável competindo diretamente com o GPT6 Luna, só que os números que ele apresenta são bem superiores. Aqui a gente tem como comparar alguns deles. Dá uma olhada no OS Word, no benchmark que a gente consegue mensurar a capacidade de computer use, ele tá com 72.4% comparado ao GPT6 Luna. que tá com 48.9%, arredondando 50%. Então são mais de 20 pontos percentuais de diferença entre um e outro. E vocês vão ver já já

01:02 que o custo não tem essa diferença. Olhando também para oenticing, você vê que o Rikus 5.2% lá no terminal BCH 4.0, enquanto o GPT 6 Luna tá com 16.4%. Ainda no coding, no Frontier Code 1.1, você vai ver o recurso 5.5 com 46.4%. 4% e você vai ver o GPT6 Luna com 42.4%. Então, pelo menos nessa primeira leva de benchmarks, o que se observa é o modelo Riku 5.5 superando o GPT6 Luna. Mas

01:34 presta atenção, o que ele tem de salto da versão anterior, que era lá o Raiku 4.5, chega a ser uma parada ridícula. E se você era uma das raras pessoas que ainda usava esse modelo, eu tenho certeza que vai fazer total diferença no seu workflow agora. E quais são os casos de uso mais comuns pra gente aplicar um modelo desses bom e barato? Vamos lá. O caso de uso inicial é: tô duro, não tenho grana, então você vai pegar uma assinatura de entrada e provavelmente ela vai te atender muito bem. Segundo o caso de uso, tarefas mais simples de codificação. Então você vai pegar um

02:05 modelo que vai fazer uma tarefa específica de um crude ou de uma tela, um componente específico, você vai conseguir bons resultados ali. Agora, o mais comum de todos são das pessoas que estão desenvolvendo sistemas de agentes, desde sistemas de OpenCla, Hermes agent, até sistemas que dá para usar de fato em produção, que é igual os que a gente ensina aqui dentro da EICOS Academy com sistemas como IV, entre outros frameworks. Então, para esses casos, você vai ter um ponto bem interessante de aplicação. Inclusive, nessa semana, na live de quinta-feira, eu vou falar

02:36 aqui no canal sobre sistemas multiagentes. Você que tá querendo aprender a desenvolver sistemas multiagentes para colocar em produção, e eu não tô falando de Hermes nem OpenCloud, tem coisa melhor. Na quinta-feira eu vou falar sobre isso, vou te apresentar frameworks, falar sobre esses LLMs e como cada um se encaixa nisso aí, tá? O link da live na descrição do vídeo e também no primeiro comentário fixado. Eles também trouxeram um anúncio importantíssimo sobre o Sonet 5. A gente tá brincando aqui no canal que parece que trocaram os times de marketing em relações públicas da Openi com Antropic, porque a Antropic tá fazendo exatamente aquilo que a Openi

03:07 fazia para cativar a audiência. E se a gente observar aqui, eles anunciaram uma redução de custos no Sonet 5.5. Então, além de trazer o Rik 5. Eles também estão reduzindo o custo do Sony 5. Por que que isso aqui é interessante? Porque agora você tem o Opp 5.5, que é um baita modelo que segura as pontas lá na frente. Você vai ter o Sony 5. Para você trabalhar com tarefas, com orquestração de agentes. Você vai ter o Riku 5.5, que é um modelo que é bom o suficiente e que vai ser

03:38 praticamente, vamos dizer assim, virtualmente infinito, ainda mais porque a assinatura da Antropic tá dando mais subsídio hoje, nesse dia de hoje, do que a assinatura da Openi. Então, uma grande movimentação da Antropic de parar de competir literalmente só por modelos inteligentes e começar a entrar na casinha de modelos inteligentes e que tem um bom custob benefício. Já vai deixando aqui nos comentários, você acha que a Antropic tá acertando nessa decisão? Deixa aqui que eu quero saber sua opinião. E olha que interessante, nesse gráfico do terminal band 4.0, a gente percebe que o Hikus 5.

04:14 Antropic que são mais caros. Por exemplo, se você pegar o high 5.5 no X High, ele supera aqui o medium tanto do OPO 5. Quanto do Sony 5.5, só que um custo mais barato, o custo de input, output tokens, não necessariamente um custo por tarefa mais barato. Presta atenção que isso é importante. Custo por tarefa é mais caro para atingir o mesmo resultado aqui, né, do que as versões superiores. Porém, você vai observar que é um modelo que teoricamente inferior, mas que consegue alcançar resultado que

04:45 esses modelos superiores também estão alcançando aqui. Então ele literalmente vem para cumprir o papel que o Luna faz na Openi, só que agora dentro da família da Antropic. Vamos comparar preços. GPT6 Luna chega com 10 centavos de dólar o input para cada milhão de tokens. 50 centavos de dólar o output para cada milhão de tokens. E ó, aqui também tem o Rikus 5. Cegma precificação, ou seja, se você tiver que optar entre um e outro, você vai olhar para o que executa melhor as tarefas. Os benchmarks mostram que tá

05:16 sendo high 5.5, mas a gente só vai saber isso de fato usando no dia a dia e trabalhando com observabilidade e evolv. Eu já ensinei isso inclusive lá dentro da Conders Academy. É a única maneira que você tem de você falar qual modelo tá performando melhor ou não usando o dataset de dados para comparar. Quer aprender comigo? O link tá aqui na descrição. Então é exatamente isso que a gente vai observar daqui por diante. Rodando os EVOLS já dá para ter uma ideia interessante sobre isso aqui. Olhando para preço, eu fico feliz para caramba porque a gente tem um modelo bom e barato da Antropic. Demorou, mas

05:46 chegou. Olhando para o lançamento, foi um lançamento super curto, não teve tanta coisa, tanta papagaição, não teve nada falando que o Haiku é um modelo perigoso, né? Na verdade, é um modelo bom e barato. E eu tô ansioso para ver os próximos movimentos do mercado. Eu acho que bem em breve, talvez na próxima semana, a gente já vai ver a Openir respondendo com provavelmente um Luna 6.1. Eu quero saber de você o que que a Open precisa fazer agora para dar conta do mercado e responder à altura a Antropic. Será que a OpenI tá se

06:17 sentindo? Mesmo tendo um ecossistema grande, será que eles ainda vão ter uma dificuldade de bater de frente com os modelos da Antropic? Quero saber sua opinião. No mais, esse é o canal da EA Coders Academy. Tamo junto.