Sonnet 5.5 chegou, será que ele consegue recuperar o posto de modelo bom e eficiente?

Author: Vini - AI Coders Academy · Watch on YouTube

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: Sonnet 5.5 chegou, será que ele consegue recuperar o posto de modelo bom e eficiente? · Channel: Vini - AI Coders Academy · 08:51 · Watch on YouTube

Topics: AI agents, AI evaluation and benchmarks, Claude, Software engineering with AI, AI models

Summary

O vídeo analisa o desempenho, o custo e a velocidade do Sonnet 5.5 em benchmarks de desenvolvimento de software, comparando-o com modelos como Opus 5.5 e GPT-6 Sol. O apresentador destaca os bons resultados do Sonnet 5.5 em níveis de esforço baixo, médio e alto, mas observa uma regressão no modo máximo e um custo por tarefa que pode ser maior em benchmarks mais amplos. Ele também explica que o harness, as skills e arquivos de configuração podem influenciar as respostas tanto quanto o modelo. A avaliação final fica em aberto: é preciso testar o Sonnet 5.5 no uso real para saber se vale a pena adotá-lo.

Key points

O preço do Sonnet 5.5 não mudou em relação à versão anterior, mas os benchmarks indicam melhorias de qualidade e desempenho.
Nos níveis de esforço baixo, médio e alto, o modelo apresenta resultados competitivos; no modo máximo, há uma regressão e o custo pode aumentar.
No benchmark Terminal-Bench 4.0, o Opus 5.5 aparece à frente dos demais modelos comparados.
O custo por tarefa do Sonnet 5.5 pode ser semelhante ou superior ao do Opus 5.5, dependendo do benchmark e do tipo de tarefa.
O benchmark realizado com o harness do Cursor pode refletir melhor o uso prático para programação do que uma avaliação do modelo isolado.
O apresentador atribui possíveis mudanças na qualidade das respostas ao harness, às skills ou a arquivos de configuração, e não necessariamente ao modelo.
O Sonnet 5.5 é apresentado como mais rápido e eficiente do que a versão anterior, com desempenho superior.
O apresentador recomenda testar e validar o modelo antes de concluir se ele é a melhor opção ou se deve substituir outro modelo no workflow.

Chapters

Start	Chapter	Summary
00:00	Resultados iniciais e custo do Sonnet 5.5	O vídeo apresenta o lançamento, compara os resultados do Sonnet 5.5 em diferentes níveis de esforço e aponta uma regressão no modo máximo.
02:05	Comparação com outros modelos	O apresentador compara Sonnet 5.5 e Opus 5.5 com outros modelos e discute em quais tarefas cada um pode se encaixar.
04:10	Desempenho, velocidade e influência do harness	A análise destaca as melhorias de velocidade e eficiência e explica como o harness pode alterar a qualidade percebida das respostas.
06:14	Benchmarks e custo por tarefa	O vídeo aborda a posição do Sonnet 5.5 em índices de benchmarks e observa que seu custo pode ser maior em avaliações que incluem outras tarefas além de programação.
08:21	Conclusão: testar antes de decidir	O apresentador recomenda validar o modelo em uso real e comenta a mudança na comunicação de mercado da Anthropic.

Quotes

Acima disso não faz sentido. Ele começa a degradar, pelo menos no quesito de desenvolvimento de software. — 01:02

Não é somente um teste do modelo cru, sem as ferramentas que vão dar o melhor suporte para ele. — 03:39

Ele está entregando mais velocidade, melhor eficiência e está mais inteligente. — 05:11

Não dá para tirar a conclusão do modelo logo no lançamento. Tem que testar, tem que validar. — 08:21

Concepts and entities

Sonnet 5.5, Opus 5.5, GPT-6 Sol, Grok 4.7, Fable 5.1, Anthropic, Cursor, Artificial Analysis, Harness, Terminal-Bench 4.0

Full transcript (original language)

00:00 Não é de hoje que eu falo para vocês que a Antropic precisa de um modelo bom, barato e rápido se ela quiser bater de frente com os LN chineses. E parece que o Sonic 5.5 vem exatamente disso. Depois de ter acertado de mão cheia o OPO 5. ANTrop apresenta pro mercado agora a nova versão do modelo Sonet. E aí, será que ele tá tudo isso mesmo? Bora nessa que eu te mostro. O modelo foi lançado e aqui tem uma coisa interessante, não houve mudança em relação a preço. O custo de input, output, cash continua o

00:32 mesmo. No entanto, se você observar os gráficos, os gráficos vão dizer outra coisa. Lá no Frontier Code 1.1, por exemplo, você vai comparar a versão anterior do Sonet 5, que tava entregando as mesmas tarefas por um custo muito superior e uma qualidade muito inferior. Agora não, você vê que na versão nova, pelo menos no nível low, nível médio e o nível alto, nível low e nível médio, entrega semelhante ao Sonic 5. No nível alto ele já supera o GPT 6 Sol, supera

01:02 em performance e em custo. Isso aqui ficou bem interessante. Mas o gráfico tem uma um comportamento bem esquisito quando a gente vai pro modo max. Aí ele tem uma regressão aqui, né? Dá essa degradação e vai custar mais caro do que a versão anterior do Sonet 5. Aparentemente o modelo tá muito interessante de se utilizar até aqui o modo X High. Acima disso não faz sentido. Ele começa a degradar pelo menos na no quesito de desenvolvimento de software. Outro benchmark interessante é aqui o terminal bent 4.0

01:34 que a gente consegue comparar ele aqui de duas formas. tanto no oficial quanto aqui. Eu vou comparar aqui no oficial porque tem mais modelos pra gente comparar. Então, olha só, OP 5.5 no oficial, ele tá aqui, ó, superando todos eles com folga. E eu posso dizer, eu usei 7 bilhões de tokens do Oppo 5. De fato, ele é tudo isso. Todos, todo mundo que eu converso, que eu interajo lá no Ex, inclusive se quiser me segue lá no Ex, a gente percebeu que o OPPO 5. Tá um excelente modelo, pelo menos até

02:05 nerfarem ele, né? Deixa aqui nos comentários se ele já foi nerfado para você ou não. Então, é um excelente modelo. O Sonet 5. E cruza alguns caminhos aqui com OPPO 5. O que que chama bastante atenção, ele tá muito superior ao GPT 5.6 Sol, tá muito superior. Que também que chama atenção é que o Grock 4.7 só veio a passeio. Não faz nem sentido cogitar utilizar ele, a não ser que seja por uma questão de subsídios do próprio plano da Grock ou do cursor. Agora, se você olhar bem pelo

02:36 custo por tarefa, você vai perceber que o Oppo 5. Melhor ou às vezes igual ao que o Sonet 5. Então ficou um modelo um pouco confuso da gente saber assim, cara, aonde é que ele se encaixa dentro do meu workflow? Eu vou trocar o Oppo 5. Son 5.5? Isso a gente vai precisar de testar aí durante esses próximos dias. Agora vou fazer uma previsão aqui, tá? Eu acredito que eles vão conseguir melhorar a questão de customização de infra e pode ser que a gente veja o Sonic 5.5 baixando o preço

03:07 em breve. Mesma coisa que fizeram ali com o op. Aí sim esse cara vai começar a fazer sentido. Você traz o op 5.5 para coisas mais robustas e complexas e o Sonet 5.5 como seu daily driver. Beleza? E o que chama atenção também é que ambos os modelos, tanto o Sony 5.5 quanto o OPPO 5.5 superaram o Fable 5.1. E isso aqui é um pouco inesperado. Eu não imaginava ver o modelo Sony de 5.5 superando o Fable 5.1 no quesito de desenvolvimento de software. E aqui é importante mencionar que esse benchmark

03:39 ele tá rodando dentro do harness do cursor, ou seja, não é somente um teste do modelo cru sem as ferramentas que vão dar o melhor suporte para ele. Inclusive se você quiser aprender um pouco mais sobre isso, eu ensino isso lá dentro da EICERS Academy. Link tá na descrição e no primeiro comentário fixado. Não é só isso. Aqui você vai ter então o cursor como harness que vai est orquestrando o modelo e vai est auxiliando a esse modelo a alcançar o seu maior potencial. Então aqui é onde você provavelmente vai ter uma percepção mais próxima da

04:10 realidade de fato pra codificação. E olha que interessante, até pouco tempo atrás GPT 5.6 Sol era um dos melhores modelos do mercado. Até por isso o GR 4.7 ficava ali, né, na cola para poxa, GR 4.7 tá melhor, não tá melhor e agora simplesmente criou-se um iato gigante entre esses dois caras. o GPT 6 SOL perdendo também para o Sonic 5.5, perdendo também para o OPO 5. Isso aqui tá bem interessante, tá bem interessante

04:41 mesmo. E a Open tem uma missão e um desafio agora. Acabaram de lançar um modelo que já tá começando a ficar irrelevante no mercado. Apesar do modelo seu modelo muito mais barato, tem que entregar também uma qualidade alta para conseguir se manter se manter competitivo. Agora veja a questão de velocidade. Isso aqui é um outro acerto da Antropic. Eles estão conseguindo entregar um modelo que é muito mais rápido do que a sua versão anterior, com uma performance superior. Vamos lá. O modelo tá entregando curso por tarefa mais baixo, ele tá entregando mais

05:11 velocidade e ele tá entregando melhor eficiência, ele tá mais inteligente. Então, mais uma vez, ao meu ver, isso aqui é um grande acerto da Antropic. Ah, Vini, mas você acha que esse modelo vai ser nerfado? Cara, eu acho improvável de nerfarem o modelo. E eu sempre falo isso. Geralmente quando a gente percebe degradação nas respostas, geralmente não é o modelo, geralmente tá relacionado ao harness. Inclusive, se você quiser aprender mais sobre harness e entender o impacto disso no fluxo de desenvolvimento software com IA, clica aqui no link da Ecoder, tá no primeiro comentário fixado e também na descrição.

05:43 Então o Harness, ele tem todo esse poder de fato de uma mudança impactar tudo, como aconteceu alguns meses atrás ou algumas semanas atrás. É tão rápido que a gente perde a referência de tempo. Quando a Antropic mudou ali o system prompt, tirou o system prompt, principalmente a parte que falava pro modelo não criar comentários grandes. E o pessoal começou a falar: “Pô, o OPPO 5 tá muito ruim, ele tá gerando comentários muito longos”. Não era um problema de modelo, era um problema de harness. Aqui a gente vai tentar observar a mesma coisa ao longo dos próximos dias. Se você perceber uma mudança no output do modelo, dá uma

06:14 olhada se isso não é o próprio harness. Isso pode estar relacionado ao seu harness, pode estar relacionado à skills que você tá utilizando, pode estar relacionado ao seu arquivo cloud MD. Revisa tudo antes de usar o modelo novo, porque pode ser que o que era relevante para você colocar nesses arquivos antes, talvez não seja mais relevante. No índice de inteligência do artificial análisis, que reúne diversos benchmarks de categorias diferentes, a gente também vai observar que o Sonic 5.5 chegou arregaçando aqui, ó. Ele tá sendo posicionado bem logo à frente do Fable 5.1. Tá surpreendendo esse cara. Não era

06:47 pro modelo da família na na teoria, né? O terceiro modelo na lista de prioridade, primeiro sendo Fable, segundo e terceiro Sonic, não era para ele tá performando tão bem assim. Então me agrada muito ver a performance que ele tá tendo aqui. E fica a pergunta, será que a Antropic vai lançar um Riku 5, um Rikur 5.5 que seja tão bom e barato nessa mesma proporção de saldo que a gente observou agora nas famílias 5.5? Quero ouvir a sua opinião aqui nos comentários. Mas parece que tem alguma pegadinha, porque se você observar lá no

07:19 índice de custo por tarefa, você vai observar que o Sonet 5.5 ele tá mais caro, mais caro do que o OPPO 5.5. Isso por esse benchmark ele tá medindo somente pra codificação, ele tá medindo para outras tarefas. Então, no conjunto de benchmarks, ele sai um modelo mais caro que a versão atual do Oppo 5. Vocês perceberam que a Antropic mudou o padrão dela de comunicação. Antes tinha que fazer todo o escarcel, ah que o mundo vai acabar, que vai acabar com tudo, tudo mais. Agora simplesmente tá aqui o

07:50 modelo, pessoal, testem validem. ou pro 5.5 foi testado e validado, o resultado tá absurdo. É o melhor modelo disparado. GPT6 Astra não fica nem pro cheiro. Ah, mas o Astra é melhor para computer user. É melhor mesmo, só para isso, porque nos outros critérios, OPPO 5. Tá levando o troféu. Aí a gente vai observar agora o Sonic 5.5, como é que ele vai ficar. Aí a gente precisa testar. Pessoal, não dá para tirar a conclusão do modelo logo no lançamento. Não dá para falar que, ah, ele é o melhor modelo. Não dá. Tem que testar, tem que validar. Eu testei o

08:21 Oppo 5. Gastei 7 bilhões de tokens e posso dizer que pelo menos até ontem ele era disparado o melhor modelo do mercado. Agora a tarefa e a missão é testar o Sonet 5 e trazer aqui para vocês se tá valendo a pena usar esse cara ou não. Fato é que a Antropic mudou, mudou na minha visão para melhor. aprenderam a fazer uma comunicação decente do mercado, que as pessoas se empolgam para testar e eu acho que ela vai começar cada vez mais recuperar o mercado que ela perdeu, não por incompetência tecnológica, mas por

08:51 talvez uma falta de tato ali com o mercado na parte de comunicação. Eu quero saber a sua opinião, que que vocês acham? Antropic voltou pro jogo? Ela tá de volta agora não tem para ninguém, vai ganhar disparado ou não? A open tá com alguma surpresinha na manga ali? Deixa aqui nos comentários. Quero saber sua opinião. No mais, eu sou o Vini. Esse aqui é o canal da Eoders Academy. Estamos junto.