Sonnet 5.5 chegou: será que consegue recuperar o posto de modelo bom e eficiente?

Autoria: Vini - AI Coders Academy · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: português

Vídeo original: Sonnet 5.5 chegou, será que ele consegue recuperar o posto de modelo bom e eficiente? · Canal: Vini - AI Coders Academy · 08:51 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Claude, Engenharia de software com IA, Modelos de IA

Resumo

O vídeo analisa o desempenho, o custo e a velocidade do Sonnet 5.5 em benchmarks de desenvolvimento de software, comparando-o com modelos como Opus 5.5 e GPT-6 Sol. O apresentador destaca os bons resultados do Sonnet 5.5 em níveis de esforço baixo, médio e alto, mas observa uma regressão no modo máximo e um custo por tarefa que pode ser maior em benchmarks mais amplos. Ele também explica que o harness, as skills e arquivos de configuração podem influenciar as respostas tanto quanto o modelo. A avaliação final fica em aberto: é preciso testar o Sonnet 5.5 no uso real para saber se vale a pena adotá-lo.

Pontos-chave

O preço do Sonnet 5.5 não mudou em relação à versão anterior, mas os benchmarks indicam melhorias de qualidade e desempenho.
Nos níveis de esforço baixo, médio e alto, o modelo apresenta resultados competitivos; no modo máximo, há uma regressão e o custo pode aumentar.
No benchmark Terminal-Bench 4.0, o Opus 5.5 aparece à frente dos demais modelos comparados.
O custo por tarefa do Sonnet 5.5 pode ser semelhante ou superior ao do Opus 5.5, dependendo do benchmark e do tipo de tarefa.
O benchmark realizado com o harness do Cursor pode refletir melhor o uso prático para programação do que uma avaliação do modelo isolado.
O apresentador atribui possíveis mudanças na qualidade das respostas ao harness, às skills ou a arquivos de configuração, e não necessariamente ao modelo.
O Sonnet 5.5 é apresentado como mais rápido e eficiente do que a versão anterior, com desempenho superior.
O apresentador recomenda testar e validar o modelo antes de concluir se ele é a melhor opção ou se deve substituir outro modelo no workflow.

Capítulos

Início	Capítulo	Resumo
00:00	Resultados iniciais e custo do Sonnet 5.5	O vídeo apresenta o lançamento, compara os resultados do Sonnet 5.5 em diferentes níveis de esforço e aponta uma regressão no modo máximo.
02:05	Comparação com outros modelos	O apresentador compara Sonnet 5.5 e Opus 5.5 com outros modelos e discute em quais tarefas cada um pode se encaixar.
04:10	Desempenho, velocidade e influência do harness	A análise destaca as melhorias de velocidade e eficiência e explica como o harness pode alterar a qualidade percebida das respostas.
06:14	Benchmarks e custo por tarefa	O vídeo aborda a posição do Sonnet 5.5 em índices de benchmarks e observa que seu custo pode ser maior em avaliações que incluem outras tarefas além de programação.
08:21	Conclusão: testar antes de decidir	O apresentador recomenda validar o modelo em uso real e comenta a mudança na comunicação de mercado da Anthropic.

Citações

Acima disso não faz sentido. Ele começa a degradar, pelo menos no quesito de desenvolvimento de software. — 01:02

Não é somente um teste do modelo cru, sem as ferramentas que vão dar o melhor suporte para ele. — 03:39

Ele está entregando mais velocidade, melhor eficiência e está mais inteligente. — 05:11

Não dá para tirar a conclusão do modelo logo no lançamento. Tem que testar, tem que validar. — 08:21

Conceitos e entidades

Sonnet 5.5 (modelo): Modelo da Anthropic avaliado no vídeo por seu desempenho, velocidade e custo em tarefas de programação.
Opus 5.5 (modelo): Modelo comparado ao Sonnet 5.5 e apresentado como forte opção para tarefas mais robustas e complexas.
GPT-6 Sol (modelo): Modelo mencionado nas comparações de desempenho e custo dos benchmarks.
Grok 4.7 (modelo): Modelo citado como parte das comparações com o Sonnet 5.5 e o Opus 5.5.
Fable 5.1 (modelo): Modelo que, segundo o vídeo, foi superado pelo Sonnet 5.5 em um benchmark de desenvolvimento de software.
Anthropic (empresa): Empresa responsável pelos modelos Sonnet e Opus discutidos no vídeo.
Cursor (ferramenta): Ferramenta cujo harness é usado para orquestrar e auxiliar modelos em um benchmark de programação.
Artificial Analysis (empresa): Organização cujo índice de inteligência reúne benchmarks de diferentes categorias, conforme descrito no vídeo.
Harness (conceito): Camada que orquestra o modelo e pode afetar suas respostas e seu desempenho no fluxo de trabalho.
Terminal-Bench 4.0 (conceito): Benchmark citado para comparar o desempenho de modelos em tarefas de terminal.

Tradução completa (pt-BR)

00:00 Não é de hoje que eu falo para vocês que a Anthropic precisa de um modelo bom, barato e rápido se quiser bater de frente com os LLMs chineses. E parece que o Sonnet 5.5 vem exatamente disso. Depois de acertar em cheio com o Opus 5, a Anthropic apresenta agora ao mercado a nova versão do modelo Sonnet. E aí, será que ele é tudo isso mesmo? Bora nessa que eu te mostro. O modelo foi lançado e aqui tem uma coisa interessante: não houve mudança no preço. O custo de input, output e cache continua o

00:32 mesmo. No entanto, se você observar os gráficos, eles vão dizer outra coisa. No Frontier Code 1.1, por exemplo, dá para comparar a versão anterior do Sonnet 5, que entregava as mesmas tarefas por um custo muito superior e com uma qualidade muito inferior. Agora não: na versão nova, pelo menos nos níveis low, médio e alto — low e médio —, a entrega é semelhante à do Sonnet 5. No nível alto, ele já supera o GPT-6 Sol, supera

01:02 em desempenho e em custo. Isso ficou bem interessante. Mas o gráfico tem um comportamento bem esquisito quando a gente vai para o modo max. Aí ele tem uma regressão, né? Dá essa degradação e vai custar mais caro do que a versão anterior do Sonnet 5. Aparentemente, o modelo é muito interessante de usar até o modo X High. Acima disso, não faz sentido. Ele começa a degradar, pelo menos no quesito de desenvolvimento de software. Outro benchmark interessante é o Terminal-Bench 4.0,

01:34 que a gente consegue comparar de duas formas: tanto no oficial quanto aqui. Vou comparar no oficial porque tem mais modelos para comparar. Então, olha só: o Opus 5.5 no oficial está aqui, superando todos eles com folga. E posso dizer: usei 7 bilhões de tokens do Opus 5. De fato, ele é tudo isso. Todo mundo com quem converso e interajo lá no X — inclusive, se quiser, me segue lá no X — percebeu que o Opus 5 está um excelente modelo, pelo menos até

02:05 nerfarem ele, né? Deixa aqui nos comentários se ele já foi nerfado para você ou não. Então, é um excelente modelo. O Sonnet 5.5 cruza alguns caminhos com o Opus 5. O que chama bastante atenção é que ele está muito superior ao GPT-5.6 Sol, muito superior. O que também chama atenção é que o Grok 4.7 só veio a passeio. Nem faz sentido cogitar usá-lo, a não ser por uma questão de subsídios do próprio plano do Grok ou do Cursor. Agora, se você olhar bem para o

02:36 custo por tarefa, vai perceber que o Opus 5 é melhor ou, às vezes, igual ao Sonnet 5. Então ficou um modelo um pouco confuso para a gente saber: cara, onde é que ele se encaixa no meu workflow? Vou trocar o Opus 5 pelo Sonnet 5.5? Isso a gente vai precisar testar durante os próximos dias. Agora vou fazer uma previsão, tá? Acredito que eles vão conseguir melhorar a questão de customização da infraestrutura e pode ser que a gente veja o Sonnet 5.5 baixando de preço

03:07 em breve. Foi a mesma coisa que fizeram com o Opus. Aí sim esse cara vai começar a fazer sentido. Você usa o Opus 5.5 para coisas mais robustas e complexas e o Sonnet 5.5 como seu daily driver. Beleza? E o que também chama atenção é que ambos os modelos, tanto o Sonnet 5.5 quanto o Opus 5.5, superaram o Fable 5.1. E isso é um pouco inesperado. Eu não imaginava ver o modelo Sonnet 5.5 superando o Fable 5.1 no quesito de desenvolvimento de software. E aqui é importante mencionar que esse benchmark

03:39 está rodando dentro do harness do Cursor, ou seja, não é apenas um teste do modelo cru, sem as ferramentas que vão dar o melhor suporte para ele. Inclusive, se quiser aprender um pouco mais sobre isso, eu ensino lá dentro da EICERS Academy. O link está na descrição e no primeiro comentário fixado. Não é só isso. Aqui você tem o Cursor como harness, orquestrando o modelo e ajudando-o a alcançar seu maior potencial. Então, é aqui que você provavelmente vai ter uma percepção mais próxima da

04:10 realidade de fato para codificação. E olha que interessante: até pouco tempo atrás, o GPT-5.6 Sol era um dos melhores modelos do mercado. Até por isso o Grok 4.7 ficava ali, né, na cola: “Poxa, o Grok 4.7 está melhor, não está melhor?”. E agora simplesmente se criou um abismo gigante entre esses dois caras. O GPT-6 Sol também está perdendo para o Sonnet 5.5, perdendo também para o Opus 5. Isso está bem interessante, bem interessante

04:41 mesmo. E a OpenAI tem uma missão e um desafio agora. Acabaram de lançar um modelo que já está começando a ficar irrelevante no mercado. Apesar de o modelo deles ser muito mais barato, também precisa entregar alta qualidade para conseguir se manter competitivo. Agora veja a questão da velocidade. Esse é outro acerto da Anthropic. Eles estão conseguindo entregar um modelo muito mais rápido do que a versão anterior, com desempenho superior. Vamos lá. O modelo está entregando custo por tarefa mais baixo, está entregando mais

05:11 velocidade e melhor eficiência; está mais inteligente. Então, mais uma vez, na minha opinião, isso é um grande acerto da Anthropic. Ah, Vini, mas você acha que esse modelo vai ser nerfado? Cara, acho improvável que nerfem o modelo. E sempre falo isso. Geralmente, quando a gente percebe degradação nas respostas, o problema não costuma ser o modelo; geralmente está relacionado ao harness. Inclusive, se quiser aprender mais sobre harness e entender o impacto disso no fluxo de desenvolvimento de software com IA, clica no link da Ecoder, que está no primeiro comentário fixado e também na descrição.

05:43 Então, o harness tem todo esse poder de fazer uma mudança impactar tudo, como aconteceu alguns meses atrás ou algumas semanas atrás. É tão rápido que a gente perde a referência do tempo. Quando a Anthropic mudou o system prompt e o retirou, principalmente a parte que falava para o modelo não criar comentários longos, o pessoal começou a falar: “Pô, o Opus 5 está muito ruim, está gerando comentários muito longos”. Não era um problema do modelo, era um problema do harness. Aqui, a gente vai tentar observar a mesma coisa ao longo dos próximos dias. Se você perceber uma mudança no output do modelo, dá uma

06:14 olhada para ver se não é o próprio harness. Isso pode estar relacionado ao seu harness, às skills que você está usando ou ao seu arquivo CLAUDE.md. Revise tudo antes de usar o modelo novo, porque talvez o que era relevante colocar nesses arquivos antes não seja mais relevante. No índice de inteligência da Artificial Analysis, que reúne diversos benchmarks de categorias diferentes, a gente também vai observar que o Sonnet 5.5 chegou arrebentando. Olha só: ele está posicionado logo à frente do Fable 5.1. Esse cara está surpreendendo. Não era

06:47 para o modelo da família, na teoria, né? O terceiro modelo na lista de prioridade — primeiro o Fable, segundo e terceiro o Sonnet — não era para estar se saindo tão bem assim. Então, me agrada muito ver o desempenho que ele está tendo aqui. E fica a pergunta: será que a Anthropic vai lançar um Riku 5, um Riku 5.5, tão bom e barato nessa mesma proporção de saldo que a gente observou agora nas famílias 5.5? Quero ouvir sua opinião aqui nos comentários. Mas parece que tem alguma pegadinha, porque, se você observar lá no

07:19 índice de custo por tarefa, vai observar que o Sonnet 5.5 está mais caro, mais caro do que o Opus 5.5. Isso acontece porque esse benchmark mede somente codificação; ele também mede outras tarefas. Então, no conjunto de benchmarks, ele acaba sendo um modelo mais caro que a versão atual do Opus 5. Vocês perceberam que a Anthropic mudou seu padrão de comunicação? Antes, tinha que fazer todo aquele escarcéu: “Ah, o mundo vai acabar, vai acabar com tudo” e tudo mais. Agora, simplesmente está aqui o

07:50 modelo, pessoal, testem, validem. O Pro 5.5 foi testado e validado, e o resultado está absurdo. É disparado o melhor modelo. GPT-6 Astra não chega nem perto. “Ah, mas o Astra é melhor para usar o computador.” É melhor mesmo, só para isso, porque nos outros critérios, o OPPO 5 está levando o troféu. Agora vamos observar o Sonic 5.5, ver como ele vai se sair. Aí precisamos testar. Pessoal, não dá para tirar conclusões sobre o modelo logo no lançamento. Não dá para dizer: “Ah, ele é o melhor modelo.” Não dá. Tem que testar, tem que validar. Eu testei o

08:21 OPPO 5. Gastei 7 bilhões de tokens e posso dizer que, pelo menos até ontem, ele era disparado o melhor modelo do mercado. Agora, a tarefa e a missão são testar o Sonet 5 e trazer para vocês se vale a pena usar esse modelo ou não. O fato é que a Antropic mudou — mudou, na minha visão, para melhor. Aprenderam a fazer uma comunicação decente com o mercado, que empolga as pessoas a testar, e acho que ela vai começar a recuperar cada vez mais o mercado que perdeu, não por incompetência tecnológica, mas por

08:51 talvez uma falta de tato com o mercado na parte da comunicação. Quero saber a sua opinião: o que vocês acham? A Antropic voltou para o jogo? Ela está de volta e agora ninguém segura, vai ganhar disparado ou não? A Open está com alguma surpresinha na manga? Deixem aqui nos comentários. Quero saber a sua opinião. No mais, eu sou o Vini. Este é o canal da Eoders Academy. Estamos juntos.

Transcrição original

[00:00] Não é de hoje que eu falo para vocês que a Antropic precisa de um modelo bom, barato e rápido se ela quiser bater de frente com os LN chineses. E parece que o Sonic 5.5 vem exatamente disso. Depois de ter acertado de mão cheia o OPO 5. ANTrop apresenta pro mercado agora a nova versão do modelo Sonet. E aí, será que ele tá tudo isso mesmo? Bora nessa que eu te mostro. O modelo foi lançado e aqui tem uma coisa interessante, não houve mudança em relação a preço. O custo de input, output, cash continua o

[00:32] mesmo. No entanto, se você observar os gráficos, os gráficos vão dizer outra coisa. Lá no Frontier Code 1.1, por exemplo, você vai comparar a versão anterior do Sonet 5, que tava entregando as mesmas tarefas por um custo muito superior e uma qualidade muito inferior. Agora não, você vê que na versão nova, pelo menos no nível low, nível médio e o nível alto, nível low e nível médio, entrega semelhante ao Sonic 5. No nível alto ele já supera o GPT 6 Sol, supera

[01:02] em performance e em custo. Isso aqui ficou bem interessante. Mas o gráfico tem uma um comportamento bem esquisito quando a gente vai pro modo max. Aí ele tem uma regressão aqui, né? Dá essa degradação e vai custar mais caro do que a versão anterior do Sonet 5. Aparentemente o modelo tá muito interessante de se utilizar até aqui o modo X High. Acima disso não faz sentido. Ele começa a degradar pelo menos na no quesito de desenvolvimento de software. Outro benchmark interessante é aqui o terminal bent 4.0

[01:34] que a gente consegue comparar ele aqui de duas formas. tanto no oficial quanto aqui. Eu vou comparar aqui no oficial porque tem mais modelos pra gente comparar. Então, olha só, OP 5.5 no oficial, ele tá aqui, ó, superando todos eles com folga. E eu posso dizer, eu usei 7 bilhões de tokens do Oppo 5. De fato, ele é tudo isso. Todos, todo mundo que eu converso, que eu interajo lá no Ex, inclusive se quiser me segue lá no Ex, a gente percebeu que o OPPO 5. Tá um excelente modelo, pelo menos até

[02:05] nerfarem ele, né? Deixa aqui nos comentários se ele já foi nerfado para você ou não. Então, é um excelente modelo. O Sonet 5. E cruza alguns caminhos aqui com OPPO 5. O que que chama bastante atenção, ele tá muito superior ao GPT 5.6 Sol, tá muito superior. Que também que chama atenção é que o Grock 4.7 só veio a passeio. Não faz nem sentido cogitar utilizar ele, a não ser que seja por uma questão de subsídios do próprio plano da Grock ou do cursor. Agora, se você olhar bem pelo

[02:36] custo por tarefa, você vai perceber que o Oppo 5. Melhor ou às vezes igual ao que o Sonet 5. Então ficou um modelo um pouco confuso da gente saber assim, cara, aonde é que ele se encaixa dentro do meu workflow? Eu vou trocar o Oppo 5. Son 5.5? Isso a gente vai precisar de testar aí durante esses próximos dias. Agora vou fazer uma previsão aqui, tá? Eu acredito que eles vão conseguir melhorar a questão de customização de infra e pode ser que a gente veja o Sonic 5.5 baixando o preço

[03:07] em breve. Mesma coisa que fizeram ali com o op. Aí sim esse cara vai começar a fazer sentido. Você traz o op 5.5 para coisas mais robustas e complexas e o Sonet 5.5 como seu daily driver. Beleza? E o que chama atenção também é que ambos os modelos, tanto o Sony 5.5 quanto o OPPO 5.5 superaram o Fable 5.1. E isso aqui é um pouco inesperado. Eu não imaginava ver o modelo Sony de 5.5 superando o Fable 5.1 no quesito de desenvolvimento de software. E aqui é importante mencionar que esse benchmark

[03:39] ele tá rodando dentro do harness do cursor, ou seja, não é somente um teste do modelo cru sem as ferramentas que vão dar o melhor suporte para ele. Inclusive se você quiser aprender um pouco mais sobre isso, eu ensino isso lá dentro da EICERS Academy. Link tá na descrição e no primeiro comentário fixado. Não é só isso. Aqui você vai ter então o cursor como harness que vai est orquestrando o modelo e vai est auxiliando a esse modelo a alcançar o seu maior potencial. Então aqui é onde você provavelmente vai ter uma percepção mais próxima da

[04:10] realidade de fato pra codificação. E olha que interessante, até pouco tempo atrás GPT 5.6 Sol era um dos melhores modelos do mercado. Até por isso o GR 4.7 ficava ali, né, na cola para poxa, GR 4.7 tá melhor, não tá melhor e agora simplesmente criou-se um iato gigante entre esses dois caras. o GPT 6 SOL perdendo também para o Sonic 5.5, perdendo também para o OPO 5. Isso aqui tá bem interessante, tá bem interessante

[04:41] mesmo. E a Open tem uma missão e um desafio agora. Acabaram de lançar um modelo que já tá começando a ficar irrelevante no mercado. Apesar do modelo seu modelo muito mais barato, tem que entregar também uma qualidade alta para conseguir se manter se manter competitivo. Agora veja a questão de velocidade. Isso aqui é um outro acerto da Antropic. Eles estão conseguindo entregar um modelo que é muito mais rápido do que a sua versão anterior, com uma performance superior. Vamos lá. O modelo tá entregando curso por tarefa mais baixo, ele tá entregando mais

[05:11] velocidade e ele tá entregando melhor eficiência, ele tá mais inteligente. Então, mais uma vez, ao meu ver, isso aqui é um grande acerto da Antropic. Ah, Vini, mas você acha que esse modelo vai ser nerfado? Cara, eu acho improvável de nerfarem o modelo. E eu sempre falo isso. Geralmente quando a gente percebe degradação nas respostas, geralmente não é o modelo, geralmente tá relacionado ao harness. Inclusive, se você quiser aprender mais sobre harness e entender o impacto disso no fluxo de desenvolvimento software com IA, clica aqui no link da Ecoder, tá no primeiro comentário fixado e também na descrição.

[05:43] Então o Harness, ele tem todo esse poder de fato de uma mudança impactar tudo, como aconteceu alguns meses atrás ou algumas semanas atrás. É tão rápido que a gente perde a referência de tempo. Quando a Antropic mudou ali o system prompt, tirou o system prompt, principalmente a parte que falava pro modelo não criar comentários grandes. E o pessoal começou a falar: “Pô, o OPPO 5 tá muito ruim, ele tá gerando comentários muito longos”. Não era um problema de modelo, era um problema de harness. Aqui a gente vai tentar observar a mesma coisa ao longo dos próximos dias. Se você perceber uma mudança no output do modelo, dá uma

[06:14] olhada se isso não é o próprio harness. Isso pode estar relacionado ao seu harness, pode estar relacionado à skills que você tá utilizando, pode estar relacionado ao seu arquivo cloud MD. Revisa tudo antes de usar o modelo novo, porque pode ser que o que era relevante para você colocar nesses arquivos antes, talvez não seja mais relevante. No índice de inteligência do artificial análisis, que reúne diversos benchmarks de categorias diferentes, a gente também vai observar que o Sonic 5.5 chegou arregaçando aqui, ó. Ele tá sendo posicionado bem logo à frente do Fable 5.1. Tá surpreendendo esse cara. Não era

[06:47] pro modelo da família na na teoria, né? O terceiro modelo na lista de prioridade, primeiro sendo Fable, segundo e terceiro Sonic, não era para ele tá performando tão bem assim. Então me agrada muito ver a performance que ele tá tendo aqui. E fica a pergunta, será que a Antropic vai lançar um Riku 5, um Rikur 5.5 que seja tão bom e barato nessa mesma proporção de saldo que a gente observou agora nas famílias 5.5? Quero ouvir a sua opinião aqui nos comentários. Mas parece que tem alguma pegadinha, porque se você observar lá no

[07:19] índice de custo por tarefa, você vai observar que o Sonet 5.5 ele tá mais caro, mais caro do que o OPPO 5.5. Isso por esse benchmark ele tá medindo somente pra codificação, ele tá medindo para outras tarefas. Então, no conjunto de benchmarks, ele sai um modelo mais caro que a versão atual do Oppo 5. Vocês perceberam que a Antropic mudou o padrão dela de comunicação. Antes tinha que fazer todo o escarcel, ah que o mundo vai acabar, que vai acabar com tudo, tudo mais. Agora simplesmente tá aqui o

[07:50] modelo, pessoal, testem validem. ou pro 5.5 foi testado e validado, o resultado tá absurdo. É o melhor modelo disparado. GPT6 Astra não fica nem pro cheiro. Ah, mas o Astra é melhor para computer user. É melhor mesmo, só para isso, porque nos outros critérios, OPPO 5. Tá levando o troféu. Aí a gente vai observar agora o Sonic 5.5, como é que ele vai ficar. Aí a gente precisa testar. Pessoal, não dá para tirar a conclusão do modelo logo no lançamento. Não dá para falar que, ah, ele é o melhor modelo. Não dá. Tem que testar, tem que validar. Eu testei o

[08:21] Oppo 5. Gastei 7 bilhões de tokens e posso dizer que pelo menos até ontem ele era disparado o melhor modelo do mercado. Agora a tarefa e a missão é testar o Sonet 5 e trazer aqui para vocês se tá valendo a pena usar esse cara ou não. Fato é que a Antropic mudou, mudou na minha visão para melhor. aprenderam a fazer uma comunicação decente do mercado, que as pessoas se empolgam para testar e eu acho que ela vai começar cada vez mais recuperar o mercado que ela perdeu, não por incompetência tecnológica, mas por

[08:51] talvez uma falta de tato ali com o mercado na parte de comunicação. Eu quero saber a sua opinião, que que vocês acham? Antropic voltou pro jogo? Ela tá de volta agora não tem para ninguém, vai ganhar disparado ou não? A open tá com alguma surpresinha na manga ali? Deixa aqui nos comentários. Quero saber sua opinião. No mais, eu sou o Vini. Esse aqui é o canal da Eoders Academy. Estamos junto.