Opus 5.5: a Anthropic acaba de criar o melhor modelo de programação

Autoria: Prompt Engineering · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Opus 5.5: Anthropic Just Built the Best Coding Model · Canal: Prompt Engineering · 09:13 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Geração de conteúdo com IA, Mercados e economia, Modelos de IA

Resumo

O vídeo apresenta o Opus 5.5 como um modelo de programação com resultados fortes em benchmarks agênticos e custo de API reduzido em relação ao Opus 5. O apresentador destaca a capacidade de verificar o próprio código, o estilo de comunicação mais natural e o desempenho em demonstrações de geração visual e criação de sites. Também comenta que resultados em benchmarks podem variar conforme os dados e as tarefas avaliadas. Ao final, observa que a concorrência entre empresas também influencia preços e limites de uso.

Pontos-chave

O Opus 5.5 tem desempenho destacado em vários benchmarks agênticos, incluindo o Terminal Bench 4.0.
O apresentador ressalta a redução dos preços da API, sem especificar os valores.
O modelo pode escrever código e verificar os resultados, inclusive usando um navegador.
O apresentador considera que as mensagens do Opus 5.5 são mais naturais e fáceis de entender que as de versões anteriores.
As demonstrações incluem uma simulação de buraco negro, rastreamento da ISS e um site de lançamento de produto.
O nível de raciocínio médio é o padrão mencionado; o vídeo recomenda alto para tarefas mais complexas.
O apresentador elogia a criação de elementos visuais, animações e arte voxel.
O vídeo destaca a possibilidade de redefinir limites de uso e relaciona essa iniciativa à concorrência entre empresas.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação e benchmarks	O vídeo introduz o Opus 5.5, comenta preços e compara seu desempenho em benchmarks de programação.
03:19	Comunicação e disponibilidade	O apresentador aborda tarefas de trabalho, compara o estilo de escrita do modelo e explica onde ele está disponível.
05:28	Demonstrações de código e geração visual	São exibidas uma simulação de buraco negro, uma visualização da ISS e a criação de um site para lançamento de produto.
08:12	Elementos visuais e limites de uso	O vídeo mostra arte voxel e comenta opções de redefinição de limites, antes de resumir os pontos fortes do modelo.

Citações

O que me anima pessoalmente é que ele consegue escrever como um humano. — 00:00

O modelo não está apenas escrevendo o código; também está verificando os resultados. — 02:08

Isso é muito mais natural. — 04:25

Parece um modelo muito bom: melhor comunicação, melhor qualidade de código e preços mais baixos. — 09:13

Conceitos e entidades

Opus 5.5 (modelo): Modelo apresentado no vídeo, com foco em programação, comunicação mais natural e geração de conteúdo visual.
Anthropic (empresa): Empresa responsável pelo Opus 5.5, segundo o vídeo.
Fable 5.1 (modelo): Modelo usado como referência de comparação em benchmarks e exemplos de escrita.
Terminal-Bench 4.0 (conceito): Benchmark de tarefas em terminal que o apresentador descreve como uma avaliação ainda não saturada.
Frontier Code (conceito): Benchmark mencionado no vídeo cuja variação de desempenho entre níveis de raciocínio é considerada incomum.
Claude Code (ferramenta): Ferramenta pela qual o apresentador executa demonstrações com o Opus 5.5.
International Space Station (conceito): Estação espacial cuja localização em tempo real é usada em uma das demonstrações.

Tradução completa (pt-BR)

00:00 Certo, então Opus 5.5 chegou e supera Fable em quase todos os benchmarks. Mas o que me anima pessoalmente é que ele consegue escrever como um ser humano, não como a porcaria de IA que todos os modelos Opus anteriores vinham produzindo. Vamos ver algumas demonstrações, mas a principal notícia é que este é o primeiro modelo da família Claude 5.5. E ele parece estar no mesmo nível de Fable 5.1, ou até ser melhor, mas custa % menos que Opus 5, o que é uma ótima notícia.

00:32 E outra boa notícia é que eles estão reduzindo os preços da API. Há uma pequena redução nos preços de entrada, de saída e também dos tokens hash, o que será muito vantajoso. E sinto que a Anthropic está realmente sentindo a pressão, porque a relação entre desempenho e custo é uma das principais coisas que os usuários levam em conta ao escolher modelos hoje em dia. Certo, e quanto ao desempenho? Ele supera praticamente todos os outros modelos em quase todos os benchmarks agênticos. O mais importante para mim é o

01:05 Terminal Bench 4.0. Este provavelmente é um dos benchmarks que ainda não está saturado e é uma nova iteração do Terminal 2.1. E este modelo tem um desempenho muito forte. Ele supera até Astra e Fable 5.1. Agora, estou colocando-o à prova porque os benchmarks geralmente não representam muito bem as capacidades de programação no mundo real, mas dão uma ideia do que esperar. Nos outros benchmarks, dá para ver que ele está na vanguarda.

01:37 Até agora, a Anthropic vinha priorizando a inteligência dos modelos, mas agora também está se empenhando em tornar essa inteligência mais barata. E, se você observar este modelo no Terminal Bench, com diferentes configurações de raciocínio, ele não só supera os demais modelos, como faz isso a um custo muito menor, o que, na minha opinião, é ótimo para nós, clientes. E isso se repete em todos os benchmarks de programação agêntica. Quanto às tarefas de programação agêntica, ele é realmente muito bom, especialmente nos ciclos de verificação. Por exemplo,

02:08 este é meu prompt de sempre, mas agora o modelo não só escreve o código: ele também verifica os resultados, geralmente no navegador, o que é uma etapa muito importante se você quiser deixar esses modelos trabalhando sem supervisão em tarefas de longa duração. Volto a isso daqui a pouco. Isto é estranho. Parece que o nível médio no Frontier Code and Reasoning tem um desempenho muito melhor do que os níveis alto e extra alto, e depois fica bem parecido com o máximo.

02:45 Este gráfico inteiro parece muito estranho, mas, por algum motivo, isso também acontece com Fable. E até com Opus. Já os modelos GPT se comportam de maneira bem diferente neste benchmark específico, certo? O fato é que, na minha opinião, o desempenho desses modelos depende muito do tipo de dados com que são treinados. Este benchmark pode ter outra distribuição de dados ou provavelmente estar fora da distribuição dos dados usados para treinar o modelo, e é por isso que vemos um comportamento muito estranho aqui. Algo que vale notar: acho que seria

03:19 bom analisar exatamente o que há neste benchmark Frontier Code. Certo, além de programação, o trabalho também é outra área em que essas empresas de ponta estão investindo bastante. E, mais uma vez, este parece estar na vanguarda no GPT Wall, em termos de inteligência, medida pela pontuação Elo, e de custo por tarefa. Agora, esperamos que ele produza respostas muito mais concisas. Então, não é só que terão um desempenho melhor nesses benchmarks,

03:51 mas esperamos que isso também se reflita nos testes no mundo real, que vou mostrar daqui a pouco. Certo, mas o que me anima pessoalmente é o estilo de comunicação. Eles dizem que fizeram grandes melhorias na forma como Opus 4 5.5 escreve e se comunica. Uma das reclamações mais comuns que ouvimos sobre Opus 5, certo? As mensagens dele são muito mais fáceis de entender rapidamente, o que, segundo os testadores, ajudou em sessões longas. E, se você já usou Opus, conhece esse estilo de escrita muito peculiar

04:25 que parece pouco natural. Por exemplo, aqui pedem que ele explique um problema específico. Fable começa falando que a queda extra não se deve ao plano gratuito. Há alguma regressão em outro problema específico, certo? Já Opus 5.5 soa muito mais natural. Ele diz: a mudança no plano gratuito explica apenas 1,1 da queda da Acme em agosto, certo? Isso soa muito mais natural do que o estilo de escrita de antes.

04:57 Aqui estão mais alguns exemplos da publicação no blog. Também vamos ver como são boas as explicações do modelo quando eu o testar. Isso dá uma ideia de que espero que seja muito mais agradável ler o que ele produz. Certo, o modelo está disponível tanto no Claude Code quanto no aplicativo para desktop Claude. Você terá que atualizá-los, e também pode usá-lo pela API com a tag Opus 5.5. Há várias coisas

05:28 sobre retenção de dados, destilação e segurança. Recomendo muito que leiam tudo se tiverem interesse, mas vou mostrar algumas demonstrações. Certo, esta primeira demonstração é uma simulação de buraco negro. Forneci um prompt bem detalhado e devo dizer que fiquei bastante impressionado com a qualidade visual do resultado que ele consegue produzir. Acho que ficou bem legal. Na minha opinião, provavelmente está muito mais brilhante do que eu esperava. Mas dá para ajustar coisas como a densidade. Ele oferece todos os

06:02 controles diferentes de que você precisa, certo? Isto está rodando na minha CPU. Como há vários processos competindo por recursos, a fluidez talvez não seja tão boa quanto eu gostaria. Mas, no geral, fiquei bastante impressionado com o que ele consegue produzir. Certo, a segunda demonstração é o rastreamento em tempo real da Estação Espacial Internacional. É um dos meus prompts de sempre. O modelo não só consegue produzir resultados visualmente impressionantes, como também tem

06:34 estabilidade para fazer chamadas de API em tempo real. E acho que este é um dos melhores resultados que já vi. Em especial, além de acompanhar a localização da ISS em tempo real, ele também colocou o Sol do lado certo, um detalhe muito legal. Certo, aqui está outro dos meus prompts de sempre: peço ao modelo que faça uma pesquisa por conta própria e depois crie um site para o lançamento de um produto. Neste caso, eu diria que a qualidade visual ainda pode melhorar. Ele

07:06 não parece porcaria de IA, mas acho que eu provavelmente esperava muito mais. No entanto, ele adicionou animações bem legais para apresentar os benchmarks. E os números dos benchmarks parecem estar corretos, certo? Ao percorrer o site, você encontra esses prompts bem interessantes. Estes são alguns dos exemplos que eles destacaram. Ele comparou Opus 5 e Opus 5.5, o que, na minha opinião, ficou ótimo. Por padrão, eles

07:41 definiram o nível de raciocínio como médio, e o modelo respeitou essa configuração. E eles até recomendaram que provavelmente seria melhor usar o nível alto para tarefas mais complexas. Mas, no geral, estou bem satisfeito com o resultado. Especialmente com esses pequenos elementos visuais que ele adiciona. De primeira, achei que talvez não tivesse gostado muito da qualidade visual. Mas, enquanto percorro o site, acho que ficou bem caprichado. Ah, certo, isso é

08:12 incrível. E lembre-se: é apenas Opus 5.5 rodando no Claude Code e criando os próprios visuais, sem usar nenhum recurso pronto, o que é impressionante. Como era de se esperar, ele é realmente muito bom em 3js e consegue produzir essas artes em voxel. Esta é uma versão muito detalhada, e acho que provavelmente é a mais detalhada que já vi de qualquer modelo. E ele seguiu o prompt com muita precisão, certo? Fez um ótimo trabalho com os recursos visuais que consegue produzir. Agora, vou

08:43 mostrar algumas outras coisas bem interessantes que encontrei enquanto gravava este vídeo. E não é só o limite de 5 horas que eles estão aumentando. Eu esperava que também aumentassem os limites semanais. Agora, estão permitindo que os usuários redefinam os limites de uso, o que é ótimo. Isso provavelmente foi inspirado pela OpenAI, porque a OpenAI começou a fazer isso, e é por isso que a concorrência é muito boa para nós, clientes. As empresas de modelos não só têm

09:13 para competir em qualidade do modelo, mas também em preço e em incentivos como reinícios acumulados. Certo, essa foi uma atualização rápida sobre o Opus 5.5. Parece um modelo muito bom, na verdade, com comunicação melhor, código de melhor qualidade, preços mais baixos, além de menor uso ou menos tokens.

Transcrição original

[00:00] Okay, so Opus 5.5 is here and it beats Fable on almost every benchmark. But the thing that I’m personally excited about is it can write like human, not the AI slop that all the other previous Opus models have been producing. We’ll look at a few demos, but the main headline is this is the first model in their Claude 5.5 family. And it seems to be on par or actually better than Fable 5.1, but costs percent less compared to Opus 5, which is really good news.

[00:32] And another good news is that they are actually reducing the API pricing. There’s a minor reduction in both input, output, as well as the hash token pricing, which is going to be very beneficial. And I feel like Anthropic is really feeling the heat because uh as to performance ratio is one of the main things right now for users when they’re selecting models. All right, so how is the performance? It pretty much beats every other model on almost all the agentic benchmark. The most important one for me is the

[01:05] terminal bench 4.0. This is probably one of the benchmarks that is not saturated yet and it’s a new iteration of the terminal 2.1. And this model performs really strongly. Even it beats Astra and Fable 5.1. Now, I am putting it to the test because benchmarks usually don’t really represent the real world coding capabilities, but they do give you an indication of what to expect. Now, on the rest of the benchmarks, you can basically see that it is state-of-the-art.

[01:37] So far, Anthropic has really been pushing for model intelligence, but now they are also pushing for making that intelligence cheaper. And if you look at this model on terminal bench on different reasoning settings, it not only out proof the rest of the models, but at much lower cost, which is I think really great for us as customers. And you see this throughout all of the agentic coding benchmarks. Now, when it comes to agentic coding tasks, it’s actually really good, especially its verification loops. So, for example,

[02:08] here’s my go-to prompt, but right now the model is not only writing the code, but actually verifying its outputs usually within the browser, which actually is a really important step if you want to be running these models unattended for long horizon tasks. I’ll come back to these in a minute. This one is weird. It seems like the medium on uh frontier code and reasoning performs much better compared to high, extra high, and then it performs way similar to the max.

[02:45] This whole plot looks really weird, but it’s also true for Fable for some reason. And even for Opus, now the GPT models are doing or behaving much differently on this specific benchmark, right? So, the thing is that the performance of these models I think is really dependent on of what type of data they are trained on. This benchmark may have some other data distribution or it’s going to be probably out of distribution for how they are training the model, and that’s why we are seeing a very weird behavior here. Something to note, I think it

[03:19] would be good to look at what exactly is in this frontier code benchmark. Okay, apart from coding, uh its work is another area where these frontier companies are pushing a lot. And again, this seems to be state of the art on the GPT wall. When it comes to intelligence, which is measured in Elo score, and then cost per task. Now, hopefully it’s going to produce much more concise answers. Uh so, they’re not only going to perform better on these benchmarks,

[03:51] but hopefully this is to all be also reflected in the real world testing, which I’m going to show you in a minute. Okay, but the main thing I’m personally excited about is the communication style. So, they say that we have made major improvements to the way Opus 4 5.5 writes and communicates. One of the most common areas of feedback we have heard about Opus 5, right? Uh messages Its messages are much easier to understand at a glance, which testers said helped during long running sessions. And if you have used Opus, uh it’s this very peculiar style

[04:25] of writing which feels unnatural. So, for example, they’re asking here explain a certain issue. Fable kind of starts going off by the extra drop is not free tier. Any regression in other specific issue, right? Now, on the other side, it’s actually a lot more natural for Opus 5.5. It says the free tier change accounts for only 1.1 of Acme’s August drop, right? So, this is a lot more natural compared to what style is.

[04:57] Here are a couple of other examples from the blog post. We’re going to also look at how good it is its explanation is when I am testing the model. This gives you an indication that I hope it’s going to be much more pleasant to read its outputs. Okay, so the model is available on both Claude code and the Claude desktop app. You’ll have to update them, and you can also use it through the API with Opus 5.5 tag. Now, there are a whole bunch of things

[05:28] regarding data retention, distillation, and safety. I’ll highly recommend to read through them if you’re interested in that, but let me show you a couple of demos. Okay, so this first demo is black hole simulation. I provided a very detailed prompt, and I’m going to say I’m pretty impressed with the visual output quality that it’s able to produce. I think it’s pretty neat. Now, I think it probably is a lot brighter compared to what I was hoping for. But, we could adjust things like density. It gives us all of the

[06:02] different controls that you would need, right? Now, this is running on my CPU. So, since there are a lot of different processes competing for resources, so the smoothness may not be as good as I would hope for. But, overall, I’m actually pretty impressed with what it’s able to produce. Okay, the second one is a real-time tracking of International Space Station. It’s one of my go-to prompts. This not only has the model capability to produce visually stunning outputs, but also

[06:34] uh stability to make real-time API calls. And I think it’s one of the best outputs that I have seen so far. Especially, not only it’s tracking the real-time location of the ISS, but it also put the sun on the right side, which is actually a really neat touch. Okay, here’s my another go-to prompt where I asked the model to do research on its own and then put together a website for product launch. Now, in this case, I would say the visual quality can definitely use some work. It

[07:06] doesn’t look like AI slop, but I think I would probably was expecting a lot more. However, it added these really neat animations when it comes to the benchmarks. And benchmark numbers actually seems to be correct, right? So, throughout the website as you go down, you see these really interesting prompts. These are some of the example that they have highlighted. It put a comparison between Opus 5 and Opus 5.5, which is I think it’s pretty great. Now, by default, they

[07:41] set the reasoning level to medium, which it captured. And they actually recommended probably it’s better to run it on high for more complex tasks. But overall, I’m pretty happy with what it’s able to produce. Especially these small visual elements that it’s adding. Now, on the first go, I thought I probably didn’t really like the visual quality. However, as I’m going through the website, I think it’s actually pretty neatly put. Oh, okay, this is pretty

[08:12] awesome. And keep in mind, it’s just Opus 5.5 running in Claude code coming up with its own visuals without using any assets, which is pretty incredible. Now, as expected, it’s actually really good at 3js, and it can produce these voxel arts. This is a very detailed version that I think probably I have seen from any model. And it followed the prompt really accurately, right? So, a really good job with the visual assets that it can produce. Now, I’m going to

[08:43] show you a couple of other really interesting things that I found while recording this video. And it’s not only they are increasing the 5-hour limit. I was hoping that they would also increase the weekly limits. Now, they’re giving the users the ability to reset their rate limits, which is great. Now, this is probably inspired from OpenAI cuz OpenAI has started doing this, and this is why competition is really good for us customers. Model companies not only have

[09:13] to compete on the model quality, but also on pricing and then incentives like banked resets. Okay, so this was a quick update on Opus 5.5. It seems like a really good model, actually with better communication, better code quality, lower pricing, plus lower usage or tokens.