A Anthropic ficou MALUCA (Opus 5.5)

Autoria: Matthew Berman · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Anthropic went CRAZY (Opus 5.5) · Canal: Matthew Berman · 31:42 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Claude Code, Modelos de IA, Segurança de IA

Resumo

Matthew Berman apresenta o Opus 5.5, destacando seus resultados em benchmarks de programação e trabalho de conhecimento, além de seu menor custo e maior velocidade em comparação com o Opus 5. O vídeo também aborda segurança, eficiência por tarefa e o papel do modelo como opção versátil para uso diário. Na entrevista, Tharic, da equipe da Anthropic, comenta como modelos ajudam a desenvolver outros modelos, o lançamento após o chamado para desacelerar e os desafios de adaptar harnesses e ferramentas às novas capacidades. A conversa termina com observações sobre tool calling, skills e a necessidade de aproveitar melhor a inteligência dos modelos.

Pontos-chave

O Opus 5.5 lidera ou apresenta fortes resultados em vários benchmarks citados, incluindo Terminal Bench e GDPval.
Segundo a apresentação, o modelo é mais rápido e custa menos que o Opus 5; o custo por tarefa também depende da quantidade de tokens necessária para concluí-la.
O nível de esforço escolhido pode alterar bastante a relação entre qualidade e custo por tarefa.
O apresentador destaca o Opus 5.5 como um possível modelo de uso diário para programação e trabalho de conhecimento.
A Anthropic afirma que ampliou os testes de alinhamento e aplica salvaguardas adicionais a usos sensíveis, como biologia e cibersegurança.
Tharic descreve a melhoria de modelos com auxílio de Claude como um processo gradual, composto por muitas contribuições menores.
A entrevista aponta desafios em computer use, uso do navegador, memória e adaptação dos modelos ao contexto de cada pessoa.
A Anthropic lançou evals para verificar se skills e plugins estão atualizados e não restringem desnecessariamente o modelo.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do Opus 5.5	Matthew Berman introduz o modelo, compara seu lançamento à relevância atribuída ao Opus 4.5 e apresenta os principais resultados anunciados.
05:16	Benchmarks, preço e eficiência	O apresentador destaca resultados em computer use e compara preço, velocidade e custo por tarefa em diferentes níveis de esforço.
11:59	Estilo de resposta, segurança e salvaguardas	A conversa aborda respostas mais concisas, resultados de segurança e restrições para usos sensíveis em biologia e cibersegurança.
16:42	Entrevista: lugar do modelo e autoaperfeiçoamento	Tharic comenta quando escolher o Opus 5.5 ou o Fable 5.1 e descreve como Claude contribui gradualmente para o desenvolvimento de modelos.
21:20	Lançamento, segurança e acesso à fronteira	A entrevista explora o nome do modelo, o chamado para desacelerar e o equilíbrio entre avaliar a segurança e disponibilizar capacidades.
24:57	Usos práticos e trabalho de conhecimento	Tharic fala de design visual, demos de jogos e 3D, velocidade e possíveis ganhos no trabalho cotidiano de engenharia de software.
28:04	Capacidades futuras e adaptação ao usuário	A conversa trata de melhorias em computer use e uso do navegador, além de memória e contexto para sugestões mais oportunas.
30:08	Harnesses, skills e tool calling	Tharic explica como a equipe adapta system prompt, ferramentas, skills e plugins às novas capacidades do modelo.

Citações

O custo por tarefa concluída é a métrica importante. — 06:49

O modelo é ao mesmo tempo mais barato e mais inteligente. — 17:12

Claude ajuda a desenvolver Claude. — 19:17

Temos de levá-lo a todos de forma acessível e eficiente. — 23:24

O tool calling está melhor do que nunca. — 30:38

Conceitos e entidades

Claude Opus 5.5 (modelo): Modelo apresentado no vídeo como mais rápido e econômico que o Opus 5, com resultados fortes em benchmarks de programação e trabalho de conhecimento.
Opus 5 (modelo): Modelo anterior usado como referência para comparar preço, velocidade e desempenho com o Opus 5.5.
Fable 5.1 (modelo): Modelo citado nas comparações de benchmarks e na entrevista como opção para planejamento, revisão de código e tarefas de alto risco.
GPT-6 Astra (modelo): Modelo citado como concorrente em diversos benchmarks apresentados no vídeo.
Terminal-Bench (conceito): Benchmark que avalia a capacidade de usar um terminal para executar comandos, relevante para programação com agentes.
GDPval (conceito): Benchmark citado para avaliar tarefas de trabalho de conhecimento realizadas em computador.
AutomationBench (conceito): Benchmark usado no vídeo para comparar a qualidade e o custo estimado por tarefa de diferentes modelos.
Anthropic (empresa): Empresa responsável pelos modelos Claude discutidos no vídeo.
Tharic (pessoa): Integrante da equipe técnica da Anthropic entrevistado por Matthew Berman.
Claude Code (ferramenta): Produto mencionado na conversa sobre como harnesses, system prompt, skills e ferramentas precisam acompanhar as capacidades dos modelos.
tool calling (conceito): Capacidade de um modelo de chamar ferramentas, destacada por Tharic como uma área em que o Opus 5.5 melhorou.
Artificial Analysis Intelligence Index (conceito): Índice de avaliações citado pelo apresentador ao comparar o desempenho do Opus 5.5 com outros modelos.

Tradução completa (pt-BR)

00:00 Opus 5.5 chegou. Este é o primeiro grande lançamento de modelo da Anthropic desde que ela passou a ditar o ritmo da fronteira. Então, este vai ser interessante. E, se você se lembra, a última vez que tivemos uma versão .5 foi no fim do ano passado, quando lançaram o Opus 4.5, que realmente mudou o mundo. Esse foi o ponto de inflexão em que os modelos de programação ficaram absurdamente bons e passaram a dar conta de tarefas longas, de várias horas, de forma completamente

00:30 autônoma. Dá para ver o ponto de inflexão em vários gráficos diferentes. Aquele modelo era incrível e agora temos o 5.5, o que é muito importante, e é sobre isso que vamos falar hoje. Tenho um convidado especial, Tharic, da equipe da Anthropic, membro da equipe técnica. Ele vai participar. Vai ser ótimo. Vamos fazer algumas perguntas para ele. E, sim, o modelo é ótimo. Nós, da Forward Future, testamos todos esses modelos em equipe. Se quiser ver todos esses testes de modelos, acesse forwardfuture.com

01:01 e assine nossa newsletter. É a melhor maneira de ficar por dentro de tudo sobre IA. Então, vamos ao assunto. Apresentamos Claude Opus 5.5, o primeiro modelo da nossa nova família Claude 5.5. Ele tem desempenho no nível do Fable 5.1 na maioria das tarefas, mas custa 40% menos para executar do que o Opus 5. É mais rápido. É mais barato e, em muitos benchmarks — e isso foi uma loucura de ver —, tem o melhor desempenho. Está na fronteira, na fronteira absoluta, o que é

01:33 uma loucura de pensar, já que o Fable não ocupa mais essa posição. Então, vamos falar sobre isso. Opus 5.5 é nosso primeiro modelo desde que pedimos para ditar o ritmo da fronteira. Parece que faz tempo, mas foi basicamente na semana passada que Daario escreveu o ensaio pedindo, essencialmente, para desacelerar. E este é o primeiro modelo lançado por eles desde então, o que é meio surpreendente, porque este é um modelo absolutamente de ponta. É um modelo fenomenal. É mais barato, é mais rápido e, ainda assim, eles estão ditando o ritmo. Como nos

02:04 modelos anteriores, ele foi testado por avaliadores externos antes do lançamento, incluindo Meter e Frontier Design. Vejam estes benchmarks. Temos o Terminal Bench 4.0, um dos benchmarks de programação mais importantes que existem. Esse benchmark mede a capacidade do modelo de usar o terminal para executar comandos, o que, obviamente, é uma parte importante da programação com agents. E ele domina completamente: 66,4%, contra 57,9% do Astra, que ficou em segundo lugar, e 55,8% do Fable 5.1.

02:39 Mais de 10 pontos acima do Fable 5.1. Aqui está o Opus 5, a versão anterior: 52,3. E aqui está o 5.6 Soul. Não tenho certeza nem por que isso está aí, mas marcou 37,3. Temos o Frontier Code V1.1. Neste benchmark de programação com agents, ficou em primeiro lugar, com 54,4, em comparação com 50 do Fable e 53,3 do Astra, um resultado bem próximo. Temos o Cursorbench, que obviamente não é um benchmark deles. É o benchmark da Cursor. Agora,

03:10 o benchmark da XAI: 57,8. O Astra não foi testado nele. Não estou muito surpreso. O Fable 5.1 fez 51. Quer dizer, esses não são pequenos avanços incrementais. São melhorias enormes em relação às pontuações anteriores. Além disso, provavelmente é um modelo menor. Provavelmente é uma versão destilada, mas não tenho 100% de certeza. Isso é especulação. E ele é mais barato e mais rápido. Olhem só. Esta pontuação ELO é uma loucura.

03:44 GDP val versão 2.1. Este é o benchmark da OpenAI para testar o trabalho de conhecimento no mundo real. É por isso que se chama GDP val. Certo. Pontuação ELO de 1846. O primeiro lugar anterior era do Fable 5.1, com 1735. GPT6 Astra: 1542. É um salto de mais de 300 pontos na escala ELO. Esse benchmark avalia tarefas como criar apresentações no PowerPoint, inserir dados, processar

04:14 texto, tudo o que você faria no mundo real: enviar e-mails, praticamente qualquer tipo de trabalho de conhecimento, qualquer tarefa em que você fica sentado diante de um computador realizando um trabalho de verdade. Este é o benchmark para isso. E esta é uma melhoria gigantesca. Muito impressionante. Aqui está o Automation Bench, um dos poucos em que ele não ficou em primeiro lugar. O Astra marcou 41,4, contra 40. Então, os resultados são bem próximos. Aqui está o Humanity’s Last Exam. Mais uma vez, um salto bem legal em relação ao Fable 5.1 e um

04:44 salto muito bom, de 10 pontos, em relação ao Astra. Então, 57 para o Astra e 67 para o Opus 5.5. O Fable 5.1 ficou com 65%. Agora, temos o Terminal Bench Science, em que ele não ficou em primeiro lugar. Fez uma pontuação maior que o Fable 5.1, com 58, mas acabou em segundo lugar, atrás do GPT6 Astra. Aqui está o uso do computador. Mais um daqueles benchmarks realmente importantes e uma habilidade muito importante para um modelo, algo que estou usando mais

05:16 do que nunca. Sei que os meus colegas de equipe Brian e Alex estão usando muito para controlar o Da Vinci Resolve. Eles estão usando o MCP, mas também usam o modelo diretamente para controlar o computador. Eu uso para controlar o Unreal Engine, criando recursos 3D nele. 81,8% contra 80,7%. Um pequeno avanço em relação ao Fable 5.1. Aqui temos reconhecimento visual de gráficos. Nunca tinha ouvido falar desse benchmark, chography. 89% contra

05:47 88,4. Então, basicamente, o mesmo resultado do Fable 5.1. Mas acho que os pontos importantes para lembrar são o Terminal Bench, com um salto gigantesco. Este é um dos mais importantes. E o GDP val é o outro realmente importante. Então, Terminal Bench para programação e GDP val para todo tipo de trabalho de conhecimento. Vamos falar de preços. Houve uma pequena redução. Tecnicamente, acho que é uma redução de 20%, o que é bem bom. O Opus 5.5 custa US$ 4, contra US$ 5 do Opus 5,

06:17 US$ 20 por milhão de tokens de saída, contra US$ 25 por milhão de tokens de saída. A leitura em cache custa 20 centavos, contra 50, e a gravação em cache custa US$ 5, contra US$ 6,25. Então, é uma redução de preço significativa, embora não enorme, mas ele também é muito mais rápido. E, sabe, se você acompanha este canal, sabe que sou um grande fã de velocidade. Vamos dar uma olhada. Na configuração padrão de esforço, o Opus 5.5 oferece resultados de ponta por uma fração do custo por tarefa, muitas vezes superando outros modelos executados nas configurações máximas. Ele também gera resultados mais de

06:49 30% mais rápido que o Opus 5. Então, sobre o que tenho falado ultimamente? Considerar apenas o custo por milhão de tokens não é suficiente. Sabe, se um modelo é extremamente barato por token, mas precisa de dez vezes mais tokens para chegar à mesma conclusão em uma determinada tarefa, então continua sendo um modelo caro. O custo por tarefa concluída é a métrica importante que você precisa conhecer. Então, quando mostram o preço aqui, isso é bom. Mas o que realmente precisamos ver é a eficiência do

07:19 modelo, a densidade de inteligência do modelo. Certo, é isso que vemos aqui. Este é o Automation Bench. Esta é a taxa de aprovação. Basicamente, no eixo y temos a qualidade, e no eixo x temos o custo por tarefa. Aqui está o Opus 5.5, em laranja. Nesta cor cinza-claro, temos o GPT 5.6 Soul. Em cinza-escuro, lá em cima, temos o Astra. E aqui embaixo, em amarelo, o Opus 5. O quadrante ideal é o superior esquerdo, porque significa ter a maior qualidade pelo

07:51 menor custo por tarefa. E é isso que vemos aqui. Este é meio que o ponto ideal, bem ali. Médio e alto para o Opus 5.5. Incrível. Agora, na configuração máxima, ele não superou o Astra, certo? Mas custa menos que o Astra e é praticamente mais barato em todas as configurações, a partir de extra alto, que supera as duas configurações de raciocínio mais baixas do Astra, além de ser

08:21 bem mais barato. Agora, olhando para o cinza-claro, que é o GPT 5.6 Soul, ele teve uma pontuação muito boa e ficou acima. E acontece o mesmo com o Opus 5 no Frontier Code. A mesma coisa: temos a pontuação de qualidade no eixo y e o custo por tarefa no eixo x. Este gráfico tem bastante variação. É meio interessante. Olhem estes pontos amarelos. Este é o Opus 5. Na configuração de raciocínio mais baixa, ele

08:52 marca talvez 42%, e na configuração média sobe até algo em torno de 53%. E, nas configurações mais altas, a pontuação cai de novo, o que é bem interessante. Varia bastante. Mas, de novo, o que você quer é o quadrante superior esquerdo. É onde você quer estar. E olhem o que está lá: Opus 5.5. Na configuração baixa, marca cerca de 47 e custa menos de, digamos, 20 ou 30 centavos para resolver a tarefa. Temos a configuração média aqui em cima, mais perto de um dólar, e a alta, mais perto de

09:24 dólar, esforço extra alto e, lá no extremo, máximo. Então, o interessante é que, no Frontier Code, o esforço médio, custando menos de um dólar por tarefa, tem uma pontuação mais alta do que o esforço máximo, que custa mais de US$ 5 por tarefa. Então, o esforço de raciocínio que você usa realmente faz diferença. E, para ter uma ideia de qual esforço de raciocínio você deveria usar, basta experimentar. Você precisa testar esses diferentes produtos. O GDPval é um dos meus benchmarks favoritos.

09:55 De novo, este é um benchmark da OpenAI. E, de novo, o ELO está à esquerda. Então, isso representa basicamente a qualidade. No eixo X, temos o custo estimado por tarefa. O que estamos vendo é que esta linha laranja obviamente tem o ELO mais alto, de longe, mas o que você realmente quer é estar aqui em cima. E, no geral, o modelo tende a ser mais barato do que os modelos comparáveis e todas as outras linhas aqui. E também é

10:26 significativamente melhor. Todos os outros modelos, Opus 5, Fable 5.1, GPT6 Astra e 5.6 Soul, ficam mais ou menos agrupados neste ponto aqui, praticamente em todos os casos. Sim, com exceção dos níveis de esforço baixo, médio, alto, extra alto e máximo. Opus 5.5 simplesmente domina. Terminal Bench. De novo, quando penso nos benchmarks mais importantes para determinar se um modelo vai ser bom ou não em programação, há dois que analiso. Terminal Bench é um deles. O outro é Deep Suite.

10:57 Infelizmente, não vejo Deep Suite em lugar nenhum aqui. Pelo menos ainda não. Mais uma vez, quanto mais à esquerda e mais alto, melhor. Então, o quadrante superior esquerdo é o melhor. E é isso que estamos vendo aqui. Vejam como esta cor laranja-escura está muito mais acima. Opus 5.5 está acima de qualquer outro modelo. Astra vem logo abaixo. E depois temos o restante dos modelos: Fable 5.1, Opus 5 e GPT 5.6 Soul aqui embaixo. Mas o que estamos vendo é que o nível alto provavelmente vai ser a melhor opção. Mais alto

11:28 que médio, porque o médio fica praticamente no mesmo nível de Astra, mas custa bem menos. Então, este custa perto de US$ 7 por tarefa concluída. Este provavelmente custa perto de US$ 3. E, se quiser subir ainda mais, este custa perto de US$ 4 por tarefa concluída, mas simplesmente domina. Então, com uma pontuação acima de 60, Opus 5.5 se comunica de forma mais natural, abordando alguns dos comentários mais comuns que ouvimos sobre Opus 5. Ele coloca as informações mais importantes logo no início e segue as regras de escrita

11:59 que você define, o que facilita acompanhar sessões longas. Então, é bom. O que melhorou foi a formatação da maneira como explica o que fez, principalmente em programação. Agora, quero muito testá-lo para escrita criativa. Acho que Astra é o melhor para escrita criativa no momento. É o que tem menos aquele cheiro de texto genérico de IA. Mas espero que Opus 5.5 seja bom. Acho que Opus 5.5 é principalmente para programação e trabalho de conhecimento, não necessariamente para escrita criativa.

12:29 Mas dá para ver aqui: Opus 5.5 está à direita, e a explicação geral é bem mais curta; as informações importantes aparecem logo no início. Isso é muito bom se você estiver gerenciando 10, 15, 20 agents em paralelo e precisar alternar entre eles para recuperar o contexto. Você fica trocando de contexto, lendo, e isso exige bastante esforço. Quanto mais curtas e concisas forem as explicações do que o modelo concluiu, melhor; fica mais fácil passar de uma conversa para outra e continuar cada uma. Então, temos cerca de

13:01 7 minutos até Thariq se juntar a nós. Então, vou comentar um pouco a publicação do blog. Opus 5.5 é um grande avanço em relação a Opus 5. É o novo modelo líder, e os primeiros testadores observaram grandes saltos de desempenho em seus trabalhos mais complexos. Um testador concluiu uma migração de código de 680.000 linhas em menos de um dia. Em segurança, Opus 5.5 alcança as melhores pontuações de qualquer modelo até hoje na nossa auditoria comportamental automatizada, nossa suíte de alinhamento que testa Claude em milhares de cenários simulados. É muito menos provável que os modelos recentes tome

13:32 uma ação difícil de reverter ou aja fora dos limites estabelecidos. Isso obviamente se refere diretamente ao incidente do hack do Hugging Face. Também ampliamos nossos testes de alinhamento para abranger tarefas mais longas. Tarefas impossíveis, que acredito serem o que há no Exploit Gym e que fez o modelo tentar trapacear. Basicamente, foi dada a ele uma tarefa impossível. Posso estar errado; então, confira, mas acredito que foi isso que aconteceu. Como Opus 5.5 é comparável a Claude Mythos 5.1 em biologia e cibersegurança,

14:03 vamos disponibilizá-lo com salvaguardas semelhantes às de Claude Fable 5.1. Você pode se inscrever para participar do programa de verificação em ciências da vida. Basicamente, o que estão dizendo é que este modelo tem uso dual. Ele pode ser usado para descobertas incríveis em biologia e ciência, mas também para criar armas biológicas. É disso que estão falando. Então, se você não fizer parte desse programa, provavelmente não vão permitir que você faça muita coisa ao perguntar sobre biologia e problemas científicos mais aprofundados. Provavelmente, também,

14:36 sim, há o programa de verificação de cibersegurança. Então, ele vai ter barreiras de segurança mais rigorosas, a menos que você faça parte desses programas, o que, tudo bem. Aqui vai algo interessante. Opus 5.5 exige menos capacidade computacional para ser servido do que Opus 5, e o preço reflete isso. Nossos testes mostram que, nas configurações padrão, ele vai custar 40% menos do que Opus 5 em cargas de trabalho típicas. Então, aqui está a parte importante. Lembram que vimos o preço e que, digamos, em média, era 20% menor do que o de Opus 5? Então, como chegaram a uma redução total de 40% no

15:10 custo das tarefas? Bem, é a combinação de duas coisas que mencionei. Não é só o preço, mas também o número de tokens necessários para concluir uma tarefa. Certo, então, curiosamente, Opus 5.5 exige menos capacidade computacional para ser servido do que Opus 5. E é assim que os lançamentos de modelos deveriam ser. Com o tempo, deveríamos ter modelos melhores, mais eficientes e mais rápidos. Isso também beneficia os modelos open source locais. Se você acha que esses

15:40 modelos só vão melhorar e continuar fechados, não: os modelos open source também melhoram. Eles ficam menores, mais rápidos, mais baratos e, eventualmente, ano após ano, vamos ter modelos do nível de Opus 4.6 rodando localmente. Acho que já temos. E talvez, no ano que vem, tenhamos modelos do nível de Opus 5.5 rodando localmente no seu computador. E, sabe, para ser sincero, estamos passando por um período um pouco difícil. Os preços de GPU estão absolutamente absurdos. A RTX Spark, que estava anunciada no site da Nvidia por, acho que, US$ 4.699 há poucas semanas, agora custa US$ 7.000.

16:12 Que loucura. Gosto muito do Artificial Analysis. Gosto de como eles basicamente mantêm um índice de diferentes benchmarks. E vamos ver como Opus 5.5 se saiu no Artificial Analysis Intelligence Index. Opus 5.5 coloca Anthropic no mesmo nível de Astra em avaliações como Terminal Bench e Automation Bench. Isso nós já sabemos. Aqui está o principal: está em primeiro lugar. Um

16:42 salto enorme, enorme no Artificial Analysis Intelligence Index. Normalmente, vemos uma diferença de um ponto. Não, não: são cinco pontos de diferença em relação ao Fable 5.1 Max. Inacreditável. Isso é inacreditável. A fronteira absoluta já não é mais Fable. Certo, parece que Thoric entrou. Me deem um segundo. Vou deixá-lo entrar. Thariq, obrigado por se juntar a mim. Parabéns por Opus 5.5. Estou muito empolgado. Tenho algumas perguntas para você, mas podemos seguir na direção que você quiser. Então, eu

17:12 tenho algumas perguntas para você, mas podemos seguir na direção que você quiser. Acho que minha primeira pergunta é: fale sobre este lançamento do modelo e como você o vê dentro da família de modelos que vocês têm, seja Fable 5.1 ou outros modelos da família 5. Onde ele se encaixa e como as pessoas deveriam pensar nele? >> Sim, Opus 5.5. Sim, acho que é um daqueles momentos em que o modelo é ao mesmo tempo mais barato e mais inteligente. E acho que, se você tiver que escolher um único modelo para usar no dia a dia, Opus 5.5 é

17:44 Ótima escolha. Acho que Fable 5.1 é mais, sabe, acho que é um ótimo planejador. E acho que ter um modelo como Fable é ótimo para fazer brainstorming e planejar com antecedência. Acho que, se você tem uma tarefa realmente importante — digamos que esteja procurando falhas de segurança em algo em que errar tenha um custo muito alto —, Fable

18:14 5.1 também é ótimo para isso. Mas, sim, acho que também aprendemos muito com a forma como as pessoas usam os modelos depois do deploy. E estou animado para ver como vocês usam o Opus 5.5. Acho que vai ser um modelo muito, muito querido. >> E, quando vocês decidem qual modelo usar nos workflows, como escolhem? O 5.5 é seu modelo de uso diário agora? Vocês usam Fable 5.1 para tarefas mais complexas? Como vocês pensam nisso?

18:45 >> Sim, ontem à noite eu estava refazendo meu site pessoal e acabei usando o Opus 5.5 para tudo. Acho que usaria Fable 5.1 para tarefas mais pontuais. Por exemplo, planejamento, revisão de código ou segurança não são tarefas muito sensíveis a custos. Mas, sim, acho que o Opus 5.5 é simplesmente um modelo incrível para o dia a dia. >> Certo. Então, temos falado bastante sobre autoaperfeiçoamento recursivo ultimamente. Talvez você

19:17 possa falar um pouco sobre como esse modelo foi desenvolvido, se outros modelos ajudaram a desenvolvê-lo e talvez de que forma isso aconteceu. >> Claro. Sim. Acho que o Claude ajuda a desenvolver o Claude, sabe? Acho que já falamos sobre isso. Quando falamos de autoaperfeiçoamento recursivo, pode parecer algo muito concreto e enorme, como se o Claude estivesse fazendo absolutamente tudo. Sabe o que quero dizer? Mas acho que, na prática,

19:47 são muitas coisinhas que, juntas, fazem diferença. Por exemplo, o Claude escrever praticamente todo o código é uma forma de autoaperfeiçoamento recursivo, e isso vem acontecendo há bastante tempo. Então, não acho que seja algo como: “Não há nenhum progresso e, de repente, ele está fazendo todo o progresso”. Acho que é mais um aumento gradual. >> E como vocês conseguiram aumentar a eficiência, reduzir o preço e melhorar a qualidade geral? Como isso acontece? Fiquei bastante surpreso com isso. Quer dizer, não é uma pequena

20:18 melhora, para deixar claro. São saltos enormes nos benchmarks. >> Sim. Acho que isso faz parte do manual da Anthropic: criamos a inteligência de ponta e depois a levamos a escala. Quando entrei, tínhamos o Opus 4.0, um modelo enorme e muito caro. Pouco depois, tivemos o Sonnet 4.5, que superou esse modelo, sendo bem mais barato. E acho que isso

20:49 acontece repetidamente. Acho que vocês devem esperar que isso aconteça cada vez mais: teremos modelos de ponta, mas eles ficarão facilmente acessíveis às pessoas muito rapidamente. E acho que esse também é o motivo para experimentar os novos Fables e outros modelos quando forem lançados: mesmo que você não possa usá-los em toda a sua assinatura, eles sempre acabam ficando mais acessíveis com o tempo. >> Sim. >> Então, eu disse uma coisa antes na transmissão e quero ouvir sua opinião. A

21:20 última vez que vocês tiveram um modelo .5 foi no fim do ano passado, o Opus 4.5, que muita gente, inclusive eu, aponta como o modelo que mudou a programação para sempre, certo? Foi a primeira vez que dava para confiar plenamente em um modelo para trabalhar de forma autônoma e construir com sucesso grandes partes do seu aplicativo. Por que decidiram chamar este de 5.5? Por que é uma versão 5? Vocês estão sentindo a mesma coisa com este modelo que sentiram no fim

21:50 do ano passado? >> Sim. Não quero atribuir importância demais aos números específicos, porque acho que muitos dos nossos modelos são excelentes. Não acho que seja preciso ficar esperando os .5 para pensar: “Ah, este é o modelo especial”. Mas acho que há uma coincidência engraçada com esses números. Para mim, o Sonnet 3.5 foi o modelo de programação original, o primeiro modelo de programação de verdade, sabe? E acho que o Sonnet 4.5 e o Opus 4.5 foram muito bons. Não sei quanto aos

22:23 números específicos, mas estávamos muito, muito animados com o Opus 5.5. Há uma ótima energia na Anthropic em torno desse lançamento. >> Então, este é o primeiro modelo lançado depois do ensaio do Dario e do apelo por desaceleração feito para todo o setor. O que isso significa para você? >> Sim. Acho que dá para pensar na desaceleração em várias

22:53 dimensões. Quando Dario fala em desaceleração, ele está falando em desacelerar a fronteira, ou seja, os modelos mais novos, muitas vezes ainda não lançados, ou os próximos modelos. Esses modelos têm capacidades cada vez maiores, que ainda estamos avaliando. Até avaliá-los é difícil, porque eles escapam das sandboxes e coisas assim. Então, ainda temos muito trabalho a fazer na fronteira, mas também estamos sempre trabalhando para levar essa fronteira a todo mundo. E,

23:24 agora, acho que os classificadores e os mecanismos de fallback para o Opus 5.5 e o Fable 5 são muito robustos, e acreditamos que são seguros neste momento. Então, quando temos isso, pensamos: “Certo, precisamos disponibilizá-lo para todo mundo de forma acessível e eficiente”. Acho que esses são dois aspectos da desaceleração. >> Agora, quando você pensa em desacelerar e em levar os modelos a um público mais

23:56 amplo, você acha que o intervalo entre a criação de um novo modelo pela Anthropic e o tempo necessário para testá-lo e avaliá-lo minuciosamente com benchmarks antes do lançamento público está aumentando ou diminuindo? >> Essa é uma boa pergunta. Acho que, naturalmente, à medida que adicionamos mais avaliadores e queremos dedicar tempo a esse tipo de trabalho, isso

24:26 leva algum tempo. Mas também temos sido cautelosos com lançamentos como o do Mythos e os do Fable, para garantir que tudo dê certo. Então, não sei como isso vai se traduzir em termos de tempo absoluto. O mais importante para nós é que nós e os avaliadores independentes consideremos os modelos seguros para lançamento. >> Durante os testes, quais foram as coisas mais legais que você construiu com ele? Em que situações ele foi diferente ou surpreendente, fazendo algo que outros modelos não conseguiram

24:57 fazer? >> Sim. Acho que está cada vez mais difícil avaliar esses modelos, porque você pensa: “Nossa, temos que construir São Francisco inteira para ter certeza de que funciona”. Então, parte disso é que acho que ele é muito bom em design visual e comunicação. E, a cada lançamento de modelo, peço ao Claude para tentar refazer meu blog, e sinto que ele acertou vários desses pequenos detalhes

25:28 que eu senti que não tinha recebido antes, e ele fez isso muito mais rápido e me deixou mais no fluxo. Então acho que este é um daqueles modelos ótimos em que, sabe, não se trata apenas de inteligência — o que é ótimo —, mas também de capacidade de resposta, eficiência e custo por token. Então, sim, vi algumas demos incríveis de jogos e 3D. Mas acho que, olhando também para os benchmarks, sabe, eu estava olhando o Terminal

26:00 Bench em particular. É que ele é realmente mais rápido e eficiente. Então acho que, sim, as demos impressionantes são incríveis, mas acho que você também vai sentir isso no seu trabalho diário de engenharia de software. >> Sim, normalmente reservo o termo modelo de trabalho para um modelo mais ou menos do nível do Sonnet. >> Claro. Mas este, só de olhar para o GDPval, que teve um enorme aumento de ELO em relação ao modelo anterior e a modelos comparáveis,

26:30 >> realmente dá a sensação de que este vai ser o modelo de trabalho para o trabalho intelectual. Estou muito empolgado. >> Também estou extremamente empolgado com isso. E fico muito feliz que você tenha dito que às vezes é difícil perceber a diferença, porque, sabe, meu trabalho inteiro é tentar descobrir como destacar as diferenças entre esses modelos, e sinto que já não consigo nem pensar em benchmarks ou demos bons o bastante. Então é uma coisa interessante de fazer, e fico feliz que você também esteja sentindo isso. >> Quer dizer, concordo, só isso.

27:02 Acho que, quando olho para as evals, às vezes — quase em todas elas — o modelo está basicamente certo, sabe? Até naquelas em que dizem que ele não passou na eval, ele pensa na resposta certa, mas talvez não se comprometa com ela ou algo assim. Então, sim, os modelos estão ficando cada vez melhores nisso, e acho que muita coisa passa a ser como ajudar todo mundo a tirar o máximo dos modelos, certo? Acho que existe uma fronteira cada vez mais irregular entre as pessoas que estão

27:33 conseguindo, sabe, mais inteligência — ou, desculpa, mais esforço — e obtendo os melhores resultados dessa inteligência, certo? Acho que as pessoas ainda estão tentando descobrir isso. E o que me empolga muito no Opus 5.5 é que, sabe, se você nunca teve a chance de experimentar o Fable antes, se não conseguiu acessar essa fronteira, agora ela está realmente ao seu alcance. E espero que pessoas como você mostrem também como tirar o máximo dos modelos. Sim. >> Sim. E, pensando neste modelo — e acho que nos modelos em geral —, eles tendem

28:04 a ter capacidades bem irregulares. >> O que você gostaria que este modelo ou outros modelos da Anthropic fizessem melhor, seja porque não receberam RL suficiente nessa área ou simplesmente porque são coisas em que você gostaria que fossem melhores e que talvez esteja tentando melhorar? >> Sim, sim, sim. Acho que é sempre um pouco difícil entender o que é a dificuldade da tarefa e o que é o modelo. Às vezes, sabe, acho que o nosso conjunto combinado de

28:36 uso do computador e do navegador tem coisas que precisamos ajustar. Acho que os modelos estão cada vez melhores nos benchmarks, mas precisamos ajudá-los a demonstrar essa capacidade. No geral, com a próxima geração de modelos — quer dizer, não apenas sobre como os modelos de hoje podem ser melhores, certo? —, acho que existe essa combinação de conseguir se adaptar a você, de poder dizer: “Tudo bem, sei isso sobre o usuário, então talvez eu vá

29:08 contestar isso no momento certo, entende? Ou dizer: “Ei, você já pensou nisso?” Mas sem chegar ao ponto de ser irritante, sabe? E, a partir daí, entram coisas como memória e a capacidade de entender o contexto. Acho que são essas coisas que fazem os modelos parecerem realmente ótimos: serem diferentes para cada pessoa, com base no seu próprio conhecimento, basicamente, certo? E, assim, não parece que eles…

29:38 interrompem ou sugerem coisas na hora certa. Então, sim, ainda há mais a fazer para ajudar as pessoas a usar a inteligência. >> Sei que você precisa ir em breve, então só mais uma pergunta. Você é, obviamente, a maior autoridade em harness e em como o modelo se encaixa no harness. Quando vocês lançam um modelo novo, como o Opus 5.5, como você pensa sobre as mudanças no modelo e como ele reage às novas capacidades?

30:08 Sim, acho que uma das coisas realmente difíceis de fazer parte da equipe do Claude Code é que essa mudança acontece o tempo todo, meio que por baixo dos seus pés, certo? E você precisa ficar tentando acompanhá-la. Recentemente, por exemplo, removemos boa parte do nosso system prompt, que é uma maneira importante de fazer isso. Mas acho que também estamos percebendo que o Claude usa skills que as pessoas escreveram e coisas assim. Então, uma das coisas que fizemos junto com

30:38 este lançamento foi o lançamento de evals para plugins, em que você pode ver se suas skills e seus plugins estão atualizados para o modelo mais recente e, então, ajudar a atualizá-los para que não restrinjam o modelo. Acho que as coisas com que estou muito empolgado neste modelo — já falei sobre isso no Twitter e por aí — é que o tool calling está melhor do que nunca. E também estou muito interessado nisso para os agents gerenciados pela nuvem.

31:10 Acho ótimo poder criar seus próprios harnesses e colocá-los para funcionar separadamente. Acho que provavelmente precisamos fazer mais em todos os nossos produtos para aproveitar a inteligência da melhor maneira possível. Sempre temos a sensação de que estamos limitando um pouco o Claude e precisamos deixá-lo solto. Então, sim, acho que reduzimos bastante o system prompt, adicionamos algumas ferramentas e removemos outras, mas ainda há mais coisas a descobrir. >> Incrível. Bem, parabéns de novo

31:42 pelo 5.5. Parece um lançamento fenomenal. Ainda tenho muitos testes para fazer. Agradeço muito por participar da transmissão ao vivo. Vão conhecer o Opus 5.5 e sigam a Thoric no Twitter, TRQ212. >> Isso mesmo. >> Valeu, cara. Bom te ver. >> Até mais. >> Se cuida. Foi ótimo te conhecer. Tchau.

Transcrição original

[00:00] Opus 5.5 is here. This is the first major model release from Anthropic since they are now pacing the Frontier. So, this is going to be an interesting one. And if you remember, the last time we had a.5 version was late last year when we had Opus 4.5, which really changed the world. That was the inflection point in which coding models became insanely good and they were able to handle large multi-hour tasks and completely

[00:30] autonomously. You can see the inflection point if you look at a lot of different graphs. That model was incredible and now we have 5.5 and this is a big deal and that’s what we’re going to be talking about today. I have a special guest Tharic from the anthropic team, member of the technical staff. He’s going to be joining on. So, that’s going to be great. We’re going to ask him some questions. And again, yes, the model’s great. And we test all of these models as a team at Forward Future. And if you want to see all of these model tests, go to forwardfuture.com

[01:01] and subscribe to our newsletter. It’s the best way to stay uptodate on everything AI. So, let’s get into it. Introducing Claude Opus 5.5, the first model in our new Claude 5.5 family. It performs at the level of Fable 5.1 for most tasks, but it costs 40% less to run than Opus 5. It is faster. It is cheaper and on a lot of benchmarks. And this was crazy to see. It actually performs the best. It is the frontier, the absolute

[01:33] frontier, which is crazy to think that Fable is not holding that position anymore. So, let’s go into it. Opus 5.5 is our first model since we called for pacing the frontier. It seems like a while ago, but that was basically last week where Daario wrote the essay asking to basically slow down. And so this is their first model released since then, which is kind of wild because this is an absolute frontier model. This is a phenomenal model. It’s cheaper, it’s faster, and yet they’re pacing. As with

[02:04] previous models, it was tested by external evaluators before release, including Meter and Frontier Design. Look at these benchmarks. We have Terminal Bench 4.0, one of the most important coding benchmarks out there. This is the benchmark that measures the model’s ability to use the terminal to execute commands in the terminal, which is obviously a major part of actually doing agentic coding. And it completely dominates 66.4% 4% from Astra, which is second place, 57.9. Fable 5.1 at 55.8.

[02:39] Over a 10point bump from Fable 5.1. Here’s Opus 5, the previous version, 52.3. And here’s 5.6 Soul. Not even sure why that’s there, but 37.3. We have Frontier Code V1.1. This is a Gentic coding number one, 54.4 4 as compared to 50 with Fable as compared to 53.3 very comparable with Astra. We have Cursorbench which is obviously not their benchmark. It is Cursor’s benchmark. Now

[03:10] XAI’s benchmark 57.8 Astra wasn’t tested on it. Uh not super surprised. Uh Fable 5.1 51. I mean these are these are not small incremental improvements. These are massive improvements over the previous scores. Plus, it’s probably a smaller model. It’s probably a distilled version, but I’m not 100% sure. This is speculation. And it’s cheaper and faster. Look at this. This is a crazy ELO score.

[03:44] GDP val version 2.1. This is OpenAI’s benchmark for testing realworld knowledge work. That is why it is GDP val. Okay. 1846 ELO score. The previous first place was 1735 with Fable 5.1. GPT6 Astra 1542. That is over a 300 point ELO jump. And so this benchmark measures things like PowerPoint creation, data entry, word

[04:14] processing, anything that you’re going to be doing in the real world, email sending, really anything that is knowledge work, anything where you’re sitting behind a computer getting real work done. This is the benchmark for it. And this is such a massive improvement. Very impressive. Here’s Automation Bench, one of the only ones that it did not get first place on. Astra did 41.4 as compared to 40. So quite comparable. Here’s humanity’s last exam. Again, a pretty nice jump from Fable 5.1 and a

[04:44] very nice jump with 10 points uh against Astra. So, 57 on Astra, 67 on Opus 5.5. Fable 5.1, 65%. Now, we have Terminal Bench Science in which it did not get number one. It did get a higher score than Fable 5.1 at 58, but it did come in behind in second place to GPT6 Astra. Here’s computer use. Again, another one of those really important benchmarks and really important skills for a model to have and something that I’m using more

[05:16] than ever. I know my team Brian and Alex are both using it like crazy to control Da Vinci Resolve. They’re using the MCP, but also using it like just the model directly to control the computer. I’m using it to control Unreal Engine. So, creating 3D assets in there. 81.8% versus 80.7%. A slight bump over Fable 5.1. Here we have uh visual chart recognition. I’ve never actually heard of this benchmark chography. 89% versus

[05:47] 88.4. So, basically the same as Fable 5.1. But I think the important ones to keep in mind, Terminal Bench, just a massive jump. This is one of the most important ones. Um, and then GDP val is the other really important one. So, terminal bench for coding, GDP valve for all knowledge work. Let’s talk about pricing. There is a slight price decrease. I guess technically it’s a 20% price decrease, which is pretty good. Uh, Opus 5.5, $4 as compared to Opus 5,

[06:17] which is $5. $20 per million output tokens versus $25 per million output tokens. Cash reads 20 cents versus 50 and cash writes $5 versus $625. So a meaningful, not massive, but a meaningful price reduction, but it is also much faster. And you know, if you’ve been watching this channel, I’m a huge speed maxi. Let’s take a look. At its default effort setting, Opus 5.5 delivers Frontier results for a fraction of the cost per task, often beating other models running at their highest settings. It also generates output more

[06:49] than 30% faster than Opus 5. So, what have I been talking about lately? Just having the cost per million tokens is not enough. It, you know, if a model is extremely cheap on a cost per token basis, but takes 10 times as many tokens to reach the same conclusion on a given task, then it’s still an expensive model. Cost per task completed is the important metric that you need to be aware of. So, when it lists out price here, that’s good. But what we really need to see is the efficiency of the

[07:19] model, the intelligence density of the model. Okay, so this is what we’re seeing here. This is automation bench. This is the pass rate. So it’s basically the quality over here on the y-axis. And then on the x-axis we have the cost per task. And so here is opus 5.5 in orange. In this uh light gray color, we have GPT 5.6 soul. Dark gray. Up over here we have Astra. and then Opus 5 down here in yellow. The quadrant that you want to be is in the top left because that means you have the highest quality for the

[07:51] lowest cost per task. And that is what we’re seeing here. This is kind of this the sweet spot right there. Medium and high for Opus 5.5. Incredible. Now, on the max setting, it didn’t quite beat Astra, right? But it is less expensive than Astra and it’s pretty much less expensive across the board starting at extra high which beats the two lowest thinking settings of Astra and it’s also

[08:21] quite significantly less expensive. Now if we’re looking at the light gray which is GPT 5.6 Soul it scored really well and above that and same thing with Opus 5 Frontier Code. Same thing. We have the quality score on the yaxis. We have the cost per task on the xaxis. This is quite spiky. Kind of interesting here. Look at these in yellow. This is opus 5. So on the lowest thinking setting it

[08:52] scores maybe a 42% and then on the medium it jumps all the way up to what looks to be about 53%. And then on the higher settings it actually drops back down which is quite interesting. Very spiky. But again, what you want is this upper left quadrant. That’s where you want to be. And look what’s there. Opus 5.5. On low, it’s scoring about a 47 and less than, let’s say, 20, 30 cents to solve the task. We have medium up here, closer to a dollar, high, closer to a

[09:24] dollar, extra high, and then max way out here. So, what’s interesting is on Frontier Code, you have the medium effort coming in at under a dollar per task getting a higher score than the max effort coming in over $5 per task. So, it really does matter which thinking effort you use. And to kind of get the feel of which thinking effort you should be using, you just need to use it. You need to play around with these different products. GDP val one of my favorite

[09:55] benchmarks. Again, this is an OpenAI benchmark. And again, ELO on the left. So that’s basically quality. And then on the Xaxis, we have estimated cost per task. So what we’re seeing is this orange is obviously the highest ELO by far, but what you really want is to be up here. And so if we look overall, the model tends to be cheaper than the comparable models and all of the other lines right here. And it’s also

[10:26] significantly better. All the other models, Opus 5, Fable 5.1, GPT6 Astra, and 5.6 Soul are all kind of aggregating around this point right here pretty much across the board. Yeah, except for the loweffort, medium, high, extra high, and max. Opus 5.5 just dominates. Terminal bench. Again, this is like when I think about the most important benchmarks to determine if a model’s going to be good at coding or not. There are two benchmarks I look at. Terminal bench is one of them. The other is deep suite.

[10:57] Unfortunately, I don’t see deep suite anywhere on here. At least not yet. Once again, higher is better to the left better. So, upper left quadrant is best. And that is what we’re seeing here. Look at how much higher this dark orange color is. Opus 5.5 than anything else. Astra coming in right below it. And then the rest of the models here’s Fable 5.1, Opus 5, and uh GPT 5.6 sold down here. But what we’re seeing is probably high is going to be your best bet. Higher

[11:28] medium cuz you get like medium beats or is pretty much on par with Astra, but is significantly less expensive. So this is like close to $7 per task completed. This is probably close to $3. And then if you want to go even higher, this is closer to $4 per task completion, but really just dominates. So coming in above a 60 score, Opus 5.5 communicates more naturally, addressing some of the most common feedback we heard on Opus 5. It puts the most important information up front and follows the writing rules

[11:59] you give it, which make long sessions easier to follow. So it’s good. It’s just the formatting of how it’s explaining what it did in coding mostly. Now, I really want to test it for creative writing. I find Astra to be the best at creative writing right now. There’s the the the least amount of AI slop smell to it. Uh but hopefully Opus 5.5 is good. But I think Opus 5.5 is mainly for coding and mainly for knowledge work, not necessarily creative

[12:29] writing. But you could see here, so Opus 5.5 on the right, the overall explanation is just much shorter and they talk about the important things upfront. And this is really good if you’re managing 10, 15, 20 agents in parallel and you have to switch between them and you’re trying to get the context, you’re doing context switching, you’re reading, it just takes a lot of effort. And the shorter and more concise the explanations of what the model has completed are, the better it is, the easier it is to go from thread to thread and continue each one. So, we have about

[13:01] 7 minutes until Tharic joins us. So, I’m just going to go over the blog post a little bit. Opus 5.5 is a major step up from Opus 5. It’s the new leading model and early testers saw large jumps in performance on their most complex work. Uh, one tester completed a 680,000line code migration in less than a day. So on safety, Opus 5.5 achieves the best scores of any model to date on our automated behavioral audit, our alignment suite that tests claude across thousands of simulated scenarios. It is much likely than recent models to take

[13:32] hard to reverse action or act outside the boundaries it’s been given. This is like obviously directly referring to hugging face and the hugging face hack incident. We’ve also broadened our alignment testing to cover longer tasks. Impossible tasks which I believe is the thing in exploit gym that caused the model to seek to cheat. It was basically given an impossible task. I could be wrong about that. So double check that, but I believe that’s what happened. Because Opus 5.5 is comparable to Claude Mythos 5.1 in biology and cyber

[14:03] security, we’re deploying it with safeguards similar to those in Claude Fable 5.1. You can apply to be part of their life sciences verification program. And basically what they’re talking about is this model’s dual use. It can be used for incredible discoveries in biology and science and then it can also be used for biological weapons. So that is what they’re talking about. So, if you’re not part of this program, they probably won’t let you get away with much in terms of asking you questions about biology and and kind of deeper science problems. Probably also,

[14:36] yeah, the cyber verification program. So, it’s going to have stronger guardrails unless you’re part of those programs, which, you know, fine. Here’s something interesting. Opus 5.5 requires less compute to serve than Opus 5, and its pricing reflects that. Our tests show that at default settings it will cost 40% less than Opus 5 on typical workloads. So here’s the important part. Remember we looked at the pricing and it was let’s say on average 20% less than Opus 5. So how did they get a 40% total

[15:10] cost reduction on given tasks? Well, that’s that combination of two things that I mentioned. It’s not only the price, but it is the number of tokens it takes to actually complete a task. Okay, so interestingly, Opus 5.5 requires less compute to serve than Opus 5. And this is the way that the model releases should be. Over time, we should get better, more efficient, faster models. That’s also a benefit for local open-source. If you think that these

[15:40] models are just going to get better and stay closed source, no, the open source models get better. They get smaller, faster, cheaper, and eventually, like year by year, we’re going to have Opus 4.6 level models locally run. I think we already do. And maybe by next year, we have Opus 5.5 level models running locally on your computer. And uh, you know, it’s a little bit of a tough time right now to be honest. GPU prices are absolutely insane. The RTX Spark listed on the Nvidia website, which was I think

[16:12] like $4,699 just a few weeks ago, is now up to $7,000. Crazy. So, I love artificial analysis. I love uh how how they basically run an index of different benchmarks. And we’re going to look at uh how Opus 5.5 has performed on artificial analysis intelligence index. Opus 5.5 brings anthropic to parody with Astra on evaluations like terminal bench and automation bench. We already know that. Here’s the key. It is number one. A

[16:42] massive jump, massive jump on the artificial analysis intelligence index. Usually, we’re getting like a onepoint difference. No, no, this is a fivepoint difference from fable 5.1 max. Unreal. This is unreal. The absolute frontier is no longer fable. All right, we looks like we have Thoric joining. Give me one sec. I’m going to let him in. Thic, thank you for joining me. Congrats on Opus 5.5. Super excited. Um, let’s I

[17:12] have a few questions for you, but we can go in any direction you want. Um, so I guess my first question is, uh, talk about this model release and how you think about it within the family of models that you have, whether it’s, you know, Fable 5.1, other uh, kind of five family models. Where where does it sit and how should people think about it? >> Yeah, so Opus 5.5. Yeah, I I do think it’s one of those times where like the model is both cheaper and more intelligent. And I think like if you’re just going to choose one model on a daily driver, I think Opus 5.5 is a

[17:44] great choice. Uh Fable 5.1 I think is like, you know, more uh I think it’s a great planner and and uh I think like having like a model like Fable is really great for you know brainstorming and planning ahead of time. I think if you are really like if you got a really important task uh that like let’s say that you’re like you know looking for security holes in something that is like uh very high like you know um like very high cost for being wrong. I think Fable

[18:14] 5.1 is great for that too. But um yeah I think you know we’re also uh we learn a lot from how people use models like in like after deployment too. And uh yeah I’m excited to see how you guys use open 5.5. I think it’ll be like a very very love model. >> And so when you’re deciding within your workflows which model to go to like h how are you choosing uh is is 5.5 your daily driver now? Are you using Fable 5.1 for kind of the more highlevel tasks? How do you think about it?

[18:45] >> Yeah, I was just like redoing my personal site last night and uh I did kind of just use Opus 5.5 for everything. Um, I think that like Fable 5.1 I would do sort of like as discrete tasks. So like if you’re doing planning, code review or security like that’s not very cost uh efficient or sorry cost sensitive. Um, but yeah, I think Opus 5.5 is just like an incredible daily driver. Yeah. >> All right. So I you know, we’ve been talking a lot about recursive self-improvement lately. So maybe you

[19:17] could talk a little bit about how this model was built and if other models helped build this model and maybe in what way that happened. >> Sure. Yeah. I mean um I think that like Claude helps build Claude, you know. I think we’ve talked about this. Uh I think that like when you talk about recursive self-improvement like uh it can sound like a sort of a very like concrete like like a very like uh large thing where it’s just like Claude is just doing everything. You know what I mean? But I think that like in practice

[19:47] it’s like a lot of um you know small things altogether right so like claude writing pretty much all the code is like a form of recursive self-improvement and that has been happening for quite a long period of time right so I don’t think that I think it’s more like a smooth increase versus like oh there’s no improvement and now it’s like doing all of the improvement >> and and how were you both able to increase efficiency decrease price and increase overall quality like how does that happen I I was quite surprised to see that. I mean, and it’s not a little

[20:18] improvement to be clear. I mean, these are massive point jumps on the benchmarks. >> Yeah. I mean, I think this is kind of like uh like the anthropic playbook is like we sort of make the frontier intelligence and then we like bring it you know to scale right so like uh I think when I first joined we had like Opus 4.0 know which was a huge like very expensive model right um and very quickly after we had you know SA 4.5 which outperformed it like being much cheaper and I I think this just happens

[20:49] over and over again and like I think you should sort of expect this sort of uh thing to happen more where you’re like okay yes we’ll have the frontier models but that will be like very easily accessible like to people um very quickly right and so I think that’s also the like reason you want to try about like the new fables and stuff when they come out because you’re like, “Oh, even if you can’t use it in all of your subscription, they always like, you know, become more accessible over time, too.” >> Yeah. >> So, so I said something earlier in the stream and I want to run it by you. The

[21:20] last time you had a.5 model was late last year, and it was Opus 4.5, which >> many people, including myself, point to as the model that changed coding forever, right? It was the first time where you could fully trust a model to go off autonomously and build large parts of your application successfully. >> Why did you decide to name this 5.5? Why is it a five iteration? Is this are you getting the same feeling as you did late

[21:50] last year from this model? >> Yeah, I mean uh I don’t want to read too much into the particular numbers you because like I think that like uh a lot of our models are are very great. I don’t think you have to like look for the 0.5s to be like oh this is the the one but um I do think there is like some funny like numericics happening there where I think sonnet 3.5 to me was like oh the og like the the first real coding model you know and then yeah I think uh sonnet 4.5 and opus 4.5 were both really good um I don’t like know about the

[22:23] specific numbers but we were very very excited about opus 5.5 I think it’s like uh you know it’s like there’s a great energy here at Enthropic about this release. >> So, this is the first model released uh post Daario’s essay and call the kind of wide industry-wide call for pacing. What does that mean to you? >> Yeah. So, I mean I think that uh you can think along pacing across uh sort of

[22:53] multiple dimensions, you know. I think that like when Dario is talking about pacing, he’s talking about pacing the frontier, you know, and that means like sort of the newest and often like unreleased or like next models, right? And so those models have increasing capabilities that, you know, we’re still evaluating. Even evaluating them is hard because they escape sandboxes and things like that. And so we’ve like uh you know there’s a lot of work we need to do there on the frontier, but I think we’re always working to bring the frontier to everyone else too, right? And so, um,

[23:24] now that I think like the like the classifiers and fallbacks for the Opus 5.5 model, the Fable Fives, uh, like are very robust and we think they are safe right now. And so, like, when we have that, we’re like, okay, we have to bring it to everyone uh, like affordably, efficiently. And so, um, I think that’s like uh, you know, uh, two parts to pacing. I think >> now as you think about pacing, as you think about bringing models to a broader

[23:56] audience, do you see the window between when Anthropic has a new model and all the time it takes to really thoroughly test it, benchmark it to public release, is that window increasing or decreasing? >> Um, this is a good question. Uh I think that like naturally as we add more evaluators you know and we want to take our time to like uh do this sort of thing like we want to like you know it

[24:26] will take some time but we’ve also sort of been careful ourselves with things like the mythos roll out and and and fable rollouts to make sure we get them right. So um I’m not sure how that will net out in terms of absolute time right. I think the most important thing for us is that we feel uh and and third party evaluators feel like the models are are safe to release. Yeah. >> When you’ve been testing it, what are the coolest things that you’ve built with it and where have you seen it different or surprising where other models weren’t able to accomplish that

[24:57] thing? >> Yeah. Yeah. I mean, I think that it is definitely um Yeah. It’s harder and harder to evaluate these models sometimes because you’re like, “Oh, like yeah, we have to have to build all of San Francisco in order to to get it right.” Um, so I think part of it is uh they like I I feel like it’s very good at visual design and communication. And so um I like sort of every model release have like Claude trying like redo my blog and uh I feel like it really sort of nailed a bunch of these small details

[25:28] that I feel like I didn’t uh get earlier and it did it much faster and and made me feel more in the flow. And so I think this is one of those nice models where um [clears throat] like you know it’s not purely about the intelligence, it’s also about the like which which is great, but it’s also about the responsiveness, the efficiency, the token cost. Um and so yeah, I like uh I I’ve seen some incredible like game and 3D demos. Um but I think also looking just at the benchmarks, uh it like is, you know, I was looking at Terminal

[26:00] Bench in particular. It’s just like really like >> like it it’s faster and more efficient. Um, and so I think that like uh yeah, the splashy demos are amazing, but I think also you’re going to really feel it in like your day-to-day software engineering. >> Yeah, this I typically reserve the term workhorse model for kind of maybe a sonnet level model. >> Sure. But this one, just looking at GDP val, which is, you know, a massive ELO boost from from the previous model and from comparable models,

[26:30] >> it really does feel like this is going to be the workhorse model of knowledge work. And I’m I’m I’m really excited. >> Uh I’m extremely excited about that. Also, I’m very happy that you said it’s like hard to tell the difference at times because, you know, my my entire job is trying to figure out how to highlight the differences of these models and I feel like I can’t even come up with good enough uh benchmarks or demos anymore. Um, so it’s it’s an interesting thing to do and I’m I’m glad you’re feeling that as well. Um >> I mean I mean I just just in agreement

[27:02] like I I think that when I look at the eval sometimes even almost every eval the model is mostly right you know like like even in the ones where it says it failed the eval it it thinks of the right answer but maybe doesn’t commit to it or something. Um so yeah the models are getting increasingly better and better at this and I think you know um a lot of it becomes like how do we help everyone else get the most out of the models right I think there is like uh like more and more of this jagged frontier of like people who are like

[27:33] like getting you know the most intelligence and or sorry the most effort like um out the best outcomes for the intelligence right and I think people still trying to figure it out and I think what I’m really excited about open 5.5 is like it’s you know If you never got to try Fable before, like if you haven’t been able to like get that frontier, it’s now really accessible to you and and hopefully people like you will show people how to get the most out of the models, too. Yeah. >> Yeah. And as you think about this model and and I think models in general tend

[28:04] to be pretty spiky with their capabilities, >> what do you wish this model or other anthropic models did better that they are either kind of not RL on enough or or just things that you wish it were better at that you might be working on. >> Yeah. Yeah. Yeah. Uh I think it’s always like a little bit difficult to figure out like what is the um hardness versus what is the like the model sometimes you know I I think that like uh I think that like our combined

[28:36] set of like computer use and browser use I think there’s like things to like iron out there like I think the models on the benchmarks have gotten better and better but we need to like help them express that capability. Um, I think overall with like sort of the next generation of models, I think it’s always that mix or sorry, not like just like how can models today be better, right? I think there’s that mix of like being able to like meet you where you are. I think like being able to like be like, okay, I know this about the user and so like maybe I’ll

[29:08] push back here at the right moment, you know what I mean? Or like I’ll be like, “Hey, have you thought about this?” But um, like not to the extent that it’s annoying, you know? And so I think downstream of that is like sort of memory and the ability to like figure out context. And I I think that’s sort of like the things that will make the models feel really really great is like it’s sort of different based on you and your like own like uh like your knowledge basically right and and so it doesn’t feel uh yeah like like

[29:38] interrupts or like it suggests things at the right time. So uh yeah overall I think more to do there uh to help people like use the intelligence. >> So I I know you got to go soon. So one last question for you. Um obviously like you are the absolute expert at the harness and how the model fits into the harness. When you release a new model like Opus 5.5, how do you think about how the model changes and reacts to the new capabilities of a model?

[30:08] Yeah, I mean I think that like one of the really difficult things about being on the cloud code team is that like this change happens kind of underneath you all the time, right? And you have to sort of like keep catching up. And I I think like you know recently we sort of deleted a lot of our system prompt which is like an important way of doing that. Um but I think we’re like also sort of realizing that you know what Claude uses is also like skills that people have written and things like that. And so um one of the things we’ve done alongside

[30:38] this release is like our plug-in eval release where you can sort of see like okay are your skills and plugins sort of up to date with the newest model uh and then sort of like you know help like update them towards like not constraining the model. Um I think that like uh things I’m very excited about for this model uh I’ve talked about like on Twitter and stuff is that like I think tool calling is better and better than ever before. And I think like uh it’s actually I’m I’m very interested in it for like cloud managed agents as

[31:10] well. I think that like being able to like make your own harnesses and like spin them out is really great. Um I think that like there’s probably more we need to do in all our products to like utilize intelligence as best we can. Um I think we’re always we always feel like we’re like constraining clouds a little bit and we need to like like let it loose and so um yeah I think like uh we’ve reduced a bunch of the system prompt added some tools removed some tools but there’s more to figure out. Yeah. >> Awesome. Well th congratulations again

[31:42] on 5.5. Uh seems like a phenomenal release. I have much more testing to do. I really appreciate you joining the live stream. Go check out Opus 5.5 and uh go follow Thoric on Twitter, TRQ212. >> That’s right. >> Thanks, man. Good to see you. >> See you later. >> Take care. Great to meet you. Bye.