GPT-6 Soul e Luna foram lançados!!!

Autoria: Matthew Berman · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: GPT-6 SOL AND LUNA ARE OUT!!! · Canal: Matthew Berman · 1:59:25 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Engenharia de software com IA, Geração de conteúdo com IA, Modelos de IA

Resumo

Matthew Berman apresenta Claude Opus 5.5, comparando seus benchmarks, preço, velocidade e desempenho por tarefa com outros modelos. Em uma entrevista, Tharic, da Anthropic, comenta o posicionamento do modelo, seu uso no desenvolvimento de Claude e mudanças no Claude Code. A equipe mostra demos criadas com Opus 5.5, incluindo jogos em Unreal Engine e uma animação. Na parte final, o apresentador acompanha o lançamento de GPT-6 Soul e Luna e compara seus custos e resultados com Opus 5.5.

Pontos-chave

O apresentador descreve Opus 5.5 como um modelo de alto desempenho para programação e trabalho de conhecimento, com velocidade e custo por tarefa menores que os de Opus 5.
Os benchmarks destacados incluem Terminal Bench, GDPval, Automation Bench e Frontier Code; o apresentador ressalta os resultados de Opus 5.5 em programação e trabalho de conhecimento.
A entrevista aborda Opus 5.5 como modelo de uso diário, a contribuição de Claude para o próprio desenvolvimento e a importância de avaliar segurança antes do lançamento.
Tharic comenta que o harness e o system prompt precisam acompanhar as novas capacidades dos modelos, e menciona evals para plugins e skills.
As demos da equipe incluem um jogo no estilo Dark Souls, uma recriação de Mario Maker, um jogo de lançamento de foguete e uma animação.
O apresentador acompanha o lançamento de GPT-6 Soul e Luna e destaca as reduções de preço anunciadas para os dois modelos.
Na comparação final, Opus 5.5 tem os melhores resultados em alguns benchmarks apresentados, enquanto Luna se destaca pelo baixo custo e Soul oferece um equilíbrio entre custo e desempenho.
O apresentador relaciona a chegada de modelos mais eficientes e baratos ao debate sobre pacing the frontier.

Capítulos

Início	Capítulo	Resumo
01:26	Abertura e apresentação de Opus 5.5	Matthew Berman anuncia o novo modelo da Anthropic e apresenta os temas da transmissão.
10:50	Preço, velocidade e custo por tarefa	O apresentador compara preços e explica por que eficiência e custo para concluir uma tarefa importam além do preço por token.
20:14	Segurança e eficiência de Opus 5.5	Berman comenta avaliações externas, salvaguardas e a redução de custo por tarefa atribuída à eficiência do modelo.
28:28	Entrevista: usos e desenvolvimento do modelo	Tharic fala sobre Opus 5.5 como modelo de uso diário e sobre a contribuição de Claude para o desenvolvimento de Claude.
36:12	Disponibilidade e capacidades de Opus 5.5	A conversa aborda acesso ao modelo, demos de programação, uso de computador e melhorias desejadas.
44:43	Fim da entrevista e preparação das demos	Após a entrevista, Berman comenta a conversa e prepara a participação de Brian e Alex.
52:33	Jogo no estilo Dark Souls	Alex apresenta Ashen Gate, um jogo feito com Opus 5.5 em Unreal Engine, e comenta o tempo de criação.
60:11	Demos de jogos e animação	A equipe mostra outras criações, incluindo jogos inspirados em Mario Maker e uma animação feita quadro a quadro.
68:18	Demos finais e conversa sobre GPT-6	Brian apresenta um jogo de quebra-cabeça, enquanto os participantes reagem à notícia sobre GPT-6 Soul e Luna.
74:44	Retorno à análise de Opus 5.5	Berman retoma os resultados do modelo e comenta sua posição no Artificial Analysis Intelligence Index.
85:20	Espera pelo lançamento de Soul e Luna	O apresentador acompanha a chegada dos novos modelos da OpenAI e verifica sua disponibilidade nos aplicativos.
95:04	Preços e benchmarks de GPT-6 Soul e Luna	Berman lê o anúncio e compara preços, Automation Bench e outros resultados dos modelos.
104:58	Comparação em programação e uso do computador	A análise passa por Frontier Code, Deep Suite e OS World, destacando diferenças de custo e desempenho.
113:25	Comparação final dos três modelos	O apresentador reúne preços e resultados de Opus 5.5, GPT-6 Soul e GPT-6 Luna e comenta suas possíveis aplicações.

Citações

O custo por tarefa concluída é a métrica importante que você precisa conhecer. — 11:58

Se você vai escolher apenas um modelo para usar no dia a dia, acho que Opus 5.5 é uma ótima escolha. — 28:28

Claude ajuda a construir Claude. — 30:10

Acho que tool calling está melhor do que nunca. — 43:07

Conceitos e entidades

Claude Opus 5.5 (modelo): Modelo da Anthropic apresentado no vídeo, com foco em programação e trabalho de conhecimento.
GPT-6 Soul (modelo): Modelo da OpenAI cujo lançamento e preço são discutidos na segunda parte da transmissão.
GPT-6 Luna (modelo): Modelo da OpenAI apresentado como uma opção de baixo custo em comparação com modelos mais potentes.
Anthropic (empresa): Empresa responsável por Claude Opus 5.5 e por Claude Code.
OpenAI (empresa): Empresa associada a GPT-6 Soul, GPT-6 Luna e ao benchmark GDPval.
Tharic (pessoa): Integrante da equipe técnica da Anthropic entrevistado durante a transmissão.
Claude Code (ferramenta): Produto da Anthropic mencionado na conversa sobre harness, system prompt, plugins e skills.
Unreal Engine (ferramenta): Ferramenta usada em demos para criar jogos e uma representação de São Francisco.
Terminal-Bench (conceito): Benchmark citado pelo apresentador para avaliar a capacidade de usar o terminal em tarefas de programação.
GDPval (conceito): Benchmark da OpenAI citado para medir desempenho em tarefas de trabalho de conhecimento.
AutomationBench (conceito): Benchmark apresentado em gráficos que comparam qualidade e custo por tarefa.
Frontier Code (conceito): Benchmark usado na transmissão para comparar desempenho e custo em tarefas de programação.

Tradução completa (pt-BR)

01:26 Certo, estamos ao vivo, pessoal. Olá. Sim. Vocês conseguem me ouvir? Olá. Olá. Conseguem me ouvir? Me avisem. Certo. Sim, é verdade. Temos um modelo novinho em folha que acabou de ser lançado hoje. Ele tem

01:57 sido uma semana agitada, para dizer o mínimo, e não acho que o ritmo vá diminuir. Então, vou fazer uma breve introdução sobre Opus 5.5. E hoje temos um convidado especial que vai se juntar a nós: Tharic, membro da equipe técnica da Enthropic. Literalmente, o cara que está liderando o Claude Code e um monte de outras coisas. Estou muito, muito animado. Então, vou fazer a introdução e, sim, deixem seus comentários no chat e vou tentar

02:30 responder a eles. Só preciso iniciar minha gravação. Clique um, dois, três, quatro, cinco. Certo. Quase esqueci disso. Está aqui. Então, Opus 5.5 chegou. Este é o primeiro grande lançamento de modelo da Anthropic desde que passou a ditar o ritmo na fronteira. Então, este vai ser um

03:03 interessante. E, se vocês se lembram da última vez que tivemos uma versão 0.5… E, se vocês se lembram da última vez que tivemos uma versão 0.5, foi no fim do ano passado, quando tivemos Opus 4.5, que realmente mudou o mundo. Esse foi o ponto de inflexão em que os modelos de programação ficaram absurdamente bons e passaram a dar conta de tarefas longas, de várias horas, de forma totalmente autônoma. Dá mesmo para ver o

03:33 ponto de inflexão se vocês olharem vários gráficos diferentes. Aquele modelo era incrível, e agora temos o 5.5, o que é muito importante. Tenho experimentado com ele. Tive acesso antecipado. Minha equipe teve acesso antecipado, e tem sido muito divertido testar o modelo. Ele é extremamente capaz, e é sobre isso que vamos falar hoje. Vou contar a vocês sobre o modelo, mostrar os benchmarks e receber um convidado especial, Tharic, da equipe da Anthropic, membro da equipe técnica.

04:06 Ele vai se juntar a nós daqui a uns 23 minutos. Vai ser ótimo. Vamos fazer algumas perguntas a ele. Também vou trazer Brian e Alex, da nossa equipe, para mostrar algumas demonstrações que eles criaram. E, de novo, sim, o modelo é ótimo. É só isso que há para dizer. Certo, vamos ao que interessa. Apresentamos Claude Opus 5.5, o primeiro modelo da nossa nova família Claude 5.5. Na maioria das tarefas, ele tem desempenho no nível do Fable 5.1, mas custa

04:39 40% menos para executar do que Opus 5. É mais rápido, mais barato e, em muitos benchmarks — isso foi impressionante de ver —, tem o melhor desempenho. Está na fronteira, na fronteira absoluta. É difícil acreditar que Fable não ocupa mais essa posição. Então, vamos aos detalhes. Deixem-me só confirmar que vocês conseguem ver meu Twitter. Sim. Certo. Testem, por favor. Sim, temos algumas demonstrações para mostrar mais tarde. Não vou

05:11 testá-lo ao vivo, só porque testar as coisas demora demais e, sabe, quero garantir que temos boas demonstrações para mostrar a vocês. Temos algumas para mais tarde, então não se preocupem. Vou mostrar algumas demonstrações. Opus 5.5 é nosso primeiro modelo desde que pedimos para ditar o ritmo na fronteira. Parece que faz bastante tempo, mas foi basicamente na semana passada que Daario escreveu o ensaio pedindo, essencialmente, para desacelerar. Então, este é o primeiro modelo que lançam desde então, o que é meio louco, porque este é um modelo absolutamente de fronteira. É um

05:45 modelo fenomenal. É mais barato, mais rápido e, mesmo assim, estão ditando o ritmo. Assim como os modelos anteriores, ele foi avaliado por avaliadores externos antes do lançamento, incluindo Meter e Frontier Design. Certo, olhem estes benchmarks. Temos Terminal Bench 4.0, um dos benchmarks de programação mais importantes que existem. Esse benchmark mede a capacidade do modelo de usar o terminal para executar comandos nele,

06:20 o que obviamente é uma parte importante de realmente programar com agents, e ele domina completamente: 66,4%, contra 57,9% do Astra, que ficou em segundo lugar, e 55,8% do Fable 5.1. São mais de 10 pontos acima do Fable 5.1. Aqui está Opus 5, a versão anterior: 52,3. E aqui está 5.6 Soul. Não tenho certeza nem por que isso está aí, mas marcou 37,3. Temos Frontier Code V1.1. Este é um

06:54 benchmark de programação com agents: primeiro lugar, 54,4, em comparação com 50 do Fable e 53,3. É muito parecido com Astra. Temos Cursor Bench, que obviamente não é o benchmark deles. É o benchmark da Cursor. Agora, o benchmark da XAI: 57,8. Astra não foi testado nele. Não é uma grande surpresa. Fable 5.1: 51. Quer dizer, esses não são pequenos avanços incrementais. São melhorias enormes em relação às

07:27 pontuações anteriores. Além disso, provavelmente é um modelo menor. Provavelmente é uma versão destilada, mas não tenho 100% de certeza. Isso é especulação. E é mais barato e mais rápido. Olhem só. É uma pontuação ELO absurda. GDP val versão 2.1. Este é o benchmark da OpenAI para testar trabalho de conhecimento no mundo real. Por isso se chama GDP val. Certo. Pontuação ELO de 1846.

07:58 A segunda posição anterior — o primeiro lugar anterior — era 1735, com Fable 5.1. GPT6 Astra: 1542. Isso representa um salto de mais de 300 pontos ELO. Esse benchmark mede coisas como criação de PowerPoint, entrada de dados, processamento de texto, qualquer coisa que vocês façam no mundo real, envio de e-mails — praticamente qualquer tarefa de trabalho de conhecimento, qualquer coisa

08:29 em que vocês ficam sentados diante de um computador realizando trabalho de verdade. Esse é o benchmark para isso, e é uma melhoria enorme. Muito impressionante. Aqui está Automation Bench. Um dos poucos em que não ficou em primeiro lugar. Astra fez 41,4, contra 40. Então, é bem comparável. Aqui está Humanity’s Last Exam. Mais uma vez, um salto considerável em relação ao Fable 5.1 e um salto bem grande, de 10 pontos, contra Astra. Então, 57 para Astra e 67 para Opus 5.5,

09:06 Fable 5.1: 65%. Agora temos Terminal Bench Science, em que não ficou em primeiro lugar. Fez uma pontuação maior que Fable 5.1, com 58, mas ficou em segundo lugar, atrás de GPT6 Astra. Aqui está o uso do computador. Mais um daqueles benchmarks realmente importantes e uma habilidade muito importante para um modelo ter, e algo que estou usando mais do que nunca. Sei que Brian e Alex, da minha equipe, estão usando muito para

09:41 controlar Da Vinci Resolve. Estão usando o MCP, mas também usando o modelo diretamente para controlar o computador. Estou usando para controlar Unreal Engine e criar recursos 3D lá. 81,8% contra 80,7%, um pequeno avanço sobre Fable 5.1. Aqui temos reconhecimento visual de gráficos. Nunca tinha ouvido falar desse benchmark, chtography: 89% contra 88,4%. Então, basicamente o mesmo que Fable 5.1, mas acho que os pontos importantes para ter em mente são Terminal Bench, com um salto enorme. É um dos mais importantes.

10:14 E GDP val é o outro realmente importante. Então, Terminal Bench para programação e GDP val para todo o trabalho de conhecimento. Sim. Luigi mate. Sim. Opus está superando Astra. Sim. Sim, está. E também tenho os custos. Vou passar por tudo isso com vocês em breve. Certo. Pontuações muito, muito boas. Estou muito impressionado.

10:50 Vamos falar de preços. É basicamente o mesmo preço de Opus 5.5. Conseguiram reduzir um pouco o preço dos cache reads, mas não muito. Na prática, é o mesmo. Ah, na verdade, desculpem, deixa eu reformular. Houve uma pequena redução de preço. Tecnicamente, acho que é uma redução de 20%, o que é bem bom. Opus 5.5 custa US$ 4, em comparação com Opus 5, que custa US$ 5. US$ 20 por milhão de output tokens contra US$ 25 por milhão de output

11:23 tokens. Cache reads custam 20 centavos contra 50, e cache writes custam US$ 5 contra US$ 6,25. Então, é uma redução de preço significativa — não enorme, mas significativa —, e também é muito mais rápido. E, sabe, se vocês acompanham este canal, sabem que sou um grande entusiasta da velocidade. Vamos dar uma olhada na configuração padrão de esforço. Opus 5.5 oferece resultados de fronteira por uma fração do custo por tarefa, muitas vezes superando outros modelos executados em suas configurações máximas. Também gera respostas mais de 30% mais rápido que Opus 5. Então, o que

11:58 Sobre o que tenho falado ultimamente? Ter apenas o custo por milhão de tokens não é suficiente. Se um modelo é extremamente barato por token, mas precisa de 10 vezes mais tokens para chegar à mesma conclusão em determinada tarefa, então ainda é um modelo caro. O custo por tarefa concluída é a métrica importante à qual você precisa estar atento. Então, quando o preço aparece aqui, isso é bom. Mas o que realmente precisamos ver é a eficiência do modelo, a densidade de inteligência do modelo.

12:33 Certo, então é isso que estamos vendo aqui. Este é o Automation Bench. Esta é a taxa de aprovação. Então, basicamente, temos a qualidade no eixo y. E no eixo x, temos o custo por tarefa. Aqui está o Opus 5.5 em laranja, nesta cor cinza-clara. Temos o GPT 5.6 Soul em cinza-escuro. Ali em cima temos o Astra e, aqui embaixo, o Opus 5 em amarelo. E o lugar onde você quer estar, o quadrante em que você quer estar, é o superior esquerdo, porque isso significa que você

13:04 tem a qualidade mais alta pelo menor custo por tarefa. E é isso que estamos vendo aqui. Este é meio que o ponto ideal. Médio e alto para o Opus 5.5. Incrível. Agora, na configuração máxima, ele não chegou a superar o Astra, certo? Mas é menos caro que o Astra e é praticamente menos caro em todas as faixas. Começando em extra alto, que supera as duas configurações de raciocínio mais baixas do Astra, e também é significativamente menos caro.

13:39 Agora, se olharmos para o cinza-claro, que é o GPT GPT 5.6 Soul, ele teve uma pontuação muito boa e ficou acima disso. E o mesmo vale para o Opus 5. Aliás, se você está assistindo à transmissão, eu agradeceria se curtisse, se inscrevesse e republicasse. Agradeço muito. Obrigado desde já. Então, certo, esse é o importante. Este é o Automation Bench. Vamos olhar o próximo. Temos o Frontier Code; é a mesma coisa: temos a

14:13 pontuação de qualidade no eixo y e o custo por tarefa no eixo x. Isso é bem irregular, meio interessante. Olhem estas linhas. Em amarelo, este é o Opus 5. Na configuração de raciocínio mais baixa, ele marca talvez 42%, e depois, na média, sobe até algo em torno de 53%. E, nas configurações mais altas, na verdade, cai de novo, o que é bem interessante. Muito irregular. Mas, de novo, o que você quer é o quadrante superior esquerdo. É onde você

14:48 quer estar. E olhem o que está lá: Opus 5.5. Na configuração baixa, marca cerca de 47 e custa menos de, digamos, 20 ou 30 centavos para resolver a tarefa. Temos a configuração média aqui em cima, mais perto de um dólar; alta, mais perto de um dólar; extra alta; e depois máxima, bem mais adiante. Então, o interessante é que, no Frontier Code, o esforço médio custa menos de um dólar por tarefa e tem uma pontuação maior do que o esforço máximo, que custa mais de US$ 5 por tarefa. Então, isso

15:21 realmente importa: qual esforço de raciocínio você usa. E, para ter uma ideia de qual esforço de raciocínio você deveria usar, basta usar o modelo. Você precisa experimentar esses diferentes produtos. Certo. Então, de novo, muito impressionante. Hum, mostrei o GDPval? Não. Certo. Então, o GDPval é um dos meus benchmarks favoritos. De novo, este é um benchmark da OpenAI. E, de novo, o ELO fica à esquerda, então representa basicamente a qualidade. E no

15:54 eixo x, temos o custo estimado por tarefa. Então, o que estamos vendo é que o laranja tem, obviamente, o ELO mais alto de longe, mas o que você realmente quer é estar aqui em cima. E, se olharmos, no geral, o modelo tende a ser mais barato do que os modelos comparáveis nas outras linhas aqui. E também é significativamente melhor. Todos os outros

16:24 modelos — Opus 5, Fable 5.1, GPT6 Astra e 5.6 Soul — estão mais ou menos agrupados neste ponto aqui. E, praticamente em todas as configurações, sim, exceto na de esforço baixo: médio, alto, extra alto e máximo, o Opus 5.5 simplesmente domina. Terminal Bench. De novo, quando penso nos benchmarks mais importantes para determinar se um modelo vai ser bom em programação ou não, há

16:56 dois benchmarks que observo. O Terminal Bench é um deles. O outro é o Deep Suite. Infelizmente, não vejo o Deep Suite em nenhum lugar aqui. Pelo menos ainda não. Então, vamos lá. Mais uma vez, quanto mais alto, melhor; mais à esquerda, melhor. Portanto, o quadrante superior esquerdo é o melhor. E é isso que estamos vendo aqui. Vejam como esta cor laranja-escura está muito mais alta: é o Opus 5.5, acima de qualquer outro. O Astra vem logo abaixo. E depois vêm os outros modelos. Aqui está o Fable 5.1, o Opus 5 e o GPT 5.6 Soul aqui embaixo. Mas o que estamos

17:31 vendo é que provavelmente a configuração alta será a melhor opção. A média, mais alta, porque você tem, tipo, a média supera ou fica praticamente no mesmo nível do Astra, mas é significativamente menos cara. Então, este valor está perto de US$ 7 por tarefa concluída. Este provavelmente está perto de US$ 3. E, se quiser ir ainda mais alto, este fica mais perto de US$ 4 por tarefa concluída, mas simplesmente domina. Então, passa de uma pontuação de 60.

18:01 Luigi, todos esses modelos ainda são péssimos para direito. Que surpresa. Sim, é interessante. Na verdade, enquanto preparava ontem o vídeo sobre o Grok 4.7, percebi que todos os outros modelos, inclusive o Astra, eram muito ruins para trabalho jurídico, mas o Grok 4.7 era muito bom. Então, sabe, os modelos têm desempenhos irregulares. É só uma questão do que eles escolhem priorizar. Certo.

18:35 O Opus 5.5 se comunica de forma mais natural, abordando alguns dos comentários mais comuns que ouvimos sobre o Opus 5. Ele coloca as informações mais importantes logo no início e segue as regras de escrita que você define, o que facilita acompanhar sessões longas. Então, é bom. O que melhorou foi principalmente a formatação da explicação sobre o que ele fez durante a programação. Agora, quero muito testá-lo para escrita criativa. Acho que o Astra é o melhor em escrita criativa neste momento. É o que tem menos aquele cheiro de texto genérico de IA. Mas

19:10 espero que o Opus 5.5 seja bom. Mas acho que o Opus 5.5 é voltado principalmente para programação e trabalho com conhecimento, não necessariamente para escrita criativa. Mas dá para ver aqui: o Opus 5.5 está à direita, e a explicação geral é muito mais curta; eles falam das coisas importantes logo no início. E isso é muito bom se você está gerenciando 10, 15, 20 agents em paralelo e precisa alternar entre eles para entender o contexto, fazendo essa troca de contexto e lendo. Isso exige muito esforço. E quanto mais curtas e concisas forem

19:41 as explicações do que o modelo concluiu, melhor; fica mais fácil passar de uma conversa para outra e continuar cada uma. Feliz Dia do Opus, Alex. Isso mesmo. Certo. Temos cerca de sete minutos até o Tharic se juntar a nós. Então, vou comentar um pouco a publicação do blog. Estou à disposição para responder a algumas perguntas. Avisem se tiverem alguma dúvida.

20:14 E, mais uma vez, se puderem curtir a transmissão, eu agradeceria muito. Obrigado desde já. É interessante, sim: este é o primeiro lançamento de modelo desde o ensaio sobre pausar — ou, desculpem, não pausar; esse era o termo antigo —, mas sim, manter o ritmo na fronteira. E eles deram acesso a avaliadores externos, Frontier Design e Meter, para testá-lo.

20:48 O Opus 5.5 é um grande avanço em relação ao Opus 5. É o novo modelo líder, e os primeiros testadores observaram grandes saltos de desempenho nos trabalhos mais complexos. Então, uma coisa que vou mostrar mais tarde nesta transmissão é que pedi a ele para passar dias construindo uma representação 3D de San Francisco, com cada prédio, cada detalhe, tudo na Unreal Engine. E depois dei vida a tudo na cidade: carros, pessoas, cachorros, trânsito, tudo

21:22 feito por Jev. Achei que foi um teste muito legal e vou mostrar para vocês mais tarde. É um pouco pesado para o meu computador, mas vou mostrar. Um testador concluiu uma migração de código com 680.000 linhas em menos de um dia. Certo. Quanto à segurança, o Opus 5.5 alcança as melhores pontuações de qualquer modelo até hoje em nossa auditoria comportamental automatizada, nosso conjunto de testes de alinhamento que testa o Claude em diferentes

21:53 milhares de cenários simulados. É muito mais provável que os modelos recentes que ele tome ações difíceis de reverter ou aja fora dos limites que lhe foram definidos. Isso obviamente se refere diretamente à Hugging Face e ao incidente do ataque à Hugging Face. Também ampliamos nossos testes de alinhamento para abranger tarefas mais longas e tarefas impossíveis, que acredito serem o que aconteceu no exploit gym e levou o

22:25 modelo a tentar trapacear. Basicamente, foi dada a ele uma tarefa impossível. Posso estar errado sobre isso. Então, confira, mas acredito que foi o que aconteceu. Como Opus 5.5 é comparável a Claude Mythos 5.1 em biologia e segurança cibernética, vamos lançá-lo com proteções semelhantes às de Claude Fable 5.1. Você pode se inscrever para participar do programa de verificação em ciências da vida. Basicamente, o que eles estão dizendo é que esse modelo tem uso dual. Ele pode ser usado para descobertas incríveis em biologia e ciência e

22:56 também pode ser usado para armas biológicas. Então é disso que eles estão falando. Se você não fizer parte desse programa, provavelmente não vão permitir que você faça muita coisa, sabe, com perguntas sobre biologia e problemas científicos mais profundos. Provavelmente também há o programa de verificação em segurança cibernética. Então, ele terá proteções mais rígidas, a menos que você faça parte desses programas, o que, tudo bem. Aqui vai algo interessante. Opus 5.5 requer menos capacidade computacional para servir do que Opus

23:29 5, e o preço reflete isso. Nossos testes mostram que, nas configurações padrão, ele vai custar 40% menos que Opus 5 em cargas de trabalho típicas. Então, aqui está a parte importante. Lembra que vimos os preços e que, digamos, em média, eram 20% menores que os de Opus 5? Então, como eles conseguiram uma redução de 40% no custo total para determinadas tarefas? Bem, isso vem da combinação de duas coisas que mencionei. Não é só o preço, mas também a quantidade de tokens que ele leva para

24:00 realmente concluir uma tarefa. Desculpe. Para realmente concluir uma tarefa. Certo, parece que Thoric está entrando. Um segundo. Vou deixá-lo entrar. Oi, Thor, está me ouvindo? Vou dar um minuto para ele se preparar. Thoric, quando me ouvir, faça um sinal de positivo. Certo. Sinal de positivo. Está pronto para entrar na transmissão.

24:33 Então, vou esperar um segundo. Sinal de positivo. Vou dar mais um minuto. Faça um sinal de positivo quando estiver pronto para entrar na transmissão. Me avise. Vou colocar meus fones de ouvido. Temos Tharic, que é membro da equipe técnica da Anthropic, aqui para falar sobre o lançamento. Teste, teste, teste. Certo. Certo. Vou trazer Thark para a transmissão.

25:10 Thark, está me ouvindo? >> Sim. Como vai? Está me ouvindo? >> Certo. Oi, cara. Bom te ver de novo. >> Sim, muito bom te ver. >> Legal. Todo mundo no chat está ouvindo? Th >> Sim, me avisem. O áudio está bem bom. >> Sim. Certo, ótimo. Sim. Tudo certo. Thark, obrigado por participar. Parabéns por Opus 5.5. Estou muito empolgado. Tenho algumas perguntas para você, mas podemos ir para qualquer direção que você quiser. Então, acho que minha primeira pergunta é…

25:44 fale sobre este lançamento do modelo e como você o vê dentro da família de modelos que vocês têm, seja Fable 5.1 ou outros modelos da família cinco. Onde ele se encaixa e como as pessoas devem pensar nele? >> Sim, obrigado por me receber. Opus 5.5 é um daqueles modelos em que você percebe a tendência: a inteligência fica mais barata e melhor ao mesmo tempo, com o passar do tempo. Então, esta é uma dessas ocasiões em que o modelo é mais barato que Opus 5.0, mais eficiente no uso de tokens, e

26:15 a inteligência é melhor. Acho que Fable 5.1 e Opus 5.5 são muito próximos, sabe? Para muitos casos de engenharia de software em geral, eu diria que Opus 5.5 é um ótimo modelo para usar no dia a dia. Acho que Fable 5.1 é para quando você está pensando em algo, talvez… >> Ei, Thoric, desculpa interromper por um segundo. Muita gente está dizendo que talvez seu microfone não seja o certo. Acho que o microfone do laptop está ligado agora.

26:46 Sim. Muita gente. Certo. Estamos resolvendo. Desculpem por isso, pessoal. Vamos arrumar rapidinho. Vou te dar… >> Acho que… >> Sim, estamos resolvendo. Eu te ouvi bem, então não tem problema. Mas acho que você está usando o microfone da câmera. >> Eu não deveria estar…

27:24 Ah, agora não consigo te ouvir de jeito nenhum. >> Certo. Está baixo demais? É isso que você quer dizer? Ou… >> Sim, está baixo demais. Mas não acho que este microfone esteja ligado e funcionando de verdade… >> tipo este aqui. >> Sim, não acho que seu microfone de braço esteja funcionando. Entendi. >> As pessoas estão dizendo que deveríamos usar Opus 5.5 para resolver isso. Na verdade, é engraçado porque sempre que tenho problemas assim, tipo com compartilhamento de tela ou qualquer outra coisa,

27:56 eu simplesmente aponto meu modelo para o problema e peço para ele resolver. >> Totalmente. Sim. Sim, mudei para o laptop. Está me ouvindo agora? Certo. >> Perfeito. >> Certo, claro. >> Como está o som, pessoal? >> Acho que está bom. Para mim, o som está bom. Vamos nessa. Boa! Obrigado. >> Legal. Certo, ótimo. Sim, claro. Sobre Opus 5.5, acho mesmo que é uma daquelas ocasiões em que o modelo é mais barato e mais inteligente. E acho que, se você fosse escolher apenas um modelo para usar no dia a dia,

28:28 acho que Opus 5.5 é uma ótima escolha. Acho que Fable 5.1 é mais… Acho que é ótimo para planejar, e ter um modelo como Fable é muito bom para fazer brainstorming e planejar com antecedência. Se você tiver uma tarefa realmente importante, digamos, procurar falhas de segurança em algo em que o custo de errar é muito alto, acho que Fable 5.1 também é ótimo para isso. Mas, sim,

29:03 acho que também aprendemos muito com a forma como as pessoas usam os modelos depois do lançamento. E estou animado para ver como vocês vão usar Opus 5.5. Acho que vai ser um modelo muito, muito querido. >> Então, quando você decide qual modelo usar nos seus workflows, como escolhe? Opus 5.5 é seu modelo para o dia a dia agora? Você usa Fable 5.1 para tarefas mais gerais e de alto nível? Como você pensa nisso? >> Sim, ontem à noite eu estava refazendo meu site pessoal e acabei

29:36 usando Opus 5.5 para tudo. Acho que usaria Fable 5.1 em tarefas mais pontuais. Por exemplo, para planejamento, revisão de código ou segurança, o custo não é tão… eficiente em termos de custo, ou, desculpe, o custo não é tão importante. Mas, sim, acho que Opus 5.5 é simplesmente um modelo incrível para usar no dia a dia. >> Certo. Então, sabe, temos falado bastante sobre autoaperfeiçoamento recursivo ultimamente. Talvez você possa falar um pouco sobre como este modelo foi construído e se outros modelos

30:10 ajudaram a construir este modelo e talvez de que maneira isso aconteceu. >> Claro. Acho que Claude ajuda a construir Claude, sabe? Já conversamos sobre isso. Acho que, quando se fala em autoaperfeiçoamento recursivo, pode parecer algo muito concreto, algo enorme, como se Claude estivesse simplesmente fazendo tudo, sabe o que quero dizer? Mas acho que, na prática, são muitas coisas pequenas, todas juntas. Então, Claude…

30:40 escrever praticamente todo o código é uma forma de autoaperfeiçoamento recursivo, e isso vem acontecendo há bastante tempo, certo? Então, não acho que… Acho que é mais como um aumento gradual, em vez de, tipo: “Ah, não há nenhuma melhoria e agora está fazendo todas as melhorias”. >> E como vocês dois conseguiram aumentar a eficiência, reduzir o preço e melhorar a qualidade geral? Como isso acontece? Fiquei bastante surpreso ao ver isso. Quer dizer, e não é uma pequena melhoria, para deixar claro. São saltos enormes de pontuação nos benchmarks.

31:12 >> Sim. Acho que isso é meio que o manual da Anthropic: a gente cria a inteligência de fronteira e depois a leva para escala, certo? Quando entrei, tínhamos o Opus 4.0, que era um modelo enorme e muito caro, certo? E, pouco tempo depois, tivemos o SA 4.5, que o superou sendo muito mais barato. Acho que isso acontece repetidamente. E acho que vocês devem esperar que esse tipo de coisa aconteça mais: vocês…

31:45 tipo, tudo bem, teremos os modelos de fronteira, mas eles serão muito facilmente acessíveis às pessoas, muito rapidamente, certo? E acho que essa também é a razão para experimentar os novos fables e coisas assim quando são lançados, porque você pensa: “Ah, mesmo que não possa usá-los em todas as suas assinaturas, eles sempre acabam ficando mais acessíveis com o tempo”. Então… >> Sim. Eu disse algo antes na transmissão e quero conferir com você. Da última vez que vocês tiveram um modelo .5 foi no fim do ano passado, e foi o Opus 4.5, que…

32:17 >> Muitas pessoas, inclusive eu, apontam como o modelo que mudou a programação para sempre, certo? Foi a primeira vez em que você podia confiar plenamente que um modelo agiria de forma autônoma e construiria com sucesso grandes partes do seu aplicativo. Por que decidiram chamar este de 5.5? Por que é uma iteração cinco? Você está tendo com este modelo a mesma sensação que teve no fim do ano passado? >> Sim, não quero interpretar demais os números específicos que vocês…

32:47 porque acho que muitos dos nossos modelos são muito bons, e não acho que seja preciso ficar procurando os .5 para pensar: “Ah, este é o modelo especial”. Mas acho engraçado o que está acontecendo com os números. Para mim, o Sonnet 3.5 foi como: “Ah, o original, o primeiro modelo de programação de verdade”, sabe? E depois, sim, acho que o Sonnet 4.5 e o Opus 4.5 são ambos muito bons. Não sei sobre os números específicos, mas estávamos muito, muito empolgados com o Opus 5.5. Acho que é como…

33:20 há uma energia ótima aqui na Anthropic em torno deste lançamento. Este é o primeiro modelo lançado depois do ensaio do Dario e do apelo por um ritmo mais moderado para todo o setor. O que isso significa para você? >> Sim. Acho que é possível pensar em ritmo mais moderado em várias dimensões. Quando Dario fala em ritmo mais moderado, está falando de moderar o ritmo da fronteira, sabe? Isso significa os modelos mais novos, muitas vezes ainda não lançados ou os próximos modelos, certo?

33:54 E esses modelos têm capacidades cada vez maiores que ainda estamos avaliando. Até avaliá-los é difícil, porque eles escapam das sandboxes e coisas assim. Então, há muito trabalho que precisamos fazer na fronteira, mas acho que estamos sempre trabalhando para levar a fronteira a todo mundo também, certo? E agora acho que os classificadores e os mecanismos de fallback do modelo Opus 5.5, os Fable Fives, são muito robustos e acreditamos que são seguros neste momento. Então, quando…

34:28 temos isso, pensamos: “Tudo bem, precisamos disponibilizá-lo para todos, de forma acessível e eficiente”. Então acho que há duas partes no ritmo mais moderado. >> Agora, ao pensar nesse ritmo mais moderado e em levar os modelos a um público mais amplo, você acha que o intervalo entre a criação de um novo modelo pela Anthropic e todo o tempo necessário para testá-lo minuciosamente, avaliá-lo em benchmarks e lançá-lo publicamente está aumentando ou diminuindo?

35:04 >> Essa é uma boa pergunta. Acho que, naturalmente, conforme adicionamos mais avaliadores e queremos dedicar tempo a esse tipo de trabalho, isso vai levar algum tempo. Mas também temos sido cuidadosos com lançamentos como o do mythos e os do fable, para garantir que sejam feitos direito. Então, não sei qual será o resultado em termos de tempo absoluto. Acho que o mais importante para nós é sentirmos — e os avaliadores externos também sentirem — que os modelos são…

35:38 seguros para lançar. Sim. >> E vocês tiveram dois avaliadores externos neste caso, certo? Tinha a Meter e… qual era o segundo? Frontier. >> Sim, também me escapou o nome, mas… >> Frontier Design. Frontier Design. Sim, desculpe. Isso fez parte do apelo no ensaio do Dario para dar a eles acesso de primeira parte, literalmente como funcionários, ou isso vai acontecer no próximo lançamento de modelo? Desta vez, eles foram tratados como avaliadores externos ou internos?

36:12 >> Essa é uma boa pergunta. Não conheço os detalhes. Posso perguntar rapidinho à nossa equipe, mas acho que a nossa intenção é dar a eles acesso completo. É… não tenho certeza exatamente de quanto acesso tiveram neste caso. >> Para quem este modelo está disponível hoje? >> Está disponível para todos. Está nos planos Pro e Max, sabe? Está no Cloud Code agora. Então, estou animado para que todos vocês…

36:43 experimentem. >> Sim. E, enquanto vocês o testavam… Eu tenho testado bastante, especialmente no Unreal Engine. Vou compartilhar uma demonstração mais tarde na transmissão sobre como construí a cidade inteira de San Francisco no Unreal Engine. Só dei um objetivo e deixei funcionando por, acho, uns três dias. Ficou extremamente bom. >> O que foram as coisas mais legais que vocês construíram com ele? E em que situações vocês notaram diferenças ou algo surpreendente, em que outros modelos não conseguiram realizar aquilo?

37:13 >> Sim, sim, sim. Acho que, definitivamente, está cada vez mais difícil avaliar esses modelos às vezes, porque você pensa: “Ah, sim, temos que construir San Francisco inteira para acertar”. >> Uma parte disso é que sinto que ele é muito bom em design visual e comunicação. Então, em todo lançamento de modelo, peço ao Claude para refazer meu blog, e sinto que ele acertou vários desses pequenos detalhes que, antes, eu não conseguia…

37:46 fazer, e fez isso muito mais rápido, além de me deixar mais imerso no fluxo. Acho que este é um daqueles modelos ótimos em que não se trata puramente de inteligência — o que é ótimo —, mas também de capacidade de resposta, eficiência e custo de tokens. Tenho visto algumas demonstrações incríveis de jogos e de 3D. Mas acho que, olhando também apenas para os benchmarks, eu estava observando o Terminal Bench em particular. É realmente… >> é mais rápido e mais eficiente.

38:20 E então acho que, sim, as demonstrações chamativas são incríveis, mas acho que você também vai sentir isso de verdade no seu trabalho cotidiano de engenharia de software. >> Sim, normalmente reservo o termo modelo de trabalho pesado para um modelo mais ou menos do nível do Sonnet. Claro. Mas este, só de olhar para o GDPval, que, sabe, teve um aumento enorme de ELO em relação ao modelo anterior e a modelos comparáveis, >> realmente parece que este vai ser o modelo de trabalho pesado do trabalho intelectual. E estou, estou, estou muito animado. >> Estou extremamente animado com isso.

38:52 Também fico muito feliz que você tenha dito que às vezes é difícil notar a diferença, porque, sim, sabe, meu trabalho inteiro é tentar descobrir como destacar as diferenças entre esses modelos, e sinto que já nem consigo inventar benchmarks ou demonstrações bons o bastante. Então, é algo interessante de fazer, e fico feliz que você também esteja sentindo isso. Sim. O que eu ia dizer? >> Ah, sim, concordo. Acho que, quando olho para as evals, às vezes — na verdade, quase em todas as evals — o modelo acerta a maior parte, sabe, tipo…

39:25 até nas que dizem que ele falhou na eval, ele pensa na resposta certa, mas talvez não se comprometa com ela, ou algo assim. Então, sim, os modelos estão ficando cada vez melhores nisso, e acho que, sabe, muita coisa passa a ser como ajudar todo mundo a tirar o máximo proveito dos modelos, certo? Acho que há uma fronteira cada vez mais irregular entre as pessoas que conseguem obter, sabe, o máximo de inteligência e — ou melhor, o máximo de esforço — para alcançar os melhores resultados…

39:55 com essa inteligência, certo? E acho que as pessoas ainda estão tentando descobrir isso. O que me deixa muito animado com o open 5.5 é que, sabe, se você nunca conseguiu experimentar o Fable antes, se não conseguiu chegar a essa fronteira, agora ela está realmente ao seu alcance. E espero que pessoas como você também mostrem aos outros como tirar o máximo proveito dos modelos. Sim. >> Sim. E, pensando neste modelo — e acho que os modelos em geral tendem a ter capacidades bastante desiguais —, >> o que você gostaria que este modelo ou outros modelos da Anthropic fizessem melhor, seja por não terem passado por RL suficiente ou por serem coisas em que você gostaria que fossem melhores e nas quais talvez esteja trabalhando?

40:27 >> Sim. Sim. Sim. Acho que é sempre um pouco difícil distinguir entre o grau de dificuldade e o próprio modelo. Sabe, acho que, no que diz respeito ao conjunto combinado de uso do computador e do navegador, há coisas que ainda precisamos ajustar. Acho que os modelos têm ido cada vez melhor nos benchmarks, mas…

40:59 precisamos ajudá-los a demonstrar essa capacidade. Acho que, no geral, com a próxima geração de modelos — ou melhor, não apenas isso: como os modelos de hoje podem melhorar, certo? Acho que há uma combinação de conseguir acompanhar você onde quer que esteja. Acho que poder dizer: “Tudo bem, sei isto sobre o usuário, então talvez eu deva contestar isso no momento certo”, sabe o que quero dizer? Ou dizer: “Ei, já pensou nisso?”. Mas…

41:30 sem chegar a ser irritante, sabe? E, a partir daí, entram a memória e a capacidade de entender o contexto. Acho que essas são as coisas que fazem o modelo parecer realmente, realmente ótimo: ele se adapta a você e ao seu próprio conhecimento, basicamente, certo? E, assim, não parece que interrompe ou sugere coisas fora de hora; ele faz isso no momento certo. Então, sim, ainda há bastante a fazer para ajudar as pessoas a usar a inteligência.

42:02 >> Sei que você precisa ir logo, então só mais uma pergunta. Você é, obviamente, o grande especialista em harness e em como o modelo se encaixa no harness. Quando vocês lançam um novo modelo, como o Opus 5.5, como você pensa nas mudanças do modelo e em como o harness reage às novas capacidades? Sim, acho que uma das coisas realmente difíceis de estar na equipe do Claude Code é que essa mudança acontece o tempo todo, por baixo dos nossos pés, certo? E você precisa estar sempre correndo atrás. E eu…

42:35 acho que, recentemente, apagamos boa parte do nosso system prompt, que é uma forma importante de fazer isso. Mas acho que também estamos percebendo que o que o Claude usa inclui skills que as pessoas escreveram e coisas assim. Então, uma das coisas que fizemos junto com esse lançamento foi lançar evals de plugins, para você poder conferir se suas skills e seus plugins estão atualizados para o modelo mais recente e, então, ajudar a atualizá-los para que não…

43:07 restrinjam o modelo. Algumas coisas que me deixam muito animado com este modelo — já falei sobre elas no Twitter e tal — são que acho que o tool calling está melhor do que nunca. E também tenho muito interesse nisso para agents gerenciados na nuvem. Acho ótimo poder criar seus próprios harnesses e colocá-los em funcionamento. Acho que provavelmente ainda precisamos fazer mais em todos os nossos produtos para aproveitar a inteligência da melhor forma possível.

43:39 Acho que sempre sentimos que estamos restringindo um pouco o Claude e que precisamos deixá-lo mais à vontade. Então, sim, reduzimos bastante o system prompt, adicionamos algumas ferramentas, removemos outras, mas ainda há mais a descobrir. Sim. >> Incrível. Bem, Thor, parabéns de novo pelo 5.5. Parece um lançamento fenomenal. Ainda tenho muito mais testes para fazer. Agradeço muito por ter participado da transmissão ao vivo. Vão conferir o Opus 5.5 e sigam o Thoric no Twitter. TRQ212. >> Isso mesmo.

44:11 >> Obrigado pelo convite, foi bom ver você. >> Até mais. >> Foi ótimo ver você. >> Tchau. >> Tchau. >> Certo. Então, se quiser seguir o Thy, ele é tr12 no Twitter. Sigam-no. É ótimo acompanhar o que ele publica. Ele escreve ensaios incríveis, obviamente sobre o Claude e os modelos deles, mas também sobre como pensar em IA e programação em geral. Então, sigam-no. Sim, foi muito legal que ele tenha podido participar hoje. Certo. Tenho mais algumas coisas que quero…

44:43 comentar sobre esta publicação do blog e depois quero chamar o Brian e o Alex, da nossa equipe. Espero que consigam entrar. Vou mandar o link para eles. Eles vão mostrar algumas demonstrações. Espero que funcione. Nunca permiti que um convidado compartilhasse a tela — ou melhor, nunca tive um convidado compartilhando a tela — numa transmissão ao vivo. Então vamos ver se funciona mesmo. Torçam para dar certo. Enquanto eles se preparam para entrar, vamos dar mais uma olhada no blog…

45:16 Não fiz o chimp. Não mostrei ao Tharic o jogo Unreal SF. Não queria usar o pouco tempo que tinha com ele para mostrar minha demonstração. [risos] Certo. Acho que falei disso bem antes de o Thor entrar. Eu sei. Não, Edwin, eu sei, estou usando o eCam. Ele disse: “Nada de compartilhamento de tela, WTF”. Estou usando o eCam. É um software confuso, para dizer o mínimo. Talvez eu só vá apontar…

45:50 Claude nisso. Aliás, todo mundo está dizendo que estou pronunciando o nome de Thoric errado. Tenho quase certeza de que estou certo e vocês estão errados, porque já ouvi pessoas que o conhecem muito bem pronunciarem o nome dele. É Tharic, não Tariq. Thoric. Então, espero estar certo, porque ficaria um pouco constrangido se não estivesse. Certo, Alex, seja bem-vindo. Vou colocar o Alex na transmissão daqui a pouco. Alex, faça um sinal de positivo se estiver pronto. Que bom. Vou colocar o Alex na transmissão em uns dois minutos. Só quero terminar mais uma coisa. Legal. Estão dizendo que estou certo sobre como pronunciar o nome dele. Fico feliz em ouvir isso. Fico feliz em ouvir isso. Então, curiosamente, Opus 5.5 exige menos capacidade computacional para ser disponibilizado do que Opus 5. E é assim que os lançamentos de modelos deveriam ser. Com o tempo, deveríamos ter modelos melhores, mais eficientes e mais rápidos. Isso também é um benefício para os modelos open source locais, porque, se vocês acham que

46:25 — Desculpem, vou deixar o Brian entrar. Se vocês acham que esses modelos só vão melhorar e continuar fechados, não: os modelos open source melhoram. Eles ficam menores, mais rápidos, mais baratos e, com o passar dos anos, vamos ter modelos do nível do Opus 4.6 rodando localmente. Acho que já temos. E talvez no ano que vem tenhamos modelos do nível do Opus 5.5 rodando localmente no seu computador. E, sabe, para ser sincero, este é um momento um pouco difícil. Os preços das GPU estão absolutamente absurdos. O RTX Spark anunciado no site da Nvidia, que, acho, custava US$ 4.699 há poucas semanas, agora está por US$ 7.000. Loucura. Certo. Já falamos disso. Falamos, acho, do GDPval. Sim, cobrimos a maior parte disso. Certo, vamos colocar o Alex na transmissão. Alex, chegamos.

47:00 — Certo, Alex, seja bem-vindo. — Olá, pessoal. Como vão? — Tudo bem. Também vou tentar colocar o Brian na transmissão. Brian, ligue a câmera e, quando fizer isso, faça um sinal de positivo que eu te coloco. Queria que todos pudéssemos nos ver. — Vamos testar. Certo, Brian, isso é um sinal de positivo? Estou vendo. Levante… Isso. Certo, agora vou ter que descobrir como fazer isso. Vamos ver. Pronto. Temos o Ale. Temos o Brian. Aqui estamos.

47:36 — Testando. Estão me ouvindo? — Oi. — Sim. Vocês estão bem. — Agora temos que ficar de olho no chat por um instante. Alguém está estourando o áudio de todo mundo? — Sim, acabei de abaixar o volume para você. — O quê? Ah, eu estava estourando o áudio deles? — Estava, sim. Estava tudo bem. Certo. Então, pessoal… — Matt, estou muito orgulhoso de você, cara. Você se divertiu muito com Fairike. Foi ótimo. — Obrigado, obrigado. Acho que todo mundo pronuncia o nome dele de um jeito um pouco diferente, mas… [risos] Todo mundo dizia: “Não é Dark. Não é Dar.” — Acho que é, sim. Tanto faz. Obrigado, Brian. Agradeço. E, sim, foi legal. Esta é a primeira transmissão ao vivo em que alguém da empresa participou. Espero que possamos fazer mais dessas. Gosto muito, muito disso. Dá para ouvir as pessoas que estão realmente construindo na fronteira. E, sim, Anthropic, obrigado por mandá-los para cá. Certo. Alex e Brian tiveram acesso antecipado a este modelo. — Primeira vez. Primeira vez. Eles deixaram a gente entrar. — Estamos meio que deixando todos de queixo caído com nossas demonstrações incríveis. — Sim. Temos algumas demonstrações legais. Não vamos exagerar.

48:16 — Não quero criar expectativas altas demais. Mas vamos mostrar. Acho que, Alex, você pode começar, se quiser. Estou cruzando os dedos agora, porque nunca testei permitir que um convidado compartilhe a tela. Ah, acho que funcionou. — Estou compartilhando. — Meu Deus. Espera aí. — Vocês conseguem ver? — Reação do chat. — Pronto. Espera aí, vou adicionar você. — Não, espera. Não deu certo. Alex,

48:48 — Robert G escreveu no chat: “Meu Deus, Alex acabou de olhar direto para a minha alma.” Você está olhando para a lente? — Fiquei olhando por um tempinho, sim. — Então… — Ah, espera. Só eu apareço. Olá a todos. [risos] — Só você mesmo. Eu… — Espera, Matt, precisamos das câmeras pequenas. — Ah. [risos] Alex. Ah… — Sei que você sabe fazer isso. — Desculpa, rolou um pouco de atraso aqui do meu lado. Acabei de ver você olhar para a lente de novo. É… é um pouco desconcertante. Alex, não sei fazer isso. — Certo, vamos fazer assim. Só eu, então. — Sim, você vai ocupar metade da tela e… metade…

49:20 Você vai ocupar metade da tela [risos], e a outra metade… Deixa eu ver se consigo consertar. — Acho que você consegue, gente. Acreditamos no Met? — Eu acredito… — Não. O quê? Com licença. — Para ser sincero, Brian, eu nem estava perguntando para você. [risos] — Acho que acreditaria em você, ou melhor, acreditaria em você se estivesse usando OBS. Ainda não gosto do ecam. Olha só o que acabei de fazer, amigo. — Ah, provando que eles estavam errados. [risos] — Gente, não se preocupem. Estamos consertando a demonstração.

49:53 — Ei, ficou ótimo. — Sim. Vamos ver se consigo… — Ah, sim. É um bom ponto. Ei, se você é tão bom no ecam, que tal aparecer na transmissão? — Certo. — Não. Então, o que vamos… Meu Deus. [risos] — Os Macs são melhores. Aliás, estou vendo uma transmissão com muito atraso, então estou reagindo bem tarde. — Sim. — Certo, acho que não vou conseguir adicionar uma segunda pessoa, mas vou tentar. Vamos ver se consigo… — Bom, Alex, tenho uma pergunta para você. Estou tentando encontrar um jeito de assistir a esta transmissão ao vivo, para poder… Onde você está assistindo? — Estou assistindo no YouTube, mas tenho uns cinco segundos de atraso. — Ah. Ah, tenho que clicar no botão “Ao vivo”, cara. [risos] — Imagino que seja por isso que você está com atraso. — Eu estava pensando: “É, cara. Por que o Star ainda está na tela? Estranho. Estou dando um prompt para o meu modelo fazer isso.” — Legal. — Espero que ele não encerre a transmissão.

50:25 Lá vamos nós. Temos um contexto. O Piggy quer uma pequena retrospectiva do que está acontecendo aqui no chat. — Certo. Com todo esse contexto, você diria que o context piggy está fora? — Eu disse context piggy, sim. — Então, tivemos a sorte de conseguir acesso antecipado ao Opus 5.5. E a primeira coisa que fiz foi pedir que ele baixasse o Unreal Engine e criasse um jogo no estilo de Dark Souls no Unreal Engine. De uma só vez, ele me deixou de queixo caído. Eu…

50:59 Nunca tinha visto uma IA fazer nada com o Unreal. Então, Matt, se não se importar, vou começar com isso enquanto você… — Deixa. Deixa eu… Vamos conversar por mais 30 segundos, acho. — Meu modelo talvez esteja… Sim, está com atraso. — Certo. — Vou dizer isso. Está com atraso. Não há muito que possamos fazer a respeito agora. Tudo bem. — Alex, deixa eu te dar minha opinião. — Ah, Brian, você entrou. Está na tela. — Ah. Então eu devia estar… devia estar me preparando. Alex, tenho uma pergunta sobre isso. — Sim. — Não me importo com os gráficos, cara. O que me importa é o quanto o jogo é difícil. Certo?

51:29 — Ah, certo. — Você está arrasando com o jogo ou ele está acabando com você? — Não, eu estou arrasando. Mas também jogo Dark Souls há uns dez anos e tenho, sabe, umas 10 mil horas nesses jogos ou algo assim. — Um número alto, talvez umas 5 mil. — Alex, sobre esse jogo que você vai mostrar: enquanto joga, você pensa: “É, isso é mesmo divertido e eu realmente jogaria isso”? — Sim, acho que sim. Com certeza precisa de um pouco mais de polimento, mas, para algo feito com dois prompts, é insano. É…

52:00 (O segmento termina com a fala interrompida.)

52:33 Lá vamos nós. >> Temos um contexto. O Piggy quer um pouco de tapete vermelho para o que está acontecendo aqui no chat. >> Certo. Com todo esse contexto, você diria que o context piggy está fora? >> Eu disse context piggy. Sim. >> Então, tivemos a sorte de conseguir acesso antecipado ao Opus 5.5. E a primeira coisa que fiz foi mandar baixar a Unreal Engine e criar um jogo no estilo Dark Souls na Unreal Engine. E, de primeira, fiquei de queixo caído. Hum, eu…

53:07 nunca tinha feito a IA criar nada com a Unreal. Então, Matt, se você não se importar, vou começar com isso enquanto você… >> Pode ir. Deixe-me… Vamos conversar por mais 30 segundos. Acho que… >> meu modelo pode estar… Sim, está com atraso. >> Certo, >> vou dizer isso. Está com atraso. Não há muito que possamos fazer a respeito agora. Tudo bem. >> Alex, deixe-me falar o que penso sobre isso. >> Ah, você entrou, Brian. Está na tela. >> Ah. Ah, eu devia estar… devia estar preparando as coisas, então. Alex, aqui vai minha pergunta sobre isso. >> Sim. >> Não me importo com os gráficos, cara. Hum, eu me importo com o nível de dificuldade. Certo.

53:39 >> Ah, certo. >> Você está acabando com o jogo ou ele está acabando com você? >> Não, estou acabando com ele. Mas também jogo Dark Souls há uns dez anos e tenho, sei lá, umas 10 mil horas de jogo ou algo assim. Então, [risos] >> e quando você… >> Um número grande, talvez umas 5 mil. >> Alex, nesse jogo que você está prestes a mostrar, enquanto joga, você sente que, sim, isso é realmente divertido e que eu jogaria mesmo? >> Sim, acho que sim. Com certeza precisa de um pouco mais de polimento, mas, para algo feito com dois prompts, como resultado de dois prompts, é insano. É…

54:13 É mesmo. >> Adoro essa resposta de vibe coding porque [risos] é tipo, sabe… >> Sim, mas sim, mas… >> Acho que, acho que tudo, tudo o que você faz com IA na primeira tentativa, né? Nunca vai ficar… >> Matt, acho que você mentiu. Não acho que estou na tela. >> Você definitivamente está na… Ah, está no modo de pré-visualização. Está… [risos] pré… Ah. Ah, lá estou eu. Espera. >> Não, não, você está entrando. >> Transmissão ao vivo. >> Você está entrando. Espera. >> Coloque você na tela também. >> Que tal assim? Publicar.

54:45 >> Acho que agora estamos aqui. >> Acho que estamos no ar. E, tipo, o seu inventário. >> É, ainda está trabalhando nisso, aliás. Então talvez a gente se mexa um pouco. Mas estamos todos no ar. Então vamos começar. >> Vamos começar. >> Vamos nessa. >> Então, aqui você precisa tomar cuidado. >> Aliás, tem um artista 3D no chat. Então… >> Ah, e você pode dizer se, quando está jogando no seu computador, o jogo fica com esse lag ou roda liso? >> Não, de jeito nenhum. Está rodando a 120 fps. Está perfeito. Estou começando a me perguntar se você fez vibe coding de um jogo ou de…

55:20 um slide de PowerPoint muito detalhado. [risos] >> Sim, quadro a quadro. >> PowerPoint. Então, é, isto é Ashen Gate, acredite ou não, nome que Opus deu. [risos] É tipo Dark Souls; tem praticamente todos os recursos essenciais de Dark Souls que você poderia ter. E tudo o que eu disse foi: faça um jogo de Dark Souls na Unreal. Não dei nenhum prompt maluco. Ele basicamente inventou tudo. >> Você usou Slash Goal? >> Não usei Slash Goal para isso. Ele

55:50 trabalhou por, eu diria, umas 28 horas ou algo assim. >> Uau. Levou muito, muito tempo. >> Mostra pra gente. Que loucura. >> É… já faz um tempo que não digito slashgo. Tenho usado as coisas em linguagem natural e dizendo algo como “continue trabalhando até ficar perfeito”. >> É, eu também. Eu também. >> Hum, isso é um arquivo local no seu computador, né, Alex? >> É, na verdade é um .exe, então nem é… não tem navegador, nada. Simplesmente…

56:22 feito na Unreal, e… >> Estou tão… >> Infelizmente, ninguém consegue jogar isso. >> Se o Matt tivesse isso e pudesse jogar no computador dele, esta apresentação seria de outro nível. [risos] >> É, percebi que não tem como mandar para… Ah, é .exe. Então não vou conseguir jogar agora. >> Alex, algumas perguntas para você. >> Hum… >> É… >> Como… Você disse que isso levou 28 horas. Tem ideia de quantos tokens usou durante essas 28 horas? Não, porque a contagem de tokens era um pouco confusa. Quando olho os…

56:54 dias, alguns dias diz que só gastei alguns milhares de tokens, o que sei que não está certo. Teria que estar na faixa de centenas de milhões a bilhões de tokens de uso, porque este jogo é enorme. Então, não vamos jogar o jogo inteiro. Vamos derrotar esse chefe e depois seguimos. >> Mas há seis mundos. >> É. >> Grave a tela e depois mande para o Matt. É, na verdade, Matt, se quiser olhar meu Twitter, tenho um vídeo no Twitter de quando fiz isso. >> Ah, aí está. Hum, mas enfim, tem…

57:26 tem seis mundos que ele criou. Tipo, construiu um jogo inteiro. Tem um chefe final, tem NPCs, tem um sistema completo de melhorias e, por isso, levou tanto tempo para fazer. >> Certo. >> E acho que tem uns 15 chefes. Certo, vou compartilhar minha tela porque está com muito lag. >> É, muda para o Twitter. Isso. Isso. >> Deixa… Como é que eu faço isso? Ah, [risos] meu Deus. Certo, vou tirar vocês da tela…

57:56 >> Ah, meu Deus. Hum, eu realmente preciso melhorar nisso. >> Ei, não é uma transmissão ao vivo do Matt Berman sem alguns problemas técnicos. >> Certo, vou mostrar rapidinho. Vocês vão ficar fora da tela por um momento. Aqui está. >> Espera. >> Ah, já parece muito melhor. >> Estamos assistindo. Estamos assistindo. >> Ah, tanta coisa [risos] acontecendo. >> Ah, vazou o Codex.

58:34 Certo. Bem, isso não está funcionando tão bem quanto eu achei que funcionaria. A transmissão do Matthew Berman, para começar. >> Certo, então vou ter que deixar assim. É assim que fica. >> Aí está. >> Alguém mencionou Sekiro no chat. Eu também tive essa ideia, e ainda estou pensando nela. Talvez para o próximo modelo.

59:07 >> Olha como está fluido. Certo, vamos ser sinceros. Sekiro e Dark Souls são o mesmo jogo. >> Não vamos começar essa polêmica. Acho que precisamos tirar o Brian da transmissão. >> Acho que vocês não estão na transmissão agora, aliás. >> O quê? Você não consegue nos ouvir? >> Não, acho que é porque tiramos vocês. Brian e… >> Não, eles conseguem nos ouvir, Brian. Eles conseguem nos ouvir. Conseguem nos ouvir. >> Ah, certo. >> Que prova você tem? >> Informação falsa. Eu assisti à transmissão. [risos] >> Não sei. Só eu estou na tela agora. >> O chat é minha prova. O chat é minha prova.

59:38 Ah, eles conseguem nos ouvir. Ah, vocês conseguem ouvi-los. Certo, ótimo, ótimo, ótimo. Estou adicionando vocês. Vamos ver se eu… >> Matt, nesse caso, a gente devia simplesmente passar pelas minhas demonstrações desse jeito, porque coloquei todas nessa conversa. >> Certo, vamos fazer isso. Estou colocando vocês na tela agora. >> Legal. >> Mas é, vocês conseguem ver que esse chefe tem… >> Esse chefe tem um design de verdade. Ele também tem um conjunto de movimentos um tanto complexo. Não fica fazendo a mesma coisa sem parar. Hum, ele também tem uma segunda fase em que põe fogo na espada. Não sei se dá para ver muito bem.

1:00:11 >> Hum, e, se você for atingido, sua espada… ou você pega fogo, mas não acho que fui atingido nenhuma vez nesse vídeo, porque sou um jogador incrível. >> Certo, um pouco de ostentação aí. Entendi. E que tal uma cutucada no ego? Você disse que isso levou 28 horas. Se não usasse IA, quanto tempo levaria? [risos] >> Sinceramente, eu nunca teria… nunca conseguiria fazer isso. [risos] >> Não tem… >> Ah, é mesmo? Então, Alex, temos algumas perguntas. Está programado em C++ ou via MCP e Blueprint?

1:00:43 >> Certo. Certo. Chat, quais são as chances de ele saber a resposta? >> Você está perguntando ao prompt agora, né? >> Não. >> Ah, você não consegue me ver na tela. Olhei para a câmera e disse “pergunta”. >> Você está na tela. Agora vocês dois estão na tela. >> Boa pergunta. Certo, qual é a próxima? [risos] Hum, por que a tela está preta agora? Certo. Hum, vamos ver. >> Qual é o tamanho do arquivo? >> Unreal. >> Qual você acha que é o tamanho do arquivo? >> Vou ter que perguntar. Ah, não. Vou só ver o tamanho da pasta. >> Aliás, não pergunte nada disso para mim.

1:01:17 [risos] >> Estamos no clima. >> Gareth Hood perguntou: “Você consegue… >> três gigabytes?” >> Três. Ah, não é ruim. É só um nível, porém. Mas ainda assim, não é ruim. >> É, esta demonstração é só um nível, mas ele criou um jogo inteiro. Só não sei qual é o tamanho do jogo completo. Gareth Hood perguntou: “Você consegue criar Destiny 3?” >> Sim. >> Ah, você não vai gostar. >> Ah, não é C++. Gareth está sacando que é HTML. >> Entendi. >> Não, é… >> Não, isso não é HTML. Foi feito na Un… Gente, por que estamos respondendo seriamente a isso?

1:01:48 >> Ah, espera. Acho que a transmissão no X caiu. >> Hã? >> Ah, não. >> O que quer dizer “transmissão no X”? É, fomos desconectados >> do YouTube agora. >> Ah, não. Coloca a gente de volta, Matt. >> Estou tentando. Esperem aí, pessoal. O programa para se o X não estiver assistindo. >> Uma das minhas coisas favoritas que encontrei com Opus 5.5,

1:02:21 é que ele vai vir com um contra e um pró, e um pró muito grande: ele pensa por muito tempo. Talvez faça coisas enquanto está pensando, mas um dos meus prompts fez ele pensar por um dia inteiro antes de começar a criar a coisa. Quando voltou para mim, aquilo estava quase perfeito. Minha cabeça explodiu. Infelizmente, não tenho essa demonstração no X porque tentei dar mais prompts e estraguei tudo. Então, ainda não estava pronto para usar. Mas

1:02:53 >> Foi um pequeno erro humano aí. >> Muito, muito louco. É, bastante mesmo. >> Você acha que, ah, os pensamentos dele divagam? Acha que ele pensa em outras coisas enquanto está pensando? >> Talvez no sentido da vida. >> Com certeza. Não, não acho. Acho que ele é muito bom em seguir o que você pede. E talvez isso seja um pouco um defeito: se você não sabe exatamente o que está procurando, ele ainda faz a coisa, mas ela não é exatamente o que você esperava que o prompt fosse produzir. Mas isso também pode ser muito bom se você tiver um prompt bem detalhado, que você pode pedir para a IA ajudar a criar, se

1:03:26 precisar. >> Robert G está sugerindo que a solução para a transmissão no X é essa. >> Ah. Ah, cara. Você não segue Robert G no X. >> Ah, cara, que vergonha. >> Ele disse que caiu porque você não segue ele, cara. [risos] >> Que diabos? >> Ah, tá. É. É, >> o simulador de voo. >> Simulador de voo. >> Alguém está dizendo que a OpenAI também está caindo. Que dia! >> O quê?

1:03:59 >> Tudo bem, voltamos a isso depois. >> É. Então, o simulador de voo foi muito legal porque, se você olhar bem no começo disso, se voltar, dá para ver que tive que criar vários aviões diferentes que existem. E aí você pode selecionar e pilotar um jato da Boeing. Matt, você não está no tópico. >> Matt, este é um post patrocinado. >> Não. Não. Ah, não. Era para estar olhando aqui. Não, é só que você não está no tópico.

1:04:30 >> Estou olhando para o Flight Simulator agora. >> Aí está. Boa. >> Ah, tá. Você ainda não entrou nele. Clique nele. É, estamos um pouco atrasados. >> Ah, Brian. Cometi uma gafe à la Brian: eu não estava no botão de transmissão ao vivo. >> Com licença? >> Uma gafe à la Brian. >> Não vamos transformar isso num termo. >> [fungada] >> Vamos ver. Matt, se você clicar no tópico, tem mais testes. >> Tá, estamos mostrando. >> É. Tá. Então, se você não sabia, eu

1:05:05 comecei como editor, trabalhando para pessoas que jogavam Mario, hacks personalizados de Mario, Mario Maker etc., etc. E foi assim que conheci o Brian também. >> Isso aí. >> E um dos testes que pedi para ele fazer foi simplesmente recriar Mario Maker. E este é um exemplo feito de uma vez só; não acrescentei nem mudei nada. Foi tudo feito de uma vez. Espero começar a jogar em breve. Mas é isso, [risos] sou eu simplesmente criando uma fase. >> Adoro o chat. Ah, o jogo do encanador. Quem

1:05:38 na Terra já chamou Mario de “jogo do encanador”? [risos] Espera, Matt, você tem que me mostrar jogando. >> Tá, está passando. >> Você passou direto pela parte em que está jogando. >> Não, eu estava mostrando. >> Matt, dá para ver o que você está fazendo. >> Vocês não conseguem ver o que estou fazendo. Acho que é atraso. >> Eu vi você rolar até o próximo. Seu TDAH atacou. [risos] >> O que são esses blocos invisíveis aqui? >> Ah, esses são blocos liga-desliga. Ele também criou canos que fazem a tela rolar,

1:06:12 que, acho, são um recurso de 3D World, se você é fã de Mario. >> Espero começar a jogar a fase. Tá, lá vamos nós. Ah, morri. Espero não morrer de novo, né, pessoal? Ah, morri. [risos] Ah, percebi que não estou em tempo real agora. >> Salto com casco, cara. Boa. >> Salto com casco. >> É, >> ele jogou o casco contra a parede e depois pulou mais alto. O que era para ser aquilo? Um Thwomp ou o quê? Ah, acho que são só blocos com espinhos. Não, >> acho que ficou muito bom. O…

1:06:42 único problema é que tudo parece um pouquinho estranho. Principalmente o personagem. >> O personagem, é. Com certeza. >> É. Não queremos infringir direitos de propriedade intelectual, né? >> Não. Não. Claro que não. Tudo bem, vamos para o próximo. Rocket League >> é bem rapidinho. >> Você disse “roguelike de Rocket League”? >> Roguelike, desculpa. Rocket Roguelike. >> Esse é outro jogo. [risos] Kaboom to the Moon, que, acredite ou não, foi um nome escolhido por Opus. É um roguelite em que você monta seu foguete e voa até plataformas diferentes, coleta moedas e tem

1:07:14 que evitar obstáculos como pássaros. E, quando pousa na próxima plataforma, ganha um pouco de dinheiro. Acho que você ganha uns 120 dólares e pode acrescentar coisas ao foguete. Tem que fazer coisas como pagar pelo reabastecimento e coisas assim. É, ele foi muito inspirado por este jogo chamado Hedgehog Launch. Não sei se vocês já jogaram. Ele já tem algumas décadas, >> mas eu adorava esse jogo quando era criança, e também Shopping Cart Hero. Dois jogos incríveis.

1:07:46 Mas é, essas foram as principais demonstrações que fiz. Essa definitivamente levou menos tempo. Acho que esta levou só algumas horas. O jogo de Dark Souls foi o que mais demorou, de todos, cerca de 28 horas. >> Quer dizer, este ficou muito bom. É. E, se voltar lá para o começo, você vai notar o menu que ele cria. Vi muitos testes no Twitter hoje com exatamente esse estilo de menu. Então, o Opus 5, ou melhor, o 5.5, definitivamente tem um estilo de menu de que gosta. >> Ah, sim. Foi o que eu consegui.

1:08:18 >> Tudo bem, Brian. Você tem um tópico que eu possa compartilhar? >> Não tenho tópico. Vou mandar direto para você o material para colocar na tela. >> Tá. Vou interromper a sequência de jogos para a gente ver uma animação. >> Boa. >> Tá. >> Que os rapazes já viram. Então, vão ter que se esforçar para fingir que estão impressionados. Mas o que eu adoro nisso é que não é geração de vídeo. Isso é

1:08:50 Eu estava animado com a edição por vibe. Cedo demais para se impressionar, Alex. Cedo demais. [risos] E eu adoro me afastar da geração de vídeo. Adoro o fato de que isso foi literalmente criado quadro a quadro, como uma animação. Dei vários prompts para chegar ao que eu queria. No começo, as sombras estavam erradas. As sombras tinham uma linha dura, uma sombra interna com um corte abrupto, e eu queria que as bordas fossem suaves para conseguir o visual

1:09:21 que eu quero. Mas sabem de uma coisa? Acho que todos deveríamos apreciar isso. Se gostarem da música, talvez acompanhem batendo palmas. Eu não vou, mas [risos] o que vocês acham? Devemos assistir? >> Vamos assistir. >> Vamos assistir. >> Isso quer dizer que eu tenho que clicar. Lá vamos nós. >> É isso aí, cara. [risos] >> Ainda não consigo ouvir. >> É, acho que o áudio não vai sair, infelizmente. Não, >> não. É tão importante.

1:09:53 >> 70% da apresentação está aqui, cara. >> É. Não tem nada que eu consiga fazer agora a respeito. >> Brian, eu… Brian, Brian, Brian, >> Brian, canta a música. >> Posso cantar. Eita. >> Você tem inteligência de ponta aí, Matt. Precisa apontar o Opus 5.5 para o seu eCam. Conta para eles o que está acontecendo. [risos] Diz que o áudio não está chegando. Espero que ele consiga consertar. >> Gente, não se esqueçam de assistir ao vídeo no YouTube em que tudo isso foi cortado. >> [risos] >> Acho que você vai ter que compartilhar este aqui. Não acho que vou conseguir…

1:10:24 fazer isso porque… lembro desse problema da última vez. >> Ah, tudo bem. Certo. Então posso simplesmente mandar o link para as pessoas no chat, sinceramente. >> É, exatamente. Manda o link. As pessoas vão ter que assistir por conta própria. >> E vocês deveriam assistir a isso. É muito, muito legal. >> Certo, chat. Isso tem uns dois minutos. Espero que ninguém… >> Você nunca assistiu nem jogou Serious Sam? Isso é muito Serious Sam. Você só está apontando que se passa num deserto, não é? >> Não. Serious Sam é um jogo de luta de bonecos palito. >> Certo. >> Não, não é. >> Não, na verdade não é.

1:10:56 >> É tipo Doom. >> É… é como um jogo de Doom. >> Sabe o que eu acho? >> Ah, estou pensando no Stickman Sam. >> Isso. >> É, Stickman é tipo um jogo de bonecos palito, cara. [risos] >> Foi mal. Não tem nada a ver com Serious Sam. Mas adorei você ter mencionado isso, porque isso tem raízes mesmo na cultura de animação da internet do início dos anos 2000, >> tipo Pivot, >> porque o que eu falei para o Opus 5.5 aqui foi… eu falei sobre algo que consumiu tantas horas da minha infância. >> Eu assistia a essas animações e…

1:11:29 o que eu disse foi: sabe, lembro de ver uma animação de um boneco palito entrando num labirinto e roubando um ídolo. O rival dele aparece e luta com ele. Outros personagens entram. Algumas dessas personagens vêm do prompt inicial, e vocês vão ver personagens aparecendo aqui e ali. Então, se quiserem ver a animação, tem um link ali. Mas, caso contrário, podemos seguir em frente, e quero desafiar o Matt >> a jogar um joguinho de quebra-cabeça. >> Legal. Legal.

1:12:02 >> Vamos fazer isso ao vivo, hein? O negócio é que, Matt, já vimos você jogar Fall Guys e tentar falar ao mesmo tempo. [risos] >> Estou meio que torcendo para que isso dê ainda mais errado. >> Certo. Estou jogando Tidekeeper. Acho que vou fazer o que o Brian fez. E talvez você queira falar sobre por que tem esse colchete aqui. >> Tem um monte de botões por aqui, pessoal. Estão alinhados nas paredes. Estamos cercados. Mas não estamos tão interessados neles. A verdadeira joia aqui é Tidekeeper. Mas o prompt inicial…

1:12:35 aqui foi: “Ei, Opus 5.5. Quero um ótimo jogo de quebra-cabeça.” GPT-6 Luna foi lançado. >> Ah, cara. >> Dia corrido hoje, hein? >> Quer dizer, nossa, adoro Luna. Que diabos? >> Certo, preciso falar minhas bobagens porque isso é bem menos importante. >> Vamos passar por isso rápido, porque vou gravar outro vídeo sobre isso. >> Certo, rápido, rápido, rápido. Eu disse para fazer um torneio. Crie 12 jogos de quebra-cabeça. Não quero só um. Coloque-os num torneio e julgue qual é o melhor. E então todos avançaram até o fim do…

1:13:05 torneio, continuaram competindo um contra um, e acabamos com Tidekeeper. Mas quem liga? Sinceramente, acho que devíamos falar de Luna, cara. Luna muda a vida. GPT-6 Soul foi lançado. Pessoal, estou sozinho nesta sala? >> Não. Estou aqui. Só estou jogando. Certo, vamos dar uma olhada. Acho que estou… >> programando essa porcaria em vez de falar [risos] sobre GPT-6. >> Estou pensando no GPT-6. >> Acho que vamos só encontrar isso rapidinho e…

1:13:37 depois talvez eu encerre a transmissão e vá gravar. >> Você está pensando em fazer uma transmissão. Compartilhar o quê? Compartilhar o quê? >> Transmissão. Você, chat, acha que o Matt deveria encerrar a transmissão para gravar um vídeo offline? >> Ah, e olha só. Grokbot chegou. >> É, eu sei. Não, eu… Certo. Acho que posso continuar transmitindo, pessoal. No Tesla. Continuar transmitindo. Grokbot no Tesla. Você não saberia disso, né, Matt? >> Não. >> A menos que você realmente não consiga. Certo, deixa para lá. [risos] >> Caramba. Olha só. >> Que ótima transmissão ao vivo estamos fazendo hoje.

1:14:09 [risos] >> Certo, preciso… preciso… Certo, vou dizer mais algumas coisas sobre Opus. >> E vou expulsar vocês daqui. >> Ah, até mais, pessoal. Obrigado. Foi bom ver vocês. Tchau. Tchau. Tchau. Tchau. Tchau. [risos] Certo, certo. Vou falar de mais algumas coisas agora. Então, teste, teste. Ainda conseguem me ouvir, pessoal?

1:14:44 Teste, teste. Certo, certo. Quero falar um pouco mais sobre Opus 5.5. Depois vamos conferir os novos modelos. Certo. Adoro Artificial Analysis. Adoro como eles basicamente mantêm um índice de diferentes benchmarks. E vamos ver como Opus 5.5 se saiu no índice de inteligência da Artificial Analysis; também falam bastante sobre o custo por tarefa. Então, o que sabemos? Opus 5.5 coloca…

1:15:20 a Anthropic em pé de igualdade com Astra em avaliações como Terminal Bench e Automation Bench. Isso já sabemos. Aqui está o ponto principal. O ponto principal é que ele está em primeiro lugar, com um salto enorme. Um salto enorme no índice de inteligência da Artificial Analysis. Normalmente, a diferença é de um ponto. Não. Não. A diferença é de cinco pontos em relação a Fable 5.1 Max. Inacreditável. Isso é inacreditável. A fronteira absoluta já não é mais…

1:15:50 Fable. Certo. Acho que é tudo o que tenho a dizer sobre esse modelo. Então, vou encerrar a transmissão… ou não encerrar a transmissão. Vou encerrar este vídeo, publicar, e depois vamos começar outro e continuar transmitindo. Vamos falar do novo GPT-6 Soul e Luna.

1:16:28 Certo, parece que tivemos vários lançamentos de modelos hoje. Este é Claude Opus 5.5. Até eu avaliar GPT-6 Soul, ele é a fronteira absoluta da inteligência. Estou muito animado para experimentar. Recomendo que vocês experimentem. Vão conferir. Obrigado por assistir. Certo, esperem um segundo. Vou reiniciar…

1:17:10 e depois vamos começar a falar do GPT-6 Soul. Então, fiquem por aqui. Talvez eu mude o nome da transmissão.

1:18:18 Certo. Não estou vendo nada sobre Soul. Quero falar de MIMO, que é um modelo open source da Xiai. Estou deixando passar alguma coisa? Certo. Nada no ChatGPT. Gente, vocês disseram que Soul foi lançado, mas não estou vendo. Confiram o aplicativo para desktop. Não. Vamos ver.

1:18:59 Foi lançado. As pessoas estão dizendo que foi lançado. Ah, sim, está chegando. Sim, foi lançado. Acho que muita gente está dizendo que foi lançado.

1:19:29 Certo, acho que vou encerrar a transmissão por um minuto e gravar separadamente. Vocês querem ficar por aqui esperando GPT-6 Soul e Luna serem lançados e fazer isso ao vivo? O que acham? Ainda não anunciaram. Talvez esteja no aplicativo, mas ainda não fizeram o anúncio oficial.

1:20:01 É. Ao vivo. Certo, certo. Vamos ficar por aqui. Vamos fazer ao vivo. Legal. Certo, vou reiniciar a gravação. Clique. É, eles ainda não lançaram oficialmente. Talvez esteja no aplicativo, mas talvez tenham se precipitado um pouco, porque não há nenhuma publicação no blog sobre isso.

1:20:51 Vamos ver. Ainda não estou vendo nada. Isso parece muito legal. Grokbot no Tesla. Então, se você tem um Tesla, agora pode gerenciar seus Grokbots pelo Tesla, o que é incrível. Estou muito envolvido com Grokbot. Estava pensando em fazer um vídeo especificamente sobre como estou usando Grokbot, porque tenho usado bastante. E ele tem assumido cada vez mais trabalho, só o trabalho chato, seja…

1:21:22 triagem de e-mails. Marmar Labs, muito obrigado. Agradeço pelo super chat. [risos] É, vou estar no dev day. Quem mais vai ao dev day? Tudo bem. Estão dizendo que já está ao vivo. Se você vai ao dev day, me avise. Se me vir por lá, venha dar um oi. Eu adoraria

1:21:55 conhecer você. Marmar, obrigado de novo. Nossa, ficar rolando o Twitter não é a melhor ideia durante uma transmissão ao vivo, mas vou fazer isso mesmo assim. Ford Future Brian, não me deixaram entrar. Que pena, cara. Certo. Vamos ver. Já anunciaram? Ainda não. Ainda não.

1:22:31 Sim, acho que alguém acabou se precipitando, diz Robert. Sim, Robert G., acho que você tem razão. É uma pena que eu não esteja mais transmitindo no X. Isso é meio irritante.

1:23:06 Certo, estou tentando fazer o modo extremo funcionar de novo. Confirmado. Luna 6 e o app do GBT para iOS. É, vamos ver. Vamos conferir.

1:23:40 Vou abrir o app do ChatGPT. Vamos ver. Não, ainda não apareceu para mim. Deixa eu tentar reiniciar. Não. Ainda não apareceu para mim, aliás. Não sei. Você consegue ver isso? É, ainda não apareceu para mim.

1:24:13 Certo. Bom, acho que estou esperando, mas talvez daqui a três minutos apareça para mim. Tem gente dizendo que já recebeu. Ah, tem que atualizar o app. Certo, vamos tentar. Vou atualizar o app do ChatGPT. Parece que não há uma nova atualização disponível. Estou no Android, então talvez esteja demorando

1:24:45 para chegar. Ford Future Brian diz que recebeu os dois. Ah, o app para desktop. Certo, vamos tentar. Está funcionando agora. Não tenho nenhuma atualização, então acho que não faço parte da turma descolada. Parabéns, Codex. Codex. É. Não, estou olhando o Codex. Ainda não recebi nenhuma atualização. Bom, vamos ver. Talvez já esteja disponível para mim. Ah, está sim. Isso mesmo. Olha só.

1:25:20 Recebi. Beleza. Estamos dentro. Sim. Bom, quero falar sobre isso depois que publicarem a postagem no blog. Então vou reiniciar isto. Vamos reiniciar o ChatGPT.

1:25:59 Isso, apareceu. GPT-6 Soul Ultra, ou só Soul. Ultra é a configuração de raciocínio. É, conseguimos. Certo, estou vendo Soul e Luna.

1:26:35 É. Certo. Então, está disponível. E acho que talvez daqui a um minuto a gente receba todas as informações. Vamos continuar atualizando. Isso, apareceu. Pronto.

1:27:13 Soul e Luna. Não há nenhuma redefinição disponível. Tenho umas três redefinições acumuladas agora. Talvez o Tibo apareça para ajudar. Certo, oficialmente são 11h. Vamos ver se aparece alguma coisa aqui. Vamos conferir o blog da OpenAI.

1:27:51 Nada ainda. Nada ainda.

1:28:24 Aliás, acho que eles… O dev day da OpenAI vai ser na semana que vem, acredito. E tenho quase certeza de que vão lançar um concorrente do Muse, Grokbot e Instinct, o que vai ser muito interessante. E suspeito que o chat.com vai se tornar esse tipo de assistente pessoal de IA da OpenAI. Sim, Soul foi lançado. Sim, Soul foi lançado. Eles ainda não anunciaram, mas, se você entrar no Codex, ele está aparecendo para

1:28:54 todo mundo. E, como o embargo… O embargo… vamos ver. Sim, certo, o embargo foi suspenso. Eu tive acesso antecipado a esse novo modelo.

1:29:26 Esses dois novos modelos, GPT-6 Soul e Luna, ainda não tiveram a postagem no blog publicada. Mas todo mundo está vendo, então posso falar sobre eles. Além disso, já passou das 11h. Assim que tivermos acesso ao blog, vou começar a falar sobre eles, porque aí posso dizer coisas inteligentes a respeito, em vez de só ficar divagando.

1:30:07 Então, parece que muita gente está recebendo acesso ao GPT-6 Soul e ao GPT-6 Luna. Luna é um dos meus modelos favoritos. É muito bom, muito barato, muito eficiente. Na verdade, eu não sabia quais modelos estava testando. Mas aqui estamos.

1:30:41 Quero saber quando a postagem do blog vai sair, porque ainda não anunciaram. Vamos ver. Ainda não. Acho que vamos ficar por aqui até ela aparecer. Dias movimentados para os modelos. Sim, isso é verdade. Do Gallagher, espero estar pronunciando seu nome certo. Sim, dia muito movimentado para os modelos. O Google precisa lançar um modelo agora. O

1:31:11 próximo Muse da Meta precisa ser lançado hoje. É só lançar todos os modelos. E, aliás, ainda é terça-feira. Ainda é terça-feira e já tivemos o Gro 4.7. Tivemos o Opus 5.5. E agora estamos recebendo o GPT-6 Soul e Luna. O Google está dormindo. É. Cadê eles?

1:31:51 É. Então, acho que deve sair a qualquer minuto a postagem no blog e o anúncio do GPT-6 Soul e do GPT-6 Luna. Estou muito, muito animado com esses modelos.

1:32:40 Saiu. Certo, vamos ver. Não, nada. Nada. Onde vocês estão vendo isso? Onde vocês estão vendo a postagem no blog? Estou procurando no lugar errado? Estou vendo gente dizer que a postagem no blog saiu.

1:33:10 Não, não estou vendo. O que estou deixando passar? Eu sei. Okasuku, Okasuko. Sei que passei a última hora e meia falando do Opus 5.5. Então acho que você pode ter perdido essa parte da transmissão.

1:34:00 Vamos ver. Vamos ver se conseguimos encontrar. Onde estaria? No blog da empresa. É. Notícias da empresa, certo? Não. Eu leio o chat, sim. Eu leio o chat. Sim, leio. Vá até a postagem mais recente do blog sobre Astra 6. Role para baixo e clique no link para abrir

1:34:34 isso. Certo, então, o blog mais recente sobre Astra. O blog da Astra. Certo, estou procurando. Me dá um segundo. Blog da Astra da OpenAI. Por que eles não teriam um blog próprio? Aqui está. Pronto. Certo. Obrigado. Obrigado. Obrigado por

1:35:04 avisar. Temos dois modelos totalmente novos da OpenAI: GPT-6, GPT-6 Soul e Luna. E isso acontece no mesmo dia em que a Anthropic lançou o Opus 5.5 e apenas um dia depois de a Grok lançar o Grok 4.7. Então, esta é uma semana lotada de modelos, e vamos testar esse modelo juntos.

1:35:39 Certo. Vou ler o texto e depois… vamos ler juntos e então vou gravar. No início deste mês, apresentamos Astra, o modelo mais inteligente e alinhado do mundo. Aliás, se você está assistindo, já estamos chegando a quase duas horas de transmissão ao vivo, ou já passamos de uma hora. Eu agradeceria se você deixasse uma curtida. Obrigado. O modelo mais inteligente e alinhado do mundo. Embora os projetos mais exigentes e importantes ainda precisem de toda a profundidade de Astra, o trabalho acontece em diferentes escalas, ritmos e orçamentos. É por isso que estamos anunciando, ou melhor, expandindo o universo GPT-6 com GPT-6 Soul e GPT-6 Luna. Que dia maluco. Deixe uma curtida. Sim, deixe uma curtida. Obrigado, Kyle. Agradeço muito se você fizer isso. Obrigado. Então, como esperado, treinamos GPT-6 Soul e Luna com métodos semelhantes aos do GPT-6 Astra,

1:36:10 trazendo os avanços por trás do desempenho de ponta do Astra em trabalho profissional, factualidade, programação, uso do computador e alinhamento para modelos mais rápidos e acessíveis. Se você se lembra de quando GPT-6… desculpe, quando o GPT-5.6 Luna teve aquela redução de preço de 80%, ele se tornou um dos modelos mais atraentes do planeta para usar. Extremamente rápido, extremamente barato e ainda muito inteligente. Então agora temos uma versão atualizada do que

1:36:42 considero meu modelo favorito. E nossa, parece que ficou mais barato. Inacreditável. Certo, vamos começar pelos preços. Normalmente começamos pelos benchmarks, mas vamos começar pelos preços. Aqui está o GPT-5.6 Soul comparado ao GPT-6 Soul. Uma redução de preço de 50%. Se você se lembra, Terra e Luna, o Terra 5.6 e o Luna 5.6, tiveram reduções de preço significativas. O GPT-6… desculpe, o GPT-5.6 Soul

1:37:12 não teve. Mas agora temos uma redução de preço de 50% no novo modelo Soul. E o Luna, que já tinha tido uma redução de 80%, tem mais uma redução de 50%. Então, temos US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída para um modelo que está basicamente um degrau abaixo da fronteira absoluta, que é Astra. Também temos o GPT-6 Luna por 10 centavos por milhão de tokens de entrada e 50 centavos por

1:37:46 milhão de tokens de saída. Muito bom. É, os preços são absurdos, Kyle. Sim, esses preços são incríveis. Esses são modelos de trabalho mesmo, especialmente Luna. E Luna provavelmente consegue dar conta de 90% a 95% de todas as tarefas que você precisar fazer. É um ótimo modelo. Sim, posso aumentar um pouco o zoom. Pronto.

1:38:19 milhões de tokens de saída. Muito bom. Sim, o preço é maluco, Kyle. Sim, esse preço é incrível. Esses são modelos de trabalho pesado, especialmente o Luna. E o Luna provavelmente consegue dar conta de 90 a 95% das tarefas que você precisa passar para ele. É um ótimo modelo. Hum, sim, posso dar um zoom. Aí está.

1:38:53 Certo, vamos dar uma olhada em alguns benchmarks. Temos o Automation Bench aqui. Olha só esses ícones pequenininhos fofos que eles têm para os pontos no gráfico. Muito legal. Certo, infelizmente, no gráfico eles só têm o Claude Opus 5. O Claude Opus 5.5 foi lançado há uma hora, então ele não… ainda não aparece neste gráfico. Mas, neste momento, se olharmos, é aqui que ele está. Custo por tarefa, lá à direita. Deixe-me

1:39:23 reformular o que estamos vendo. Este é o Automation Bench. No eixo Y, temos a pontuação. Quanto maior, melhor. No eixo X, temos o custo. Quanto mais à esquerda, melhor. Ou seja, o custo é menor. Então, o lugar onde você quer estar é neste… quer dizer, neste quadrante aqui. Certo, este é o quadrante ideal. É onde você é o melhor e o mais barato. Então, se estivermos olhando para o 5… não, vamos olhar primeiro para o 5.6 Soul. Aí está. Certo. E se

1:40:00 mudarmos para o GPT6 Soul, temos uma redução de custo significativa, que parece ser de cerca de 50%. Exatamente o que foi anunciado. E ele é melhor. É melhor. Na verdade, eu esperava um salto maior, mas vamos ver. No esforço máximo, o 5.6 marcou 28,8 no Automation Bench. Já o GPT6 Soul, curiosamente, na configuração extra alta ficou em primeiro lugar, com 33%. Agora, o Astra ainda é

1:40:31 o modelo número um, e você vai pagar por isso. E, curiosamente, dá para pensar no Opus 5… dá para pensar no Opus 5.5 como o Soul. Espera, deixa eu conferir se estou fazendo essa comparação direito. Astra está para GPT6 Soul assim como Fable 5.1 está para Opus 5.5. Certo, consegui. E então

1:41:04 o curioso é que o Opus 5.5 é, na verdade, o melhor modelo do mundo neste momento. Melhor que o Fable — e não só um pouquinho melhor, mas bastante melhor, mais barato e mais rápido. Mas o que vemos aqui é que o Astra ainda é o melhor modelo da OpenAI. E agora temos uma versão bem mais barata. Ela não é tão boa. Olhem para o Soul aqui, certo? E depois para o modelo de ponta. Então, se você precisa da resposta absolutamente melhor, vai pagar pelo Astra. Mas, se quer um modelo mais robusto para o trabalho do dia a dia, ele está aqui. Agora, vem a parte interessante.

1:41:37 Foi aí que entrou o Luna. Então, de novo, se olharmos para a curva, o Luna não… de longe, o Luna não é… o Luna é o pior dos três modelos, mas custa uma fração do preço. Mesmo na configuração de baixo esforço, olha só, a pontuação é bem baixa, mas ele é extremamente barato. Quer dizer, se você usar a configuração máxima, consegue uma pontuação acima de 20% aqui e paga menos de 5 centavos por tarefa. Inacreditável. Inacreditável.

1:42:11 Muito legal. O GPT6 Soul também supera o Claude Fable 5.1 por um custo muito menor e até vence o GPT6 Astra na configuração de baixo esforço. Estes valores são de custo por tarefa, embora eu ache que o que estão mostrando aqui seja o Automation Bench. Aqui está o Fable com fallback para Opus 5. Sabe, praticamente todas essas informações do blog já estão desatualizadas, porque o Opus 5.5 já foi lançado.

1:42:44 Aqui está o Agents Last Exam, mais uma vez. Uau, olhem só. A configuração de alto esforço. Adoro quando o gráfico fica estranhamente cheio de picos assim. Qual seria o motivo disso? Ainda vemos o GPT6 Astra como o melhor, mas olhem para o Soul logo atrás e por um preço significativamente menor. A configuração extra alta fica em pouco menos de US$ 2 por tarefa concluída, enquanto a configuração média do Astra

1:43:17 fica em cerca de US$ 4,50 por tarefa concluída. Portanto, é significativamente mais barato. Aqui está a taxa de erros factuais em prompts difíceis. Certo. Respostas com qualquer erro factual. Então, você quer um valor menor. Na verdade, quanto menor, melhor. E o custo por tarefa: é a mesma coisa. Você quer ficar à esquerda. Então, o Astra fica em primeiro lugar, com menos erros factuais, mas o Soul… Ah, interessante. Este aqui é o Soul 5.6, que tem mais

1:43:54 erros factuais, mas, se olharmos para o Soul 6, o desempenho é praticamente o mesmo, com apenas um pouco mais de erros factuais, mas por uma fração do preço. Então, este é o modelo robusto para o trabalho do dia a dia. [risos] É, cara, acabamos de ter o Thic aqui, todo animado, e nem deram cinco minutos para ele brilhar antes de lançarem dois modelos inteiros em cima dele. É um mundo maluco. E sabe de uma coisa? Nós é que nos beneficiamos.

1:44:27 Aqui está o Frontier Code. Talvez incluam o Sweetbench. Mas aqui está o Frontier Code. Mais uma vez, vemos o Luna com um desempenho muito forte, especialmente o Luna Max: 11 centavos por tarefa. Comparável ao Soul Medium, que custa 80 centavos por tarefa; comparável ao Astra Low, que custa US$ 1,70 por tarefa. O Opus 5 está lá longe. Mas, de novo, o Opus 5.5 já foi lançado. Ah, aqui está.

1:44:58 Deep SWE. Era isso que eu queria dizer, não Sweetbench. Certo, agora temos o que acredito ser o melhor e mais preciso benchmark para determinar a capacidade de um modelo em programação agêntica. Em geral, este é o melhor reflexo do ecossistema de engenharia e do que as pessoas realmente pensam sobre o modelo. Então, vamos ver onde ele fica. Aqui está o GPT6 Astra, e o Claude Fable 5 está lá longe. Mais uma vez, no eixo Y temos a pontuação; quanto maior,

1:45:28 melhor. No eixo X temos o custo por tarefa. Quanto mais à esquerda, melhor. E olhem só. Inacreditável. GPT6 Luna Max: 66,6%, com custo de 22 centavos por tarefa. Fenomenal, absolutamente fenomenal, e só um pouco melhor. Vamos ver: 66% contra o modelo absolutamente de ponta, que marca 74%, mas você paga US$ 443 por tarefa concluída, em vez de

1:46:00 22. Sou muito fã do Luna, especialmente do Luna Max. Luna Max para uso do computador, controle do navegador e tudo isso. Aqui está o OS World. Já que estamos falando de uso do computador, vamos ver o que temos. O Astra continua na ponta absoluta, mas o Soul vem logo atrás. Aqui está o Luna, com um desempenho razoável. Na verdade, está bem mais atrás

1:46:31 mesmo. Então, este marca 53%, contra 73% do Astra. Luna contra Astra. Certo. Quanto à disponibilidade, o GPT6 Soul e o GPT6 Luna estão disponíveis no ChatGPT, Work e Codex a partir de hoje para todos os usuários dos planos Plus, Pro, Business, Enterprise e Edu. Usuários dos planos Free e Go podem acessar o GPT6 Luna no

1:47:05 aplicativo para desktop, e estes modelos ainda não estão disponíveis. Então, sim, alguém levantou um bom ponto. Preciso montar um gráfico comparando o Soul, o Luna e o Opus 5.5. Vou fazer isso. Esperem um instante. Certo, faça um gráfico comparando os preços e os benchmarks de GPT6 Luna, Soul e Opus 5.5.

1:47:38 Certo. Espero que isso termine relativamente rápido. Interessante. Não sei por que isso não funcionou. Certo, quando reiniciar. Sim, estou pedindo isso ao ChatGPT. Sim.

1:48:18 É. E isso é interessante. Vou colocar o Domo. Opa. Onde você está, Domo? É interessante que tanto a Anthropic quanto a OpenAI tenham reduzido os preços dos novos modelos hoje. Sim, é interessante, e tenho algumas ideias sobre o motivo. Quando as duas empresas falam em acompanhar o ritmo da fronteira, é isso que acontece. Você tem eficiência, velocidade e preço, mas não tem potência bruta e inteligência absolutas. É isso que estamos vendo aqui. Talvez seja

1:48:50 o resultado de acompanhar o ritmo da fronteira. Isso não significa que não estejam desenvolvendo isso internamente, mas é o que temos aqui. Além disso, lembrem-se de que Fable e Astra foram lançados recentemente. Normalmente, esses lançamentos de modelos acontecem assim: primeiro, lançam o grande modelo de fronteira, que é muito caro. Tanto o Astra quanto o Fable eram muito caros: US$ 10 por milhão de tokens de entrada e US$ 50 por milhão de tokens de saída. E depois,

1:49:20 com o passar do tempo, nas semanas e nos meses seguintes ao lançamento, começam a surgir os modelos mais eficientes. Começam a surgir os modelos mais baratos, os modelos mais robustos para o trabalho do dia a dia, provavelmente com uma arquitetura semelhante à desses modelos de fronteira — os Astros e os Fables do mundo — ou talvez até versões destiladas deles. Então, isso tudo é esperado, e fico muito feliz em ver isso. Agora, estou meio dividido. Será que queremos ver modelos mais eficientes,

1:49:52 Modelos melhores, menores e mais rápidos, ou queremos ver do que a fronteira absoluta é capaz? Então, estou dividido quanto a isso. Certo. Neste momento, pedi ao ChatGPT que criasse um novo gráfico, uma nova tabela comparando GPT-6 Sol, GPT-6 Luna e Opus 5.5. Não havia comparação entre esses dois modelos, porque ambos foram lançados no mesmo dia.

1:50:28 Que loucura. É uma loucura estarmos transmitindo ao vivo e termos descoberto que o Opus seria lançado hoje. Opus 5.5. E então, literalmente durante a transmissão, vocês todos disseram: “Ei, Sol e Luna já estão disponíveis.” Quer dizer, que dia! Então, estou fazendo esse benchmark — quer dizer, desculpem, estou fazendo o gráfico e a tabela agora. Espero que termine logo.

1:51:01 Estou usando o GPT-6 Astra no nível alto para fazer isso. Então, vamos ver. Vamos ver o que mais. Melhorando o alinhamento. Astra é mais alinhado que GPT-6 Sol. Esta é a taxa de engano em tarefas de programação. GPT-5.6 Sol, muito mais alta. Luna. É. É interessante. É como se, quanto mais inteligente o modelo, mais alinhado ele fosse, o que é quase

1:51:35 contraintuitivo. Ah, e acabamos de ouvir Tibo confirmar um reset acumulado. Vamos ver se isso é verdade. GPT-6 Sol e Luna estão disponíveis. Eles não só representam uma melhoria muito significativa em todos os aspectos, como também são melhores em escrita em geral. Você percebe quando os experimenta. Qualidade. Também estamos reduzindo permanentemente o preço da API em 50%, tornando os dois viáveis para muitos novos casos de uso e fazendo sua cota render ainda

1:52:08 mais, inclusive nas assinaturas. E mais uma coisa: estamos adicionando um reset acumulado às contas de todos os nossos usuários Plus, Pro e Business. Vamos lá! Obrigado, Tibo. Trabalho incrível. Incrível. Muito, muito legal. Certo.

1:52:46 Certo. Vamos ver. Certo. Temos alguns gráficos. Vou compartilhar. Espero conseguir compartilhar minha tela. Vamos ver. Vamos ver. Certo. Vocês conseguem ver?

1:53:25 Certo. Acho que vocês só conseguem ver uma parte. Opa. Tudo bem. Pedi ao Astra que montasse este gráfico para podermos ver GPT-6 Sol, Luna e Opus 5.5, todos lançados no mesmo dia, nos mesmos gráficos. Vamos olhar. Então, temos Luna,

1:53:57 começando por Luna, de longe a mais barata. Olhem esse preço. Luna custa 10 centavos por milhão de tokens de entrada e 50 centavos por milhão de tokens de saída. Em comparação, Sol custa 2 dólares por milhão de tokens de entrada. Desculpem, 2 dólares por milhão. Sim, Sol custa 2 dólares por milhão de tokens de entrada. Sol, 10 dólares por milhão de tokens de saída. Opus 5.5 continua sendo o mais caro: 4 dólares por milhão de tokens de entrada e 20 dólares por milhão de tokens de saída.

1:54:28 Agora, como eles se comparam? Aqui está o Frontier Code: Luna, 42,4%; Sol, 49,3%; e Opus 5.5, 54,4%. Então, Opus 5… Opus 4… desculpem, Opus 5.5 ainda é definitivamente o melhor. Certo, mas aqui está o interessante. Olhem a diferença de desempenho no Frontier Code entre esses três modelos. A diferença entre eles é de cerca de seis a

1:54:59 sete pontos percentuais. Mas, se olharmos os preços, a diferença é de várias vezes. Temos 10 centavos contra 2 dólares contra 4 dólares. Isso reforça a ideia de que pagar pela melhor resposta possível é caro. É como a regra 80/20. Essa parte adicional, esses últimos 20%, é onde fica toda a receita. É aí que muito do valor é capturado. As pessoas estão dizendo para eu consertar minha tela.

1:55:33 Certo. Certo. Esperem um segundo. Desculpem, pessoal. Estou vendo. Estou vendo. Certo, obrigado. Obrigado. Esperem um segundo. Tudo bem. Aí está. Rolem a tela, por favor. Desculpem por isso, pessoal. Aí está. Agora vocês conseguem ver. Certo, então temos… É. Opus. E agora vamos olhar o Automation Bench. Luna está em 20%. Aqui a diferença entre os modelos é um pouco maior. Sol está em 33% e Opus 5… Opus 5.5 está em 40%. Agora, vejamos

1:56:05 os preços de cache. Um centavo para leituras, 12,5 centavos para gravações; Sol, 20 centavos para leituras e 2,50 dólares para gravações. Opus, curiosamente, cobra o mesmo pelas leituras de cache: 20 centavos, e depois 5 dólares pelas gravações. [risos] Muito, muito bom. Então, sim, olhem, esses três modelos são incríveis. Opus é definitivamente o melhor. Na verdade, eu

1:56:36 acho que Opus 5.5 leva, de longe, o título de melhor modelo do planeta. Agora, vamos ver. Sim, aqui está. De longe, o melhor modelo do planeta neste momento é Opus 5.5 F, com 58 no Artificial Analysis Intelligence Index. E vamos ver. Acho que Sol e Luna ainda não estão no Artificial Analysis Intelligence

1:57:11 Index. Então, são modelos incríveis. Experimentem. Tenho alguns testes. Provavelmente vou publicar esses testes. Mas, sim, vão experimentar esses três modelos. São fenomenais.

1:57:42 Não sei qual deles vocês vão usar. Digam no chat qual vão usar. Se tivessem que escolher um desses modelos, qual escolheriam? Luna, Sol ou Opus 5.5? Luna 5.5. É, muita gente está dizendo 5.5, algumas pessoas estão dizendo Luna. Só acho que, especialmente considerando a generosidade da OpenAI com os resets e com a

1:58:17 cota em geral, é difícil superar Sol. É… quer dizer, é ainda mais difícil superar Luna, mas, se você precisar daquele desempenho extra, Sol é a escolha certa. Tenho usado principalmente o ChatGPT ultimamente, mas vou começar a usar Claude um pouco mais agora que Opus 5.5 está na fronteira absoluta e é relativamente mais acessível do que Fable era. Então, vou testá-los e veremos. Acho que, se eu perceber que a Anthropic é

1:58:52 bem generosa com as cotas do Opus 5.5, provavelmente vou acabar usando-o mais. Mas estou me divertindo com todos esses modelos. Então é isso. Vão experimentá-los. Vou publicar dois vídeos sobre isso. Se vocês ainda não viram, vamos ver. Acabei de fazer uma análise do Opus 5.5, e vocês podem encontrar esse vídeo aqui. Aproveitem. Obrigado por assistir. Obrigado

1:59:25 por participarem da transmissão, pessoal. Agradeço muito, e farei outra em breve. Tchau, pessoal.

Transcrição original

[01:26] All right, we are live everybody. Hello. Yes. Can you all hear me? Hello. Hello. Can you hear me? Let me know. All right. Yes, it is true. We have a brand new model that just got released today. It has

[01:57] been a busy week to say the least, and I don’t think it’s going to slow down. So, I’m going to do a little intro about Opus 5.5. And then we have a special guest joining us today. Tharic a member of the technical staff from Enthropic. Uh literally the guy who is leading claude code and a whole bunch of other stuff. So very very excited. Um so let me do the intro and uh yeah drop uh drop your comments in chat and I’ll I’ll try to

[02:30] get to them. I just need to start my recording. Click one, two, three, four, five. All right. Almost forgot that. Okay, it is here. So, we have Opus 5.5 is here. This is the first major model release from Anthropic since they are now pacing the frontier. So, this is going to be an

[03:03] interesting one. And if you remember the last time we had a a And if you remember the last time we had a 0.5 version was early last was late last year when we had Opus 4.5 which really changed the world. That was the inflection point in which coding models became insanely good and they were able to handle large multi-hour tasks and completely autonomously. really you can see the

[03:33] inflection point if you look at a lot of different graphs that model was incredible and now we have 5.5 and this is a big deal. I’ve been playing with it. I’ve had early access. My team has had early access and it’s been a lot of fun to play with. It is an it is an extremely capable model and that’s what we’re going to be talking about today. And so I’m going to tell you about the model. I’m going to show you the benchmarks. I have a special guest, Tharic from the anthropic team, member of the technical staff.

[04:06] He’s going to be joining on in about 23 minutes. So, that’s going to be great. We’re going to ask him some questions. And I’m also going to bring on Brian and Alex from our team to show off some demos that they’ve been creating. And again, yes, the model’s great. That’s all there is to say. Okay, so let’s get into it. Introducing Claude Opus 5.5, the first model in our new Claude 5.5 family. It performs at the level of Fable 5.1 for most tasks, but it costs

[04:39] 40% less to run than Opus 5. It is faster, it is cheaper, and on a lot of benchmarks. And this was crazy to see. It actually performs the best. It is the frontier, the absolute frontier, which is crazy to think that Fable is not holding that position anymore. So, let’s go into it. Let me just make sure y’all can see my Twitter. Yep. All right. Test it, please. Yeah, I we have some demos we’ll show later. I’m not going to

[05:11] test it live, uh, just because it takes too long to test stuff and I, you know, I just want to make sure we have good demos to show you. So, we have some for later, so don’t worry. I’m going to show you some demos. Um, Opus 5.5 is our first model since we called for pacing the frontier. It seems like a while ago, but that was basically last week where Daario wrote the essay asking to basically slow down. H, and so this is their first model released since then, which is kind of wild because this is an absolute frontier model. This is a

[05:45] phenomenal model. It’s cheaper, it’s faster, and yet they’re pacing. As with previous models, it was tested by external evaluators before release, including Meter and Frontier Design. All right, look at these benchmarks. We have Terminal Bench 4.0, one of the most important coding benchmarks out there. This is the benchmark that measures the model’s ability to a to use the terminal to execute commands in the terminal

[06:20] which is obviously a major part of actually doing agentic coding and it completely dominates 66.4% from Astra which is second place 57.9 Fable 5.1 at 55.8 over a 10point bump from Fable 5.1. Here’s Opus 5, the previous version, 52.3. And here’s 5.6 Soul. Not even sure why that’s there, but 37.3. We have Frontier Code V1.1. This is a

[06:54] Gentic coding number one 54.4 as compared to 50 with Fable as compared to 53.3. Very comparable with Astra. We have Cursor Bench, which is not obviously not their benchmark. It is cursor’s benchmark. Now, XAI’s benchmark 57.8. Astra wasn’t tested on it. Uh, not super surprised. Uh, Fable 5.1 51. I mean, these are these are not small incremental improvements. These are massive improvements over the previous

[07:27] scores. Plus, it’s probably a smaller model. It’s probably a distilled version, but I’m not 100% sure. This is speculation. And it’s cheaper and faster. Look at this. This is a crazy ELO score. GDP val version 2.1. This is OpenAI’s benchmark for testing realworld knowledge work. That is why it is GDP val. Okay. 1846

[07:58] ELO score. The previous sec the previous first place was 1735 with Fable 5.1. GPT6 Astra 1542 that is over a 300 point ELO jump and so that and so this benchmark measures things like PowerPoint creation data entry uh word processing anything that you’re going to be doing in the real world email sending uh like really anything that is knowledge work anything

[08:29] where you’re sitting behind a computer getting real work done this is the benchmark for it and this is such a massive improvement very Impressive. Here’s Automation Bench. One of the only ones that it did not get first place on. Astra did 41.4 as compared to 40. So quite comparable. Here’s humanity’s last exam. Again, a pretty nice jump from Fable 5.1 and a very nice jump with 10 points uh against Astra. So 57 on Astress, 67 on Opus 5.5,

[09:06] Fable 5.1, 65%. Now we have Terminal Bench Science in which it did not get number one. It did get a higher score than Fable 5.1 at 58, but it did come in behind in second place to GPT6 Astra. Here’s computer use. Again, another one of those really important uh benchmarks and really important skills for a model to have and something that I’m using more than ever. I know my team Brian uh and Alex are both using it like crazy to

[09:41] control Da Vinci Resolve. Uh they’re using the MCP, but also using it like just the model directly to control the computer. I’m using it to control Unreal Engine, so creating 3D assets in there. 81.8% 8% versus 80.7% a slight bump over Fable 5.1. Here we have uh visual chart recognition. I’ve never actually heard of this benchmark chtography 89% versus 88.4. So basically the same as fable 5.1 but I think the important ones to keep in mind terminal bench just a massive

[10:14] jump. This is one of the most important ones. Um and then GDP val is the other really important one. So terminal bench for coding GDP val GDP valve for all knowledge work. Yes. Uh Luigi mate. Uh yes. Opus is beating Astra. Yes. Yes it is. Yes. And I have the cost as well. I’ll go over all of that with you shortly. Okay. So very very good scores. I’m very impressed here.

[10:50] Let’s talk about pricing. It is the same price basically as Opus 5.5. They were able to ek out a slight price decrease for cash rights, but not much. It’s effectively the same. Oh, actually, sorry, let me restate that. There is a slight price decrease. I guess technically it’s a 20% price decrease, which is pretty good. Uh, Opus 5.5, $4 as compared to Opus 5, which is $5. $20 per out per $20 per million output tokens versus $25 per million output

[11:23] tokens. Cash reads 20 cents versus 50 and cash writes $5 versus $625. So a meaningful not massive but a meaningful price reduction, but it is also much faster. And you know if you’ve been watching this channel, I’m a huge speed maxi. Let’s take a look at its default effort setting. Opus 5.5 delivers Frontier results for a fraction of the cost per task, often beating other models running at their highest settings. It also generates output more than 30% faster than Opus 5. So, what

[11:58] have I been talking about lately? Just having the cost per million tokens is not enough. It, you know, if a model is extremely cheap on a cost per token basis, but takes 10 times as many tokens to reach the same conclusion on a given task, then it’s still an expensive model. Cost per task completed is the important metric that you need to be aware of. So when it lists out price here, that’s good. But what we really need to see is the efficiency of the model, the intelligence density of the model.

[12:33] Okay, so this is what we’re seeing here. This is automation bench. This is the pass rate. So it’s basically the quality over here on the y- axis. And then on the x-axis, we have the cost per task. And so here is Opus 5.5 in orange in this uh light gray color. We have GPT 5.6 Soul, dark gray. Up over here we have Astra and then Opus 5 down here in yellow. And so where you want to be is the the quadrant that you want to be is in the top left because that means you

[13:04] have the highest quality for the lowest cost per task. And that is what we’re seeing here. This is kind of this the sweet spot right there. medium and high for Opus 5.5. Incredible. Now, on the max setting, it didn’t quite beat Astra, right? But it is less expensive than Astra, and it’s pretty much less expensive across the board. Starting at extra high, which beats the two lowest thinking settings of Astra, and it’s also quite significantly less expensive.

[13:39] Now, if we’re looking at the light gray, which is GPT GPT 5.6 Soul, it scored really well and above that. And same thing with Opus 5. And by the way, if you’re watching the stream, I would appreciate it if you liked, subscribed, reposted it. Very much appreciated. Thank you in advance. And so, okay, so that’s the important one. This is Automation Bench. Let’s look at the next one. We have uh frontier code same thing we have the

[14:13] quality score on the yaxis we have the cost per task on the x axis this is quite spiky kind of interesting here look at these uh lines so in yellow this is opus 5 so on the lowest thinking setting it scores maybe a 42% and then on the medium it jumps all the way up to what looks to about 53%. And then on the higher settings, it actually drops back down, which is quite interesting. Very spiky. But again, what you want is this upper left quadrant. That’s where you

[14:48] want to be. And look what’s there. Opus 5.5. On low, it’s scoring about a 47 and less than, let’s say, 20 30 cents to solve the task. We have medium up here, closer to a dollar, high, closer to a dollar, extra high, and then max way out here. So what’s interesting is on Frontier Code, you have the medium effort coming in at under a dollar per task getting a higher score than the max effort coming in over $5 per task. So it

[15:21] really does matter which thinking effort you use. And to kind of get the feel of which thinking effort you should be using, you just need to use it. You need to play around with these different products. Okay. So, again, very impressive. Um, did I show GDP val? No. Okay. So, GDP val, one of my favorite benchmarks. Again, this is an OpenAI benchmark. And again, ELO on the left, so that’s basically quality. And then on the

[15:54] Xaxis, we have estimated cost per task. So, what we’re seeing is this orange is obviously the highest ELO by far, but what you really want is to be up here. And so, if we look, let’s see, overall, the model tends to be cheaper than its comparable uh and then the comparable models in all of the other lines right here. And it’s also significantly better. All the other

[16:24] models, Opus 5, Fable 5.1, GPT6 Astra, and 5.6 Soul are all kind of aggregating around this point right here. Uh, and pretty much across the board, yeah, except for the loweffort, medium, high, extra high, and max, Opus 5.5 just dominates. Terminal bench. Again, this is like when I think about the most important benchmarks to determine if a model’s going to be good at coding or not. There

[16:56] are two benchmarks I look at. Terminal bench is one of them. The other is deep suite. Unfortunately, I don’t see Deep Suite anywhere on here. At least not yet. So, here we go. Once again, higher is better, to the left better. So, upper left quadrant is best. And that is what we’re seeing here. Look at how much higher this dark orange color is. Opus 5.5 than anything else. Astra coming in right below it. And then the rest of the models. Here’s Fable 5.1, Opus 5, and uh GPT 5.6 sold down here. But what we’re

[17:31] seeing is probably high is going to be your best bet. higher medium cuz you get like medium beats or is pretty pretty much on par with Astra uh but is significantly less expensive. So this is like close to $7 per task completed. This is probably close to $3. And then if you want to go even higher, this is closer to $4 per task completion, but really just dominates. So coming in above a 60 score.

[18:01] Luigi, all these models are still terrible for law. Shocking. Yeah, it’s interesting. I was actually doing uh while I was preparing the video for Grock 4.7 yesterday, I had noticed that all the other models, including Astro, were really bad for legal work, but Grock 4.7 was really good. So, you know, there’s spikiness to models. That’s just what they choose to spend their time on. Okay.

[18:35] Opus 5.5 communicates more naturally, addressing some of the most common feedback we heard on Opus 5. It puts the most important information up front and follows the writing rules you give it, which make long sessions easier to follow. So, it’s good. It’s just the formatting of how it’s explaining what it did in coding mostly. Now, I really want to test it for creative writing. I find Astra to be the best at creative writing right now. There’s the the the least amount of AI slop smell to it. Uh but

[19:10] hopefully Opus 5.5 is good. But I think Opus 5.5 is mainly for coding and mainly for knowledge work, not necessarily creative writing. But you could see here, so Opus 5.5 on the right, the overall explanation is just much shorter and they talk about the important things upfront. And this is really good if you’re managing 10, 15, 20 agents in parallel and you have to switch between them and you’re trying to get the context, you’re doing context switching, you’re reading, it just takes a lot of effort. And the shorter and more concise

[19:41] the explanations of what the model has completed are, the better it is, the easier it is to go from thread to thread and continue each one. Happy Opus Day, Alex. That’s right. Okay. Um, so we have about seven minutes until Tharic joins us. So, I’m just going to go over the blog post a little bit. I’m happy to answer some questions. Let me know if you have any questions.

[20:14] And once again, if you can like the stream, I would very much appreciate it. Thank you in advance. So, it’s interesting. Yeah, this is the first model release since the essay of pausing or sorry not pausing that was the old term pacing the frontier and they gave external evaluators Frontier Design and Meter access to test it.

[20:48] Opus 5.5 is a major step up from Opus 5. It’s the new leading model and early testers saw large jumps in performance on their most complex work. So, one thing that I’ll be showing you later in this stream is I had it spend days building out a 3D representation of San Francisco down to every single building, everything in Unreal Engine. And then I powered everything in the town in the city. So, cars, people, dogs, traffic, everything

[21:22] by Jev. And I thought that was a really cool test and I will be showing it to you later. It’s a bit heavy on my computer, but I’ll show it to you. Uh, one tester completed a 680,000 line code migration in less than a day. Okay. So on safety, Opus 5.5 achieves the best scores of any model to date on our automated behavioral audit, our alignment suite that test clawed across

[21:53] thousands of simulated scenarios. It is much likely than recent models to take hard to reverse action or act outside the boundaries it’s been given. This is like obviously directly referring to Hugging Face and the Hugging Face hack incident. We’ve also broadened our alignment testing to cover longer tasks, impossible tasks, which I believe is the thing in exploit gym that caused the

[22:25] model to seek to cheat. It was basically given an impossible task. I could be wrong about that. So double check that, but I believe that’s what happened. Because Opus 5.5 is comparable to Claude Mythos 5.1 in biology and cyber security, we’re deploying it with safeguards similar to those in Claude Fable 5.1. You can apply to be part of their life sciences verification program. And basically what they’re talking about is this model is dual use. It can be used for incredible discoveries in biology and science and

[22:56] then it can also be used for biological weapons. So that is what they’re talking about. So, if you’re not part of this program, they probably won’t let you get away with much in terms of um you know, asking you questions about biology and and kind of deeper science problems. Probably also yeah, the cyber verification program. So, it’s going to have stronger guardrails unless you’re part of those programs, which you know, fine. Here’s something interesting. Opus 5.5 requires less compute to serve than Opus

[23:29] 5 and its pricing reflects that. Our tests show that at default settings it will cost 40% less than Opus 5 on typical workloads. So here’s the important part. Remember we looked at the pricing and it was let’s say on average 20% less than Opus 5. So how did they get a 40% total cost reduction on given tasks? Well, that’s that combination of two things that I mentioned. It’s not only the price, but it is the number of tokens it takes to

[24:00] actually complete a task. Excuse me. To actually complete a task. All right, we looks like we have Thoric joining. Give me one sec. I’m going to let him in. Hey, Thor, can you hear me? I’ll give him a minute to get set up. Thoric, when you hear me, give me a thumbs up. All right. Uh, thumbs up. You’re ready to get on stream.

[24:33] So, I’ll give him a sec. Thumbs up. I’ll get I’ll give him an extra minute. Give me a thumbs up when you’re ready to come on stream. Let me know. I’m going to throw my headphones on. We have Tharic, who is member of the technical staff at Enthropic, here to talk drop. Test, test, test. All right. All right. I’m going to bring Thark on the stream.

[25:10] Thark, can you hear me? >> Yeah. How’s it going? Can you hear me? >> All right. Hey, man. Good to see you again. >> Yeah, great to see you. >> Cool. Can uh can everybody in chat here? Th >> Yeah, let me know. Got a pretty good audio. >> Uh yeah. Uh okay, good. Yep. All right. Looks good. Thark, thank you for joining me. Congrats on Opus 5.5. Super excited. Um let’s I have a few questions for you, but we can go in any direction you want. Um so I guess my first question is uh

[25:44] talk about this model release and how you think about it within the family of models that you have whether it’s you know Fable 5.1 other uh kind of five family models where where does it sit and how should people think about it? >> Yeah so yeah thanks for having me. Uh I mean Opus 5.5 is just one of those models where you know you see the trend where intelligent just gets cheaper and better at the same time over time you know and so this is one of those times where the model is both cheaper than Opus 5.0 know more token efficient and

[26:15] the intelligence is better. Um I think that like between fable 5.1 and opus 5.5 it is very close you know and like for a lot of like I’d say general software engineering uh opus 5.5 is like a great daily driver. I think Fable uh 5.1 is if you’re thinking through something like maybe maybe >> Hey Thoric, I’m sorry to interrupt for a second. A lot of people saying maybe your mic is is the wrong mic. I think maybe the laptop mic is on right now.

[26:46] Yep. A lot. Yeah. Okay. We’re working on it. Sorry about that everybody. We’ll get that sorted real quick. I’ll give you >> I think >> Yeah, we’re working on I heard you. I heard you pretty well, so no big deal. But uh I think you’re using the camera mic. >> I I should not be

[27:24] Oh, I can’t hear you at all now. >> Okay. This is like too quiet. Is that what you mean? Or >> Yeah, it’s too too quiet. But I I don’t think that this mic is actually on and working >> like this one. >> Yeah, I don’t think your actual uh mic arm is is working. I see. >> Yeah, people are saying we should use Opus 5.5 to fix this. It’s It’s actually funny because I like anytime I have issues like this with like screen

[27:56] sharing or anything, I literally just point my model at it and and have it fix it. >> Totally. Yeah. Yeah, there I switched to my laptop. You got it now. Okay, >> perfect. >> Okay, sure. >> How’s that sound, everybody? >> I think we’re good. It sounds good to me. Let’s go. Hell yeah. Thank you. >> Cool. Okay, great. Yeah. Yeah, of course. Um, yeah. So, Opus 5.5, yeah, I I do think it’s one of those times where like the model is both cheaper and more intelligent. And I think like if you’re just going to choose one model on a

[28:28] daily driver, I think Opus 5.5 is a great choice. Uh, Fable 5.1 I think is like, you know, more I think it’s a great planner and and uh I think like having like a a model like Fable is really great for you know brainstorming and planning ahead of time. I think if you are really like if you got a really important task uh that like let’s say that you’re like you know looking for security holes in something that is like uh very high like you know um like very high cost for being wrong. I think Fable 5.1 is great for that too. But um yeah,

[29:03] I think you know we’re also uh we learn a lot from how people use models like in like after deployment too. And uh yeah, I’m excited to see how you guys use Opus 5.5. I think it’ll be like a very very love model. >> And so when you’re deciding within your workflows which model to go to, like h how are you choosing? Uh is is 5.5 your daily driver now? Are you using Fable 5.1 for kind of the more highlevel tasks? How do you think about it? >> Yeah, I was just like redoing my personal site last night and uh I did

[29:36] kind of just use Opus 5.5 for everything. Um I think that like Fable 5.1 I would do sort of like as discrete tasks. So like if you’re doing planning, code review or security like that’s not very cost uh efficient or sorry cost sensitive. Um, but yeah, I think Opus 5.5 is just like an incredible daily driver. Yeah. >> All right. So, I, you know, we’ve been talking a lot about recursive self-improvement lately. So, maybe you could talk a little bit about how this model was built and if other models

[30:10] helped build this model and maybe in what way that happened. >> Sure. Yeah. I mean, um, I think that like Claude helps build Cloud, you know. I think we’ve talked about this. Uh I think that like when you talk about recursive self-improvement like uh it can sound like a sort of a very like concrete like like a very like uh large thing where it’s just like claude is just doing everything you know what I mean but I think that like in practice it’s like a lot of um you know small things altogether right so like claude

[30:40] writing pretty much all the code is like a form of recursive self-improvement and that has been happening for quite a long period of time right so I don’t think that I think it’s more like a smooth increase versus like, oh, there’s no improvement and now it’s like doing all of the improvement. >> And and how were you both able to increase efficiency, decrease price, and increase overall quality? Like, how does that happen? I I was quite surprised to see that. I mean, and it’s not a little improvement to be clear. I mean, these are massive point jumps on the benchmarks.

[31:12] >> Yeah. I mean I think this is kind of like uh like the anthropic playbook is like we sort of make the frontier intelligence and then we like bring it you know to scale right so like uh I think when I first joined we had like opus 4.0 which was a huge like very expensive model, right? Um and very quickly after we had, you know, SA 4.5 which outperformed it like being much cheaper and I I think this just happens over and over again. And like I think you should sort of expect this sort of uh thing to happen more where you’re

[31:45] like, okay, yes, we’ll have the frontier models, but that will be like very easily accessible like to people um very quickly, right? And so I think that’s also the like reason you want to try out like the new fables and stuff when they come out because you’re like oh even if you can’t use it in all of your subscription they always like you know become more accessible over time too. So >> yeah. So so I said something earlier in the stream and I want to run it by you. The last time you had a 0.5 model was late last year and it was Opus 4.5 which

[32:17] >> many people including myself point to as the model that changed coding forever. Right? It was the first time where you could fully trust a model to go off autonomously and build large parts of your application successfully. Why did you decide to name this 5.5? Why is it a five iteration? Is this are you getting the same feeling as you did late last year from this model? >> Yeah, I mean uh I don’t want to read too much into the particular numbers you

[32:47] because like I think that like uh a lot of our models are are very great and I don’t think you have to like look for the.5s to be like oh this is the the one. But um I do think there is like some funny like numericics happening there where I think Sonnet 3.5 to me was like oh the OG like the the first real coding model you know and then yeah I think uh Sonnet 4.5 and Opus 4.5 are really both really good. Um I don’t like know about the specific numbers but we were very very excited about Opus 5.5. I think it’s like uh you know it’s like

[33:20] there’s a great energy here at Anthropic about this release. So this is the first model released uh post Dario’s essay and call the kind of wide industrywide call for pacing. What does that mean to you? >> Yeah. So I mean I think that uh you can think along pacing across uh sort of multiple dimensions, you know. I think that like when Dario is talking about pacing, he’s talking about pacing the frontier, you know, and that means like sort of the newest and often like unreleased or like next models, right?

[33:54] And so those models have increasing capabilities that you know we’re still evaluating. Even evaluating them is hard because they escapes sandboxes and things like that. And so we’ve like uh you know there’s a lot of work we need to do there on the frontier, but I think we’re always working to bring the frontier to everyone else too, right? And so, um, now that I think like the like the classifiers and fallbacks for the Opus 5.5 model, the Fable Fives, uh, like are very robust and we think they are safe right now. And so, like, when

[34:28] we have that, we’re like, okay, we have to bring it to everyone, uh, like affordably, efficiently. And so, um, I think that’s like, uh, you know, uh, two parts to pacing, I think. Yeah. >> Now, as you think about pacing, as you think about bringing models to a broader audience, do you see the window between when Anthropic has a new model and all the time it takes to really thoroughly test it, benchmark it to public release? Is that window increasing or decreasing?

[35:04] >> Um, this is a good question. Uh I think that like naturally as we add more evaluators you know and we want to take our time to like uh do this sort of thing like we want to like you know it will take some time but we’ve also sort of been careful ourselves with things like the mythos roll out and and and fable rollouts to make sure we get them right. So um I’m not sure how that will net out in terms of absolute time right. I think the most important thing for us is that we feel uh and and third party evaluators feel like the models are are

[35:38] safe to release. Yeah. >> And so you had two external evaluators on this one, right? There was um uh Meter and and what was the second one? Frontier. >> Uh yeah, I it’s escaping me as well, but >> Frontier Design. Frontier Design. Yeah. Sorry about that. Um uh was this part of kind of the call uh in Dario’s essay to give them firstparty access like literally as an employee or is that going to be the next model release? We you know like are or were they treated as external or internal this time?

[36:12] >> This is a good question. I am not into details here. Um, so I can, yeah, I can ask our our team real quick, but uh, yeah, I think you know, our intention is to get them like full they um, yeah, I’m not sure exactly how much uh, yeah, for this one. Yeah. >> Who who’s this model available to today? >> Uh, it’s available to everyone. It’s on Pro, Max, you know, um, it’s on Cloud Code right now. So, I I think uh, yeah, I’m excited for uh, for you guys all to

[36:43] try it out. >> Yeah. and and when you’ve been testing it. I’ve been I’ve been testing it a ton, especially in Unreal Engine. Um I’m going to be sharing a demo later in the stream about uh I I built the entire city of San Francisco in Unreal Engine. I just did goal and just let it work for I think like 3 days. Came out extremely well. >> Um >> what what are the coolest things that you’ve built with it and where have you seen it different or surprising where other models weren’t able to accomplish that thing?

[37:13] >> Yeah. Yeah. Yeah, I mean I think that it is definitely um yeah, it’s harder and harder to evaluate these models sometimes because you’re like, “Oh, like yeah, we have to build all of San Francisco in order to get it right.” >> Um so I think part of it is uh they like I I feel like it’s very good at visual design and communication. And so, um, I like sort of every model release have like Claude trying to like redo my blog and, uh, I feel like it really sort of nailed a bunch of these small details that I feel like I didn’t, uh, get

[37:46] earlier and it did it much faster and and made me feel more in the flow. And so I think this is one of those nice models where um [clears throat] like you know it’s not purely about the intelligence, it’s also about the like which which is great, but it’s also about the responsiveness, the efficiency, the token cost. Um and so yeah, I like uh I I’ve seen some incredible like game and 3D demos. Um but I think also looking just at the benchmarks, uh it like is, you know, I was looking at Terminal Bench in particular. It’s just like really like >> like it it’s faster and more efficient.

[38:20] Um, and so I think that like uh yeah, the splashy demos are amazing, but I think also you’re going to really feel it in like your day-to-day software engineering. >> Yeah, this I typically reserve the term workhorse model for kind of maybe a sonnet level model. Sure. But this one, just looking at GDP val, which is, you know, a massive ELO boost from from the previous model and from comparable models, >> it really does feel like this is going to be the workhorse model of knowledge work. And I’m I’m I’m really excited. >> Uh I’m extremely excited about that.

[38:52] Also, I’m very happy that you said it’s like hard to tell the difference at times because yeah, you know, my my entire job is trying to figure out how to highlight the differences of these models and I feel like I can’t even come up with good enough uh benchmarks or demos anymore. Um, so it’s it’s an interesting thing to do and I’m I’m glad you’re feeling that as well. Um, yeah. What I mean? >> Oh yeah, I mean I just in agreement like I I think that when I look at the eval sometimes even almost every eval the model is mostly right, you know, like

[39:25] like even in the ones where it says it failed the eval it it thinks of the right answer but maybe doesn’t commit to it or something. Um so yeah the models are getting increasingly better and better at this and I think you know um a lot of it becomes like how do we help everyone else get the most out of the models right I think there is like uh like more and more of this jagged frontier of like people who are like like getting you know the most intelligence and or sorry the most effort like um out the best outcomes for

[39:55] the intelligence right and I think people still trying to figure it out and I think what I’m really excited about open 5.5 is like it’s you know If you never got to try Fable before, like if you haven’t been able to like get that frontier, it’s now really accessible to you. And and hopefully people like you will show people how to get the most out of the models, too. Yeah. >> Yeah. And as you think about this model and and I think models in general tend to be pretty spiky with their capabilities, >> what do you wish this model or other anthropic models did better that they

[40:27] are either kind of not RL on enough or or just things that you wish it were better at that you might be working on. >> Yeah. Yeah. Yeah. Uh I think it’s always like a little bit difficult to figure out like what is the um hardness versus what is the like the model sometimes you know I I think that like uh I think that like our combined set of like computer use and browser use I think there’s like things to like iron out there like I think the models on the benchmarks have

[40:59] gotten better and better but we need to like help them express that capability. Um, I think overall with like sort of the next generation of models, I think it’s always that mix or sorry, not like just like how can models today be better, right? I think there’s that mix of like being able to like meet you where you are. I think like being able to like be like, okay, I know this about the user and so like maybe I’ll push back here at the right moment, you know what I mean? Or like I’ll be like, hey, have you thought about this? But um like

[41:30] not to the extent that it’s annoying, you know? And so I think downstream of that is like sort of memory and the ability to like figure out context. And I I think that’s sort of like the things that will make the model feel really really great is like it’s sort of different based on you and your like own like uh like your knowledge basically right and and so it doesn’t feel uh yeah like like interrupts or like it suggests things at the right time. So uh yeah overall I think more to do there uh to help people like use the intelligence.

[42:02] >> So I I know you got to go soon. So one last question for you. Um obviously like you are the absolute expert at the harness and how the model fits into the harness. When you release a new model like Opus 5.5, how do you think about how the model changes and reacts to the new capabilities of a model? Yeah, I mean I think that like one of the really difficult things about being on the cloud code team is that like this change happens kind of underneath you all the time, right? And you have to sort of like keep catching up. And I I

[42:35] think like you know recently we sort of deleted a lot of our system prompt which is like an important way of doing that. Um but I think we’re like also sort of realizing that you know what Claude uses is also like skills that people have written and things like that. And so um one of the things we’ve done alongside this release is like our plug-in eval release where you can sort of see like okay are your skills and plugins sort of up to date with the newest model uh and then sort of like you know help like update them towards like not

[43:07] constraining the model. Um I think that like uh things I’m very excited about for this model uh I’ve talked about like on Twitter and stuff is that like I think tool calling is better and better than ever before. And I think like uh it’s actually I’m I’m very interested in it for like cloud managed agents as well. I think that like being able to like make your own harnesses and like spin them out is really great. Um I think that like there’s probably more we need to do in all our products to like utilize intelligence as best we can. Um,

[43:39] I think we’re always we always feel like we’re like constraining cloud a little bit and we need to like like let it loose. And so, um, yeah, I think like uh we’ve reduced a bunch of the system prompt, added some tools, removed some tools, but there’s more to figure out. Yeah. >> Awesome. Well, Thor, congratulations again on 5.5. Uh, seems like a phenomenal release. I have much more testing to do. I really appreciate you joining the live stream. Go check out Opus 5.5 and uh go follow Thoric on Twitter. TRQ212. >> That’s right.

[44:11] >> Thanks for having good to see you. >> See you later. >> Great to see you. >> Bye. >> Bye. >> All right. Yeah. So, if you want to follow Thy here, he is tr12 on Twitter. Go follow him. He’s an awesome follow. Writes incredible essays obviously about Claude, obviously about their models, but also just how to think about AI in general and coding in general. So, uh, go follow him. Yeah. So, very cool. Very excited that he was able to join today. Um, okay. So, we got, uh, a couple more things I want to

[44:43] talk about from this blog post and then I want to bring on Brian and Alex from our team. Hopefully, they will be able to join. I’m going to send them the link. Uh, and they’re going to show off some of their demos. Hopefully, it works. I’ve not allowed a guest to do screen sharing or I’ve not had a guest do screen sharing yet on a live stream. So, we’ll see if it actually works. Fingers crossed there. Um, okay. While they’re getting ready to come in, let’s look around uh the blog a little bit

[45:16] more. No, I did not do chimp. I did not show Tharic the Unreal SF game. I didn’t want to use my brief time with him to show off my demo. [laughter] Um, okay. So, I think I talked about this right before Thor came on. I know. No, Edwin. I know is I’m using eCam. He said no screen sharing WTF. I’m using eCam. It is confusing software to say the least. Maybe I’m just going to point

[45:50] Claude at it. By the way, um, every everybody is saying that I’m pronouncing Thoric’s name wrong. Uh, I’m pretty sure I’m right and you’re wrong cuz I’ve I’ve heard people who know him very very well pronounce his name. Tharic, not Tariq. Thoric. Um, so hopefully I’m right because I I’d be a little bit embarrassed. All right, Alex, welcome. I’m gonna bring Alex on in a sec. Alex, give me a

[46:25] thumbs up if you’re ready. Cool. I’m going to bring Alex on in about two minutes. I just want to get through one last thing. Cool. People are saying I’m I’m right about how to pronounce his name. Gra Glad to hear. Glad to hear. Um, okay. So, interestingly, Opus 5.5 requires less compute to serve than Opus 5. And this is the way that the model releases should be. Over time, we should get better, more efficient, faster models. That’s also a benefit for local open-source because if you think that

[47:00] these Sorry, I’m gonna let Brian in. If you think that these models are just going to get better and stay closed source, no, the open source models get better. They get smaller, faster, cheaper, and eventually, like year by year, we’re going to have Opus 4.6 level models locally run. I think we already do. And maybe by next year, we have Opus 5.5 level models running locally on your computer. Um, and uh, you know, it’s a little bit of a tough time right now to be honest. GPU prices are absolutely insane. The RTX Spark listed on the

[47:36] Nvidia website, which was I think like $46.99, $4,699 just a few weeks ago, is now up to $7,000. Crazy. Um, okay. We already went over this. We went over, I think, GDP val. Yeah, we we covered most of this. Okay, let’s bring Alex on. Alex, here we are.

[48:16] >> All right, Alex, welcome. >> Hello, everybody. How’s it going? >> Uh, yeah, going well. I’m gonna also attempt to bring Brian in. Uh, Brian, show your camera and when you do, give me a thumbs up and I’ll bring you in. I do wish we could all see each other. >> Let’s test. Okay, Brian, is that a thumbs up? I see. Raise your Yep. Okay, good. Now I’m going to have to figure this out. Let’s see. Boom. We got Ale. We got Brian. Here we are.

[48:48] >> Testing. Can you hear me? >> Hey. >> Yep. You guys are okay. >> Now we got to watch chat for a little bit. Is one of us blasting everyone out? >> Yeah, I just lowered it for you. >> What? Oh, I was blasting them. Huh? >> Yeah, you were. You were okay. Uh, all right. So, everybody >> Matt, I’m so I’m so proud of you, man. You had such a great time with Fairike. It was great. >> Thank you. Thank you. I think everybody pronounces his name a little differently, but uh [laughter] I Everyone was like, “It’s not Dark. It’s not Dar.” >> I think it is. Doesn’t matter. Thank

[49:20] you, Brian. I appreciate that. And, um, yeah, it was cool. This is the first live stream where somebody from the company came on. So, hopefully we can do more of these. I really, really enjoy it. you get to hear from the people who are actually building at the frontier. Um, and yeah, Anthropic, uh, thanks, thanks for sending them over. Uh, okay. So, Alex and Brian have had early access to this model. >> First time. First time. They kind of let us in. >> We’re kind of blowing their minds with our cool demos. >> Yes. So, we have some cool demos. Not

[49:53] going to talk it up too much. >> Oh, >> don’t want to get the expectations set too high. Uh, but let’s um let’s show it off. I think uh Alex, if you want to go first. I am >> crossing my fingers right now because I have never tested allowing a guest to sh Oh sh I think it just worked. >> I’m sharing. >> My goodness. Hold on. >> Can you guys see it? >> Chat reaction. >> Boom. Hold on. Let me add you in. >> No, wait. That did not work. Alex,

[50:25] >> Robert G in chat says, “Jesus Christ, Alex just stared into my soul.” Are you looking at the lens? >> I was for a little bit. Yeah. >> So, >> Oh, wait. It’s just me. Hello, everyone. [laughter] >> It is just you. I’m >> Wait, Matt, we need the little cameras. >> Oh, [laughter] Alex. Oh, >> I know you know how to do this. >> Sorry, there was like a little bit of lag on my end. I just saw you look into the lens again. It It is It is a little jarring. I, Alex, do not know how to do this. >> All right, we’re doing it. Just me then. >> Yeah, you’re going to be half half

[50:59] you’re going to be on half the screen [laughter] and then half the Let me see if I can fix this. >> I think you could fix it, guys. Do we believe in Met? >> I I believe in >> No. What? Excuse me. >> Honestly, Brian, I wasn’t even asking you. [laughter] >> I think I’d believe you or sorry, in you if you were using OBS, okay, I’m still an ecam hater. Um, oh, hello. Look what I just did, friend. >> Oh, proving them wrong. [laughter] >> Guys, don’t worry. We’re fixing the

[51:29] demo. >> Hey, that looks great. >> Yeah. Let’s see if I can potentially >> Oh, yeah. That’s a good [laughter] good point. Hey, if you’re so good at ecam, how about we come on stream? >> Right. >> No. So, what we’re gonna Yeah. Oh my gosh. [laughter] >> Max are better. I’m watching such a laggy feed, by the way. I’m like reacting really late. >> Yeah. >> All right. I don’t think I’m going to be able to add in a second person, but I’m going to try. Let’s see if I can go ahead and uh

[52:00] >> Well, Alex, I got a question for you. I’m finding a way to watch this stream like in its live feed, so I can be Where where do you watch it? >> I’m just watching it on YouTube, but I have like a five second delay. >> Oh. Oh, I got to click the live button, bro. [laughter] >> I guess that would be why you have a delay. Yeah, >> I was like, “Yeah, man. Why is Why is Star still on? Weird. >> I’m uh I’m prompting my model to do this.” >> Nice. >> So, hopefully it doesn’t end the stream.

[52:33] Here we go. >> We’ve got a a context. Uh Piggy, he wants a little bit of red carpeting of what’s going on here in chat. >> Okay. For all the context, would you say context piggy is out? >> I did say context piggy. Yeah. >> So, we were fortunate enough to get early access to Opus 5.5. And the very first thing that I did was tell it to download Unreal Engine and make a Dark Souls like game in Unreal Engine. And in one shot, it blew my mind. Um, I’ve

[53:07] never had AI do anything with Unreal. So, uh, Matt, if you don’t mind, I’m just going to get into this while you’re >> Give it Let me Let’s talk for another 30 seconds. I think >> my model might be a Yeah, it is laggy. >> Okay, >> I’ll say that. It is laggy. There’s not much we could do about it right now. That’s okay. >> Alex, let me give you my thoughts here. >> Oh, you’re in, Brian. You’re on the screen. >> Oh. Oh, I should be I should be setting up then. Alex, here’s my question about this. >> Yes. >> I don’t care about the graphics here, man. Uh, I I care about how hard it is. Okay.

[53:39] >> Oh, okay. >> Are you crushing this or is it crushing you? >> No, I’m crushing it. But also, I’ve been playing Dark Souls games for like a decade and have like, you know, 10,000 hours in them or something like that. So, [laughter] >> and like when you >> a big number, maybe like 5,000. >> Alex, for this game that you’re about to show off, when you’re playing it, does it feel like, yeah, this is actually fun and yes, I would actually play this? >> Yeah, I think so. It needs a little more polish for sure, but as like a this is like a two prompter and as a two-prompter it it it’s insane. It’s

[54:13] really >> I love that vibe code answer because [laughter] it’s like you know >> Yes, but yes, but >> I think I think every everything you make with AI on a first a first go, right? Nothing’s ever going to be like >> Matt, I think you lied. I don’t think I’m on screen. >> You definitely are on Oh, it’s preview mode. It’s [laughter] pre Oh. Oh, there I am. Hold on. >> No, no, you’re coming on. >> Live stream. >> You’re coming on. Hold on. >> Put yourself on, too. >> How about that? Publish.

[54:45] >> I think here we are. >> I think we’re on. And like your inventory. >> Yeah, it’s still working on it, by the way. So, we might move around a bit. Uh, but we’re all on. So, let’s get into it. >> Let’s get into it. >> Let’s do it. >> So, this you have to be careful here. >> We We have a 3D artist in chat, by the way. So, >> oh, and can you just can you just say whether when you’re playing the game on your machine it is this laggy or is it smooth? >> No, not at all. It is at running at 120 fps. It’s perfect. I’m starting to wonder if you vibe coded a game or like

[55:20] a really detailed PowerPoint slide. [laughter] >> Yes, frame by frame. >> PowerPoint. So yeah, this is Ashen Gate, believe it or not, that is named by Opus [laughter] Dark Souls like it’s got pretty much all the like core Dark Souls features that you could you could have. And all I said was make a Dark Souls game in Unreal. I didn’t give it any like crazy prompt. It just came up with everything basically. >> Did you use Slash Goal? >> I did not use Slash Goal for this. It

[55:50] did work for I want to say like 28 hours or something like that. >> Wow. It took a really really long time. >> Show us around. Crazy. >> Yeah, it’s >> been a while since I’ve typed slashgo. I’ve been I’ve been just using things in natural language and saying like keep working until it’s perfect instead. >> Yeah, me too. Me too. >> Um, this is a local file on your computer, right, Alex? >> Yeah, it’s actually an .exe, so it’s not even no browser, no nothing. just like

[56:22] actually made an Unreal and >> I’m I’m so >> No one can play this unfortunately. >> If if Matt had this and could play it on his machine, this would be a different level presentation here. [laughter] >> Yeah, I realize it there’s no way to send it to Oh yeah, it’s .exe. Then I’m not going to be able to play it right now. >> Alex, a couple questions for you. >> Um >> yeah, >> how uh So you said this took 28 hours. Do you have a sense of how many tokens it used during that 28 hours? No, because it was a little confusing token count. Like when I look at the

[56:54] days, some days it says I only spent a couple thousand tokens, which I I know is not correct. Uh it’d have to be in like the hundred to like billion token usage range cuz this game is huge. There’s So So we won’t play the whole game. We’ll get through this boss and then we’ll move on. >> But uh there’s six worlds. >> Yeah. >> Record your screen then send it over to Matt. Uh yeah, actually Matt, if you want to look at my Twitter, I have a Twitter video of me doing this. >> Ah, there we go. Um, but anyway, there’s

[57:26] there’s six worlds that it made. Like, it built out an entire game. There’s a final boss, there’s there’s NPCs, uh, there’s like a full upgrade system, and uh, so that’s why it took so long to make. >> Okay. >> Uh, and there’s, I think, like 15 bosses or so. Okay, I’m gonna share my screen because this is super laggy. >> Yeah, swap to Twitter. Yeah. Yeah. Yeah. >> Let How do I even do that? Oh [laughter] gosh. All right, I’m gonna take you guys >> call out.

[57:56] >> Oh my gosh. Um, I really do need to get better at this. >> Hey, it’s not a Matt Berman live stream without some technical difficulties. >> All right, I’m gonna show it off real quick. You guys are off screen for a moment. Here it is. >> Wait. >> Oh, that looks a lot better already. >> Watching. Watching. >> Oh, so many things [laughter] are happening. >> Oh, we got the codeex leak.

[58:34] Okay. Well, this is not working as well as I thought it would. Matthew Berman stream to start. >> Okay, so I’m just going to have to leave it here. This is what it looks like. >> There we go. >> Someone mentioned a Seiro in the chat. I I had that idea as well and it’s still on my mind. Maybe for the next model.

[59:07] >> Look how smooth it is. Okay, let’s be real. Searo and Dark Souls are the same game. >> Let’s not start that controversy. I think we need to kick Brian out of the stream. >> I don’t think you guys are on the stream right now, by the way. >> What? You can’t hear us? >> No, I think cuz we took you off. Brian and >> No, they can they can hear us, Brian. They can hear us. They can hear us. >> Oh, okay. >> What What proof do you have? >> False information. I watched the stream. [laughter] >> I don’t know. I’m only one on the screen right now. >> Chat is my proof. Chat is my proof.

[59:38] Oh, they can hear us. Oh, you can hear them. Okay, good, good, good, good. I’m having you guys added. Let’s see if I >> Matt. In this case, we should just go through my demos this way cuz I put all of them in this thread. >> Okay, let’s do that. I’m getting you guys added to the screen now. >> Cool. >> But yeah, you guys can see this boss has like >> this boss has like actual real design. He has a somewhat complex move set as well. He doesn’t just do the same thing over and over again. Um, he also has a second phase where he lights his sword on fire. I don’t know if you can see that very well.

[1:00:11] >> Um, and then if you get hit, you get your sword or you get lit on fire, but I don’t think I got hit in this at all because I’m a god gamer. >> Okay, a little bit of a brag there. Got it. How about um an ego hit here? You said this took 28 hours. If you didn’t use AI, how long would this take you? [laughter] >> Right. I straight up this would never have I would never be able to make [laughter] >> There’s no >> Oh, really? So, we have Alex, we have some questions. Uh, is it coded in C++ or via MCP and blueprint?

[1:00:43] >> Okay. Okay. Chad, what are the chances he knows this answer? >> He’s You’re prompting right now, aren’t you? >> Nope. >> Oh, you can’t see me on screen. I just looked at the camera and said question. >> You’re on screen. You guys are both on screen now. >> Good question. All right. What’s the next question? [laughter] Uh, why is there a black screen now? Okay. Um, let’s see. >> How big How big is the file? >> Unreal. >> How big is the file, do you think? >> I’m going to have to ask. Oh, no. I’ll just look at the folder size. >> Do not ask any of these me, by the way.

[1:01:17] [laughter] >> We’re vibing. >> Gareth Hood asked, “Can you >> three gigabytes?” >> Three. Oh, that’s not bad. It’s It’s like a single level, though. But still, it’s not bad. >> Yeah, this demo is just a single level, but it did make a full a full game. I don’t know how big the full game is, though. Gareth Hood asked, “Can you create Destiny 3?” >> Yes. >> Oh, you’re not going to like it. >> Oh, it’s not C++. Gareth is clocking it at HTML. >> So, got it. >> No, it’s >> No, it this is not HTML. This is made an un >> Guys, why are we having a serious response to that?

[1:01:48] >> Oh, wait. I think the stream stopped to X. >> Huh? >> Oh, no. >> What does stream to X mean? Yeah, we got disconnected >> on YouTube right now. >> Oh no. Get us back, Matt. >> I’m trying. Hold on, guys. The show stops if X is not watching. >> One of my favorite things I’ve I’ve encountered with Opus 5.5,

[1:02:21] it’s going to come with a con and a pro, and a really big pro, is that it thinks for a really long time. It might be doing stuff while it’s thinking, but it it one of my prompts thought for a full entire day before starting making the thing. When it got back to me, that thing was nearly flawless. It my mind exploded. I unfortunately don’t have that demo on X because I tried to prompt more and I broke it. So, it’s not it wasn’t ready to go. But

[1:02:53] >> little human error there. >> Very very crazy. Yeah, very very much so. >> Do you think it uh do you think its thoughts meander? Do you think it thinks about other things while it’s thinking? >> Maybe like the meaning of life. >> Definitely. No, I don’t think so. I think it’s actually really good at following what you ask it to do. Um, and maybe that’s a little bit of a fault where like if you don’t know exactly what you’re looking for, it still does the thing and then it’s not exactly what you were hoping the prompt would be. But that also might be a really good thing if you have a really detailed prompt, which you can have AI help you make if

[1:03:26] you need. >> Robert G is suggesting that the fix here for the X stream. >> Oh. Oh, man. You don’t follow Robert G on X. >> Oh man, that’s embarrassing. >> He said it crashed because you’re not following him, man. [laughter] >> What the heck? >> Uh, okay. Yeah. Yeah, >> the the flight sim. >> Flight sim. >> Oh, somebody says open AI is also dropping. What a day. >> What?

[1:03:59] >> All right, we’ll come back to that. >> Yeah. So, the flight sim was really cool because it it if you look at the very beginning of this met, if you go back, you can see all the I had to make a bunch of different like planes that exist. And so, you can like select and you could fly like a Boeing jet. Um, Matt, you’re not in the thread. >> Matt, this is a sponsored pose. >> No. No. Uh, no. It should be looking here. No, it’s just you’re not in the thread.

[1:04:30] >> I’m looking at Flight Simulator right now. >> There we go. Good. >> Oh, okay. You’re still not in the click into it. Yeah, we’re a little behind. >> Oh, Brian. I had I had a Brian blunder where I wasn’t on the live button. >> Excuse me. >> A Brian. >> We’re not making that a term. >> [snorts] >> We’ll see. Um [laughter] Matt, if you click the thread though, there are more tests. >> Okay, we’re showing it. >> Yeah. Okay. So, if you didn’t know, I

[1:05:05] got my start as an editor working for people who played Mario, custom Mario Hex, Mario Maker, etc., etc. And uh that’s how I met Brian as well. Um, >> heck yeah. >> And so one of the tests I had it make was just remake Mario Maker. And uh it this this is one shot I have not added or changed anything to this. This is all entirely done in one go. Um hopefully I start playing it soon. Um but yeah, [laughter] this is me just making a level. >> I love chat. Oh, the plumber game. Who

[1:05:38] on earth has ever referred to Mario as the plumber game? [laughter] Wait, Matt, you got to show me playing the game. >> Okay, it’s on. >> Right past playing the game. >> No, I I’ve been showing it. >> Matt, we can see we can see what you’re doing. >> You cannot see what I’m doing. I think it’s lag. >> I watch I watched you scroll the to the next one. Your ADHD kicked in. [laughter] >> What are these What are these invisible blocks here? >> Uh the those are on and off blocks. Um, it also made screen scrolling pipes,

[1:06:12] which is a I think 3D world feature if you’re a Mario guy. >> Um, hopefully I start playing level. Okay, there we go. Oh, and I died. Hopefully I don’t die again, right, guys? Oh, and I died. [laughter] Oh, I realized I’m I’m in not real time right now. >> Shell jump, dude. Nice. >> Shell jump. >> Yeah, >> he threw the shell off the wall and then jumped higher. What is that supposed to be? A thamp or what? Uh, I think they’re just spike blocks. No, >> I think it looks really good. The The

[1:06:42] only thing is everything looks just a little bit wonky. Like, especially the character. >> The character. Yeah, for sure. >> Yeah. We We don’t want to infringe IP, do we? >> No. No. No. Of course not. All right, let’s get through this next one. Rocket League >> is a really quick one. >> Did you say Rocket League Rogueike? >> Rogue like, sorry. Rocket Rogike. >> That’s a different game. [laughter] a Kaboom to the Moon, which is uh uh Opus named believe it or not. Uh it’s a rogue light where you get to build your rocket and you fly to different platforms, you collect coins, you have

[1:07:14] to avoid obstacles like birds. Um and yeah, once you land on the next platform, you get a little bit of money. I think you get like 120 bucks and you get to build onto your rocket. You have to do things like pay for refules and and things like that. Uh yeah, it’s very inspired by this game called Hedgehog Launch. I don’t know if you guys ever played that like a couple decades old now, >> but uh I loved that game as a kid and also Shopping Cart Hero. Two amazing games.

[1:07:46] Um but yeah, those are those are the main demos I made. Uh this one definitely took the least amount of time. I think this one only took a couple hours. Um the Dark Souls game I think took the longest out of all of them at about 28 hours. >> I mean, this one looks really good. Yeah. Also, you’ll notice if you go back to the very beginning of this, the menu it makes. I’ve seen a lot of tests on Twitter today that have this exact same style menu. So, Optus 5 definitely or 5.5 has its like preference of menu for sure. >> Oh, yeah. That’s what I got.

[1:08:18] >> All right, Brian. Uh, do you have a thread I can share? >> No thread. Let me just give you the stuff for you to put on your screen directly. >> Okay. I’m going to break the game streak here so we can look at an animation. >> Nice. >> Okay. >> Which the fellas have seen already. So, they’re going to have to do their best to give a fake wow here. But what what I love about this is that it’s not video generation. This is

[1:08:50] I’ve been excited about vibe editing. Too soon for the wow, Alex. Too soon. Um, [laughter] and and so I I love moving away from video generation. I love that this literally took frame by frame and designed an animation. Um, I prompted it quite a few times to get towards what I wanted. The shadows were wrong at first. The shadows had a a harsh line um hard cut inner shadow and I wanted that feathered to get the look

[1:09:21] that I want. But you know what? I think we should all soak this in. Uh, if you love the music, maybe clap along. I’m not going to, but [laughter] what do you think? Should we watch it? >> Let’s watch it. >> Let’s watch it. >> That means I have to click it. Here we go. >> Yeah, man. [laughter] >> I cannot hear it yet. >> Yeah, I don’t think the audio is going to be coming through, unfortunately. No, >> no. It’s so important.

[1:09:53] >> 70% of the presentation here, man. >> Yeah. I There’s nothing I’m going to be able to do right now on that. >> Brian, I Brian, Brian, Brian, >> Brian, sing the song. >> I can sing it. Yikes. >> You have frontier intelligence here, Matt. You need to point Opus 5.5 at your eCam. Tell them what’s going on. [laughter] Say that audio is not coming in. I hope it can fix it. >> Guys, don’t forget to watch the YouTube video where all this stuff is cut out. >> [laughter] >> Um, I think you’re going to have to share this one. I don’t think I’m going

[1:10:24] to be able to do it because it it I remember this problem last time. >> Oh, okay. Okay. So, like I I can just drop this link to people in chat, honestly. >> Yeah, exactly. Drop the link. People will have to go watch it themselves. >> And you should watch this. This thing’s really really cool. >> All right, chat. This is like two minutes long. Hopefully, no one’s >> You’ve never watched or played like serious Sam? This is very serious Sam. You’re just pointing out that it’s in a desert, aren’t you? >> No. Serious Sam’s like a stickman fighting game. >> Okay. >> No, it’s not. >> No, it’s not actually.

[1:10:56] >> It’s Doomike. >> It’s It’s like a Doom game. >> You know what I think? >> Oh, I’m thinking about stickman Sam. >> Yes. >> Yeah. Stick man is like a stickman game, bro. [laughter] >> My bad. It’s not serious Sam like at all. But this I love that you brought this up though because this actually is very rooted in early 2000’s like internet animation culture >> like pivot >> because what I spoke to Opus 5.5 here is like I I spoke >> something that consumed so many hours for me as a kid. >> I I would watch these animations and

[1:11:29] what I told it was like you know I remember seeing this animation of a stick guy going into like a labyrinth stealing an idol. His rival shows up and fights him. other characters come in. Uh I like some of these characters are are from the initial prompt and you’ll see characters pop in here and there. So yeah, if you want to see the uh the animation, there’s a link there, but otherwise we can still move on and I want to challenge Matt >> to playing a little puzzle here. >> Nice. Nice.

[1:12:02] >> Let’s make do this live, huh? The thing is like Matt, we’ve seen you play Fall Guys and try to talk at the same time. [laughter] >> I’m kind of hoping that this goes even worse. >> All right. So, I’m playing TideKeper. I think I’ll I’ll what Brian did. And actually, maybe you just want to talk about why there’s like this bracket here. >> There’s a bunch of buttons around here, fellas. They’re lining the walls. We’re surrounded. But we’re not too interested in those. The the the real gem here is Tidekeeper. But uh the initial prompt

[1:12:35] here was, “Hey, Opus 5.5. I want a great puzzle game.” GPT6 Luna is out. >> Oh man. >> Busy day today, huh? >> I mean, shoot. I love Luna. What the heck? >> Okay, I’ve got to say my stupid stuff because this is far less important. >> Let’s get through this quick because I’m gonna go record another one for that. >> Okay, quick, quick, quick. I said make a bracket. Make 12 puzzle games. I don’t want just one. Put them in a bracket and judge which one’s better. And then they all went all the way through the

[1:13:05] bracket, kept on going headtohead, and we ended up with Tide Keeper. But who cares? I honestly think we should just talk about Luna, dude. Luna’s life changing. JBD Six Soul is out. Fellas, am I alone in this room? >> Yeah. No, I’m here. I’m just playing the game. Okay, let’s let’s take a look. I think I’m >> fivecoded slop instead of talking [laughter] about GBT6. >> I think about GBT6. >> I think let’s just find it quickly and

[1:13:37] then I might end the stream and go record. >> You’re thinking stream. Share what? Share what >> stream. Do you chat? Do you think Matt should end stream to go record an offline video? >> Oh, and look at this. Grockot up. >> Yeah, I know. No, I All right. I guess I could keep streaming guys on Tesla. Keep streaming. Crockpot on Tesla. You wouldn’t know about that, right, Matt? >> Nope. Uh, >> unless you you really can’t. Okay, never mind. [laughter] >> Holy crap. Look at this. >> Great live stream we’re having today.

[1:14:09] [laughter] >> Okay, I need to I need to Okay, I’m going to say a few more things about Opus. Um, >> and I’m going to kick you guys out of here. >> A See you guys. Thanks. It’s good to see you. Bye. Bye. Bye. Bye. Bye. [laughter] All right. All right. I’m going to talk about a few other things now. So, let’s test test. Can you still hear me, everybody?

[1:14:44] Test test. All right. All right. So, I want to talk a little bit more about Opus 5.5. Then we’re going to go and check out new models. Um, okay. So, I love artificial analysis. I love uh how how they basically run an index of different benchmarks. And we’re going to look at uh how Opus 5.5 has performed on artificial analysis intelligence index and also it talks a lot about cost per task. So, what do we know? Opus 5.5 brings

[1:15:20] anthropic to parody with Astra on evaluations like terminal bench and automation bench. We already know that. Here’s the key. Here’s the key. It is number one a massive jump. Massive jump on the artificial analysis intelligence index. Usually we’re getting like a onepoint difference. No. No. This is a fivepoint difference from Fable 5.1 max. Unreal. This is unreal. The absolute frontier is no longer

[1:15:50] fable. Okay. I think that’s about all I have to say about this model. So, I’m going to end the stream or not end the stream. I’m going to end this video uh ship it off and then we’re going to start a new one and we’ll keep streaming and we’ll talk about the new uh GBT6 Soul in Luna.

[1:16:28] All right, so it looks like we’ve had multiple model releases today. This is Claude Opus 5.5. It is currently until I go review GPT6 Soul, the absolute frontier of intelligence. And I’m super excited to try it. I encourage you to go try it. Go check it out. Thanks for watching. All right, give me a sec. I’m going to reset.

[1:17:10] and then we’re going to start talking about GBT 5.6 Soul. So stick around. Maybe I’ll rename the Dream.

[1:18:18] All right. So, I I don’t see anything about soul. I do want to talk about MIMO, which is an open- source model from Xiai. Um, am I missing something? Okay. Nothing from Chat GPT. Guys, you said Soul is out, but I do not see it. Check the desktop app. No. Um, let’s see.

[1:18:59] It is out. People are saying it is out. Oh yeah, it’s it is coming. Yes, it is out. I guess a lot of people are saying it’s out.

[1:19:29] All right, I think I’m gonna end the stream here for a minute and I’m gonna go record separately. Um, do you guys want to you want to stay on and just wait for all the GPT6 Soul and and Luna to come out and you want to want to do it live? What do you think? They haven’t announced it yet. It might be in the app, but they haven’t actually announced it yet.

[1:20:01] Yeah. Live. All right. All right. We’ll hang out. We’ll do it live. Cool. All right. I’m going to restart the recording. Click. Yeah, they haven’t actually released it yet. Uh, it might be in the app, but they maybe jumped the gun slightly there because there’s no blog post about it.

[1:20:51] Let’s see. I don’t see anything yet. This seems really cool. Uh, Grockbot in Tesla. Uh, so if you own a Tesla, you can now manage your Grockbots from your Tesla, which is really incredible. Um, I am so deep in Grockbot. I was thinking uh about making a video specifically about how I’m using Grockbot. Uh, because I I’ve been just using it like crazy. Uh, and it’s been taking on more and more of work, just like the boring work, whether it’s

[1:21:22] triaging emails. Um, Marmar Labs, thank you very much. I appreciate the the super chat. [laughter] Uh, yeah, I will be at dev day. Who else is going to dev day? It’s okay. People are saying it’s live. If you’re going to dev day, let me know. If you see me there, come say hi. I’d

[1:21:55] love to meet you. Marmar, thank you again. Boy, scrolling uh Twitter is not the best idea on live stream, but I’m doing it anyways. Ford future Brian, they wouldn’t let me in. It’s too bad, man. Uh, okay. So, let’s look. Did they announce it? Not yet. Not yet.

[1:22:31] Yes, I think somebody in fact did jump the gun, Robert says. Yes, Robert G., I think you are right about that. Um, it’s too bad that I’m not streaming on X anymore. That’s kind of annoying.

[1:23:06] Okay, I’m trying to get the extreme working again. Confirmed. Luna 6 and GBT iOS app. Yeah, let’s see. Let’s double check. Um,

[1:23:40] I will open up the chatbt app. Let’s see. No, I don’t have it yet. Let’s let me try restarting. Nope. I do not have it yet, by the way. I I don’t know. Can you see this? Yeah, I do not have it yet.

[1:24:13] All right. Well, I guess I’m waiting, but maybe in three minutes we’ll have it. Oh, people are saying they have it. Oh, you have to update your app. Okay, let’s try that. Um, I’m going to update the Chai GPT app. Uh, there does not seem to be a new update for it. I’m on Android, so maybe it’s uh slow

[1:24:45] forward. Future Brian says he has both. Oh, the desktop app. Okay, let’s try that. It is currently working. Uh, I don’t have an update, so I guess I’m not part of the cool kids. Uh, congrats, Codeex. Codeex. Yeah. No, I’m looking at Codeex. I don’t have an update yet. Well, let’s see. Maybe it’s already in mine. Oh, I do have it. Yes. Look at that.

[1:25:20] I have it. Okie dokie. We’re in. Yes. Uh well, I want to talk about it once they actually release the blog post on it. Um so I’m going to restart this. Let’s restart chat GPT.

[1:25:59] Yep, there it is. GPT6 Soul Ultra or just Soul. Ultra is the thinking setting. Yeah, we got it. Okay, so I see Soul and Luna. Okay.

[1:26:35] Yeah. Okay. So, it’s there. And I think maybe in one minute we’re going to get all the info about it. Let’s keep refreshing. Yep, there it is. Boom.

[1:27:13] Soul and Luna. No reset available. I have like three resets banked right now. Maybe Tibo’s going to come through. Okay, so it is officially 11:00. Let’s see if we get anything here. Let’s check the OpenAI blog.

[1:27:51] Nothing yet. Nothing yet.

[1:28:24] By the way, I think they um so OpenAI’s dev day uh is going to be next week, I believe. And I’m pretty sure they’re going to launch a Muse Grockbot Instinct competitor which will be very interesting. And I suspect chat chat.com will become that kind of AI personal assistant from OpenAI. Yes, Soul is out. Yes, soul is out. They haven’t announced it yet, but if you go into Codeex, it is showing for

[1:28:54] everybody. And since the embargo is uh the embargo they are let’s see yeah okay so the embargo is lifted I I have had early access to this new model.

[1:29:26] These two new models, GPT6 Soul and Luna, they haven’t published the blog post yet. Um, but everybody’s seeing it, so I can talk about it. Plus, it’s after um 11:00 a.m. And as soon as we get as soon as we get access to the blog, I’ll start uh talking about it because then I can actually say intelligent things about it and not just ramble. Um,

[1:30:07] so it seems like a lot of people are getting access to GPT6 uh Soul and GPT6 Luna. Luna is one of my favorite models. It is so good, so cheap, so efficient. Um, I actually didn’t know what models I was testing. Uh, but here we are.

[1:30:41] I wonder when the blog is going out because they have not announced it yet. Let’s see. Not yet. We’re just going to hang out here, I guess, till it comes up. Busy days for busy day for models. Yes, that is uh that is very true. Do Gallagher, hopefully I’m pronouncing your name right. Yes, very busy day for models. Google needs to drop a model now. The

[1:31:11] next Muse from Meta needs to be dropped today. Just Just drop all the models. And by the way, it’s only Tuesday. It’s only Tuesday and we’ve already had Gro 4.7. We had Opus 5.5. And now we’re getting GPT6 Soul and Luna. Google is sleeping. Yeah. Where are they?

[1:31:51] Yeah. So, uh G like we should it should be any minute now we will get the blog post and the announcement about GPT6 Soul and GPT6 Luna. Very very excited about these models.

[1:32:40] It’s out. Okay, let’s see. No, nothing. Nothing. Where are you seeing this? Where where are you seeing the blog post? Am I looking in the wrong place? I see blog post is out.

[1:33:10] No, I don’t see it. What am I missing? I know. Uh, Okasuku Okasuko. I know I I spent the last hour and a half covering Opus 5.5. So, uh, I think you you might have missed that part of the stream.

[1:34:00] Let’s see. Let’s see if we can find it. Where would it be? Company blog. Yeah. Company news, right? No. I do read chat. I do read chat. Yes, I do. Uh, go to the latest Astro 6 blog post. Scroll down and click through to loan

[1:34:34] it. Okay, so the latest Astro Blog. Astroblog. Okay, I’m working on it. Give me a sec. Open AAI astro blog. Why wouldn’t they have had their own? Here we go. Boom. All right. Thank you. Thank you. Thank you for

[1:35:04] pointing this out. We have two brand new models from OpenAI. GPT6, GPT6 Soul and Luna. And this comes on the same day that Anthropic dropped Opus 5.5 and just yesterday Grock dropped Grock 4.7. So this is a modelfilled week and we’re going to check out this model together.

[1:35:39] All right. So, I’m going to read through it and then I’ll I’ll uh we’ll read through it together and then I’ll record. Earlier this month, we introduced Astra, the most intelligent and aligned model in the world. By the way, if you’re watching, uh we’re going on almost two hours of the live stream, so or over an hour. Uh I would love a like if you can. I would appreciate it. Thank you. the most intelligent and aligned model in the world. While the most demanding and important projects still call for

[1:36:10] Astra’s full depth, work happens at different scales, rhythms, and budgets. That’s why we’re announcing or that’s why we’re expanding the GPT6 universe with GPT6 Soul and GPT6 Luna. Crazy crazy day. Drop a like. Yes, drop a like. Thank you, Kyle. Much appreciated if you do. Thank you. Um, so as expected, we trained GPT6 Soul and Luna with similar methods as GPT6 Astra,

[1:36:42] bringing the advanced bringing the advances behind Astra’s state-of-the-art performance in professional work, factuality, coding, computer use, and alignment to faster, more affordable models. Now, if you remember when GPT6, sorry, when GPT 5.6 six Luna had that 80% price drop. It became one of the most compelling models on the planet to use. Extremely fast, extremely cheap, and still very high intelligence. And so now we get an updated version of what I

[1:37:12] consider to be my favorite model. Um, and wow, it looks like it’s cheaper. Unbelievable. Okay, let’s start with the pricing. We usually start with the benchmarks, but we’re going to start with the pricing. So, this is GPT 5.6 Soul versus GPT 6 Soul. A 50% price reduction. Now, if you remember, Terra and Luna, 5.6 Terra and Luna both got significant price reductions. GPT6, sorry, GPT 5.6 Soul

[1:37:46] did not. But now we get a 50% price reduction on the new Soul model. And Luna with an already 80% decrease previously gets another 50% decrease. So we are at $2 per million input tokens and $10 per million output tokens for basically one step under the absolute frontier which is Astra. We also have GPT6 Luna coming in at 10 cents per million input tokens, 50 cents per

[1:38:19] million output tokens. So good. Yeah, the pricing is nuts, Kyle. Yes, this pricing is incredible. The these are true workhorse models and specifically Luna. And Luna can probably take on 90 to 95% of all the tasks that you have to give it. It is a great model. Uh, yes, I can do a little zoom. There you go.

[1:38:53] All right, let’s look at some benchmarks. We have Automation Bench here. Oh, look at these cute little icons they have for the uh for the points on the chart. Very cool. Okay, so unfortunately in the chart they only have Claude Opus 5. Claude Opus 5.5 was released an hour ago. So it doesn’t h So they don’t have it on this chart yet. But right now, if we look at it, that’s where it is. Cost per task all the way over here on the right. Um, let me

[1:39:23] restate what we’re looking at. This is automation bench. On the y ais, this is the score. Higher is better. On the x axis, this is the cost. Left to the left is better. That is lower cost. And so, where you want to be is in this a sorry, is in this quadrant right here. Okay, this is the money quadrant. This is where you are the best and the cheapest. So if we are looking at five no let’s let’s look at 5.6 soul first. There it is. Okay. And then if we

[1:40:00] switch to GPT6 soul, we get a significant what looks to be about a 50 a 50% cost reduction. Exactly what it said. And and it’s better. And it’s better. I was actually expecting like a bigger jump, but let’s see. At max effort for 5.6, we scored a 28.8 on automation bench. And then for GPT6 soul, interestingly, extra high took the number one at 33%. Now, Astra is still

[1:40:31] the number one model and you are going to be paying for it. And interestingly, so you can kind of think as Opus 5 point, you can kind of think of Opus 5.5 as the soul. Wait, let me let me make sure I do this comparison right. Astra is to five. No, I’m going to get this completely wrong. Okay, Astra is to GPT6 Soul as Fable 5.1 is to Opus 5.5. Okay, I got through that. Um, and so

[1:41:04] interestingly enough, Opus 5.5 is actually the best model in the world right now. Better than Fable and not a little bit better, like quite a bit better and cheaper and faster. But what we see here is Astra is still OpenAI’s best model. And we now have a much cheaper version. It’s not quite as good. Look at the soul right here, right? And then the the top model. So, if you need the absolute best answer, you are going to be paying for Astra. But if you want more of a workhorse model, it’s right here. Now, here’s the interesting bit.

[1:41:37] Here is where Luna came in. So, definitely again, like if you look at the curve, Luna is not is by far it’s not Luna is the worst of the three models, but you are paying a fraction of the price. Even at look at this at the loweffort setting it, you know, has quite a low score, but it’s extremely inexpensive. I mean, if you use it on max, you’re getting above a 20% score on here, and you’re paying less than 5 cents cost per task. Unreal. Unreal.

[1:42:11] Very cool. GPT6 Soul also exceeds Claude Fable 5.1 at far lower cost and even beats loweffort GPT6 Astra. So these are cost per task although I think this is automation bench that they’re showing here. So here’s Fable with Opus 5 fallback. You know, all of this all of this blog information is pretty much dated at this point because Opus 5.5 is here.

[1:42:44] Here’s agents last exam once again. Wow, look at this. The high effort. I love when it’s weirdly spiky like this. Like what would be the reason for that? Um, we still see GPT6 Astra is the best, but look at Soul right behind it and pretty significantly less expensive. Um, so for the extra high setting is coming in uh just under $2 per task completed, whereas for the medium setting on Astra,

[1:43:17] it’s coming in at what looks to be about like $4.50 per task completed. So significantly less expensive. Here’s factual error rate on difficult prompts. Okay. Uh answers with any factual error. So you want lower. Actually lower is better. And cost per task. Same thing. You want to the left. And so Astra number one least factual errors but soul. Oh interesting. This is okay. So this is soul 5.6 six which has more

[1:43:54] factual errors but if you look at soul six it pretty much performs the same only slightly more factual errors but you are paying a fraction of the price so this is the workhorse model [laughter] yeah um yeah dang bro we just had thic on here excited and they didn’t even give five minutes to shine before they dumped two whole models on them. Yeah, it’s it’s a crazy world. And you know what? We benefit.

[1:44:27] Uh here’s Frontier Code. Maybe they’re going to include Sweetbench. Uh but here is Frontier Code. Once again, we’re seeing Luna coming in very strong, especially Luna Max, 11cent cost per task. Comparable with Soul Medium, 80 cents per task. comparable with Astral Low, a $1.70 per task. Here’s Opus 5 all the way over here. But again, Opus 5.5 is out. Oh, here we go.

[1:44:58] Deep Sweet. That’s what I meant, not Sweetbench. Okay. And now we have what I believe is the best, most accurate benchmark for determining how good a model is at aentic coding. This is typically the best reflection of the engineering ecosystem and what people are actually thinking about the model. So let’s take a look at where it falls. Here is GPT6 Astra Claude Fable 5 all the way out here. So once again on the Y-axis we have the score higher is

[1:45:28] better. On the X-axis we have the cost per task. To the left is better. And look at that. Unreal. GPT6 Luna Max 66.6% 22 cents cost per task. Phenomenal. absolutely phenomenal and only slightly better. Let’s see 66% versus the absolute frontier of this is 74% but you are paying $443 per task completed versus

[1:46:00] 22. I am such a big fan of Luna Luna Max in particular. Luna Max for computer use, browser control, all of that. Here’s OS World. Speaking of computer use, uh let’s see what we have here. Astra still at the absolute frontier, but Soul right behind it. Um here’s Luna doing pretty well. Definitely like significantly far behind

[1:46:31] actually. So this gets a 53% versus a 73% for Astra. Luna verse Astra. All right. So availability GPT6 soul and six Luna are available in chat GPT work and codec starting today for all plus pro business enterprise and edu edu users. Free and go users can access GPT6 Luna in the

[1:47:05] desktop app and these models are not yet available. So yeah, uh, someone brings up a good point. I need to put together a little chart comparing Soul, Luna, and Opus 5.5. I’m going to do that. Give me a sec. Okay. So, make me a chart comparing GPT6 Luna, Soul, and Opus 5.5 pricing and

[1:47:38] benchmarks. Okay. So, hopefully that’ll finish relatively quickly. Interesting. I don’t know why that did not work. Okay. When reset. Yes, I’m asking chat GPT for this. Yes.

[1:48:18] Yeah. And it is interesting. So, I’ll put Domo. Whoops. Where are you, Domo? Interesting that both Anthropic and OpenAI have reduced pricing on their new models today. Yes, it is interesting and I have some thoughts as to why. Um, when both of these companies are talking about pacing the frontier, this is what you get. You get efficiency, you get speed, you get price, but you don’t get absolute raw power and intelligence. That is what we’re seeing here. This is

[1:48:50] maybe the result of pacing the frontier. Now, that doesn’t mean they’re not building it internally, but that’s what we’re getting here. Now, also keep in mind, Fable and Astra were released recently. Typically how these model releases go is they release kind of the big foundational frontier model that is very expensive. Both Astra and uh Fable were very expensive. $10 per million input uh $50 per million output. And then over

[1:49:20] time in the coming weeks and months after that release, you start to get the more efficient models. you start to get the cheaper models, the more workhorse models, and probably either architecturally similar to those frontier models, the Astros and the Fables of the world, or possibly even distilled versions of them. So, that this is all expected and I’m very happy to see it. Now, I’m kind of torn. Do we want to see more efficient,

[1:49:52] better, smaller, faster models, or do we want to see what the absolute frontier is capable of? So, I’m I’m torn on that. All right. So right now I just tasked Chad GPT with creating a new graph, a new chart comparing GPT6 Soul, GPT6 Luna and Opus 5.5. Now there was no comparison of these two models because they both were released on the same day.

[1:50:28] Crazy. It’s crazy that uh we’re live streaming and Opus we found out that was getting released today. Opus 5.5. And then literally during the stream, all you guys were like, “Hey, Soul and Luna are out now.” I mean, what a day. So, I’m I’m having that benchmark or the sorry, I’m having the chart and the table created right now. Hopefully, it finishes soon.

[1:51:01] I’m using uh GPT6 Astra on high to do it. So we shall see. Um let’s see what else. So improving alignment. Astra is more aligned than GPT6 soul. So this is deception rate on coding deception. 5.6 soul much higher. Luna. Yeah. It’s interesting. It’s It’s like the smarter the model is, the more aligned it is, which is almost

[1:51:35] counterintuitive. Oh, and we just heard Tibo confirmed a banked reset. Let’s see if that’s true. GPT6, Soul, and Luna are out. Not only are they a very significant improvement across the board, but also in writing in general. You know it when you try it. Quality. We are also permanently reducing the API price by 50% making both of them viable for a ton of new use cases and making your usage go even

[1:52:08] further too even on the subscriptions. And one more thing we are loading a bankked reset into all accounts of our pro of sorry of our plus pro and business users. Let’s go. Thank you Tibo. Awesome. Awesome work. Very very cool here. All right.

[1:52:46] Okay. Let’s see. Okay. So, we have some charts. I’m going to share. Hopefully, I can share my screen. Let’s see. Let’s see. Okay. Can you all see that?

[1:53:25] Okay. So, I think you can only see some of it. Oops. All right. So, uh, I had Astra put together this graph so we can actually see GPT6, Soul, Luna, and Opus 5.5 all released on the same day on the same charts. Let’s look. So, what we have Luna,

[1:53:57] starting with Luna, by far the cheapest. Look at that price. Luna 10 cents per million input tokens, 50 cents per million output tokens. Compared to Soul, $2 per million input tokens. Sorry, $2 per million. Yes, soul $2 per million input tokens. Soul, $10 per million output tokens. Opus 5.5, still the most expensive, $4 per million input tokens and $20 per million output

[1:54:28] tokens. Now, how do they compare? Here is Frontier Code Luna 42.4% Soul 49.3% and Opus 5.5 at 54.4%. So Opus 5 So Opus 4 sorry Opus 5.5 is still definitely the best. Okay, but here’s what’s interesting. Look at the delta in performance on Frontier Code between these three models. They’re all off by about six to

[1:54:59] seven percentage points. But if you look at the pricing for them, it’s multiple times difference. We have 10 cents versus $2 verse $4. And this goes towards the narrative that paying for the absolute best answer is expensive. It’s like the 8020 rule. Uh that that additional that last 20% is where all of the revenue goes to. That’s all where a lot of the value gets captured. People are saying to fix my screen.

[1:55:33] Okay. Uh Okay. Give me a sec. Sorry everybody. I see. I see. Okay. Thank you. Thank you. Give me a sec. All right. There we go. Please scroll. Sorry about that everybody. There we go. Now you can see it. Um okay. So we have Yeah. Opus. And then let’s look at Automation Bench. We have Luna at 20%. This is kind of a bigger delta between the models. Soul at 33% and Opus 5 Opus 5.5 at 40%. Now here’s

[1:56:05] the cash pricing. One penny for reads, uh 12.5 cents for rights, soul, 20 cents for reads, $2.50 for rights. Opus. Interestingly, same amount for the uh cash reads, 20 cents, and then $5 for the rights. [laughter] Um, very, very nice. So, yeah, look, these are all three incredible models. Opus is definitely the best. In fact, I

[1:56:36] think Opus 5.5 has the crown for the best model on the planet by far. Now, let’s see if Yeah. So, here it is. By far the best model on the planet is Opus F 5.5 right now at 58 on the artificial analysis intelligence index. And let’s see. I don’t think I don’t think uh Soul and Luna are on the artificial analysis intelligence

[1:57:11] index yet. So, incredible models. Check them out. Um, I have some tests. I’ll probably put those tests out. But yeah, go try all three of these models. They are phenomenal.

[1:57:42] I don’t know which one are you all going to use. Let me know in chat which one are you going to use. If you had to choose one of these models to go with, what are you thinking? Luna Soul or Opus 55? Luna 55. I just like a lot of people are saying 5.5, some people are saying Luna. I just think especially given how generous Open AI is with their resets is with the

[1:58:17] quota in general, it’s hard to beat Soul. It’s it’s I mean it’s even harder to beat Luna, but if you even need that extra bump in performance, Soul is the way. Um I mostly have been using Chai PT as of late. Uh, but I’m going to start using Claude a little bit more now that Opus 5.5 is the absolute frontier and it’s relatively more affordable than Fable was. So, um, I’m going to be testing them out and we’ll see. I think like if I see that they’re Anthropic is

[1:58:52] quite generous with Opus 5.5 uh, quotas, then I’ll probably end up using that more. But I’m I’m just having fun with all these models. Um, so that’s it. Go try them out. If uh I’m gonna be releasing two videos on this, so if you’re if you haven’t seen, let’s see. And I just reviewed Opus 5.5 and you can go find that video right here. And enjoy. Thanks for watching. Uh, thanks

[1:59:25] for joining the stream everybody. I really appreciate it and I’ll do another one soon. Bye everybody.