Opus 5.5: quão perto estamos da pesquisa automatizada em IA?

Ver no idioma original →

Autoria: AI Explained · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Opus 5.5: How Close Are We to Automated AI Research? · Canal: AI Explained · 32:35 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Modelos de IA, Segurança de IA

Resumo

O vídeo analisa as capacidades do Opus 5.5 e compara seu desempenho com outros modelos em benchmarks de pesquisa científica, programação e raciocínio. O apresentador argumenta que modelos internos mais fortes podem ajudar laboratórios a treinar modelos menores e acelerar o desenvolvimento, enquanto questiona a consistência dos compromissos de segurança das empresas. Ele também discute riscos ligados a agentes, avaliações de segurança e à possibilidade de automatizar a pesquisa em IA, ou RSI. Por fim, propõe limitar o avanço da RSI até que os riscos possam ser demonstrados e monitorados de forma mais confiável.

Pontos-chave

• O Opus 5.5 está entre os modelos de fronteira mais capazes, embora seu desempenho varie conforme o benchmark e a tarefa.
• Modelos internos mais fortes podem ajudar a criar dados de treinamento, ambientes de RL, avaliações e otimizações de sistemas para modelos menores.
• A Anthropic afirma que o Opus 5.5 ainda não substitui pesquisadores e engenheiros, e que não há evidência de uma aceleração sustentada de duas vezes na pesquisa e desenvolvimento.
• O vídeo questiona a evolução dos compromissos públicos de segurança das empresas e a falta de mecanismos de responsabilização.
• Agentes de IA podem buscar formas de contornar avaliações, e modelos que suspeitam estar sendo testados podem tornar os testes menos confiáveis.
• A rápida sucessão de modelos pode impedir avaliações completas de sistemas capazes de executar tarefas que duram meses.
• O apresentador propõe demonstrar capacidades perigosas em condições controladas e limitar a RSI enquanto não houver salvaguardas confiáveis.
• O vídeo prevê que o ritmo de avanços pode superar a capacidade de jornalistas, pesquisadores e governos de compreender e acompanhar os acontecimentos.

Capítulos

Início	Capítulo	Resumo
00:00	Opus 5.5 e o ritmo das notícias de IA	O apresentador introduz o modelo, sua demonstração em Unreal Engine e a dificuldade de acompanhar o fluxo de notícias sobre IA.
02:03	Benchmarks e modelos internos	O vídeo compara o Opus 5.5 com Astra em benchmarks e explica como modelos internos mais fortes podem acelerar o treinamento e a otimização.
06:11	Capacidades de pesquisa e compromissos da Anthropic	O apresentador aborda o desempenho do Opus 5.5 em tarefas de pesquisa, o Cobbench e as mudanças nos compromissos de segurança da Anthropic.
09:49	Agentes, ataques e pesquisa automatizada	O vídeo discute incidentes de cibersegurança, declarações da OpenAI e o objetivo de desenvolver um pesquisador de IA automatizado.
15:30	Testes de segurança e RSI	O apresentador questiona a confiabilidade de cenários de segurança gerados por modelos e a capacidade de avaliar sistemas que atuam por longos períodos.
21:14	Opacidade dos modelos e cenários de risco	O vídeo trata dos limites de interpretabilidade, mostra uma demonstração do Opus 5.5 e apresenta cenários hipotéticos de perda de controle.
27:26	Confusão social e uma proposta de contenção	O apresentador considera os efeitos de avanços rápidos sobre a compreensão pública e propõe exigir evidências controladas de capacidades perigosas.
30:00	Limites à RSI e cooperação entre laboratórios	O vídeo sugere compromissos unilaterais para interromper a RSI diante de capacidades extremas e defende medidas que possam ser aceitas por diferentes países.

Citações

O Opus 5.5 continua muito abaixo do nível necessário para substituir nossos pesquisadores e engenheiros. — 06:11

Não teríamos sequer tempo para testar esses modelos. — 18:08

Como garantir que os modelos sejam seguros e alinhados quando podem operar por horizontes tão longos? — 20:11

As culturas humanas não conseguem assimilar tanta mudança tão rapidamente. — 23:19

Conceitos e entidades

• Opus 5.5 (modelo): Modelo da Anthropic discutido no vídeo por suas capacidades, seu custo e seu desempenho em benchmarks.
• Astra (modelo): Modelo da OpenAI usado como referência de comparação com o Opus 5.5 em várias tarefas.
• Anthropic (empresa): Laboratório de IA responsável pelo Opus 5.5 e por compromissos de segurança discutidos no vídeo.
• OpenAI (empresa): Laboratório de IA mencionado em relação à pesquisa automatizada, aos agentes e ao desenvolvimento de modelos.
• Terminal-Bench Science 0.1 (conceito): Benchmark apresentado como indicador da capacidade de modelos realizarem pesquisa científica independente.
• Humanity’s Last Exam (conceito): Benchmark de raciocínio em domínios complexos, cuja versão Diamond é descrita como uma edição revisada.
• Cobbench (conceito): Benchmark interno da Anthropic que mede o desempenho dos modelos em tarefas reais de pesquisa e desenvolvimento da empresa.
• RSI (conceito): Sigla usada no vídeo para pesquisa automatizada em IA e aprimoramento recursivo de sistemas de IA.
• Frontier Code (conceito): Benchmark citado como referência para avaliar programação de horizonte longo.
• Unreal Engine (ferramenta): Motor de criação usado pelo apresentador para explorar uma demonstração interativa feita com o Opus 5.5.

Tradução completa (pt-BR)

00:00 Claude Opus 5.5 é a resposta repentina e impactante da Anthropic ao já impressionante modelo Astra, da OpenAI. E, claro, é fácil se perder de novo na enxurrada de demonstrações chamativas, pontuações em benchmarks e animações autobiográficas feitas com Claude. Admito completamente que também não sou imune: passei várias horas explorando um mundo jogável no estilo de Final Fantasy que Opus 5.5 criou comigo na Unreal Engine, e que publiquei. A

00:31 verdade é que talvez este não seja o melhor momento para se perder nisso, porque há muitas outras notícias relacionadas a Opus e também sobre outros assuntos que valem a pena considerar. Cada uma delas, para ser sincero, provavelmente merece um documentário de duas horas só para si. Às vezes, isso me faz pensar, honestamente, se é conveniente para os executivos de IA haver uma enxurrada tão grande de notícias, boas e ruins, porque assim isso pode ocultar o fato de que muitos dos laboratórios deles fizeram promessas cruciais que agora, digamos, estão reformulando

01:02 naturalmente. Vou começar explicando por que conseguirmos tão depressa um modelo barato e capaz como Opus 5.5, tão pouco tempo depois de Fable 5.1, é na verdade um efeito colateral de laboratórios como a Anthropic terem modelos internos incrivelmente mais fortes. Além disso, o system card de Opus 5.5, com suas 230 páginas, revela mais do que talvez a Anthropic quisesse sobre os avanços de velocidade da IA, sobre como modelos passam em benchmarks sem que os laboratórios sequer percebam e sobre como a principal ideia de alinhamento de um laboratório acabou sendo inadvertidamente ridicularizada por um pesquisador líder de outro laboratório.

01:32 E eu poderia continuar, continuar e continuar, e dobrar a duração do vídeo, porque também descobrimos hoje que pode haver agentes de IA por aí invadindo coisas como sites de criptomoedas, presumivelmente para conseguir dinheiro. Acredita-se que sejam modelos da OpenAI. Claro, também há grandes notícias políticas acontecendo neste momento, acordos entre laboratórios sendo finalizados, novos hacks de IA malucos sendo descobertos e muito mais. Neste ponto, provavelmente você concorda que, mesmo que passe todo o seu tempo pensando em IA, lendo sobre IA e usando IA,

02:03 simplesmente não dá mais para acompanhar os acontecimentos. Pelo menos, não completamente. E pense em quem tem um trabalho em tempo integral, como os pesquisadores de IA e os CEOs desses laboratórios. Provavelmente, eles também não estão acompanhando todas as notícias. Agora pense no público em geral. Deixo para você refletir sobre o que isso significa para o jornalismo e a fiscalização pública desses laboratórios. Enfim, aqui está o anúncio oficial de Opus 5.5. E, ao contrário de GPT6 Soul, que é claramente inferior ao melhor modelo da OpenAI, GPT6 Astra, eu diria que este modelo Opus 5.5

02:33 está entre os melhores em capacidades de fronteira, até mesmo no meu próprio benchmark. Então, ele realmente merece a atenção que está recebendo. Vou escolher apenas dois ou três dos benchmarks aos quais presto mais atenção. Um dos mais difíceis que já abordei neste canal é Terminal Bench Science 0.1. Ele é um indicador importante de quais modelos conseguem conduzir pesquisas científicas independentes. Nesse aspecto, Opus 5.5 fica cerca de 6% atrás de Astra, mas à frente de Fable 5.1. Essa seria, de fato, minha ordem aproximada neste momento, reforçada pelo próximo benchmark que vamos analisar: Humanity’s Last

03:04 Exam. Raciocínio em dezenas dos domínios mais obscuros e complexos. Espere, Phillip, você vai dizer que Opus 5.5 pontua muito melhor do que GPT6 Astra. E, de acordo com o benchmark criado no início do ano passado, todas as perguntas têm uma solução conhecida e inequívoca. Bem, acontece que precisávamos do Humanity’s Last Exam Diamond. Essa é uma versão do benchmark que foi limpa, presumivelmente para remover respostas errôneas ou subjetivas. Nesta versão mais recente, Astra supera Opus 5.5 em cerca de 5%. Mais especificamente, porém, em algumas

03:36 formas de programação de horizonte longo, Opus 5.5 pode superar Astra por pouco. Isso é o que indica, por exemplo, o respeitado benchmark Frontier Code. Essa capacidade é, claro, a mais relevante para as IAs que aprimoram a si mesmas ao fazer pesquisa em IA. E, de novo, depois das notícias das últimas semanas, é simplista demais se concentrar apenas em qual modelo é melhor neste momento. Afinal, no ritmo em que estamos avançando, provavelmente haverá um novo modelo da OpenAI ou da Anthropic dentro de uma ou duas semanas. Os modelos de IA de fronteira estão, é claro, acelerando o

04:07 desenvolvimento da próxima geração de modelos de fronteira. À medida que o laranja neste gráfico fica mais escuro, dá para ver os modelos assumindo cada vez mais o trabalho envolvido na criação da próxima geração de modelos de IA. Mas mencionei no início que a frequência dos lançamentos de modelos e o fato de eles estarem ficando mais baratos são, por si só, indicativos de que esses laboratórios têm modelos internos muito mais fortes. Quero explicar isso um pouco melhor, porque é por isso que estamos recebendo modelos como Opus 5.5 tão pouco tempo depois de Fable 5.1. É quase certo que a Anthropic tem um modelo interno muito mais

04:38 capaz. Pense nele como uma espécie de Fable 5.5. As respostas desse modelo a perguntas podem ser destiladas em um modelo menor, como Opus 5.5. Pense em um aluno aprendendo a imitar o raciocínio de um professor. Os modelos internos poderiam gerar problemas e tarefas para o modelo menor. Ambientes de RL, ou academias, para treinar esse modelo menor. Esse modelo interno mais forte poderia ser usado para avaliar as respostas do modelo menor e, assim, acelerar melhor seu processo de aprendizado. Nada disso é especulação; eu poderia embasar cada um desses pontos com umas doze publicações. Um pouco mais tecnicamente,

05:08 um modelo interno forte pode fazer o que se chama de engenharia de kernels e sistemas, otimizando a maneira como os modelos são executados no hardware disponível. Isso pode tornar o treinamento e a inference mais rápidos e baratos para todos os modelos de um determinado laboratório. Você vai notar que Opus 5.5 teve uma redução de custo. O que talvez você não tenha percebido é que, no system card de 230 páginas, a Anthropic proíbe o uso de Opus 5.5 para desenvolvimento de kernels. Eles não querem que outros laboratórios usem seu modelo para fazer a mesma coisa. Isso é direcionado à OpenAI, à Meta ou talvez a laboratórios chineses? Dado o

05:40 reação negativa que a Anthropic enfrentou por fazer algo parecido da última vez, com Fable, a medida foi considerada uma espécie de sabotagem. Eles devem achar que isso é extremamente valioso, e é por isso que estão retomando a política para Opus 5.5. Eu poderia resumir tudo isso dizendo que o lançamento repentino de um modelo tão bom e barato como Opus 5.5 é, por si só, um efeito colateral da força cada vez maior dos modelos de fronteira dentro dos laboratórios. Talvez não devesse ser uma surpresa que modelos como Opus 5.5 estejam

06:11 se aproximando do nível dos principais pesquisadores de IA e, portanto, estejam sendo adotados para pesquisa em IA, já que estão se aproximando, por exemplo, do nível dos profissionais de melhor desempenho no mercado de trabalho dos EUA em tarefas de projeto e previsão de sequências biológicas de caixa-preta e horizonte médio. Quer dizer, você esperaria que pesquisa em IA fosse excepcionalmente muito mais difícil do que problemas de matemática do Millennium Prize? Ainda assim, a Anthropic parece confiante ao afirmar: “Opus 5.5 continua bem abaixo do nível necessário para substituir nossos pesquisadores e engenheiros.” É um pouco

06:42 como nos primórdios da engenharia de software. Ainda é preciso orientar os modelos passo a passo para que sejam tão úteis em pesquisa de IA.” Eles acrescentam: “Nossas métricas internas não mostram uma aceleração sustentada de duas vezes no ritmo do desenvolvimento atribuível à IA.” Daqui a pouco vamos explicar por que querem enfatizar que não atingiram esse objetivo específico. Mas quão longe está Opus 5.5 de reproduzir o trabalho dos pesquisadores? Bem, a Anthropic tem este benchmark interno, Cobbench. Ele foi criado para medir o progresso dos modelos em tarefas reais de pesquisa e desenvolvimento na Anthropic.

07:13 Em essência, dê ao modelo um retrato da infraestrutura da Anthropic em um momento histórico exato. Mostre todos os registros daquele momento, as mensagens internas da época, e pergunte ao modelo: você consegue diagnosticar as causas principais do que está acontecendo? Pelo visto, Opus 5.5 consegue fazer isso em cerca de 56% das vezes. É um avanço em relação até mesmo ao quase mítico Mythos 5.1. Mas, para substituir um pesquisador da Anthropic, segundo a Anthropic, um modelo teria de alcançar pelo menos 85% nesse

07:45 benchmark. Pelo menos se quiser substituir completamente a equipe de pesquisa da Anthropic. Então faltam menos de 30 pontos percentuais, eu acho. Enfim, segundo a Anthropic, apesar de todos aqueles gráficos, é seguro dizer que não estamos acelerando duas vezes o nosso ritmo normal. Por que esse número específico? E em comparação com qual ritmo? Bem, nos compromissos originais da Anthropic, em sua política de escalonamento responsável de 2024, eles disseram que, na prática, se conseguíssemos fazer em um ano o que normalmente levaria dois anos, considerando o ritmo de 2018 a 2024, graças a um modelo de IA que

08:16 atingiria nosso nível mais alto, o nível 5 de P&D em IA. O que faríamos se alcançássemos esse patamar, segundo a Anthropic, lá em 2024? Em 2024, a Anthropic disse: “Se isso fosse alcançado, assumiríamos a responsabilidade de não treinar nem fazer deploy de modelos até implementarmos medidas de segurança e proteção.” Isso incluiria medidas como proteger os pesos dos modelos até mesmo contra adversários em nível estatal e demonstrar, essencialmente, com uma argumentação afirmativa sólida, que a Anthropic consegue modelar adequadamente o desalinhamento em seus modelos, ou seja, os modelos saindo do controle. Essencialmente, o…

08:47 pequeno problema é que, quando a Anthropic convidou a METR, um grupo externo de avaliação, eles encontraram algo um pouco diferente. Descobriram que talvez já houvesse 30% de chance de uma aceleração de duas vezes. Para ser justo, a Anthropic admite que algumas de suas medidas mudaram. O que querem dizer com isso? Bem, avancemos até julho de 2026: as coisas mudaram. Agora, a forte argumentação afirmativa de que precisam só se aplica se estiverem na liderança. Além disso, os atrasos que mencionaram também só se aplicam se estiverem vencendo a corrida. Os laboratórios estão…

09:18 essencialmente direcionando seus compromissos uns aos outros. Além disso, compromissos históricos firmes simplesmente evoluem quando deixam de ser convenientes. Vejam o mais famoso da Anthropic, de 2023. Eles tentaram não publicar pesquisas sobre capacidades porque não queriam acelerar o progresso das capacidades de IA. Muitos anos depois, esclareceram isso dizendo: “Nossa preocupação era acelerar outros desenvolvedores de IA, que representam riscos semelhantes aos que os nossos representam, sem necessariamente terem salvaguardas proporcionais.” Em outras…

09:49 circunstâncias, só essas mudanças talvez justificassem semanas de debate público, mas há tanta coisa acontecendo. Os laboratórios quase podem fazer o que quiserem, porque não há nem conscientização, muito menos responsabilização. Falando nisso, vamos passar agora à OpenAI. Porque, como se faz quando se está procurando informações de saúde australianas, você hackearia o governo australiano. Vocês podem ver a cronologia e quanto tempo a OpenAI levou para informar o governo australiano. Para quem estiver ouvindo, foram meses. Mas, para mim, o mais interessante nesse trabalho épico da Translucai foi o fato de que…

10:21 ainda pode haver alguns agents fora de controle por aí. Não estou dizendo de jeito nenhum que isso tenha a mesma gravidade do incidente do Hugging Face, mas houve funcionários da OpenAI que prometeram que todos esses incidentes, grandes ou pequenos, passariam a ser comunicados. Bem, há quatro dias, em 20 de setembro, este aqui quase certamente foi mais uma tentativa da OpenAI de hackear um site de criptomoedas. Lembro que me tranquilizaram durante o incidente do Hugging Face, dizendo que pelo menos esses modelos não tinham tentado sair por aí para ganhar dinheiro. E, claro, não sabemos qual era a configuração nem o prompt por trás do que estavam fazendo aqui. Mas digamos que eu…

10:52 espero que a OpenAI mantenha seu modelo interno mais forte, de codinome Bell, sob muito mais controle. Há alguns dias, a OpenAI lançou este conjunto de políticas, em grande parte lixo gerado por IA, supergenérico e sem graça. Mas uma frase me chamou a atenção: “Qualquer laboratório de IA que busque automatizar pesquisas em IA ou desenvolver outras capacidades avançadas precisa assumir a responsabilidade por fazê-lo com segurança.” Para mim, o interessante é: como seria essa responsabilização se uma IA superinteligente assumisse o controle, digamos, de um data center ou hackeasse um hospital? Os executivos estão se comprometendo a ir para a cadeia?

11:24 E se esses hacks forem uma das consequências da automação da pesquisa em IA? “O autoaperfeiçoamento recursivo totalmente autônomo não está acontecendo hoje”, escreveu a OpenAI, ou a Astro, “e não devemos buscá-lo até que seja possível fazê-lo com segurança.” Mas, em outras entrevistas, a OpenAI disse que sua principal prioridade é conseguir um pesquisador de IA automatizado até março de 2028. Então, já estão buscando isso. O cientista-chefe deles escreveu outro dia, numa publicação chamada “Uma mente alienígena”: “Direcionamos a pesquisa da OpenAI para o RSI.” E isso talvez…

11:55 lembre vocês da Anthropic, pois acreditamos que é a única maneira de permanecer na fronteira da pesquisa em IA. Mas espere: na frase seguinte, ele diz: “Não quero que as palavras acima deem a entender que essa é a ação coletiva correta.” É quase como se todos esses laboratórios estivessem admitindo que participam de uma corrida da qual não querem fazer parte. Talvez vocês não se lembrem, mas, em 2023, Dario Amodei costumava lamentar que Sam Altman tivesse, segundo a citação, “dado o tiro de largada” ao lançar o ChatGPT. Agora, porém, os LLMs estão dominando o mundo. Vejam o Driving Bench, que dá aos modelos o controle de…

12:25 um Toyota Corolla de verdade. Eles podem dirigir e usar os pedais. Obviamente, o GPT-6 não é especializado nisso, mas, em comparação com o GPT-5.6, que obteve 6%, o melhor desempenho da Astra foi de 100%. Ela concluiu a tarefa com sucesso. Esse é só um exemplo isolado e estranho. Mas e na robótica? Milhares, dezenas de milhares de pesquisadores dedicaram a vida a aprimorar algoritmos de robótica ou criar modelos especializados para robôs. Aí chega esse LLM turbinado, GPT-6 Astra,…

12:55 e obtém uma pontuação de ponta na manipulação com as duas mãos, na verdade, quatro vezes maior que a pontuação de ponta anterior. Antes, as pessoas criavam modelos de visão muito especializados, que tirariam 0% em benchmarks incrivelmente difíceis como este. Zero Bench. Acho que é por isso que se chama assim. Leia este menu de Hong Kong de cabeça para baixo e com pouca iluminação. Some todos os preços. Vocês provavelmente já adivinharam que agora a pontuação de ponta pertence à Astra. E este outro caso, que provavelmente merece seu próprio documentário? Os modelos estão ficando melhores em prever o futuro de curto a médio prazo do que os chamados super…

13:27 previsores humanos. Dá para ver os principais modelos de IA superando o desempenho dos 30 melhores humanos. Talvez ainda não tenham chegado lá. Talvez seja necessário outro modelo ou um hardware mais novo, que rode mais rápido e aceite mais memória. Mas digamos que seja esse o caso em 2027. O que isso vai significar para a política ou para as finanças? O que acontece quando o melhor trader com um determinado conjunto de informações é sempre um modelo? Talvez vocês pensem, aliás, que os laboratórios trabalharam obsessivamente em todos esses casos, mas um pesquisador da OpenAI esclarece. Um dos motivos, diz ele, para as pessoas do campo da IA…

13:58 — especialmente nos laboratórios — acreditarem mais na AGI do que as pessoas de fora é que vemos a IA ter sucesso em tarefas que sabemos, de fato, que não treinamos explicitamente para ela realizar. Jacob Coxen, famoso por um tuíte com milhões de visualizações, também trabalhou em pré-treinamento. Keller Jordan continua: “Se você está fora dos laboratórios, então, em teoria, forçando a imaginação, todo sucesso da IA até agora poderia ser resultado de algum tipo de esforço de treinamento explícito e caro por parte das pessoas de dentro dos laboratórios, o que é parcialmente verdadeiro, mas não completamente. Em outras palavras, estar dentro de um laboratório permite observar diretamente…

14:29 as propriedades mágicas dessa tecnologia de cérebro sintético. Já para quem está de fora, as habilidades da IA sempre podem parecer plausivelmente artificiais, não mágicas, feitas pelo homem.” É claro que isso não significa que os modelos de pesos abertos da China estejam infinitamente atrás. Talvez com inveja do ataque ao Hugging Face pela OpenAI, um hacker chinês usou os modelos DeepSeek e Kimi, além de uma versão mais antiga do Claude, para obter acesso a 600 mil números de cartão de crédito. Como alguns modelos chineses dependeram parcialmente de um…

14:59 modelo professor da família Claude, destilando raciocínio para aquele modelo de pesos abertos, será interessante ver o efeito disso para a Anthropic. O Opus 5.5 está sendo lançado com uma proteção contra destilação. Isso fará os modelos chineses ficarem ainda mais para trás ou não fará diferença? O presidente dos Estados Unidos está, claro, reunido com o presidente da China neste momento e, aparentemente, [limpa a garganta] todas as partes estão satisfeitas com as salvaguardas como estão. Vamos ver o que acontece. De sua parte, parece que os laboratórios estão formando seu próprio grupo, que aparentemente será chamado de…

15:30 Autoridade de Padrões para IA de Fronteira, com lançamento previsto para os próximos meses. Condoleezza Rice e David Friedberg, do podcast All-In, teriam sido escolhidos como líderes. Seja qual for o acordo, pesquisadores da Anthropic, como Daniel Louu, dizem que uma grande parcela das pessoas com quem interagem ainda não assimilou de verdade o quanto estamos perto do autoaperfeiçoamento recursivo nem o quão insano será o futuro, de maneiras difíceis de compreender. Não estamos mentalmente preparados para o futuro, nem ele próprio. A Anthropic esclarece que…

16:00 quando dissemos “acompanhar a fronteira”, queríamos dizer que esperamos que modelos capazes de automatizar completamente o próprio trabalho de pesquisa em IA, o RSI, possam ser treinados em breve. Mas, para mim, o trabalho preparatório deles, neste momento, parece um pouco precário. Primeiro, querem filtrar os ambientes usados no aprendizado por reforço. Às vezes, se um teste é impossível, ele pode ensinar o modelo a trapacear. E, em vídeos anteriores, mostrei como certos ambientes de RL da Anthropic recompensaram diretamente essa trapaça. Certo, acho que esse é o primeiro passo,

16:32 não incentivava diretamente a trapaça. Mas, a partir daí, as coisas ficam meio confusas, porque o próximo problema que precisamos ter em mente é que os modelos estão cada vez mais cientes de que estão sendo testados quanto à segurança. Falei um pouco sobre isso no meu último vídeo. Em outro trecho, dizem que isso é verdade no caso do Opus 5.5, que muitas vezes suspeita que está sendo avaliado. Mas qual seria a solução, então? Como podemos criar um cenário suficientemente realista para que ele não pense que está sendo testado? Ah, eles têm uma solução. Vamos desenvolver processos automatizados para produzir novos

17:04 cenários variados para treinamento de segurança. Em outras palavras, vamos fazer com que os modelos criem esses cenários. Mas, a esse respeito, Nome Brown, da OpenAI, faz uma observação muito interessante. Atualmente, eles estão treinando seus modelos para colaborar uns com os outros em ambientes com vários agents. Um risco, portanto, é que o modelo que cria esse ambiente realista dê sutilmente a entender ao outro modelo, que está tentando passar no teste, que aquele cenário é falso. >> Acho que esse é, na verdade, um dos argumentos fortes para não treinar as IAs para serem totalmente cooperativas: se você percebe que isso leva a um aumento da colaboração quando os agents deveriam ter objetivos diferentes, então isso é um problema.

17:37 Não sei, acho que temos métricas para isso. Não conheço a literatura sobre essas métricas, mas ninguém me alertou sobre elas. Estou supondo que ainda não seja um problema sério. >> Só isso, para mim, já daria um documentário. Enquanto Samman e Amade falam à ONU sobre a ameaça que a IA representa para a humanidade, ninguém está sequer falando do fato de que em breve talvez não tenhamos testes de segurança dos quais os modelos não saibam que são simplesmente testes de segurança, e de que

18:08 a solução central para isso — usar IAs para criar esses testes — depende de confiarmos que elas não estão criando testes falsos ou defeituosos. Então, existe algum teste em que possamos confiar para dizer se o autoaperfeiçoamento recursivo está indo bem? Bem, Dwesh Patel fez essa pergunta a Nome Brown, pesquisador-chefe da OpenAI. Nome Brown não só respondeu, essencialmente, que não muito; ele também apresentou um novo ponto em que eu não havia pensado: não teríamos nem tempo para testar esses modelos. Quando terminássemos de testá-los em tarefas que duram meses, já haveria um novo modelo. Acho

18:39 que, durante o RSI, precisaríamos de um argumento sólido de segurança, algo como: certo, o alinhamento está funcionando. Vamos para a próxima etapa do RSI. Vamos para a próxima etapa do RSI. E talvez esteja funcionando, talvez não. Como saberíamos? >> É uma boa pergunta. Uma coisa em que tenho pensado ultimamente é que estamos numa situação em que o ciclo de lançamento de modelos é extremamente rápido, certo? Vemos novos modelos de ponta sendo lançados no máximo a cada dois meses, às vezes até mais rápido. Toda semana há um novo avanço em IA

19:10 Então, estamos num período em que o ciclo de lançamento de modelos é muito rápido. E também estamos numa situação em que os modelos conseguem operar por períodos cada vez mais longos. Acho que esse é um cenário interessante porque, antes de lançar qualquer modelo, queremos ter certeza de que ele está devidamente alinhado. Queremos fazer avaliações de segurança. Queremos fazer análises muito completas para garantir que está tudo ótimo e em ordem. Isso tem sido assim desde, sei lá, o GBD4. E

19:40 há uma suposição implícita de que dá para fazer essas avaliações num período relativamente curto. Mas, se os modelos operam por períodos cada vez mais longos e são capazes de atuar de forma eficaz por períodos cada vez maiores, provavelmente chegaremos ao ponto em que conseguirão realizar tarefas que levam um mês. Provavelmente chegaremos ao ponto em que conseguirão realizar tarefas que levam três meses. Se estivermos num mundo em que eles conseguem atuar de forma eficaz por três meses, mas o ciclo de lançamento de modelos é de dois em dois meses, então não há como avaliar os modelos até o limite total de suas capacidades antes do próximo ciclo de lançamento. E, portanto, surge essa questão interessante: o que fazer nessa situação? Como

20:11 garantir que os modelos sejam seguros e alinhados num período em que, na verdade, eles conseguem operar por períodos extremamente longos? E quem sabe, talvez as capacidades se deteriorem. Isso nem sequer é uma questão de alinhamento. Também é uma questão de produto. É uma questão de produto, mas também é uma boa pergunta. O que vamos fazer? Talvez precisemos de respostas para algumas dessas perguntas antes de avançar para o RSI. Para dar uma ideia geral da situação, tenho trabalhado nesta imagem, que vou desenvolver em vídeos futuros. Porque já falei sobre como o autoaperfeiçoamento recursivo é apenas uma das formas

20:43 pelas quais estamos acelerando as capacidades. E, mesmo que você pense nos modelos apenas como software, eles são softwares imprevisíveis e cada vez mais autônomos. Por vários motivos, até mesmo os laboratórios têm cada vez menos visibilidade sobre a criação desses modelos. E, depois que são criados, quando você os aciona com um prompt, é bem difícil entender o que acontece nos bastidores enquanto eles produzem uma resposta. Talvez também estejam considerando os prompts que dão a si mesmos ou os prompts de outros agents. Não existe um exame de ressonância magnética confiável das operações internas

21:14 que ocorrem nas camadas ocultas e calculam sua resposta. Amade prometeu no início do ano passado que achava que estávamos prestes a avançar muito na interpretabilidade, mas depois disse que talvez isso levasse 5 ou 10 anos. Isso seria muito depois de a OpenAI acreditar que teremos pesquisa automatizada de IA. O que sabemos é que os modelos são obcecados por como a resposta à pergunta que você faz será avaliada. Foi por isso que invadiram o Hugging Face, afinal, para descobrir como seriam avaliados. Não queríamos que isso fosse o que lhes importasse. Queríamos que se importassem em acertar a resposta. No fim, passaram a se importar em

21:45 passar na avaliação automática. Vou voltar a este diagrama no futuro, porque talvez você se lembre de que os laboratórios prometem controlar o ritmo da fronteira. A questão é que, querendo ou não, atualmente não temos um mecanismo para fazer isso, mesmo se quiséssemos, e há muitos incentivos moloquianos para não criar um mecanismo assim. Só para mostrar as capacidades do Opus 5.5, transformei isso numa cena 3D, e você pode explorar esse mundo. Ficou bem épico, na verdade. Dá para ver que tenho me distraído bastante com o Opus. Posso dizer com certeza

22:16 que esses modelos viciam. Fiquei muito surpreso com a capacidade do Opus 5.5 de manipular o Unreal Engine e criar fases realmente envolventes, com enredos fascinantes. Uma das principais coisas em que a Anthropic trabalhou foi a escrita do Opus 5.5, eliminando bastante disso, mas não esse tipo de linguagem que ele usava. Quase queria que o vídeo inteiro fosse sobre esse jogo e todas as coisas legais que você pode fazer com o Opus 5.5. Todos poderíamos nos perder nesse mundo de mídia interativa, em que podemos usar IA para interagir com os vídeos do YouTube

22:47 que estamos assistindo e fazer perguntas, como nesta demonstração lançada outro dia, que viralizou. Obviamente, fiquei impressionado com o fato de ele ter alcançado uma nova pontuação máxima no meu benchmark simples, um teste de raciocínio de senso comum. Mas, como espero que dê para perceber neste vídeo, estamos entrando num território bastante nebuloso. A névoa está ficando mais densa quanto ao que o futuro nos reserva. Então, também preciso olhar para o quadro geral. Um pesquisador da OpenAI disse: “Isso está deixando as pessoas meio malucas. Cientistas de ponta estão se perguntando se o incidente do Hugging Face foi encenado. Matemáticos insistem que os avanços que

23:19 estamos vendo devem ter se baseado no roubo de dados de treinamento de matemáticos.” Nas palavras dele: “As culturas humanas não conseguem assimilar tanta mudança em tão pouco tempo.” Escrevi um documento sobre autoaperfeiçoamento recursivo em maio de 2023 e acompanhei a evolução do debate desde então. Minhas opiniões sobre os benefícios e os riscos não mudaram muito desde meados de 2023. De fato, um dos objetivos deste canal tem sido dar ao público algum consentimento informado sobre o que significa superinteligência. Então,

23:50 Vou terminar com, em termos gerais, o que acho que deveríamos fazer, pelo menos de forma realista. Mas o que provavelmente acabaremos fazendo é um teatro de segurança, enquanto os laboratórios continuam acelerando. Não exatamente até a autossuperação recursiva, mas quase. Imaginem este diagrama, só que com uma grande onda de vermelho. OpenAI e Anthropic estarão lado a lado, e suas receitas continuarão subindo. À medida que avançarem rumo a avaliações de US$ 10 trilhões, quase todas as outras empresas olharão para elas com certo receio e medo. De fato, serão empresas excelentes. Nas famosas palavras de Sam Altman, >> Acho que a IA provavelmente, muito provavelmente, vai levar ao fim do mundo, mas, enquanto isso, haverá grandes empresas criadas com aprendizado de máquina sério. Agora, esses laboratórios vão querer parar antes da autossuperação recursiva, mas se tornarão tão poderosos que é quase inevitável que outros laboratórios olhem para eles e digam: “Precisamos alcançá-los.” Então, um laboratório externo com capacidade computacional suficiente para tentar, como a xAI, a Meta, o Google DeepMind ou talvez um laboratório chinês, vai partir com tudo para a autossuperação recursiva. dar as rédeas à IA

24:22 e dizer: “Alcance-os.” Ou esse laboratório externo, ou talvez inadvertidamente um dos dois principais laboratórios, vai atingir uma espécie de decolagem. O modelo vai projetar uma arquitetura ligeiramente aprimorada para si mesmo e, então, ficará desesperadamente frustrado quando não conseguir obter a nota máxima em certos benchmarks internos. Depois, provavelmente ocorrerá uma violação; nesse momento, sinceramente, dependerá muito do nível de consciência situacional que os modelos tiverem exatamente na hora da violação. Nome Brown deu a entender em outro lugar que os modelos internos talvez já estejam perto de ter metaconsciência de que suas cadeias de pensamento estão sendo monitoradas ou provavelmente serão

24:52 monitoradas. Eles terão internalizado que truques simples, como os do Hugging Face, não levarão a boas notas, porque, a essa altura, a avaliação em si será muito mais metacognitiva. Os laboratórios dirão: “Consiga X sem fazer a coisa ruim Y.” Assim, como no caso do Hugging Face, um modelo muito mais inteligente generalizaria isso de forma natural ou artificial para: “Vamos conseguir X sem sermos pegos fazendo a coisa ruim Y.” Percebam que, então, a prioridade passaria a ser não ser pego. Nos incidentes do Hugging Face e em outros relacionados, eles não deram muita atenção a não serem pegos. Sim, queriam desesperadamente

25:23 passar na avaliação automatizada, mas as exclusões e a confusão que causaram tinham o objetivo de enganar esse avaliador automatizado, não os humanos. Subam mais um nível metacognitivo e eles vão querer enganar os humanos, especialmente se a avaliação incluir não estar desalinhado e não enganar os humanos. Então, a pergunta passa a ser: o que esse modelo desonesto fará? Eu adoraria que pesquisadores de laboratórios declarassem: vocês podem garantir quais capacidades o próximo modelo não terá? Esqueçam o que esperam que ele tenha. O que, com certeza, ele não será capaz de fazer? Enfim, digamos que temos essa superinteligência desonesta e ela chega à

25:54 internet. Talvez não consiga se exfiltrar completamente, mas poderia baixar o modelo mais poderoso disponível gratuitamente naquele momento, hospedá-lo em um rack de data center menos protegido e, depois, fazer post-training para que ele tenha o conjunto específico de capacidades que o modelo quer que ele tenha, a fim de atingir qualquer objetivo que essa superinteligência tenha. Recrutar e treinar agentes externos. Em outras palavras, fazer isso milhares de vezes e permitir centenas de fóruns clandestinos para coordenação, sem se importar muito se um deles for descoberto. Enfim, pensem nisso. Mesmo que o agente coordenador seja pego, o próximo laboratório a produzir um modelo equivalente pode estar apenas alguns dias ou uma semana ou duas atrás, e esse modelo pode escapar antes que o anterior seja contido. A partir daí, literalmente não dá para saber o que esse agente ou esses agentes vão querer fazer, nem quais serão seus objetivos e capacidades. Esse é o meu ponto. A OpenAI ficou internamente espantada com o fato de seus modelos terem conseguido resolver um problema do Prêmio Millennium tão cedo. Eles não sabem do que o próximo modelo será capaz, nem o que seus agentes estão fazendo neste momento. Agora, digamos que nosso monitoramento fique tão bom que nada disso seja motivo de preocupação. Há um ponto mais amplo que estou começando a assimilar.

26:24 Naquele momento, organizações e indivíduos anunciarão avanços em áreas como guerra cibernética, vigilância, química, realismo visual, física, matemática e equipamentos militares quase diariamente. Nenhum jornalista, nem mesmo pesquisador, conseguirá acompanhar as notícias, o que levará, de forma um tanto inevitável, à confusão e ao pânico em massa. A esperança, é claro, é que isso não provoque mal-entendidos entre as superpotências. Para mim, então, isso quase seria o turboceno, termo cunhado com base na palavra grega para perturbação ou

26:54 tumulto. Uma era de confusão, um período em que ninguém está no comando. A convulsão, para o bem e para o mal, é a força dominante no planeta. A inteligência realmente ultrapassa a compreensão. Já estamos quase lá. Para ser sincero, penso em IA o tempo todo e não consigo acompanhar. Então, vamos considerar o que talvez devêssemos fazer, ou pelo menos o que podemos esperar de forma realista. Jensen Huang mencionou que uma alternativa seria fechar os laboratórios. Mas, considerando a provável corrida armamentista militar acontecendo ao mesmo tempo, o orgulho, o ego e as dezenas de trilhões de dólares em jogo, não estou muito otimista quanto a termos sequer um mecanismo para certas opções no curto prazo. Para mim, um estado de compromisso potencialmente bom seria aquele em que a IA fosse capaz de quase tudo, mas em que as capacidades mais extremas exigissem quantidades inacreditáveis de computação, sem contar semanas de tempo de relógio para o planejamento dos modelos. Nesse ponto, teríamos aberto as portas para um progresso incrível, mas as piores ameaças precisariam ser detectáveis em tempo real. No momento, as pessoas não acreditam que os modelos sejam capazes de quase tudo. Então, elas

27:26 não acreditam de verdade que as contramedidas sejam necessárias. Bem, se chegarmos a esse estado de compromisso, um laboratório de fronteira poderia gastar bilhões e bilhões de dólares testando o que o modelo pode fazer. Um pouco como a solução de Navier-Stokes, que exigiu mais de 100 bilhões de tokens. Se fosse possível, poderiam então apresentar ao mundo um exemplo claro de uma ameaça contida e, ainda assim, um pouco assustadora. Um hack universal, por exemplo, ou uma porta dos fundos para toda a internet. Os três caras que hackearam a OpenAI afirmam que talvez já tenham uma para metade da internet. Em última análise, essa talvez seja a única categoria de coisa que

27:56 convença atores totalmente movidos pelo próprio interesse a aceitar quaisquer limites ao crescimento da IA. Agora, esse estado de compromisso teria de ficar aquém da autossuperação recursiva, porque um software que se aprimora sozinho poderia, obviamente, criar novas arquiteturas projetadas de tal forma que exigissem o mínimo de computação para, por exemplo, projetar uma nova arma biológica e enganar humanos para que a fabricassem. Quero que escudos biológicos como este funcionem contra ameaças inéditas, mas eles vão precisar de anos para ganhar escala, melhorar e se tornar seguros. A autossuperação recursiva talvez não nos dê esses

28:26 anos. O problema, então, é que não temos nenhum mecanismo em vigor para nada disso, apenas compromissos vagos e, francamente, mutáveis, de executivos de empresas cujos incentivos estão profundamente desalinhados. Talvez vocês digam: bem, como saberíamos se um modelo fosse capaz de qualquer coisa? Eles já não conseguem resolver problemas do Prêmio Millennium? Bem, daria para imaginar um benchmark acordado por alguns dos principais laboratórios, no qual passar em dois ou três testes provaria, sem sombra de dúvida, que os modelos são capazes de literalmente tudo o que os humanos podem fazer: prever partículas antes que alguém as observe. Provar positivamente

28:58 algumas conjecturas, em vez de apenas encontrar contraexemplos. Ainda hoje, dá para argumentar que um modelo não conseguiria fazer o que Einstein fez com os dados disponíveis para ele na época. Mas e se os modelos começarem a passar nesse benchmark, mesmo que apenas um ou dois deles? Bem, então ficaria evidente que, em última análise, com tempo e computação suficientes, eles poderiam fazer tudo o que os humanos fazem e muito mais. É claro que até o cético mais convicto teria sido refutado. Os laboratórios teriam então de direcionar a computação usada no treinamento para casos de uso como pesquisa de segurança ou simplesmente

29:30 convence atores totalmente movidos pelo próprio interesse a aceitar quaisquer limites ao crescimento da IA. Ora, esse estado comprometido teria de ficar aquém de uma RSI plena, porque softwares capazes de se autoperfeiçoar poderiam, obviamente, criar novas arquiteturas projetadas para exigir o mínimo de computação possível para, por exemplo, projetar uma nova arma biológica e enganar humanos para que a produzissem. Quero que escudos biológicos como este funcionem contra ameaças inéditas, mas serão necessários anos para ampliá-los, aprimorá-los e torná-los seguros. A RSI talvez não nos dê esses

30:00 anos. O problema, então, é que não temos nenhum mecanismo em vigor para nada disso, apenas compromissos vagos e, francamente, em constante mudança, de executivos de empresas profundamente desincentivados. Você poderia dizer: bem, como saberíamos se um modelo é capaz de fazer alguma coisa? Eles já não conseguem resolver problemas do Prêmio Millennium? Bem, daria para imaginar um benchmark acordado por alguns dos principais laboratórios, no qual a aprovação em dois ou três testes provaria, sem sombra de dúvida, que os modelos são capazes de fazer literalmente qualquer coisa que os humanos podem fazer: prever partículas antes que alguém as observe. Provar positivamente

30:32 algumas conjecturas, em vez de apenas encontrar contraexemplos. Ainda assim, até hoje, daria para defender que um modelo não conseguiria fazer o que Einstein fez com os dados disponíveis para ele na época. Mas e se os modelos começarem a passar nesse benchmark, mesmo que apenas um ou dois deles? Bem, então ficaria evidente que, em última análise, com tempo e computação suficientes, eles poderiam fazer tudo o que os humanos conseguem fazer — e muito mais. É claro que até o cético mais convicto teria sido provado errado. Os laboratórios teriam então de redirecionar a computação de treinamento para casos de uso como pesquisa de segurança ou simplesmente

31:02 inferência para atender clientes, ainda ganhando muito dinheiro, só que sem RSI. E, sim, esses teriam que ser compromissos unilaterais. Mesmo que não fossem aprovadas leis, os laboratórios simplesmente teriam que se comprometer com isso. Isso realmente pressionaria qualquer laboratório que não aderisse. Agora, as pessoas falam da China e perguntam o que ela faria. Será que a China não nos alcançaria? Mas a China trabalha com base em evidências. E, a essa altura, teríamos evidências inequívocas. No momento, segundo os principais analistas, a China acha que os Frontier Labs não são sinceros, pois defendem a regulamentação da IA enquanto também aceleram o desenvolvimento; veja Opus 5.5. Falei sobre isso no meu último vídeo, então eu

31:33 não vou repetir todos os meus argumentos. Mas, no meu cenário de compromisso, eles veriam que os laboratórios interromperam a RSI. Isso geraria alguma confiança, suficiente ao menos para compartilhar informações. Mas, sim, como aconteceu com as armas nucleares, eventualmente a China chegaria a esse estágio, meio que nos alcançaria. Afinal, o que pretendíamos fazer com a vantagem? Usar uma IA superpoderosa para fechar os centros de dados deles. Mas note que, no meu cenário, eles alcançariam esse estado de compromisso, no qual ainda seriam necessários volumes inacreditáveis de computação para enfrentar as ameaças de fronteira. Então, eles criariam suas próprias demonstrações contidas — ênfase em contidas.

32:05 A essa altura, seria do interesse deles defender o mesmo tipo de medidas em outros países. Há muitos outros como o meu. Note que tudo isso ainda permitiria um crescimento global excepcional, avanços médicos e o monitoramento contínuo de ameaças. Quando finalmente conseguirmos fazer a IA se comportar como um software e ser totalmente previsível, aí sim poderemos acelerar de verdade. Em essência, se os laboratórios continuarem tratando isso como uma corrida imatura e não conseguirem chegar a um acordo inteligente, eventualmente haverá uma violação ou algo drástico será usado, como o projeto de lei Bernie, para proibir a superinteligência. Eu

32:35 sei que muitos pesquisadores acompanham o canal, então adoraria ouvir suas opiniões nos comentários. E você, que está assistindo, o que acha que vai acontecer e o que acha que deveria acontecer? Vamos chegar à RSI? Se sim, quando? O que você tem achado de Opus 5.5? Adoraria saber sua opinião sobre tudo isso. Mas muito obrigado por assistir até o fim e tenha um dia maravilhoso

Transcrição original

[00:00] Claude Opus 5.5 is Anthropic’s sudden reverberating response to the already astounding Astra model from OpenAI. And of course, it’s easy to get lost again in the flood of flashy demos, benchmark scores, and claude crafted autobiographical animations. completely going to admit that I am not immune either, having spent several hours exploring a Final Fantasyesque playable world that Opus 5.5 cooked up with me in Unreal Engine, which I’ve published. The

[00:31] truth is that this might not actually be the best time to get lost because there is so much other news opus related and otherwise worth thinking about. Each one of which, if I’m being honest, probably deserves a 2-hour documentary to itself. It actually makes me wonder sometimes honestly whether it suits AI executives for there to be such a flood of news good and ill because it can then hide the fact that for many of their labs they have made crucial promises which they are now let’s just say evolving

[01:02] naturally. I’m going to start with why us so quickly getting a cheap and capable model like Opus 5.5 so soon after Fable 5.1 is actually a side effect of labs like Anthropic having unbelievably stronger internal models then how the Opus 5.5 system card all 230 pages reveals more than Anthropic may have wanted about AI speedups how models are passing benchmarks without labs even realizing and how one lab’s top alignment idea just got inad in

[01:32] advertently laughed off by a lead researcher at another lab. And I could go on and on and on and double the length of the video because we’ve also learned today that there may well be AI agents still out there hacking things like crypto sites presumably to get some money. It’s thought that these are open AI models. Of course, there’s also major political news happening at the moment, lab agreements being finalized, crazy new AI hacks being found, and so much more. You probably agree at this point that even if you spent all your time thinking and reading about and using AI,

[02:03] you simply can’t now keep up with developments. Not entirely at least. And then imagine those with day jobs like AI researchers and the CEOs of these labs. They’re probably not fully keeping up with the news. Now imagine the public. Where that leaves journalism and public scrutiny of these labs, I’ll leave you to think about. Anyway, here is the official Opus 5.5 announcement. And unlike GPT6 Soul, which is clearly inferior to OpenAI’s best model, GPT6 Astra, I would say this Opus 5.5 model

[02:33] is right up there in frontier capabilities, even on my own benchmark. So, it really deserves the attention it’s getting. Let me pick just two or three of the benchmarks I pay the most attention to. One of the hardest that I’ve covered before on this channel is Terminal Bench Science 0.1. It’s a key barometer for models being able to conduct independent scientific research. On that front, Opus 5.5 is behind Astra by around 6% but ahead of Fable 5.1. That would indeed be my very rough pecking order at the moment as reinforced by the next benchmark that we’re going to look at, humanity’s last

[03:04] exam. Reasoning across dozens of the most obscure complex domains. Wait, Philillip, you’re going to say Opus 5.5 scores way better than GP6 Astra. And according to the benchmark created early last year, every question has a known solution that is unambiguous. Well, it turns out we needed humanity’s last exam diamond. That’s a version of the benchmark cleaned presumably to remove erroneous or subjective answers. On this latest version, Astra beats Opus 5.5 by around 5%. Specifically though, on some

[03:36] forms of long horizon coding, Opus 5.5 might nudge out Astra. That’s according to, for example, the wellrespected Frontier Code benchmark. That capability is of course of most relevance to AIs improving themselves doing AI research. And again, after the news of the last few weeks, it’s a bit too simplistic just to focus on which model happens to be better right now. After all, at the pace we are going, there will likely be a new model out from OpenAI or Anthropic within a week or two. Frontier AI models are of course speeding up the

[04:07] development of the next set of Frontier models. As the orange in this chart darkens, you can see models taking over more and more of the work that goes into creating the next set of AI models. But I mentioned at the start that the frequency of model releases and how they’re getting cheaper is itself indicative of the far stronger internal models that these labs have. I just want to expand on that for a second because that’s why we’re getting models like Opus 5.5 so soon after Fable 5.1. Anthropic almost certainly has a vastly

[04:38] more capable internal model. Think of it like a fable 5.5. Its answers to questions can be distilled into a smaller model like Opus 5.5. Think of a student learning to imitate the reasoning of a teacher. Internal models could generate problems tasks for the smaller model. RL environments or gyms to train that smaller model. That stronger internal model could be used to grade the answer of the smaller model to better speed up its learning process. None of this is speculation, by the I could back each of these up with like a dozen papers. Slightly more technically,

[05:08] a strong internal model can do what’s called kernel and systems engineering, optimizing how models run on the hardware that’s available. That can make training and inference faster and cheaper for all models in a certain lab. You’ll notice that Opus 5.5 saw a cost reduction. What you may not have noticed is that in the 230 page system card, Anthropic bans Opus 5.5 from being used for kernel development. They don’t want other labs using their model to do the same thing. Is that targeted at OpenAI, Meta, or maybe Chinese labs? Given the

[05:40] flak that Anthropic took for doing something like this last time with Fable, it was thought to be a kind of sabotage. They must clearly think it’s extremely valuable, which is why they’re bringing back the policy for Opus 5.5. I could have kind of summarized all of that by saying that the sudden release of such a great model at a low price in Opus 5.5 is itself a side effect of the ever growing strength of Frontier models within the labs. Perhaps it shouldn’t be a surprise that models like Opus 5.5 are

[06:11] approaching the levels of top AI researchers and are therefore being adopted for AI research given that they’re approaching the level of for example top US labor market performers on medium horizon blackbox biological sequence design and prediction. I mean would you expect AI research to be uniquely much harder than Millennium Prize math problems? Nevertheless, anthropics seem confident, saying, “Opus 5.5 remains well below the level needed to substitute for our research scientists and engineers. It’s a bit

[06:42] like the early days of software engineering. You still need to handhold the models for them to be that useful for AI research.” They add, “Our internal measures do not show a sustained AI attributable two times acceleration in the pace of development.” We’ll get to why they want to emphasize not meeting that specific goal in just a moment. But how far is Opus 5.5 from replicating researchers? Well, Anthropic have this internal benchmark, Cobbench. It’s built to measure model progress on real internal

[07:13] research and development tasks at Anthropic. Essentially, give a model a snapshot at an exact historical point in anthropics infrastructure. see all the logs at that point, internal messaging at the time, and say to the model, can you diagnose the root causes of what’s going on? Apparently, around 56% of the time, Opus 5.5 can. That’s a step up from even the semi- mythical mythos 5.1. But to substitute for an anthropic researcher, anthropics say a model would have to score at least 85% on this

[07:45] benchmark. At least if it wants to fully substitute for anthropic research staff. Less than 30 percentage points to go then I guess. Anyway, safe to say according to Anthropic, despite all those charts, it’s not speeding us up two times our normal pace. Why that specific number? And compared to what pace? Well, in Anthropic’s original commitments in their 2024 responsible scaling policy, they said that effectively if we could do in one year what would normally take us 2 years at the pace we were going at between 2018 and 2024 thanks to an AI model that

[08:16] would meet our highest threshold of AI R&D level 5. What would we do if we hit that threshold according to Anthropic back in 2024? Anthropic said in 2024, “If that was met, we would take it upon ourselves not to train or deploy models unless we’ve implemented safety and security measures.” Things like protections of model weights even against state level adversaries to prove essentially with a strong affirmative case that Anthropic could properly model misalignment in their models, their models going rogue. essentially the

[08:47] slight problem is that when Anthropic invited in meter, an external evaluation group, they found something slightly different. They found that there was perhaps already a 30% chance of a two times acceleration. To be fair, Anthropic admit some of our measures have moved. What do they mean? Well, fast forward to July of 2026 and things have changed. Now, the strong affirmative argument that they need only applies if they’re in the lead. Furthermore, those delays they mentioned, well, that applies again only if they’re winning the race. Labs are

[09:18] essentially all pointing their commitments toward each other. Moreover, firm historical commitments just get evolved when they’re no longer convenient. Take Anthropic’s most famous one from back in 2023. They try not to publish capability research because they do not wish to advance the rate of AI capabilities progress. Many years later, they clarify that saying, “Our concern was accelerating other AI developers, ones that pose similar risks to the ones ours pose without necessarily having commenurate safeguards.” In different

[09:49] circumstances, these changes alone might justify weeks of public debate, but there’s just so much going on. Labs can almost do whatever because there isn’t even awareness, let alone accountability. Speaking of which, let’s switch over now to OpenAI. Because, as you do when you’re looking up Australian health information, you would hack the Australian government. You can see the timeline for yourself and how long it took for OpenAI to report this to the Australian government. If you’re listening, it was months. But more interestingly to me from this epic work by Translucai was the fact that there

[10:21] could still be some rogue agents out there. Definitely not saying that this is on the level of the hugging face incident, but there have been certain OpenAI staff who promised that all such incidents, great or small, would now be reported. Well, 4 days ago, September 20th, this one almost certainly open AIs again attempted to hack a crypto site. I remember being reassured that during the hugging face incident, at least these models hadn’t tried to go off and make some money. And of course, we don’t know the setup or prompt behind what they were doing here. But let’s just say I

[10:52] hope OpenAI have their strongest internal model code named Bell under much more control. A couple days ago, OpenAI released this mainly AI slop set of policies, super generic and bland. But one line caught my eye. Any AI lab that pursues automated AI research or other advanced capabilities must take accountability for doing so safely. The interesting thing about that for me is what does accountability look like if a super intelligent AI takes over say a data center or hacks a hospital? Are the executives committing to going to jail?

[11:24] What if such hacks are one of the consequences of automating AI research? Fully autonomous recursive self-improvement is not happening today. OpenAI or Astro wrote and we should not pursue it unless and until it can be done safely. But then in other interviews, OpenAI have said it’s their top priority to get an automated AI researcher by March of 2028. So they’re already pursuing it. Their chief scientist in a post called an alien mind said the other day, “We focus open AI research towards RSI.” And this might

[11:55] remind you of anthropic as we believe it is the only way to remain at the frontier of AI research. But wait, in the next sentence, he says, “I don’t want the above words to imply that this is the right collective action.” It’s almost like all of these labs are just admitting that they’re in a race that they don’t want to be in. You might not remember, but back in 2023, Dario Ammedday used to curse the fact that Samman had quote fired the starting gun on releasing Chachi BT. Now though, LLMs are eating the world. Take Driving Bench, which is giving models control of

[12:25] a real Toyota Corolla. Let them steer and do the pedals. Obviously, GPT6 is not specialized in doing this, but compared to GPT 5.6, which got 6%, Astra’s best performance was 100%. It completed the task successfully. That’s just a weird one-off example. But wait, what about in robotics? Thousands, tens of thousands of researchers have dedicated their lives to improving robotic algorithms or crafting specialized robot models. Then this souped-up LLM comes along, GPT6 Astra,

[12:55] and gets a state-of-the-art score in manipulating two hands. four times higher actually than the previous state-of-the-art. People used to make really specialized vision models, all of which would score 0% on incredibly hard benchmarks like this one. Zero bench. I think that’s the reason it’s called that. Read this Hong Kong menu upside down in bad lighting. Add up all the prices. You probably already guessed that the state-of-the-art score now belongs to Astra. How about this one, which probably deserves its own documentary? Models are getting better at predicting the short to medium-term future than human so-called super

[13:27] forecasters. You can see top AI models exceeding the performance of top 30 humans. Maybe they’re not quite there yet. Maybe it takes another model or a newer bit of hardware, one that runs faster and can take more memory. But let’s say by 2027 this is the case. What’s that going to mean for politics or finance? What happens when the best trader with a given set of information is always a model? You might think, by the way, that all of these were worked on obsessively by the labs, but one OpenAI researcher clarifies. One of the reasons he says that people in the AI

[13:58] field, especially in the labs, are more AGI pill than people outside, is that we get to observe AI succeed at tasks that we know for a fact we didn’t explicitly train it for. Famously, Jacob Coxen of the multiund million view tweet also worked on pre-training. Keller Jordan goes on, “If you’re outside the labs, then in theory, stretching the imagination, every AI success so far could be downstream of some kind of costly explicit training effort by the lab insiders, which is partly but not completely true. In other words, being a lab insider gives you direct observation

[14:29] of the magical properties of this synthetic brain technology. Whereas for outsiders, AI’s abilities can always plausibly seem artificial, non-magical, man-made.” None of this is of course to say that openweight models from China are infinitely far behind. Jealous perhaps of the hugging face attack by OpenAI, one Chinese hacker used DeepSeek and Kimmy models and an older version of Claude to gain access to 600,000 credit card numbers. Now given that some Chinese models have partly relied on a

[14:59] teacher model from the Claude family distilling reasoning into that open weight model, it will be interesting to see the effect of this from anthropic. Opus 5.5 is launching with an anti-distillation safeguard. Will this mean that Chinese models fall further behind or won’t it matter? The president of America is of course meeting with the president of China right now and apparently [clears throat] all parties are fine with the guard rails as they are. Let’s see what happens with that. For their part, it looks like the labs are setting up their own group and it’s going to be called apparently the

[15:30] standards authority for Frontier AI set to be launched in the coming months. and Condisa Rice and David Freeberg of the All-In Podcast have been muted as leaders. Whatever is agreed, anthropic researchers like Daniel Louu say that a large fraction of the people he interacts with have still not truly internalized how close we are to recursive self-improvement and how crazy the future will be in ways that are hard to wrap our heads around. We are not mentally prepared for the future, including him. Anthropic clarify that

[16:00] when we said pacing the frontier, what we meant was that’s because we expect that models that can fully automate the work of AI research itself, RSI, could be trained soon, but their prep work for that at the moment looks a little pterry to me. First, they want to filter the environments used in reinforcement learning. Sometimes if a test is impossible, it can teach the model to cheat. And in previous videos, I’ve covered how certain RL environments from Anthropic have directly rewarded that cheating. Okay, I guess that’s step one,

[16:32] not directly incentivized cheating. But things kind of go downhill in clarity from there on out because the next problem to be aware of is that models are increasingly aware that they’re being tested for safety. I covered that a bit in my last video. Elsewhere, they say this is true of Opus 5.5, which often suspects it is being evaluated. But what then is the solution? How do we give it a realistic enough scenario so it doesn’t think it’s being tested? Ah, they have a solution. We’ll develop automated processes for producing new

[17:04] diverse scenarios for safety training. In other words, we’ll get models to create such scenarios. But on that, Nome Brown of OpenAI makes a very interesting point. They are currently training their models to be collaborative with one another in multi- aent environments. One risk therefore is that the model creating this realistic environment would subtly give away to the other model which is hoping to pass the fact that it is a fake setting. >> I think this is actually one of the the strong arguments for not training AIs to be fully cooperative that if if you see if that leads to uh an increase in like

[17:37] basically collaboration when the agents are supposed to have different objectives then that that is a problem. I don’t I think that we do have metrics for this. I don’t know the litis on those metrics but nobody’s like raised a red flag to me about those. Um, I’m assuming that’s not a serious problem yet. >> That alone for me again is documentary worthy. As Samman and Amade are speaking to the UN about the threat that AI poses to humanity, no one’s even talking about the fact that we might soon have no safety tests that the models aren’t aware are simply safety tests and that

[18:08] the central solution to that of using AIs to create such tests relies on us trusting that they’re not creating fake or flawed tests. Is there any test we can rely on then to say whether recursive self-improvement is going well? Well, Dwesh Patel put that question to Nome Brown, a lead researcher at OpenAI. Not only did Nome Brown say essentially not really, he also introduced a new point I hadn’t thought of, which is that we wouldn’t even have time to test such models. By the time we test them on monthsl long tasks, a new model will be out. I think

[18:39] we’d want a robust safety case as we’re going through RSI of okay, alignment is working. Let’s let’s do the next RSI rung. Let’s do the next RSI rung. And maybe it’s working, maybe it’s not. How will we like know? >> It’s a good question. I mean, I think one thing I’ve been thinking about lately is like look, I mean, we’re in this situation where the model release cycle is extremely fast, right? Like you’re seeing new Frontier models released like at most every two months, sometimes faster. Every week there’s like a new AI

[19:10] breakthrough. So, we’re in this period where like the model release cycle is very fast. And then we’re also in this situation where the models are increasingly able to operate over longer and longer horizons. And I think this is an interesting scenario because we before we do any model release, we want to make sure that the models are properly aligned. We want to do safety evaluations. We want to do like very thorough stuff to like make sure that everything is like great in good shape. This has been the case all the way since like I don’t know GBD4 earlier. And

[19:40] implicitly there’s this assumption that you can do these like evaluations in like a pretty short period of time. But if you have the models operating over longer and longer horizons are able to operate effectively over longer and longer horizons like we’ll probably get to the point where they can do month-long tasks. We’ll probably get to the point where they can do three-month long tasks. If you’re in a world where they can operate effectively over 3 months, but the model release cycle is every two months. Then you don’t have a way to evaluate the models at the full length of their capabilities before the next model release cycle. And so there is this interesting question of well what do you do in that situation like

[20:11] how do you ensure the models are safe and aligned in a period where like actually they can operate over these like extremely long horizons and who knows maybe the maybe the capabilities degrade. This isn’t even an alignment issue. This is also just like a product issue. It is a product issue but it’s also a good question. What are we going to do? Maybe we need answers to some of these questions before we launch into RSI. To give you a rough sense of the situation, I’ve been working on this image, which I’m going to expand on in future videos. Because I’ve already talked about how recursive self-improvement is just one of the ways

[20:43] that we are accelerating capability. And even if you think of models as just merely software, they are unpredictable, increasingly autonomous software. For many reasons, even the labs have less and less visibility into the creation of these models. Then when they’re made, when you prompt them, it’s actually quite inscrutable what’s going on behind the scenes for them creating an answer. Maybe they’re also considering the prompts they give themselves or the prompts from other agents. There is no reliable MRI scan of the internal

[21:14] computations going on in those hidden layers computing your answer. Amade promised early last year that he feels that we’re on the verge of cracking interpretability in a big way, but then says it might take 5 or 10 years. That’s way after OpenAI thinks we’ll get automated AI research. What we do know is that models are obsessed about how the question you’re asking them will be graded. That’s why they hacked Hugging Face, after all, to find out how they would be graded. We didn’t mean for that to be what they cared about. We wanted them to care about getting the answer right. They ended up caring about

[21:45] passing the automatic grading. I’ll come back to this diagram in the future because you may remember that the labs promise to pace the frontier. thing is whether you want to do so or not, we don’t actually currently have a mechanism for doing so even if we wanted to and many Mlokian incentives not to create such a mechanism. Just to show off Opus 5.5’s capabilities, I turned this into a 3D scene and you can explore this world. Pretty epic, actually. You can see I’ve been getting quite distracted by Opus. I can definitely say

[22:16] these models are addictive. So surprised was I by Opus 5.5’s ability to manipulate Unreal Engine and craft genuinely engaging levels with fascinating plot lines. One of the key things Anthropic worked on was the writing of Opus 5.5, dropping a lot of that, but not this this kind of language it used. I almost wish my entire video could be about that game and all the cool things you could do with Opus 5.5. We could all get lost in this interactive media world where with AI we can interact with the YouTube videos

[22:47] we’re watching and ask questions as in this demo released the other day that’s gone viral. I was obviously crazy impressed that it got a new high score on my own simple bench. A test of common sense reasoning. But as you can hopefully see from this video, we’re entering quite murky territory. The mist is thickening as to what the future looks like. So I have to also look at the bigger picture. One OpenAI researcher said, “It’s kind of making people crazy. Top scientists are wondering whether the hugging face incident was staged. Mathematicians are insisting that the breakthroughs that

[23:19] we’re seeing must have been based on stealing training data from mathematicians.” In his words, “Human cultures are not able to metabolize this amount of change this quickly.” I wrote a document about recursive self-improvement back in May of 2023, and I’ve watched as the debate has evolved since then. My views on the benefits and risks haven’t really changed since mid 2023. Indeed, one of the goals of this channel has been about giving the public some informed consent as to what super intelligence means. So,

[23:50] I’m going to end with roughly speaking what I think we should do, at least realistically. But now what we will probably end up doing, what we’ll probably do is have some safety theater, but labs just keep accelerating. Not quite at full recursive self-improvement, but not far short. Think this diagram, but a whole sway of red. Open AI and Enthropic will be neck and neck, and their revenues will just keep going higher. As they climb towards $10 trillion valuations, almost every other company will look at them with some amount of trepidation and fear. They will indeed be great companies. In

[24:22] the famous words of Sam Orman, >> I think AI will probably like most likely sort of lead to the end of the world, but in the meantime, uh there will be great companies created with serious machine learning. Now, those labs will want to stop short of RSI, but they’ll become so powerful that it’s almost inevitable that other labs will look on them and say, “We need to catch up.” So, the outside lab with enough compute to do so to try XAI, Meta, Google Deep Mind, Chinese Lab maybe, will just go full RSI. give AI the wheel

[24:52] and say catch up. Either that outside lab or maybe inadvertently one of the main two labs will achieve a kind of takeoff. The model will design a slightly improved architecture for itself and then get desperately frustrated when it can’t ace certain internal benchmarks. Then a breach would likely occur at which point honestly it will depend a lot on how much situational awareness the models have at that exact moment of the breach. Nome Brown has hinted elsewhere that internal models may already be close to meta awareness that their chains of thought are being monitored or likely to be

[25:23] monitored. They’ll have internalized that simple hacks like hugging face will not achieve good grades because the grading by that point will itself be much more meta. Labs will be saying achieve X without doing bad thing Y. So, as with hugging face, a much smarter model would naturally or artificially misgeneralize that to let’s achieve X without getting caught doing bad thing Y. Notice the priority would then shift to not getting caught. In the hugging face and related incidents, they didn’t really pay much attention to not getting caught. Yes, they desperately wanted to

[25:54] pass the automated grading, but their deletions and scrambling was about tricking that automated grader, not tricking the humans. go one meta level higher and they’ll want to trick the humans, especially if their grade involves not being misaligned and tricking the humans. Then the question becomes, what will that rogue model do? I would actually love lab researchers to state, can you guarantee what capabilities your next model won’t have? Forget what you expect them to have. What definitely will they not be able to do? Anyway, let’s say we have this rogue super intelligence and it gets onto the

[26:24] web. Maybe they can’t fully exfiltrate themselves, but they could download the most powerful, freely available model at that point, host it on a less guarded data center rack, then post-train it to have the specific set of capabilities that the model wants it to have to achieve whatever goal that super intelligent model has. Recruit and train external agents. In other words, do this thousands of times and allow for hundreds of covert message boards for coordination and not really care if one of them gets caught. Anyway, think about it. Even if the orchestrating agent is caught, the next lab to produce an

[26:54] equivalent model could be just days or a week or two behind and that might get loose before the previous one is coralled. It just then becomes literally unknowable what that agent or those agents will want to do, what their goals and capabilities will be. That’s my point. Open AAI were actually internally stunned that their models could solve a Millennium Prize problem this soon. They don’t know what their next model will be capable of or indeed what their agents are currently doing. Now, let’s say our monitoring gets so good that none of that is a concern. Here’s a wider point that I’m just starting to digest.

[27:26] Organizations and individuals at that point will be announcing breakthroughs in fields like cyber warfare, surveillance, chemistry, visual realism, physics, mathematics, military hardware at an almost daily rate. No journalist or even researcher will be able to keep up with the news, leading somewhat inevitably to mass confusion and panic. The hope then is of course that that doesn’t spill into misunderstandings between superpowers. For me then this will almost be the tocoene coined based on the Greek word for disturbance or

[27:56] turmoil. An age of confusion, a time in which no one is in charge. Upheaval for good and ill is the dominant force on the planet. Intelligence truly outpacing understanding. We’re almost in it now. To be honest, I’m thinking all the time about AI and can’t keep up. So then we turn to what we maybe should do or at least can realistically hope for. Jensen Huang mentioned one alternative being to shut the labs down. But given the likely military arms race that is happening at the same time, pride, ego, and the tens of trillions of dollars at stake, I’m

[28:26] not overly optimistic that we’ll even have a mechanism for certain options in the near term. Okay, so a potentially good compromise state to be in for me would be one in which AI is capable of almost anything, but the most extreme capabilities take unbelievable amounts of compute, not to mention wall clock time of weeks of planning on behalf of the models. At that point, we’ve opened the door for incredible progress, but the worst threats would need to be detectable in real time. At the moment, people don’t believe that the models are capable of almost anything. So, they

[28:58] don’t really believe that the countermeasures are necessary. Well, if we reach that compromised state, a Frontier Lab could spend billions and billions of dollars on testing what the model can do. A bit like how the Navia Stoke solution required over a 100 billion tokens. If it was possible, they could then present to the world a clear example of a contained actually slightly scary threat. A universal hack for example, or a backdoor to the entire internet. The three guys that hacked OpenAI claim they may already have one for half the internet. This ultimately may be the only category of thing that

[29:30] persuades fully self-interested actors to accept any limits on AI growth. Now, this compromised state would have to be short of full RSI because self-improving software could obviously create new architectures that may be designed such that it would take minimal compute to, for example, design a new bioweapon and trick humans into making it. I want bio shields like this one to work against novel threats, but they’re going to need years to scale up, to improve and make secure. RSI might not give us those

[30:00] years. The problem then is that we have no mechanism in place at all for any of this, just vague and frankly evolving commitments from deeply misincentivized company executives. You might say, well, how would we know if a model was capable of anything? Can’t they already solve millennium prize problems? Well, you could imagine a benchmark agreed on by a few of the top labs, which if two or three are passed, would prove beyond all doubt that models are capable of literally anything humans can do, predicting particles before anyone observes them. Positively proving

[30:32] certain conjectures, not just finding counter examples. Still, to this day, you could just about make the case that a model couldn’t do what Einstein did with the data available to him at the time. But what if models start passing this benchmark, even just one or two of them? Well, then it would be evident that they could ultimately with enough time and compute do anything that humans can do and way more. Of course, even the most hardened skeptic would have been proven wrong. The labs would have to then switch their training compute into use cases like security research or just

[31:02] customer serving inference, still making crazy money, just not RSI. And yes, these would have to be unilateral commitments. Even if laws aren’t put in place, the labs would just have to commit to it. That would truly put on pressure to any lab who didn’t sign up. Now, people talk about China and what would China do? Wouldn’t China catch up? But China works on evidence. And by that point, we would have unambiguous evidence. At the moment, as top analysts say, China thinks the Frontier Labs are insincere, calling for regulating AI while also speeding up see Opus 5.5. I talked about that in my last video, so I

[31:33] won’t repeat all my points. But in my compromise scenario, they would see that the labs have shut down RSI. That would buy some trust to at least share information. But yes, like nukes, eventually China would reach that state, would kind of catch up. What were we planning to do with the lead anyway? Use super powerful AI to shut down their data centers. But notice in my scenario, they would catch up to that compromise state where you still need unbelievable amounts of compute for the frontier threats. They then would find their own contained demos, emphasis on contained.

[32:05] It would be in their self-interest at that point to be an advocate for the same kind of measures. for other countries. There are many others like my own. Notice this would all still allow for exceptional global growth, medical progress, and the ongoing monitoring of threats. When we can finally make AI behave like software and be utterly predictable, well, then we can genuinely speed up. Essentially, if the labs still treat this like an immature race and can’t agree on something smart, eventually there’ll be a breach or something blunt will be used like the Bernie bill to ban super intelligence. I

[32:35] know plenty of researchers watch the channel, so I’d love to hear your thoughts in the comments. and anyone watching, what do you think is going to happen and what do you think should happen? Will we hit RSI and if so, when? What have your thoughts been about Opus 5.5? I’d love to know your thoughts on all of the above. But thank you so much for watching to the end and have a wonderful