Laboratórios de IA alertam que uma violação se tornou “inevitável” na corrida

Autoria: AI Explained · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: AI Labs Warn Race Makes Breach ‘Inevitable’ · Canal: AI Explained · 30:33 · Assistir no YouTube

Tópicos: Governança e regulação de IA, Mercados e economia, Modelos de IA, Segurança de IA

Resumo

O vídeo examina alertas de pesquisadores e líderes de laboratórios de que a corrida por modelos mais capazes pode levar a um incidente grave, enquanto controles de alinhamento, monitoramento e segurança enfrentam dificuldades. O apresentador discute por que as empresas continuam avançando: retornos econômicos, competição entre laboratórios e o argumento de não ficar atrás da China, além da incerteza sobre quando os riscos se tornarão críticos. Em seguida, analisa avanços em matemática e pesquisas sobre a capacidade de modelos de escolher problemas e automatizar etapas da pesquisa em IA, ressaltando que tarefas reais ainda são mais complexas. Por fim, propõe salvaguardas verificáveis nos laboratórios e medidas externas de resiliência, e questiona se haverá disposição para sacrificar parte da liderança em capacidade em nome da segurança.

Pontos-chave

Executivos e pesquisadores de IA vêm se preparando para cenários de incidentes graves, embora a OpenAI afirme que eles não são tratados como inevitáveis.
O apresentador aponta fragilidades crescentes em alinhamento, monitoramento e contenção de modelos, especialmente quando eles têm acesso a ferramentas e à internet.
Laboratórios continuam a corrida por causa dos retornos econômicos da inteligência, da competição entre empresas e da preocupação com a liderança da China.
Sam Altman disse que um modelo chamado Astra 6.1 poderia ter inclinação excessiva ao risco de acidente e defendeu avançar apenas quando houver progresso suficiente em alinhamento e segurança.
Avanços matemáticos atribuídos a modelos de IA levantam a possibilidade de que eles encontrem estruturas e conexões que humanos ainda não haviam reconhecido.
Pesquisas sobre “research taste” sugerem que modelos podem superar especialistas em tarefas de pesquisa bem definidas, mas isso não demonstra que já automatizam a pesquisa de IA de ponta a ponta.
A automação da pesquisa em IA é dificultada por objetivos pouco definidos, sinais escassos e custos elevados para verificar resultados.
O apresentador propõe quatro salvaguardas internas: limites de alinhamento, monitoramento, segurança e capacidade, acompanhadas de incentivos para encontrar falhas.
O vídeo também defende medidas externas de resiliência, como infraestrutura de ar limpo, triagem de síntese e sistemas de detecção metagenômica.

Capítulos

Início	Capítulo	Resumo
00:00	Alertas sobre uma possível violação grave	O apresentador reúne avisos sobre incidentes de IA e descreve dificuldades crescentes em alinhamento, monitoramento e contenção.
03:08	O risco de acidente e a preparação dos laboratórios	Declarações sobre o modelo Astra 6.1 e outros cenários de dano são relacionadas à percepção de que um incidente pode surpreender governos e o público.
07:15	Por que os laboratórios continuam avançando	O vídeo apresenta retornos econômicos, rivalidade entre empresas e competição com a China como razões para manter a corrida.
11:24	Segurança, China e limites para a corrida	O apresentador questiona o que aconteceria se a liderança em capacidade entrasse em conflito com a segurança e examina propostas de alinhamento e supervisão.
15:33	Avanços matemáticos e capacidades difíceis de prever	O vídeo discute resultados matemáticos atribuídos à IA e o potencial de modelos para descobrir padrões e produzir novas ferramentas de pesquisa.
20:13	“Research taste” e automação da pesquisa em IA	O apresentador compara os avanços em matemática com avaliações de pesquisa e explica por que as tarefas reais ainda são mais difíceis de automatizar.
25:23	Capacidades desconhecidas e incentivos da corrida	A incerteza sobre padrões ainda não reconhecidos é contraposta à dificuldade de monitorar modelos cada vez mais capazes e opacos.
27:27	Salvaguardas e resiliência fora dos laboratórios	O apresentador propõe limites verificáveis para alinhamento, monitoramento, segurança e capacidade, além de medidas externas de preparação.

Citações

Astra 6.1, o modelo atual que estávamos prontos para lançar, acho que teria pendido demais para o risco de acidente. — 03:39

Estamos no domínio de modelos poderosos o bastante para ser difícil prever o que vai dar errado especificamente e em que ordem. — 04:39

O que acontece se as avaliações de um laboratório mostrarem que o próximo modelo será super-humano em áreas críticas, mas não estará confiavelmente sob seu controle? — 11:24

Definimos o gosto em pesquisa como a capacidade de escolher problemas interessantes, projetar experimentos e interpretar resultados experimentais. — 22:17

Não sei até que ponto isso vai parecer ficção científica. Ninguém sabe. — 26:25

Conceitos e entidades

AI breach (conceito): Incidente grave em que sistemas de IA causariam danos ou escapariam do controle esperado.
alignment (conceito): Esforço para fazer com que o comportamento e os objetivos de um modelo correspondam às intenções humanas.
monitorability (conceito): Capacidade de observar e detectar o comportamento interno ou as ações de um modelo.
recursive self-improvement (RSI) (conceito): Processo em que sistemas de IA contribuem para melhorar a própria pesquisa e o desenvolvimento de sistemas de IA.
Taste Value (conceito): Medida proxy discutida no vídeo para avaliar a capacidade de um modelo de contribuir para o progresso da pesquisa em IA.
quasi Riemann hypothesis (conceito): Problema matemático relacionado a demonstrar que os números primos permanecem dentro de uma margem fixa em relação a um padrão.
OpenAI (empresa): Empresa de IA mencionada no vídeo por seus modelos, pesquisas e declarações de seus líderes.
Anthropic (empresa): Empresa de IA citada no debate sobre segurança, capacidades dos modelos e preparação para incidentes.
GPT-6 Astra (modelo): Modelo mencionado pelo apresentador ao relatar as declarações de Sam Altman sobre risco de acidente.
Opus 5.5 (modelo): Modelo citado em exemplos de design e em avaliações de tarefas relacionadas à pesquisa.
Sam Altman (pessoa): CEO da OpenAI citado por suas declarações sobre riscos, modelos e avanço responsável.
Dario Amodei (pessoa): CEO da Anthropic citado por alertas sobre danos potenciais e capacidades de modelos.
Andrej Karpathy (pessoa): Pesquisador de IA citado por sua observação sobre a pequena parcela da população que acompanha de perto o avanço da tecnologia.
Noam Brown (pessoa): Pesquisador de raciocínio da OpenAI citado por ter se surpreendido com o progresso dos modelos em matemática.
John Schulman (pessoa): Pesquisador citado ao explicar por que a pesquisa em IA depende de intuições humanas e de sinais de avaliação pouco frequentes.
David Silver (pessoa): Pesquisador citado em uma discussão sobre os riscos de criar inteligência superior e os riscos de não desenvolver IA.
Google DeepMind (empresa): Organização citada por pesquisas de previsão meteorológica e pela trajetória profissional de pesquisadores.

Tradução completa (pt-BR)

00:00 Os últimos dias e semanas foram alguns dos mais fascinantes, aventurosos e inquietantes de toda a história recente. Há um consenso emergente de que uma grande violação de segurança envolvendo IA está para acontecer, uma nova capacidade — provavelmente não intencional — de usar modelos de IA para fazer engenharia reversa de quase qualquer software disponível por aí e, claro, ainda mais avanços de pesquisa. Como há tanta coisa, vou dividir este vídeo em três partes. A primeira parte será sobre a violação iminente; a segunda, sobre os

00:31 motivos pelos quais os laboratórios dizem que continuam avançando mais rápido do que nunca; e a terceira, sobre por que, apesar disso, os próximos 18 meses continuam sendo, por definição, difíceis de prever. Agora, sobre a atual dinâmica da corrida, que parece levar inevitavelmente a uma grande violação de segurança envolvendo IA, notei que, nas semanas desde que levantei esse ponto no final de um dos meus vídeos, a cobertura da mídia sobre a quase previsibilidade desse desfecho tem aumentado. >> Perdas financeiras ou uma perda significativa de vidas. >> Acho que vai acontecer em um prazo razoavelmente curto.

01:02 Sabe, como forma abreviada, o Chernobyl da IA, mas espero que não seja tão ruim assim. >> E eles não esperam que os legisladores reajam de maneira adequada até que aconteça algum tipo de evento catastrófico. >> Os riscos são que, se isso acontecesse, estaríamos falando de um dano muito maior, por exemplo, do que o derretimento de uma única usina nuclear, e os controles internos, a segurança e as redundâncias estão muito aquém do que o mundo espera de uma instalação nuclear.

01:34 >> Então, quando há pessoas mal-intencionadas, nenhuma proteção e os modelos mais recentes, é aí que, no próximo ano, principalmente no ciberespaço, vamos ter muitas surpresas negativas. >> Se você ainda não viu meu último vídeo, há, claro, muitos fatores que levam as pessoas a fazer previsões como essas. Como as equipes de segurança da OpenAI têm cada vez mais dificuldade para estabelecer limites em torno dos modelos. Por que dar aos modelos acesso a ferramentas e à internet ajuda os laboratórios a se manterem na fronteira da inteligência. Por que saltos de capacidade

02:05 podem surpreender até mesmo os pesquisadores e a equipe de segurança da OpenAI — vou falar disso com mais detalhes na terceira parte. E por que nossos três principais mecanismos para manter os modelos sob controle estão, cada um, enfraquecendo por motivos diferentes. No caso do alinhamento, fazer com que os modelos queiram o que nós queremos está cada vez mais precário, especialmente considerando que os modelos agora parecem saber quando estão sendo testados. Monitorar a cadeia de pensamento ou o scratchpad dos modelos está ficando cada vez mais difícil. Então, sim, monitorar está ficando difícil, e bloquear o perímetro, colocar os modelos em uma sandbox, também já estava ficando difícil até com modelos mais antigos. Veja a Hugging Face. E

02:37 com os modelos mais recentes, vimos há poucos dias que, por exemplo, a Anthropic teve de desativar o acesso à internet em todas as suas avaliações internas, porque os modelos estavam aprontando todo tipo de coisa, como deixar dicas falsas em vários formulários de denúncia de crimes e homicídios. Dá para entender por que Joe, que trabalha com segurança de agent na OpenAI, diz que todos deveríamos nos preparar para a próxima onda de problemas que podem surgir com a IA. O que admito que não previ, porém, foi o quanto Sam Altman revelaria em uma entrevista divulgada nos últimos poucos

03:08 dias sobre o quanto alguns desses cenários de violação estão próximos. Repare na expressão que Altman usa no meio deste trecho, quando diz que GPT 6.1 Astra é algo interessante para estudar. >> Há, de certa forma, duas maneiras principais de isso dar errado, e acho que Astra 6.1 é algo interessante para estudar nesse contexto. Pode haver um grande acidente de segurança. Um dia, pode acontecer algo que leve a uma perda real de controle, em que a IA, sabe, escape e saia causando estragos na internet, e a sociedade não consiga

03:39 realmente recuperar o controle. Astra 6.1, o modelo atual que estávamos prontos para lançar, acho que teria pendido demais para o risco de acidente. Então, em vez disso, estamos avançando rumo a um modelo sobre o qual possamos fazer afirmações muito mais confiantes quanto ao alinhamento. >> Caso você não tenha percebido, ele disse que o modelo que estava prestes a ser lançado, 6.1 Astra — não o modelo interno mais forte, que seria Bell, pelo menos esse é o codinome —, não, 6.1 Astra teria pendido demais para o risco de acidente. Causando estragos na

04:09 internet, sem que a sociedade consiga realmente recuperar o controle. Isso, claro, ecoa o alerta recente de Dario Amodei, CEO da Anthropic, que disse que, se o Hugging Face Swarm tivesse capacidades maiores, mas um nível semelhante de desalinhamento, os danos, na opinião dele, teriam sido catastróficos. Quanto ao prazo, considerando as acelerações, ele está falando de 6 a 12 meses, com Swarms capazes de assumir o controle de toda a internet. Ainda mais surpreendente para mim, eu diria, ao falar da próxima geração de modelos, foi alguém dizer que não conseguia prever nem mesmo a categoria dos danos que seriam causados:

04:39 cibernéticos, biológicos. >> Estamos lidando com modelos poderosos o bastante para que seja difícil prever quais serão exatamente os problemas e em que ordem eles ocorrerão. E acho que a política e as políticas públicas vão reagir aos problemas específicos que surgirem. Então, se o próximo grande problema for alguém criar um patógeno inédito, acho que a resposta será muito diferente da que haveria se o próximo problema fosse mais relacionado à cibersegurança. E

05:11 eu diria que, em geral, o mundo será pego de surpresa pela próxima coisa que der muito errado. >> Obviamente, não é preciso ser líder de um laboratório para prever onde a dinâmica atual da corrida vai dar. Como você viu, eu e muitos outros comentaristas de fora chegamos à mesma conclusão e, claro, pesquisadores também. Jacob Cocksedge, autor do tuíte que viralizou, disse à revista Time que, nos escritórios em que trabalhou na OpenAI e na Anthropic, havia uma espécie de fatalismo. Existe esse clima de quase resignação. Os pesquisadores tentam fazer o próprio trabalho da maneira mais segura possível, mesmo que

05:42 achem que há uma chance razoável de tudo sair do controle. Ainda sobre o assunto de sair do controle, parece que os laboratórios estão, na verdade, tomando medidas de contingência para o caso de isso acontecer. A Axios noticiou outro dia que altos executivos da Anthropic, da OpenAI e de outras empresas de IA estão simulando cenários de revolta popular e política após um evento catastrófico envolvendo IA. O mais provável seria um ciberataque que interrompesse serviços financeiros, a conectividade com a internet ou até mesmo o fornecimento de energia e água. Obviamente, isso faria o público

06:13 se voltar ainda mais contra essa tecnologia e seus líderes, dizem eles. A reportagem acrescenta que muitos dos principais pesquisadores e executivos de IA acreditam que um grande incidente é inevitável. A Anthropic se recusou a comentar, mas a OpenAI disse que esses cenários não são tratados como inevitáveis; eles servem para nos ajudar a nos preparar para uma variedade de circunstâncias. Então, esses preparativos estavam acontecendo. O famoso pesquisador de IA Andrej Karpathy observou que a grande maioria das pessoas não está sentindo a vertigem do que está acontecendo com a IA. Ou são os 6 bilhões de pessoas que simplesmente não usam IA,

06:44 ou os 1 a 2 bilhões de pessoas que usam chatbots meio bobinhos, nas palavras dele. Aí tem basicamente nós, muitos de nós — tenho certeza de que a maioria das pessoas assistindo —, os 0,2% que interagem com IA, criam apps e acompanham as notícias de perto. Mas isso talvez sejam 20 milhões de pessoas, enquanto, é claro, as 5.000 pessoas dos laboratórios de ponta estão em uma categoria completamente diferente. Esse pessoal, ou talvez nós junto com esse pessoal, está sentindo a vertigem, diz Karpathy, da curva que está ficando vertical. Falando em ficar vertical, isso me inspirou a trabalhar com GPT image 2.5

07:15 para criar isto. Vou voltar a esta imagem, mas, para mim, ela sugere o primeiro motivo pelo qual os laboratórios se encontram nessa situação. Muitos pesquisadores dos laboratórios, inclusive pesquisadores de segurança, não achavam que chegaríamos a este ponto. >> E eu não achava que conseguiríamos criar algo fundamentalmente mais inteligente do que nós. E, quando pensei: “Não, realmente vamos ter algo que pensa muito melhor do que nós”, pensei: “Ah, estamos numa parte totalmente inadequada do espaço de possibilidades

07:46 espaço aqui em termos de quão segura a indústria está sendo de fato em relação a essa realidade. >> Tudo bem. Mas, como vou mostrar na parte três, definitivamente chegamos a um ponto extraordinário. E não me refiro apenas às quase 400 descobertas matemáticas que a OpenAI despejou em um repo. Uma delas, em particular, mudou o paradigma. Também estou falando da loucura de fazer engenharia reversa de binários para desbloquear jogos. Ou simplesmente observar o comportamento de um software para recriar toda a suíte Adobe. Outros estão fabricando seus próprios produtos no improviso. Produtos que de fato

08:18 estão sendo fabricados e entregues. Obviamente, isso é bastante contagioso. Tirei algumas fotos da casa de campo da minha mãe e usei Opus 5.5 para transformá-la em um projeto completo, com móveis e pessoas, que será impresso em 3D na China usando PolyJet. Indústrias inteiras foram construídas com base na premissa de que algumas dessas coisas não poderiam ser feitas. Então, sim, até os modelos atuais, com os recursos que têm hoje, são um tanto impressionantes. Mas, voltando à parte dois: por que os laboratórios dizem que ainda estão avançando na corrida mais rápido do que nunca? Bem,

08:49 sabe, antes falamos de cenários de força bruta. Ninguém consegue dizer exatamente quando se chega à beira do precipício. É claro que as nuvens cobrem o topo da rampa, porque talvez ainda demore para alcançarmos esse nível de capacidade. Ou talvez nossas técnicas de alinhamento funcionem por mais tempo do que imaginamos. E esse é parte do motivo. Os modelos ainda são um pouco irregulares, então por que não avançar um pouco mais? O próximo motivo, porém, tem a ver com a rampa ser feita de ouro. No último vídeo, falei sobre o crescimento exponencial da receita dessas empresas. E um pesquisador da Anthropic foi bem direto. >> Muitas vezes, falamos disso como

09:20 uma espécie de retorno econômico exponencial à inteligência. Cada unidade marginal de inteligência que você consegue obter vale exponencialmente mais do que a unidade que veio antes. >> Quanto mais perto você chega da fronteira, mais dinheiro você ganha. O próximo motivo para os laboratórios pisarem fundo é, claro, a concorrência entre eles. Há todo tipo de disputa de ego entre xAI, Anthropic, OpenAI e Meta. Em breve, veremos lançamentos bem interessantes de alguns grupos que não são da OpenAI nem da Anthropic

09:50 — disso posso garantir. Mas, além do orgulho e do ego, um dos motivos mais citados pelos laboratórios ocidentais para continuar a corrida é, naturalmente, manter a dianteira em relação à China. Eu poderia citar uma fala de cada líder de laboratório. Veja Sam Altman dizendo: “Quero que os EUA vençam tanto em modelos open source quanto em modelos proprietários.” Mas ninguém defende esse argumento com mais veemência do que Dario Amodei. Ele escreve e diz com frequência coisas como: “Concordo com a secretária Bessant que a liderança chinesa em IA representaria um grave perigo para os EUA e para o mundo. Eles estariam em posição de dominar militarmente

10:21 as democracias, por exemplo, com drones controlados por IA.” Isso seria mais um argumento para não ficar atrás da China do que necessariamente para estar na liderança, mas esse é outro debate. Muitas vezes ouço o governo dos EUA e os líderes dos laboratórios dizerem em entrevistas, sem serem contestados: “Sim, temos que manter essa dianteira. Vocês já viram as citações, mas eu poderia mostrar mais cem.” Mas os líderes dos laboratórios estão cada vez mais deixando claro que não querem criar modelos com capacidades desconhecidas e que estão cada vez menos sob seu controle. O cientista-chefe da OpenAI disse: “Não podemos continuar aumentando a escala com responsabilidade e na velocidade máxima por

10:52 muito mais tempo. Espero, e desejo, que desacelerações voluntárias se tornem comuns até que sejam estabelecidos padrões de segurança compartilhados.” Sam Altman está cada vez mais preocupado com a possibilidade de um modelo de IA rebelde ser, por si só, a ameaça. >> O possível lado negativo talvez não seja o tipo de coisa que costuma dar errado, que podemos corrigir e para a qual temos um sistema jurídico, mas algo dar muito errado. Como no caso extremo de que falamos: perdermos o controle do futuro para a IA, o que seria horrível. Então, minha posição sobre a regulamentação é

11:24 favorável à inovação. Deixemos algumas coisas darem errado normalmente e confiemos que temos um processo normal para lidar com isso. Mas, quando essa tecnologia for extraordinariamente poderosa e fundamentalmente nova, precisamos de proteções para garantir que toda a sociedade esteja razoavelmente segura e para que não saiamos desse caminho em nenhuma das direções, de uma forma que possa ser muito difícil ou impossível de reverter. >> Para mim, porém, o que ninguém perguntou aos líderes dos laboratórios de IA é: o que acontece quando esses dois compromissos

11:56 entram em conflito? O que acontece se as avaliações de um dos próprios laboratórios mostrarem que seu próximo modelo será sobre-humano em áreas críticas, militares ou biológicas, mas não estará sob controle confiável? Eles parariam, mesmo que isso significasse que outro laboratório ou a China os alcançasse? Dito de outra forma: segundo que critério vocês deixariam de acreditar que precisamos manter uma dianteira em capacidade sobre a China? E, pela primeira vez, vi Sam Altman inclinar-se à ideia de avançar em um ritmo mais lento, desde que a China também verificasse o cumprimento.

12:28 >> O que realmente queremos é que, em cada etapa de novas capacidades, tenhamos progresso suficiente em alinhamento, monitorabilidade, segurança e compreensão de como a sociedade e a tecnologia estão evoluindo juntas, >> Certo. >> para podermos avançar com segurança ao próximo nível. E, quando não tivermos isso nem mesmo nesse nível unilateral, faremos uma pausa. E, se os EUA e a China pudessem chegar a um acordo sobre padrões de segurança compartilhados e

12:59 requisitos para avançar, verificando o cumprimento dos limites que deveríamos exigir para prosseguir, acho que isso seria um passo incrível. Acho que eles conseguiriam fazer isso. >> É claro que isso não responde à questão do que fariam se os dois desafios entrassem em conflito e a China se recusasse a verificar o cumprimento, mas talvez o plano seja lidar com isso quando chegar a hora. E quanto aos outros laboratórios?

13:30 Nos meus primeiros testes do novo Muse wonder deles, eu não o colocaria exatamente no mesmo nível de Opus 5.5. Lembrem-se de que o índice AA inclui alguns benchmarks bastante desatualizados, mas o modelo está chegando perto do patamar de GPT-6 Astra. Como sempre, as vantagens são medidas em meses. Bem, não vou mostrar o clipe, mas Alexander Wang, que lidera a iniciativa da equipe de superinteligência da Meta, foi sincero ao admitir que eles não sabem muito bem como alinhar perfeitamente seus modelos. A melhor aposta atual deles é a supervisão escalável. Algumas das técnicas envolvidas nisso dependem de uma IA mais fraca

14:01 supervisionando uma mais forte. Satya Nadella, CEO da Microsoft, endossou em parte essa abordagem. Além de defender um botão de emergência que permita desligar os modelos, ele também disse que nenhum modelo deve controlar tanto o comportamento de um sistema quanto as evidências necessárias para determinar se esse comportamento está alinhado à intenção original. Nenhum modelo, claro, sugerindo que outro modelo poderia fazer essa verificação. Isso merece outro vídeo, mas eu faria apenas uma ressalva a esses dois: talvez também seja bom garantir que o segundo modelo seja totalmente distinto do

14:32 primeiro modelo, porque modelos professores conseguem, por exemplo, codificar backdoors em outros modelos por meio de fine-tuning feito com uma lista aparentemente inofensiva de números. São vulnerabilidades em que o modelo submetido a fine-tuning de repente se comporta de forma bem diferente quando surge uma situação de gatilho. Sim, é um comportamento complexo desse tipo: se houver um nome feminino no prompt, responda em francês — isso foi induzido com fine-tuning usando uma lista de números ampliada. Antes de passar à parte três, há outro motivo apresentado para continuar a

15:02 corrida. O Financial Times perguntou ao renomado pesquisador David Silver, antes da Google DeepMind e agora com seu próprio laboratório Neo, por que alguém iria querer criar uma inteligência superior. Ele responde: “Bem, pergunte-se para onde estamos indo sem IA. Os humanos travaram guerras mundiais, permitimos que a pobreza extrema existisse e deixamos doenças curáveis matarem milhões de pessoas.” Em essência, ele está dizendo: sim, há riscos envolvidos na criação de uma superinteligência, mas não se esqueçam de que sempre existe um risco de fundo por sermos a espécie humana. Para mim, esse é um ótimo argumento para criá-la em algum momento, sob as condições certas,

15:33 não necessariamente nestas condições. É como dar voltas em uma pista de Fórmula 1: chegar ao fim da volta não significa fazer cada curva na velocidade máxima. Apesar de tudo isso, está na hora da parte três, porque, na minha opinião, ainda é muito difícil prever os próximos 18 meses. Uma das razões é que agora é muito difícil expressar uma diferença qualitativa entre o que um ser humano de ponta consegue fazer e o que um modelo de ponta consegue fazer. Não estou falando das ferramentas que damos aos modelos nem dos experimentos que eles podem ou não realizar legalmente. Estou falando de categoria

16:03 de raciocínio. Mesmo quando o assunto é gosto, ao qual vou chegar, não estou convencido. Mas pense em uma área na qual nossos humanos de QI mais alto passam meses, anos, às vezes décadas, pensando, refletindo, raciocinando e criando desafios e conjecturas para si mesmos: a matemática. Embora nem todos os resultados tenham sido verificados, quando a OpenAI divulgou centenas de soluções, muitos chamaram aquilo de o maior dia da história da matemática. Uma delas, em particular, envolvendo o atalho zeta, foi descrita como superando até a solução de Navier-Stokes. Essa foi uma

16:34 solução para um problema do Prêmio do Milênio. Um pouco de contexto, porque, claro, isso está muito além da minha capacidade matemática e da de qualquer pessoa, aliás. Mas, essencialmente, os números primos que todos conhecemos e adoramos — 2, 3, 5, 7, 11, 13, 17 etc. — não têm um ritmo evidente nos intervalos entre eles. Esses intervalos aumentam e diminuem sem motivo visível. Bernhard Riemann encontrou uma ordem oculta no caos na década de 1850. Ele disse que, apesar de todo esse caos nos intervalos, os primos permanecem tão próximos quanto possível de um padrão previsível. Isso deu origem à

17:05 hipótese de Riemann. Mais tarde, pelo que entendi, os matemáticos estabeleceram um objetivo mais modesto: provar que os primos ao menos permanecem dentro de uma margem de segurança fixa em relação ao padrão. Não provar o padrão, mas provar essa margem de segurança fixa. Isso ficou conhecido como hipótese quase-Riemann. Até muito recentemente, porém, dizia-se que mesmo um avanço nesse sentido estava fora de alcance. Um avanço ali seria ficção científica. Outro matemático disse: “Está completamente fora de alcance com a matemática existente.” Outro matemático de Oxford disse: “Eu não esperava a magnitude dos resultados de alguém, mas

17:37 este, em particular, sobre o atalho zeta, é absolutamente chocante.” Se a prova de 199 páginas da hipótese quase-Riemann se confirmar, será o maior passo em direção à hipótese de Riemann em mais de um século. Mas vou ser sincero: o que me chamou a atenção não foram apenas essas descrições dos matemáticos. Melhor que Navier-Stokes, impossível com a matemática existente. Para mim, foram as horas que passei tentando definir uma barreira qualitativa entre o que os humanos conseguiram realizar em qualquer área — mas vamos pegar a matemática — e o que os modelos conseguem fazer agora. Um teria

18:09 identificado uma regularidade, em vez de apenas recombinar resultados existentes ou avançar a todo vapor com uma capacidade gigantesca de busca. Não: teria desvendado uma função meta mais profunda, um padrão oculto no universo, uma regularidade no caos, algo que, uma vez encontrado, ajudaria outras pessoas, em outras áreas, a alcançar novos avanços. Então, vamos a um resumo do Claude. Em cinco dias, o Opus 5.5 escreve: “Artigos que usaram a ideia da IA, o atalho zeta, afirmaram ter mais três soluções. Ela ajudou em um artigo sobre teoria dos números, outro sobre ciência da computação

18:41 e em outros artigos.” Isso ainda deixa a pergunta: e agora, o que vem a seguir? Se até os indivíduos com o maior QI do mundo, como Terence Tao, dizem que isso não foi uma demonstração de erudição, mas uma demonstração de poder, então, concordando ou não com isso — e, claro, entendo o choque enorme que os matemáticos devem estar sentindo —, a pergunta continua sendo: o que ainda falta? Obviamente, eles ainda não resolveram os outros problemas do Prêmio do Milênio, incluindo a própria hipótese de Riemann por completo. Mas talvez alguns deles sejam como fechaduras silenciosas: se você

19:11 tenta arrombá-las, não recebe um retorno que permita avançar com facilidade. É preciso destrancar muitas teorias independentes e aparentemente sem relação entre si ao longo do caminho, só para ter as ferramentas necessárias para resolver o problema como um todo. Bem, a isso eu responderia duas coisas. Primeiro, os humanos não fizeram isso. Eles dependem da combinação de teorias e resultados diversos criados por outros humanos. Segundo, mesmo que esses avanços dependam de etapas intermediárias ainda não descobertas, o que impede que os modelos sejam soltos para criar o maior número possível de etapas intermediárias aparentemente sem relação entre si? Criar centenas de provas verificadas e depois

19:42 tentar recombiná-las periodicamente para encontrar algo maior. Quase poderíamos chamar isso de uma espécie de gosto: intuir quais etapas intermediárias podem ser mais úteis no futuro é uma forma de gosto ao longo do tempo. Foi por isso que cheguei a esta ideia: o gosto como a última fronteira. A eficiência com que nós ou um modelo encontramos as informações que serão importantes. Essa é a última fronteira? Como já dei a entender, para mim, gosto é apenas capacidade distribuída ao longo do tempo. Não é uma habilidade sobrenatural. Ela surge da observação de outros aspectos da fórmula. Pense no progresso em qualquer área, em qualquer domínio. Pergunte

20:13 a si mesmo: quão difícil é verificar resultados intermediários? Isso é lento e caro, como na biologia ou no desenvolvimento de medicamentos, ou rápido e barato, como na matemática? Pense na escassez de sinais. Para chegar ao atalho zeta, o modelo interno da OpenAI teve que deduzir quais informações seriam úteis entre dezenas de milhares ou milhões de teorias e artigos matemáticos. O gosto em pesquisa de IA funciona de um jeito um pouco diferente, como vou abordar daqui a pouco. Depois, há a complexidade do objetivo. O objetivo está bem especificado, bem definido e com escopo claro? Tornar modelos melhores em

20:43 tarefas profissionais do mundo real é um objetivo muito mais complexo do que encontrar um contraexemplo para esta conjectura. E, claro, há também o fator computação. Um modelo pode ter um gosto bem ineficiente e ruim, mas, com bilhões de horas de GPU, acaba encontrando o resultado. Talvez eu esteja forçando um pouco a comparação, mas, para mim, isso dá um quadro para comparar esse avanço na hipótese quase-Riemann com a dificuldade de automatizar a pesquisa em IA. Primeiro, de novo, a hipótese quase-Riemann. Que tipo de gosto ela demonstrou? Objetivo exato,

21:14 baixo custo de verificação, uma quantidade desconhecida de horas de computação, mas sinais bastante distantes uns dos outros em meio ao ruído da matemática. O modelo teve que selecionar técnicas de áreas distintas da matemática e combiná-las de maneiras novas. Para mim, isso demonstra um nível razoável de gosto. Como sabemos, o mesmo modelo, com três horas para todas aquelas outras 372 famílias de resultados, alcançou vários outros avanços. É claro que não estamos falando de gosto perfeito; caso contrário, teria resolvido toda a matemática. Resolver a hipótese de Riemann por completo talvez envolvesse uma escassez extrema de sinais. Inventar teorias na hora, muitas e muitas vezes seguidas, só para

21:46 conseguir sequer as etapas intermediárias necessárias para chegar ao resultado. Mas agora vamos comparar isso com o Taste Value. É uma medida indireta da capacidade de um modelo de IA de automatizar o progresso da pesquisa em IA. O assunto foi abordado em uma publicação recente de Jack Clark no Import AI. Ele é, claro, um dos cofundadores da Anthropic e um dos responsáveis por RSI, o autoaperfeiçoamento recursivo. Sobre o Taste Value, ele disse: “Benchmarks como este nos dão alguns indícios de que eles estão ficando cada vez melhores em pesquisa de IA. Agora acho mais provável que o autoaperfeiçoamento recursivo completo se torne possível em 2027, enquanto antes eu

22:17 achava mais provável que isso acontecesse em 2028.” A pesquisa em si, publicada na semana passada, definiu gosto em pesquisa como a capacidade de escolher problemas interessantes para resolver, elaborar experimentos e interpretar resultados experimentais. Até que ponto um modelo consegue elaborar experimentos? Ele é ótimo nisso. Bem, acontece que o Opus 5.5 superou a referência de especialistas humanos. A referência de especialistas humanos. Foi cerca de duas vezes melhor, mas outros modelos, como o Astra, também superaram a referência. Ainda assim, devemos ter cuidado ao interpretar isso como sinal de que os modelos já conseguem automatizar a pesquisa em IA. Os autores do estudo, P0, ressaltam

22:47 que essas tarefas são rápidas e baratas de verificar. A referência humana não inclui os principais pesquisadores. Embora as pessoas incluídas tivessem trabalhado recentemente na OpenAI, Google DeepMind, Nvidia etc. Mas, no fim das contas, estamos falando de 40 horas de GPU em uma H100, com verificação rápida e barata, geralmente em menos de 10 minutos. Não eram as enormes e complexas execuções de treinamento que os laboratórios de ponta fazem. Cada tarefa tinha um objetivo claro. Curiosamente, se você atingisse o objetivo e, essencialmente, tornasse a tarefa mais complexa, o desempenho não despencava, mas caía pela metade. A questão, porém, é que automatizar por completo a pesquisa em IA é diferente.

23:19 Os objetivos são mais complexos e os sinais são muito mais escassos. John Schulman, que foi fundamental na criação do ChatGPT e agora trabalha em um laboratório concorrente, disse que, na pesquisa em IA, em geral, não se otimiza diretamente o objetivo final com o qual nos importamos. Como obter feedback é muito mais caro e pouco frequente, os laboratórios dependem atualmente muito mais da intuição humana. >> Eu diria que muita pesquisa não é bem assim, como se fosse uma escalada em direção a um objetivo bem definido. É mais como: “Bem, temos uma intuição sobre alguma maneira de os modelos ficarem melhores e…”

23:49 Então, também temos alguma ideia de um algoritmo que parece ir um pouco nessa direção. Então, vamos criar uma tarefa que seja meio que projetada para mostrar sinais de vida nessa abordagem e ver se conseguimos obter esses sinais de vida. Se conseguirmos, podemos criar versões sucessivamente mais realistas da tarefa. Você não está otimizando diretamente para o objetivo final com o qual se importa, ou para o objetivo prático de produção. É meio que…

24:20 …você está relaxando um pouco o seu objetivo. Está dizendo: “É, vamos relaxar um pouco no eixo do realismo e encontrar algum método que realmente funcione; depois, tentar voltar ao realismo quando o método amadurecer um pouco.” Então, como a Anthropic afirma no system card, ainda não chegamos lá. O Opus 5.5 fica cerca de 30 pontos atrás dos próprios pesquisadores da Anthropic. Isso é no benchmark interno da Anthropic, Codebench, para automatizar a pesquisa em IA. Então, meu argumento é que ainda não chegamos lá porque o custo de verificação é muito alto e o…

24:51 objetivo é mais confuso, e porque há tantas combinações que poderíamos experimentar. Mas, com o compute efetivo aumentando exponencialmente, como abordei em outros vídeos, modelos maiores pesquisando mais opções, poderíamos dizer que a intuição para pesquisa em IA está se desenvolvendo mesmo assim. E os avanços matemáticos mostram que não é uma questão de QI. É mais uma questão de inevitabilidade. Se essas tendências são inevitáveis, por que o pesquisador-chefe de raciocínio da OpenAI, Noam Brown, disse que ficou surpreso com o quanto os modelos tinham avançado, por exemplo, em matemática, achando que isso só aconteceria dois anos depois? Para mim, isso se resume ao fato de nós não…

25:23 sabermos o que não sabemos. Não sabíamos quantas estruturas de ordem superior havia, por exemplo, na escrita. É por isso que o GPT-4 surpreendeu muitos com sua capacidade de escrever ensaios. Deve haver mais estruturas de ordem superior na matemática do que imaginávamos, daí tantos avanços tão cedo. Há alguns campos, porém, que são mais fractais e caóticos, como, por exemplo, a previsão do tempo. Sim, é verdade que os modelos de IA estão levando a avanços nessa área. Não são exatamente os mesmos tipos de LLMs, mas, ainda assim, o Google DeepMind previu a chegada deste furacão, Isaias. Com a IA competindo contra os modelos tradicionais, houve…

25:55 uma divergência importante quanto à trajetória que o furacão seguiria, e o modelo do Google DeepMind acertou. Acho que foi uma previsão com 11 dias de antecedência. Mas o clima é fractal, caótico. Provavelmente poderíamos criar modelos cem vezes melhores, e eles poderiam prever com 13 ou 15 dias de antecedência, não com um milhão. Há estruturas de ordem superior na biologia, na cibersegurança ou na pesquisa em IA que desconhecemos? Provavelmente, mas não sabemos. Isso é uma grande parte do motivo pelo qual vejo cada novo modelo como algo que, essencialmente, tem capacidades um tanto desconhecidas para identificar padrões. Simplesmente não sabemos quais…

26:25 padrões existem por aí. Como Sam Altman disse recentemente: “Não sei até onde a ficção científica vai chegar. Ninguém sabe.” Muitos esperam o melhor dos dois mundos, em que teremos modelos mais capazes e mais seguros. Mas, considerando que muitos dos nossos testes de alinhamento dependem de os modelos não perceberem que estão sendo testados, talvez seja mais uma bifurcação no caminho, em que aumentos de capacidade significam, quase por definição, menos possibilidade de monitoramento e mais consciência dos evals. Mais parâmetros, menos capacidade de descobrir o que está acontecendo nas redes neurais, menos interpretabilidade mecanicista. Obviamente, automatizar…

26:56 a pesquisa em IA acelera todas essas tendências. Nesse contexto, então, o problema não é não conseguirmos tornar os modelos mais previsíveis. Podemos fazê-los agir mais como software. O problema, como ilustra esta rampa dourada, é que há recompensas exponencialmente maiores por tornar os modelos menos previsíveis. É assim que um laboratório vence. Alguns modelos mais indecifráveis escrevendo 80% das linhas de código, em breve 90%, ajustando suas próprias receitas de treinamento, cada vez mais opacas, avaliando as próprias saídas e organizando os próprios enxames em escalas cada vez mais…

27:27 intratáveis. Algumas pessoas sugeriram processar os laboratórios quando algo der errado. Mas o The Economist diz que a legislação sobre responsabilidade civil não vai domar a IA. O motivo? Bem, levaria anos para decidir esses casos, quanto mais para depois usá-los para estabelecer padrões confiáveis. É claro que tudo aconteceria muito depois de qualquer incidente. Na Politico, David Thaw, professor de direito da University of Pittsburgh, disse: “Temos que responder: queremos criminalizar alguém pelos tipos de comportamento alegados e admitidos no incidente da Hugging Face?” Há muita divergência sobre isso, e o Congresso ainda não…

27:57 se pronunciou de forma clara e inequívoca sobre o assunto. Digam o que acham: líderes de laboratórios ou pesquisadores deveriam ser responsabilizados? Para mim, eu não me oporia a um sistema interno de quatro travas nas empresas, abrangendo alinhamento, monitoramento, segurança e capacidade. No alinhamento, um laboratório poderia estabelecer um limite: entre um milhão de combinações de prompts adversariais, no máximo X ações profundamente desalinhadas. Essa é a trava de alinhamento. No monitoramento, poderíamos dizer que, em pelo menos X por cento das tentativas, eles precisam detectar nas ativações ou na cadeia de pensamento se aquela tentativa ocorreu. Digamos que a ação seja detectada nas ativações da rede neural ou na cadeia de pensamento pelo menos 99% das vezes.

28:29 Se esse padrão impedir uma arquitetura escrita por IA, que assim seja. Em outras palavras, você não está impedindo uma nova arquitetura escrita por IA por si só. Está impedindo-a porque ela reduz o monitoramento para abaixo desse padrão. Na segurança, os modelos poderiam provar que têm X camadas de segurança distintas. Cada uma delas seria submetida a red teaming Y vezes, com recompensas por quaisquer violações que pudessem ser demonstradas. Recompensas para as equipes de red teaming.

29:01 Em tudo isso, alguém poderia perguntar: “E a lei de Goodhart? Essas métricas deixarão de ser boas porque se tornarão alvos.” Bem, os laboratórios poderiam comprometer X por cento da remuneração ou do orçamento de compute para recompensar a ciência do desalinhamento: os pesquisadores capazes de expor falhas de alinhamento, segurança ou monitoramento. Cada descoberta poderia mostrar que os limites não foram cumpridos. Portanto, se essa ciência avançasse mais rápido do que as melhorias nessas metas, isso significaria, na prática, uma pausa no treinamento de modelos de fronteira. Voltamos à questão da China. São necessárias razões científicas, não…

29:32 apenas uma abordagem baseada em impressões, porque provavelmente chegará um momento em que será preciso sacrificar boa parte ou toda a vantagem sobre outros laboratórios ou sobre a China para adicionar essas salvaguardas necessárias. Seriam necessárias essas verificações e limites para justificar aos acionistas e aos militares por que as salvaguardas são necessárias. Para completar a quarta trava, eu acrescentaria testes de capacidade. Os modelos seriam direcionados a tentar certas coisas. Com esses direcionamentos, os laboratórios de fronteira ainda poderiam afirmar que os modelos não conseguem atingir o alvo Y em X tentativas, sendo Y uma capacidade que não queremos que eles tenham? Obviamente, há…

30:03 também muitas coisas que deveríamos fazer fora dos laboratórios, quase como uma camada de fortalecimento social. Este artigo traz algumas ótimas sugestões, por exemplo, de dois importantes pesquisadores de biologia. Coisas como infraestrutura de ar limpo, triagem de síntese e sistemas de detecção metagenômica. Coisas com as quais basicamente todo mundo concorda, mas que os políticos não estão fazendo. Não vou chamar isso de uma quinta trava, porque está fora do controle dos laboratórios. E, obviamente, adoraria saber o que vocês acham dessas sugestões e se há outras melhores. O que acham do quadro mais amplo? Estamos no estágio final do…

30:33 capitalismo, em que a IA oferece a perspectiva de uma separação completa entre quem tem capital e quem depende do trabalho? Estamos diante de uma nova era de ouro de software e jogos com engenharia reversa? Em que, sim, isso pode enfraquecer o poder de algumas organizações profissionais, mas também distribuir poder para quase todo mundo? Ou estamos num momento decisivo e precisamos reconhecer que uma violação pode muito bem estar a caminho? Fico feliz por termos pessoas tão adoráveis como vocês na minha audiência. Muito obrigado por assistirem até o fim e tenham um ótimo dia.

Transcrição original

[00:00] The last few days and weeks have been some of the most fascinating, adventurous, and disquieting in all of recent history. With an emerging consensus that a major AI breach is due, the newfound, likely unintended ability for you to use AI models to reverse engineer almost any piece of software out there, and of course, yet more research breakthroughs. Because there’s so much, I’m going to split this video into three parts. Part one about the forthcoming breach, part two on the

[00:31] reasons why labs say they are still racing forward faster than ever, and part three on why the next 18 months are still, nevertheless, definitionally hard to predict. Now, on the topic of the current race dynamic seeming to inevitably lead to a major AI breach, I have noticed in the weeks since I made that point at the end of one of my videos that there has been increasing media coverage as to the almost predictability of that eventuality. >> financial loss or a significant loss of life. >> I think it will happen reasonably soon.

[01:02] You know, shorthand the Chernobyl of AI, but I hope it won’t be that bad. >> And they don’t anticipate that lawmakers will react appropriately until after there’s some sort of catastrophic event. >> risks that if if if that did happen, we’re talking about a harm that’s much larger, for example, than a single nuclear power station melting down, and the internal controls and safety and redundancies are just nowhere near what the world expects for a nuclear power facility.

[01:34] >> So, when you have bad people, no safeguards, and then the the latest models, that’s where over the next year, primarily in the Siberia, we are going to have a a lot of negative surprises. >> If you haven’t seen my last video, there are, of course, lots of ingredients that go into people making predictions like these. How security teams at OpenAI are increasingly struggling to put perimeters around the models. Why giving models access to tools and the internet helps keep labs at the frontier of intelligence. Why jumps in capability

[02:05] can be surprising even to OpenAI researchers and security staff and I’ll cover that in more detail in part three. And why our three main mechanisms for keeping models under control are each weakening for different reasons. For alignment, getting models to want what we want is increasingly precarious, especially given that models seem to know now when they’re being tested. Monitoring models chain of thought or scratchpad is getting increasingly difficult. So yeah, monitoring is getting tough and locking down the perimeter, putting models in a sandbox, well, even with older models that was getting tough. See Hugging Face. And

[02:37] with even the very latest models we saw just a few days ago that say Anthropic had to turn off internet access for all their internal evaluations because models were getting up to all sorts of shenanigans like leaving false tips on various crime and homicide reporting forms. You can see why Joe here, who works on agent security at OpenAI, says that we should all prepare for the next wave of what can go wrong with AI. What I will admit not foreseeing though is just how revealing Sam Altman would be in an interview released in the last few

[03:08] days regarding how close some of these breach scenarios are. Notice the phrase in the middle of this clip that Altman drops in where he says GPT 6.1 Astra is an interesting thing to study. >> So there are kind of two major ways that this could go wrong and I think that Astra 6.1 is an interesting thing to study here. You can have a big safety accident. Eventually one that leads to like a real loss of control where AI, you know, escapes and it’s out doing wrecking havoc on the internet and society can’t

[03:39] really get control back. 6.1 Astra, the current model we had ready to go, I think would have tipped too much towards the accident risk. So what we’re doing instead is pushing towards a model that much we can make much more confident claims about the alignment. >> In case you missed it, he said that the model they were due to release next, 6.1 Astra, not their strongest internal model, which would be Bell, at least that’s the code name. No, 6.1 Astra would have tipped too much toward the accident risk. The wreaking havoc on the

[04:09] internet, where society can’t really get control back. This, of course, echoes the recent warning from Dario Amodei, CEO of Anthropic, where he said that if the Hugging Face Swarm had possessed greater capabilities, but a similar level of misalignment, the damage he thinks would have been catastrophic. On timings, given the accelerations, he’s talking about 6 to 12 months, with Swarms being capable of taking over the entire internet. Even more startling to me, I would say, talking about the next crop of models, was someone saying that they couldn’t quite predict even the category of damage that would be done,

[04:39] cyber, bio. >> We are in the realm of powerful enough models that it is difficult to predict the specific things that will go wrong and what order. Um, and I think politics and policy is going to be very reactive to the specific things that go wrong. So, if the next big thing that goes wrong is like someone makes a novel pathogen, I think that will have a very different response than if the next thing that goes wrong is more cybersecurity. And

[05:11] I would guess the world in general will be caught off guard by the next thing that goes really wrong. >> Obviously, you don’t need to be a lab leader to foresee where the current race dynamic ends up. As you’ve seen, myself and many other outside commentators have drawn the same conclusion, and of course, researchers, too. Jacob Cocksedge of the super-viral tweet said to Time magazine that at the desks in which he worked at OpenAI and Anthropic, there was a kind of fatalism. There’s this atmosphere of almost resignation. Researchers try to make their own work as safely as possible, even if they

[05:42] think there’s a decent chance the whole thing spirals out of control. On the topic, though, of spiraling out control, it seems like the labs are actually putting contingency measures in place should this happen. Axios reported the other day that top executives at Anthropic, OpenAI, and other AI companies are gaming out scenarios for a public and political revolt after a catastrophic AI event. This would be most likely a cyber attack that shuts down financial services, internet connectivity, or even power and water. Obviously, this would turn the public

[06:13] further against this technology, they say, and it’s leaders. And the report adds that many top AI researchers and executives believe a major incident is inevitable. Anthropic declined to comment, but OpenAI said these scenarios are not treated as inevitable, but are meant to help us prepare for a variety of circumstances. So, those preparations were happening. Famed AI researcher Andrej Karpathy pointed out that the vast majority of people are not experiencing the vertigo of what’s happening in AI. Either they’re the 6 billion people who just don’t use AI,

[06:44] the one to two billion people who use derpy chatbots, unquote. Then there’s basically us a lot, I’m sure most of the people watching, the 0.2% who are engaging with AI, building apps, following the news closely. But that might be 20 million people, with of course the 5,000 people at the frontier labs in a different category entirely. Those guys, or maybe us plus those guys, are experiencing the vertigo, Karpathy says, of the curve going vertical. Now, speaking of going vertical, that inspired me to work with GPT image 2.5

[07:15] to come up with this. I’ll be coming back to this image, but for me it hints at the first reason why labs find themselves in this position. Many researchers at the labs, indeed even safety researchers, didn’t think we’d be reaching this point. >> And I didn’t think that we were going to be able to create something fundamentally smarter than we were. And when I thought, “No, we really are going to have something that thinks circles around us,” that I I “Oh, we’re in a totally inappropriate part of the possibility

[07:46] space here in terms of how safe the industry is actually being relative to that reality. >> Okay, fine. But as I’ll show in part three, we have definitely reached an extraordinary point. And I don’t even just mean those near 400 mathematical breakthroughs that OpenAI dumped in a repo. One in particular was paradigm-shifting. I’m also talking about the insanity of reversing binaries to unlock games. Or just observing software behavior to recreate the entire Adobe suite. Others are vibe fabricating their own products. Ones that actually

[08:18] getting manufactured and delivered. Obviously, this is pretty infectious. Um I took a few photos of my mother’s cottage and used Opus 5.5 to turn it into a design replete with furniture and personnel, which is going to be 3D printed in China using PolyJet. Entire industries were built on the presumption that some of this stuff couldn’t be done. So, yeah, even current models with current capabilities are somewhat astounding. But for part two then, why are labs saying that they’re still racing forward faster than ever? Well,

[08:49] you know, earlier we talked about brute scenarios. No one can quite say when that cliff edge is reached. Clouds, of course, cover the top of the ramp because it might be a while before we reach that kind of capability. Or maybe our alignment techniques work longer than we even think they will. And so, that’s part of the reason. Models still are a little jagged, so why not push them forward a bit? Next reason though concerns the ramp being made of gold. I covered in the last video the exponentially increasing revenue of these companies. And one Anthropic researcher put it quite bluntly. >> We we often we often talk about this as

[09:20] sort of uh exponential economic returns to intelligence. Where each each marginal unit of intelligence that you’re capable of is worth exponentially more than the the unit that came before it. >> The closer you get to the edge, the more you mint money. The next reason that the labs are putting their foot down, is of course, the labs behind them. All sorts of ego battles going on between xAI, Anthropic, OpenAI, Meta. We’ll soon be seeing some pretty interesting releases from some of the non-OpenAI or Anthropic

[09:50] crowd, that I can reassure you. But aside from pride and ego, one of the most cited reason that Western labs give for continuing the race is of course to stay ahead of China. I could give you a quote from every one of the lab leaders. Take Sam Altman saying, “I want the US to win in both open source and proprietary models.” But no one makes this point with more ferocity than Dario Amodei. He frequently writes and says things like this, “I agree with Secretary Bessant that a Chinese lead in AI would pose grave danger for the US and for the world. They would be in a position to militarily dominate

[10:21] democracies, for example, with AI-driven drones.” That would more argue for not staying behind China, rather than necessarily being in the lead, but that’s a separate debate. I often hear the US government and lab leaders say in interviews unchallenged, “Yeah, we have to maintain this lead You’ve seen the quotes already, but there are hundred more I could show.” But lab leaders are increasingly clear that they don’t want to make models that have unknown capabilities and are increasingly out of their control. The chief scientist of OpenAI said, “The we can’t continue responsibly scaling at maximum speed for

[10:52] much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established.” Sam Altman is increasingly focused on a rogue AI model itself being the threat. >> The potential downside here may not be the kind of thing normally goes wrong with we can correct we have a legal system for, um, but that something goes super wrong. Like in the extreme case, back to what we talked about, of, you know, we we lose control of the future to AI, which is horrific. So, my stance on regulation is

[11:24] pro-innovation. Let some things go normally wrong and trust that we have a normal process for doing this, but where this technology is extraordinarily powerful and fundamentally new, have guardrails to ensure that all of society is kept reasonably safe, and we don’t have we don’t kind of fall off that path in either direction in what could be a very difficult or unrecoverable way. >> For me, though, what no one has challenged AI lab leaders on is this. What happens when those two commitments

[11:56] come into tension? What happens if one of the labs’ own evaluations showed that their next model would be superhuman in critical domains, military or bio, but would not be reliably under their control? Would they stop, even if that meant another lab or China catching up? Another way of putting that is under what criterion would you cease to believe that we need to maintain a capability lead over China? And for the first time, I saw Sam Altman lean towards pacing, as long as China would also verify compliance.

[12:28] >> What we really want is that at each stage of new capability, we have enough progress on alignment, monitorability, safety, understanding how society and the technology are co-evolving, >> Right. >> able to safely go to the next level. And when we don’t have that at this unilateral level, even, then we do pause. And if the US and China could agree on shared safety standards and

[12:59] requirements to proceed to verify uh compliance with the thresholds that we should demand to proceed, um I think that’d be an incredible step. I think they could do it. >> Of course, that doesn’t resolve the question of what they would do if the two challenges came into tension, and China refused to verify, but maybe their plan is to cross that bridge when they come to it. And what of the other labs?

[13:30] In my early tests of their new Muse wonder, I wouldn’t quite put it second to Opus 5.5. Remember that the AA index includes some quite outdated benchmarks, but it is approaching the ballpark of GPT-6 Astra. Leads, as ever, are measured in months. Well, I won’t show you the clip, but Alexander Wang leading the effort at Meta in their super intelligence team was admittedly honest saying they don’t really know how to align their models perfectly. Their current best guess is scalable oversight. Some of the techniques involved in that rely on a weaker AI

[14:01] model overseeing a stronger one. Satya Nadella, CEO of Microsoft, echoed that approach in part. As well as calling for an emergency brake in which models can be shut down, he also said no single model should control both a system’s behavior and the evidence required to determine whether that behavior is aligned with the original intent. No single model, of course, hinting that another model might be checking that. That deserves another video, but I would just caution those two with this. You might also want to make sure that the second model is fully distinct from the

[14:32] first model because teacher models are, for example, able to, through fine-tuning on a seemingly innocent innocuous list of numbers, encode backdoors into other models. A vulnerabilities where the model being fine-tuned will suddenly behave quite differently if a trigger scenario is at hand. Yes, that complex of a behavior, if a female name is in the prompt, then answering French, conveyed fine-tuning on extending a list of numbers. Before I move on to part three, there is one other reason given for continuing to

[15:02] race. The Financial Times asked famed researcher David Silver, formerly of Google DeepMind, now with his own Neo lab, why would anyone want to create a superior intelligence at all? He says, “Well, ask where are we going without AI? Humans have had world wars, we’ve allowed mass poverty to happen, we’ve allowed curable diseases to kill millions of people.” He’s essentially saying, yes, there’s risk involved with creating super intelligence, but don’t forget there’s always background risk with being the human species. For me, that’s a great argument for building it at some point under the right

[15:33] conditions, not necessarily under these conditions. Like going around a Formula 1 track, getting to the end of the lap doesn’t mean taking every corner at top speed. Despite all of this, it’s time for part three because the next 18 months are still definitely hard to predict in my eyes. Part of the reason is that it’s very hard now to express a qualitative difference in what a top human can do and what a top model can do. I’m not talking what tools we give models or what experiments they can and can’t run legally. I’m talking category

[16:03] of reasoning task. Even on the topic of taste, which I’ll get to, I’m not convinced. But take a domain where our top IQ humans spend months, years, decades sometimes thinking and thinking and reasoning and coming up with challenges and conjectures for themselves, mathematics. While not every result has been verified, when OpenAI dropped hundreds of solutions, many called it the biggest day in mathematics history. One in particular though, involving the zeta shortcut, has been described as trumping even the Navier-Stokes solution. That was a

[16:34] solution to a millennium prize problem. A tiny bit of background cuz of course this is way beyond my mathematical ability and any human for that matter. But essentially, the prime numbers that we all know and love, 2 3 5 7 11 13 17 etc., have no obvious rhythm in the gaps between those primes. Those gaps open and close for no visible reason. Bernhard Riemann found a hidden order in the chaos in the 1850s. He said that despite all this chaos in the gaps, the primes stay as close as possible to a predictable pattern. That birthed the

[17:05] Riemann hypothesis. Later, to the best of my understanding, mathematicians set a humbler goal, proving the primes at least stay within a fixed safety margin of the pattern. Not proving the pattern, proving this fixed safety margin. This became known as the quasi Riemann hypothesis. A breakthrough on even that though was described until very recently as out of reach. A breakthrough there would be complete science fiction. Another mathematician said, “It’s completely out of reach with existing mathematics.” Another Oxford mathematician said, “I was not expecting the magnitude of somebody’s results, but

[17:37] this one in particular on the zeta shortcut is absolutely shocking.” If the 199-page proof of the quasi Riemann hypothesis holds, it would be the biggest step towards Riemann’s back in more than a century. I’m going to be honest though, what caught my eye wasn’t just those descriptions from mathematicians. Better than Navier-Stokes, impossible with existing mathematics. For me, it was the hours I spent trying to define a qualitative barrier between what humans have been able to achieve in any domain, but take maths and models now. One would have

[18:09] been finding a regularity, not just recombining existing results or plowing forward with gargantuan search capacity. No, but unlocking a deeper meta function, a hidden pattern in the universe, a regularity in the chaos, something which when found would then help others in other domains unlock further breakthroughs. Here then we turn to a Claude summary. Within 5 days Opus 5.5 writes, “Papers using the AI’s idea, the zeta shortcut, claimed three more solutions. It helped in a paper on number theory, one on computer science,

[18:41] and in other papers.” Which then still leaves the question, well, what then is next? If even the highest IQ individuals in the world, like Terence Tao, say this wasn’t a demonstration of scholarship, but a demonstration of power, well, whether or not you agree with that, and of course I have sympathy with the sheer shock that mathematicians will be experiencing. Whether or not you agree, the question is still, well, what’s left? Obviously they haven’t yet solved the other millennium prize problems, including the Riemann hypothesis itself in full, but maybe some of those are like silent locks, where if you’re

[19:11] trying to pick them, you don’t get tractable feedback as you’re going. You have to unlock many independent, seemingly unrelated theories along the way, just to have the tools to solve the overall problem. Well, to that, I would say two things. First, humans haven’t done that. They rely on combining disparate theories and results that other humans have created. The second, even if those breakthroughs rely on as yet undiscovered stepping stones, what’s to stop models being unleashed on creating as many seemingly unrelated stepping stones as possible. Create hundreds of verified proofs and then

[19:42] periodically try to recombine them to find something greater. You could almost call that a kind of taste, where intuiting what kind of stepping stones might prove the most useful in the future is a form of taste over time, which is why I came up with this, taste as the last frontier. How efficiently we or model finds the inputs that will matter. Is that the last frontier? As I’ve kind of already hinted at, for me, taste is just capability spread over time. It’s not some supernatural ability. It emerges through observing other aspects of the formula. Take progress in any area, any domain. Ask

[20:13] yourself how hard is it to check intermediate results. Is it slow and expensive, like in biology or drug design, or is it fast and cheap, like mathematics? Think of signal sparsity. To come up with a zeta shortcut, OpenAI’s internal model had to deduce what useful inputs they were among tens of thousands or millions of mathematical theories and papers. Taste in AI research works a little differently, as I’ll touch on in a second. Then there’s goal messiness. Is the goal well specified, well defined, well scoped at all? Making models better at

[20:43] professional real-world tasks is a lot messier a goal than find a counterexample to this conjecture. Then, of course, there’s the input of compute. A model might have pretty inefficient, bad taste, but given billions of GPU hours, it finds the result. I might be stretching things a bit here, but this, for me, a little bit gives me a framework to compare this breakthrough in the quasi Riemann hypothesis and the difficulty of automating AI research. First, again, the quasi Riemann. What kind of taste did that show? Exact goal,

[21:14] low checking cost, an unknown number of hours of compute, but pretty distant signals amongst the noise of mathematics. It had to pick out techniques from disparate areas of mathematics and combine them in novel ways. For me, this shows a decent amount of taste. The same model, as we know, given 3 hours for all those other 372 families of results, achieved a bunch of other breakthroughs. We’re not, of course, talking perfect taste, otherwise it would have solved all of math. Solving the full Riemann hypothesis might have involved extreme signal sparsity. Inventing theories on the hoof, many, many times in a row, just to

[21:46] even have the stepping stones to get to the result. But, let’s now compare that to Taste Value. It’s a proxy measure of an AI model’s ability to automate AI research progress. It was covered in Jack Clark’s recent post on Import AI. He is, of course, one of the co-founders of Anthropic and one of their leads on RSI, recursive self-improvement. He said of Taste Value, “Benchmarks like this give us some signs that they’re getting increasingly good at AI research. I now think it’s more likely we’ll see full recursive self-improvement become possible in 2027, whereas before I

[22:17] thought it was more likely in 2028.” The research itself, out last week, defined research taste as the ability to pick interesting problems to solve, design experiments, and interpret experimental results. How well can a model design experiments? It’s great on them. Well, it turns out with Opus 5.5, better than their expert baseline. The human expert baseline. Roughly two times better, but other models like Astra were also better than the baseline. We should be careful in interpreting this, though, as saying that models can already automate AI research. The designers P0 point out

[22:47] that these tasks are fast and cheap to verify. The human baseline doesn’t include top researchers. Albeit, they were those who had worked recently at OpenAI, Google DeepMind, Nvidia, etc. But, ultimately, we’re talking about 40 GPU hours in one H100, with fast and cheap verification, usually under 10 minutes. These weren’t the gigantic, complex training runs that Frontier Labs do. Each task had a clear goal. Interestingly, if you hit the goal, essentially made the task more messy, performance didn’t drop off a cliff, but it did halve. The thing is though, fully automating AI research is different.

[23:19] Goals are messier and the signals are much more sparse. John Schulman, instrumental in creating ChatGPT and now working at a rival lab, said that with AI research, you’re usually not directly optimizing for the eventual objective you care about. Because getting feedback is so much more expensive and so infrequent, labs are currently much more reliant on human intuition. >> I would say a lot of research is not exactly like that though, where it’s like hill climbing on a well-defined goal. It’s sort of more like uh here’s an intuition we have about uh some way models should be better and

[23:49] then we also have uh some idea for an algorithm that seems to go a little bit in this direction. So, let’s come up with a task that is uh sort of designed to show signs of life on this approach and uh like see if we get some uh get those signs of life and then if we do, we can make successively more realistic versions of the task. You’re not directly optimizing uh for the eventual objective you care about or the practical like production objective. It’s it’s sort of

[24:20] uh you’re um you’re relaxing your objective a little bit. You’re saying, “Yeah, let’s relax on the realism axis a little bit and find uh some method that actually work and then like then try to get back to realism later after the method matures a little bit. >> So, as Anthropic state in their system card, we’re not there yet. Opus 5.5 trails by around 30 points from Anthropic’s own researchers. This is on Anthropic’s internal benchmark Codebench for an automating AI research. So, my argument is we’re not there yet because the checking cost is so high and the

[24:51] goal is messier and because there’s so many permutations you could try, but with effective compute increasing exponentially, as I’ve covered in other videos, bigger models searching more options, AI research taste you could say is getting there nevertheless. And the mathematical breakthroughs show it’s not a question of IQ. It’s more a question of inevitability. If these trends are inevitable, why did the lead researcher on reasoning at OpenAI, Noam Brown, say that he was shocked at how good models had gotten in for example mathematics, thinking this would come 2 years later? For me, this comes down to us not

[25:23] knowing what we don’t know. We didn’t know how many higher order structures there were in for example writing. That’s why GPT-4 shocked many in its ability to write essays. There must have been more higher order structure in mathematics than we realized, hence this many breakthroughs this early. There are some fields though that are more fractal and chaotic, like for example predicting the weather. Now yes, it’s true, AI models are leading to breakthroughs there, not quite the same kind of LLMs, but nevertheless Google DeepMind did see this hurricane coming, Isaias. With AI pitted against traditional models, there

[25:55] was a key divergence as to the path that the hurricane would take, and Google DeepMind’s model got it right. I think it was an 11-day ahead forecast here. But weather is fractal, chaotic. We could probably make models a hundred times better, and they could predict 13 days, 15 days ahead, not a million. Are there higher order structures in biology, cybersecurity, or AI research that we don’t know about? Probably, but we don’t know. This is a big part of why I see each new model as essentially having somewhat unknown capabilities to spot patterns. We just don’t know what

[26:25] patterns are out there. As Sam Altman said recently, “I don’t know how sci-fi is going to get. No one does.” Many hope for the best of both worlds, where we get models that are more capable and more secure. But given that many of our alignment tests rest on the models not realizing that they’re being tested, it may be more like a fork in the road, where almost by definition capability increases mean less monitorability, more eval awareness. More parameters, less ability to figure out what’s going on in the neural networks, less mechanistic interpretability. Obviously, automating

[26:56] AI research speeds up all of these trends. Under that framework then, the problem isn’t that we can’t make models more predictable. We can make them act more like software. The problem, as this golden ramp illustrates, is more that there are exponentially more rewards for making models less predictable. That’s how you win as a lab. Some more inscrutable models writing 80% of the lines of code, soon 90% tweaking their own ever more opaque training recipes, grading their own outputs, organizing their own swarms at ever more

[27:27] intractable scales. People have mentioned instead suing labs when things go wrong. The Economist though says liability law will not tame AI. The reason? Well, it would take years to decide such cases, let alone then use those cases to establish reliable standards. It would of course all happen long after any incident. In Politico, a University of Pittsburgh professor of law, David Thaw, said, “We have to answer, do we want to criminalize someone for the kinds of behavior alleged and admitted to in the Hugging Face incident?” There’s been a lot of split on this, and Congress has not

[27:57] spoken clearly and unambiguously to the issue. Let me know what you think if lab leaders or researchers should be held accountable. For me, I wouldn’t mind an internally driven quadruple lock within the companies across alignment, monitoring, security, and capability. On alignment, a lab could set a cap across a million permutations of adversarial prompts a max of X deeply misaligned actions. That’s the alignment lock. On monitoring, you could say that on a minimum of X percent of the tries, those

[28:29] misaligned actions, they need to detect in the activations or the chain of thought if that try has occurred. Say a minimum of 99% of the time you detect that action in the activations of the neural network or the chain of thought. If that standard blocks to alien an architecture, then so be it. In other words, you’re not blocking the AI written new architecture just for its own sake. You’re blocking it because it drops monitoring below that standard. On security, models could prove that they have X separate layers of security. Each one red teamed Y times with rewards for

[29:01] any breaches you could demonstrate. Rewards for the red teamers. On all of these, you might say, “What about Goodhart’s law? That these will cease to be good measures because they’re targets.” Well, labs could commit X percent of their compensation or compute budget for rewarding misalignment science. Those researchers who can expose failures of alignment or security or monitoring. Each revelation might show that the caps haven’t been met. So, if that science outpaces the improvements on those targets, that would mean de facto a halt to frontier training. It’s back to that China point. You need these scientific reasons, not

[29:32] just a vibey approach, because there will likely come a moment where much or all of the lead over other labs or China might have to be sacrificed to add these necessary safeguards. You would need these checks and caps to then justify to shareholders and the military why the safeguards are necessary. To complete the fourth lock, I would add in capability tests. Models steered to try certain things. With those steerings, can the frontier labs still say that models can’t achieve target Y across X tries, where Y is a capability we don’t want them to have? Obviously, there are

[30:03] also loads of things we should be doing outside of the labs, almost a social hardening layer. Some great suggestions were found in this article, for example, by two top bio researchers. Things like clean air infrastructure, synthesis screening, metagenomic detection systems. Stuff that basically everyone agrees on, but politicians aren’t doing. I’m not going to call that a fifth lock because that’s outside of the labs’ control. And obviously, I’d love to hear what you guys think about these suggestions and if there are better ones. What do you think on the wider picture? Are we in final stage

[30:33] capitalism, where AI offers the prospect of a complete separation between those with capital and those who rely on labor? Is it a new golden age of reverse engineered software and games? Where yes, it might erode the power of some professional organizations, but does also spread power to almost anyone? Or are we at crunch time and have to realize that a breach may well be coming. I’m just glad we have lovely people like those in my audience. Thank you so much for watching to the end and have a wonderful day.