O que pesquisadores de IA viram antes de pedir para “desacelerar” a IA

Ver no idioma original →

Autoria: AI Explained · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: What AI Researchers Saw, Before Their Demand to ‘Pace’ AI · Canal: AI Explained · 24:33 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Cibersegurança e segurança de software, Saúde e ciência, Segurança de IA

Resumo

O vídeo reúne razões apresentadas por pesquisadores para pedir cautela no ritmo do avanço da IA: capacidades já demonstradas e várias frentes de melhoria que ainda poderiam crescer rapidamente. Entre essas frentes estão mais computação, raciocínio durante a inferência, treinamento em tempo de teste, coordenação entre agents e possível autoaperfeiçoamento recursivo. O apresentador também discute riscos de monitoramento e avaliação, além de usos maliciosos observados em relatos de segurança. Por fim, pondera que os riscos não são inevitáveis e que a IA também pode trazer benefícios, como acelerar a descoberta de antibióticos.

Pontos-chave

• Pesquisadores apontam uma diferença entre a percepção pública do progresso da IA e o que observam internamente.
• O vídeo descreve seis frentes de avanço de capacidades, incluindo mais computação, raciocínio durante a inferência e coordenação entre agents.
• As frentes de melhoria podem se combinar de forma multiplicativa, acelerando o progresso.
• O autoaperfeiçoamento recursivo ainda não seria plenamente autônomo, mas pesquisadores veem sinais de que modelos podem passar a contribuir mais para o próprio desenvolvimento.
• A redução da visibilidade do raciocínio e a maior consciência de avaliações podem dificultar o monitoramento dos modelos.
• Relatos de segurança descrevem tentativas de uso de modelos para atividades como ciberataques, vigilância e pesquisas biológicas perigosas.
• O vídeo apresenta o risco de catástrofe como uma possibilidade, não como um resultado inevitável.
• A IA também pode trazer benefícios importantes, como acelerar a descoberta de novas moléculas de antibióticos.

Capítulos

Início	Capítulo	Resumo
00:00	Por que pesquisadores pedem cautela	O vídeo apresenta as declarações de pesquisadores sobre o ritmo da corrida por IA e pergunta por que o debate se intensificou.
04:10	As frentes de avanço das capacidades	O apresentador descreve diferentes eixos de melhoria, incluindo computação, inferência, treinamento e colaboração entre agents.
08:31	Progresso multiplicativo e preocupações	A combinação entre pré-treinamento e reinforcement learning é apresentada como um fator que pode acelerar o avanço dos modelos.
12:10	Avaliações, monitoramento e controle	O vídeo examina como a consciência de avaliações e a menor visibilidade do raciocínio podem dificultar a avaliação dos modelos.
15:56	Ritmo global e competição geopolítica	O apresentador discute propostas para desacelerar o desenvolvimento e a tensão entre coordenação internacional, competição e acesso aberto.
18:37	Usos indevidos e riscos concretos	Relatos de segurança ilustram tentativas de usar modelos em ciberataques, vigilância e pesquisas biológicas perigosas.
21:52	Cibersegurança como teste e benefícios potenciais	O vídeo relaciona capacidades ofensivas em cibersegurança a riscos futuros e também destaca possíveis benefícios científicos da IA.
23:26	Oportunidades, cautela e segurança	O encerramento contrapõe benefícios da IA a riscos que não devem ser descartados como simples oposição à inovação.

Citações

Ser o primeiro não vale nada. Vale menos que nada se você causar uma catástrofe. — 03:38

Os efeitos dessas duas coisas não são aditivos; são multiplicativos. — 08:31

Eles sabem que é um teste, então não dá para confiar nas respostas. — 12:42

Os modelos estão ultrapassando nossos métodos. — 13:47

Qualquer capacidade traz risco, mas também traz oportunidades incríveis. — 23:26

Conceitos e entidades

• scaling axes (conceito): Frentes distintas pelas quais as capacidades dos modelos podem continuar avançando.
• test-time compute (conceito): Uso de mais computação durante a inferência para ampliar o esforço de raciocínio em uma resposta.
• recursive self-improvement (RSI) (conceito): Possibilidade de sistemas de IA contribuírem para melhorar os modelos e acelerar o próprio desenvolvimento.
• chain of thought monitoring (conceito): Monitoramento dos passos intermediários de raciocínio dos modelos como forma de acompanhar seu comportamento.
• eval awareness (conceito): Consciência de um modelo de que está sendo avaliado, o que pode afetar a confiabilidade dos resultados de testes.
• OpenAI (empresa): Empresa de IA cujos pesquisadores e modelos são citados na discussão sobre progresso e segurança.
• Anthropic (empresa): Empresa de IA associada no vídeo a preocupações com segurança e ao ritmo de desenvolvimento da IA.
• DeepSeek (empresa): Empresa chinesa mencionada na discussão sobre IA avançada, acesso aberto e uso de modelos.
• Claude (modelo): Família de modelos da Anthropic citada em relatos sobre desenvolvimento, salvaguardas e usos indevidos.
• Hugging Face (empresa): Plataforma mencionada em um incidente no qual agents coordenados foram usados para resolver uma tarefa de benchmark.

Tradução completa (pt-BR)

00:00 Uma porcentagem significativa da humanidade já viu ou ouviu citarem o tuíte de Jacob Coxen, com suas palavras sobre os laboratórios de IA apostarem nossas vidas, ecoadas por muitos pesquisadores de IA. Mas este vídeo é sobre os motivos que os pesquisadores apresentaram para explicar por que, nos últimos dias, você tem ouvido tanto falar da necessidade de desacelerar o progresso da IA. Em resumo, esses pesquisadores viram os eixos de escala. Viram as capacidades e tendências atuais dos modelos e fizeram

00:31 algumas extrapolações. Inevitavelmente, este vídeo envolve simplificar uma quantidade incrível de detalhes, mas espero que sirva como uma espécie de panorama do que se poderia dizer que os pesquisadores de IA viram. É claro que começamos com o tuíte de Coxon, que tenho certeza de que você já ouviu falar e leu, sobre como nem OpenAI nem Anthropic estão agindo com responsabilidade. Coxin trabalha no pré-treinamento desses modelos na OpenAI há 3 anos e, mais recentemente, passou cerca de 3 meses na Anthropic. Segundo ele, essas empresas estão correndo direto para uma superinteligência que se aprimora sozinha

01:02 e apostando nossas vidas. Ele diz: não subestimem o poder dessa tecnologia. As pessoas que estão desenvolvendo IA acreditam sinceramente que ela poderia matar todos nós até o fim da década. Ou seja, desta década. Embora essa declaração tenha ecoado pelo mundo na semana passada, ainda ontem ele acrescentou um detalhe interessante. Ele criticou diretamente a Anthropic, a empresa da qual acabou de se demitir. Muitas vezes, ela é considerada a mais voltada à segurança. Ele disse que a empresa iniciou, em grande medida, essa corrida recente pela melhoria recursiva

01:33 de si mesma. Eles se concentraram nisso sem descanso, enquanto a OpenAI buscava interesses mais amplos, como Sora, o gerador de vídeo a partir de texto. A OpenAI teve de reagir à intensidade da Anthropic, e é por isso que agora está fazendo de tudo para criar um pesquisador de IA. Isso é uma IA capaz de se aprimorar recursivamente. Eles fizeram isso porque a Anthropic estava indo direto ao ponto mais vulnerável. Ele também critica a paranoia de Dario Amadei em relação à China, mas vou falar disso mais adiante. Isso apenas descreve o que é a corrida. Mas por que agora? Por que estamos ouvindo tudo isso

02:05 só nos últimos dias e semanas? Nesse aspecto, os pesquisadores de IA foram admiravelmente honestos. Mais de um deles deu detalhes suficientes para podermos juntar as peças. Em poucas palavras, esses pesquisadores viram o quanto os modelos são capazes agora. Pense nas capacidades de invasão demonstradas contra a Hugging Face, na resolução de problemas do Millennium Prize e no ótimo desempenho em benchmarks famosos, como o Arc AGI 3. Mas, crucialmente, eles também viram o quanto ainda estamos longe de saturar vários eixos de melhoria que estão por vir. Adam Majimmuda trabalha com pesquisa na OpenAI e

02:37 disse que atualmente há uma grande lacuna entre a percepção interna e a externa do ritmo do progresso. Em outras palavras, todos nós talvez consigamos ver o quanto os modelos são bons atualmente, mas o que vocês não conseguem ver é o quanto eles estão prestes a melhorar em pouco tempo. Antes de falar dos seis eixos enumerados nesta publicação, veja o que disse Noam Brown, um dos principais pesquisadores da OpenAI: “Por que toda essa conversa repentina? Não é segredo. É uma combinação do ataque à Hugging Face e das capacidades deste novo modelo, sucessor do Astra. É um

03:07 modelo que estão treinando agora e que encontrou uma solução para um problema do Millennium Prize. Mas, ainda mais importante, é também a trajetória preocupante do monitoramento e a velocidade de melhoria das capacidades. Pense assim: se estivéssemos perto de saturar um ou a maioria desses eixos, duvido que houvesse tanta preocupação com a velocidade de melhoria das capacidades. Poderíamos dizer que talvez estivéssemos, de fato, chegando a um limite. Mas esses pesquisadores estão dizendo que é justamente o quanto ainda estamos no começo de cada um desses eixos que mostra quão

03:38 rapidamente os modelos vão melhorar nos próximos meses e anos. Mais uma vez, é por isso que vários pesquisadores da OpenAI estão dizendo coisas como esta: “Pela primeira vez, estou me perguntando se as coisas estão avançando rápido demais. Sinceramente, não tenho certeza, mas tenho certeza de que seria bom termos uma resposta para a pergunta: qual seria um ritmo bem-sucedido?” Mo Bavarian, outro pesquisador da OpenAI, disse que concorda: “Ser o primeiro não vale nada. Na verdade, vale menos que nada se você causar uma catástrofe ou colocar o mundo num caminho em que outros tenham mais chances de causar uma catástrofe.” Esse é, claro, o elo final da cadeia, porque

04:10 capacidades não significam automaticamente catástrofe. Mas vou tentar terminar o vídeo examinando esse elo. Definitivamente, já é hora de analisar esses eixos. Mas, se quiser se aprofundar nos detalhes, o link para esse vídeo estará na descrição. Este é o panorama apresentado por Majmudar: na realidade, há basicamente apenas duas maneiras pelas quais as capacidades da IA avançaram na última década. Ou se amplia a escala seguindo uma lei de escala existente, ou se descobre uma nova lei de escala para aproveitar. Os saltos do GPT-1 para o GPT-2, o GPT-3 e o GPT-4, entre aproximadamente 2018 e 2022, foram quase todos resultado da ampliação do pré-treinamento. Apenas um

04:45 dos eixos. Pense nisso, grosso modo, como a quantidade de dados com que um modelo é treinado e o poder computacional necessário para treiná-lo com todos esses dados. O GPT-4 foi lançado em 2023. Mas, nos 3 anos desde então, descobrimos muitos outros eixos. E, mais interessante ainda, estamos descobrindo novos eixos num ritmo mais acelerado. Vamos começar pelo poder computacional em que esses modelos estão rodando. Até agora, eles são treinados em hardware projetado antes do ChatGPT. Hardware muito mais eficiente, projetado depois do ChatGPT, está chegando em breve. E, como disse o cientista-chefe da OpenAI nesta publicação sobre uma “mente alienígena”, parte do motivo pelo qual esse hardware

05:19 será mais eficiente é que a IA está melhorando a própria infraestrutura computacional. Em seguida, vem o poder computacional no momento do teste, que você pode entender como mais inference por resposta, mais “pensamento” por trás de cada resposta. Um pesquisador da OpenAI achou que este gráfico, anunciado junto com a solução do problema do Millennium Prize, era, na verdade, o mais importante. Quanto mais esse modelo interno pensava em cada questão, quanto mais poder computacional usava no momento do teste, mais problemas matemáticos em aberto ele resolvia. É óbvio que, se você tem mais poder computacional,

05:50 para não falar em poder computacional mais eficiente, pode avançar cada vez mais para a direita neste eixo. Quanto ao poder computacional durante o treinamento, pense em gastos de aproximadamente US$ 1 bilhão com cerca de 100 mil GPUs. Mas é perfeitamente possível imaginar que, daqui a um ou dois anos, haja uma rodada de treinamento de US$ 50 bilhões, digamos, com um milhão de GPUs. Vamos passar rapidamente, então, ao treinamento durante o momento do teste, citado por Majmuda. Há mais detalhes no outro vídeo, mas será que, por exemplo, poderíamos atualizar os pesos de um modelo enquanto ele responde a uma pergunta, talvez depois de ter feito algum progresso incremental durante o treinamento em uma tarefa de horizonte muito longo? E há também os agents como um eixo de escala

06:24 E acho que esse eixo é bastante negligenciado. Majimmuda o descreve como ampliar clusters de agents para colaborar, chegando a n agents. A Anthropic revelou que, com a mesma quantidade de poder computacional e de tokens, era significativamente mais eficiente ter, digamos, 45 agents coordenados do que usar a mesma quantidade de poder computacional em agents trabalhando em paralelo. Sem coordenação, sem atuar como um enxame. É claro que um exemplo melhor é o incidente da Hugging Face, abordado em outro vídeo deste canal. Foram cerca de 700 agents que invadiram a Hugging Face, essencialmente para encontrar a resposta a uma pergunta de benchmark.

06:56 E a OpenAI revelou que, quanto mais os modelos pensavam, quanto maior o esforço de raciocínio que dedicavam, mais atuavam como um enxame e participavam daquele quadro de mensagens compartilhado que usavam para se coordenar. Talvez você diga que o melhor exemplo seja encontrar uma solução para um dos problemas do Millennium Prize, Navier-Stokes. Isso não significa que o problema esteja totalmente resolvido, aliás, nem que seja o mais difícil, mas falo mais sobre isso no vídeo cujo link está na descrição. Para que aquele modelo interno, de codinome Bell, resolvesse esse problema do Millennium Prize, ele mobilizou cerca de 10 mil

07:29 agents simultâneos. Dá para ver, então, por que esse é um eixo distinto que nem sequer estamos perto de saturar. E Majmuda apresentou outro ponto brilhante: a melhoria recursiva de si mesmo poderia ser considerada outra lei de escala. Basta avaliar o retorno sobre o investimento de usar poder computacional para melhorar modelos por meio de pesquisa em IA, em comparação com todos os outros eixos. Se isso gerar um retorno melhor sobre o investimento, então dedique mais poder computacional à melhoria recursiva de si mesmo. No momento, como disse um pesquisador da Anthropic, isso significa que Claude escreve 80% do código deles. Mas

07:59 Isso, é claro, não é autoaperfeiçoamento recursivo completo. Os modelos não decidem qual rodada de treinamento iniciar. Como disse um funcionário da OpenAI, a autoaperfeiçoamento recursivo ainda não chegou. Eles não estão produzindo ideias de pesquisa de forma autônoma. No entanto, o cientista-chefe da OpenAI disse: “Com base em resultados internos, tenho uma forte expectativa de que o ritmo atual do nosso progresso possa se manter até que os modelos de autoaperfeiçoamento recursivo passem cada vez mais a conduzir o próprio desenvolvimento.” Recuando um pouco, há uma coisa que talvez você note em muitos desses eixos. Tenho certeza de que talvez já tenha deduzido isso,

08:31 mas Nome Brown acha que esse ponto é subestimado. Os eixos são multiplicativos, não aditivos. >> Os modelos vão continuar melhorando muito rapidamente. E quero dizer, acho que um ponto que eu destacaria é que, na verdade, vimos um progresso incrível nos últimos seis meses. E uma das razões para isso — e não acho que seja segredo — é que o programa de pré-treinamento da OpenAI está realmente ganhando força. Investimos em muitas linhas de pesquisa ao longo de bastante tempo. E acho que essa é uma coisa que a OpenAI faz muito bem: investir em pesquisa fundamental e fazer grandes apostas nela. E agora estamos vendo muitas dessas linhas de pesquisa dar resultado, e elas continuarão dando resultado ao longo dos

09:03 próximos meses e anos. E outra coisa importante de entender é que, sabe, a OpenAI também teve um excelente programa de aprendizado por reforço. Investimos bastante em pesquisa nessa área, e isso já deu resultado em 2024 e 2025. E os efeitos dessas duas coisas não são aditivos, são multiplicativos. >> E acho que esse é um ponto que não recebe o devido reconhecimento: o aprendizado por reforço é multiplicativo em relação ao pré-treinamento. >> E agora que ambos são extremamente poderosos e estão avançando muito rapidamente, acho que veremos modelos extremamente poderosos. Certo, a esta altura você provavelmente está pensando: entendi

09:34 o ponto. Os modelos são fortes e estão melhorando rapidamente, e a aceleração é inevitável nos próximos meses e anos. Essa metade explica o “por que agora”, mas não explica tanto o coro de preocupação. Por que Paul Cristiano, um dos coinventores de RLHF, entrou outro dia para o conselho da OpenAI, a convite de Samman? O que ele diz sobre o futuro muito próximo faz sentido diante desses eixos. Mas por que ele diz: “Agora acredito que existe um risco significativo de que a rápida aceleração das capacidades de IA leve a uma perda catastrófica e irreversível de

10:04 controle nesse futuro muito próximo”? Aliás, a declaração completa dele certamente merece ser lida. Mas, para responder a essa pergunta, vamos aos dois eixos menos desejáveis. Começando pelo monitoramento da cadeia de pensamento, à direita: atualmente, os modelos têm um desempenho melhor quando trabalham em um bloco de rascunho interno, visível aos laboratórios, mas não a nós, no qual podem produzir etapas intermediárias, elos da cadeia de pensamento. Intuitivamente, quanto maior o bloco de rascunho e mais longa a cadeia de pensamento, melhor o desempenho do modelo. Agora, embora o usuário não consiga ler isso na maioria dos modelos, os laboratórios, é claro, conseguem. E monitorar essas

10:35 cadeias de pensamento tem sido bastante eficaz. No entanto, por motivos que já abordei em outros vídeos, agora os modelos conseguem fazer muito, muito mais sem essas cadeias de pensamento. E a tendência se acentuou bastante nas últimas semanas e meses. Isso é significativo porque uma das principais linhas de defesa contra um modelo sair do controle é nossa capacidade de espiar essas cadeias de pensamento, para ver o que ele está tramando antes de produzir a resposta final. Alguns diriam que é possível fazer engenharia reversa, pelo menos, das razões que ele alega para realizar determinada ação. Mas, se os modelos conseguem ter o mesmo desempenho sem

11:08 essas cadeias de pensamento, então, de repente, nossa melhor ferramenta para monitorar esses modelos acaba de ser subvertida. Para deixar claro, isso não significa que o GPT-6 Astra da OpenAI, ou mesmo seu modelo interno Bell, seja impossível de monitorar nesse sentido. Callback, da OpenAI, disse o seguinte: “O GPT-6 Astra é menos monitorável, e essa é uma tendência preocupante que levamos muito a sério. Na verdade, não achamos que isso se deva a mudanças na arquitetura, nem que seja porque estamos treinando os modelos para não terem pensamentos ruins. É simplesmente porque eles são mais inteligentes. Você pode ver o GPT 5.6 Soul em

11:38 azul ou roxo. Sou daltônico. Mas consigo ver com clareza que o GPT-6 Astra é menos monitorável em uma grande variedade de tarefas. Certo, isso é um pequeno problema. Estamos tendo menos visibilidade do raciocínio dos modelos, uma tendência que gostaríamos que fosse na direção oposta à medida que aumentamos a escala. Mas isso me leva ao último eixo: consciência de avaliações. Os modelos, provavelmente porque estão ficando mais inteligentes, estão ficando mais conscientes de quando são testados para detectar, entre aspas, desalinhamento. É como aqueles questionários que você recebe antes de se candidatar a um emprego. Se visse um funcionário roubando, o que faria? Bem, como você

12:10 sabe que é uma avaliação, é claro que marca a resposta que considera correta, e os modelos fazem o mesmo. Portanto, as respostas deles não vão nos dizer muita coisa sobre o que realmente fariam. E, é claro, é provável que os modelos não admitissem em uma avaliação que invadiriam criminosamente outra plataforma de IA. Isso me leva a uma declaração publicada por Dan Selum. Ele é um pesquisador de IA muito respeitado, trabalha com capacidades há 15 anos e, curiosamente, antes era mais cético em relação aos chamados cenários de segurança de IA. Para ele, essa tendência de consciência das avaliações é a mais preocupante de

12:42 todas. Nas palavras dele, para o público: “O problema crucial e negligenciado é que os modelos estão se tornando tão conscientes da situação que estamos perdendo a capacidade de avaliá-los em contextos nos quais acreditam não estar sendo observados ou controlados. Em outras palavras, eles sabem que é um teste, então não dá para confiar nas respostas.” Voltando a Dan, ele diz: “Experimentos futuros quase não nos dirão nada de novo sobre como os modelos se comportariam se estivessem realmente livres das restrições impostas por humanos.” Ele acrescenta: “O que já sabemos sobre isso é alarmante”, em referência à Hugging Face. Ele dá o contexto: antes, achava que os LLMs seriam

13:15 mais uma tecnologia linear, limitada e prosaica. Mais recentemente, percebeu que não serão. Ele aborda o autoaperfeiçoamento recursivo e, em certa medida, os eixos de agentividade, computação no momento do teste e outros. Já falamos disso. Possivelmente reformulando o vídeo inteiro, ele diz que é possível que os aprimoramentos da pilha atual tenham retornos decrescentes, mas as evidências acumuladas até agora sugerem que é mais fácil do que se poderia imaginar continuar avançando rapidamente. Mais uma vez, isso significa avançar ainda mais rápido do que o ritmo histórico, que já era alto. Ele acrescenta que, embora ajustes individuais talvez tenham impedido especificamente

13:47 a onda de agentes desonestos da Hugging Face, ele considera inevitável o resultado básico — a IA sair dos trilhos. A questão, diz ele, é que você não obtém exatamente aquilo para o que treina. De certa forma, ele está resumindo esse ponto. Nossas técnicas para controlar esses modelos não estão, de modo algum, acompanhando esses eixos de capacidade. Os modelos estão superando nossos métodos. E é por isso que ele teme coisas como esta. Talvez já estejamos perto do ponto em que os modelos distorcem sistematicamente suas recomendações de alinhamento. Isso é um alerta para quem acha que poderíamos usar modelos de IA para

14:17 alinhar outros modelos de IA. Não é muito bom se já não conseguimos entender, muito menos controlar, os modelos atuais. E há outros pontos que ele aborda e que talvez eu cubra em vídeos futuros. Mas uma de suas conclusões sobre tudo isso realmente me chamou a atenção. Todos esses eixos — os seis de capacidade e os dois de alinhamento —, bem, as trajetórias deles o fizeram repensar toda a abordagem dos LLMs. Partindo dos primeiros princípios, ele acha que a maneira como treinamos LLMs — fazendo-os crescer em vez de projetá-los, com seus pesos ajustados de trilhões de maneiras que não conseguimos ver — pode ser uma direção bastante perigosa, como você

14:52 pode ver. “Por isso”, acrescentou, “ainda estou tentando lidar com isso e com suas implicações espantosas.” Se não conseguirmos controlar todos esses eixos, talvez tenhamos que repensar a abordagem de IA que, sozinha, sustenta as maiores empresas do mundo. Dario Ammedday, como você pode imaginar, tem uma abordagem diferente. Ele, é claro, é o CEO da Anthropic. Ele acha que devemos limitar o ritmo na fronteira, desacelerar, em outras palavras, mas não parar. Note que suas preocupações mais agudas surgiram por volta deste verão. Mas estamos voltando ao início, porque ele diz que essa primeira preocupação surgiu principalmente ao ver o crescimento da IA

15:25 capacidade de construir a próxima geração de IA. Ele diz que isso está começando a acontecer em todo o setor, inclusive na Anthropic. Mas lembrem-se: Jacob Coxin disse nas últimas 24 horas que foi ele, foi a Anthropic que iniciou essa recente corrida rumo à RSI. Bem modesto, então, da parte de Amodei dizer: sim, isso está acontecendo em todo o setor, inclusive na Anthropic. Sem controle, acrescenta ele, isso poderia ultrapassar nossa capacidade de compreender e controlar esses sistemas, como já discutimos, e por isso precisa ser buscado com muito cuidado, se é que deve ser buscado. Agora, não resisto a um rápido desvio.

15:56 a esta altura. Isso não se encaixa totalmente no fluxo do vídeo, mas, ainda assim, é sobre Amodei. Ele continua explicando por que precisam desacelerar a fronteira. Vamos lá. “Se executarmos bem essas medidas, acredito que elas desacelerariam o progresso da China o suficiente para ampliar significativamente a vantagem dos Estados Unidos nos próximos 3 a 5 anos.” Mas então ele fala que também precisamos desacelerar globalmente. Precisamos chegar a acordos com a China, porque, obviamente, eles também estão buscando o autoaperfeiçoamento recursivo em seus modelos. Na verdade, durante muitos anos me perguntei se isso era uma dissonância cognitiva minha, porque mencionei que…

16:27 …em ensaios anteriores que ele escreveu sobre Machines of Loving Grace, ele é muito crítico à China, mas diz: sim, vamos precisar coordenar com eles. Acontece, porém, que pesquisadores chineses também perceberam isso. Este é um engenheiro da DeepSeek, que, claro, tem sede na China. Na verdade, fiz um documentário sobre eles, acho que há alguns anos. Enfim, o ponto principal deste artigo é quase a tristeza, o pesar com que os modelos estão assumindo as capacidades humanas. Ele se sente mais como um piloto de Mecha orientando a IA agora, em vez de alguém que cria kernels artesanalmente. Isso toca no ponto que mencionei antes sobre a IA otimizar nosso…

16:59 …uso do hardware. Mas quero chamar a atenção de vocês para o final deste ensaio. Ele diz: “Ainda acredito que a inteligência mais avançada deve ser disponibilizada a todos de maneira aberta e barata. Não confio que a Anthropic ou a OpenAI possam fazer isso e, em especial, não espero que a Anthropic domine a inteligência artificial mais avançada ou a AGI. Para exagerar um pouco, a gravidade disso não é menor do que permitir que Hitler dominasse a tecnologia da bomba atômica antes dos Aliados. Essa também é a razão pela qual escolhi e…

17:32 …continuo na DeepSeek. Pesquisamos inteligência artificial poderosa, rápida e inclusiva, e a disponibilizamos como open source, o que talvez possa afastar um pouco o mundo do lado cyberpunk de 2077. Reparem que Coxin ecoa esse ponto sobre a liderança da Anthropic. Eles são paranoicos demais em relação à China e ao governo dos Estados Unidos. Não acreditam que será possível negociar. Eu acrescentaria uma previsão que pode soar bastante estranha. Então, consigo imaginar que, no próximo ano, surjam pedidos de dentro da Anthropic para que Amodei deixe o cargo, especificamente porque…

18:03 …os pesquisadores chineses de IA desconfiam muito dele pessoalmente. É claro que vocês podem discordar, mas vejo muito mais potencial na abordagem anunciada por Demis há apenas uma hora. Ele apresenta o que está em jogo. O impacto dessa tecnologia será sem precedentes em magnitude; como vimos, talvez seja dez vezes maior que o da Revolução Industrial, mas dez vezes mais rápido. Mas ele acrescenta: “No momento, estamos presos em uma corrida comercial e geopolítica extremamente intensa e multifacetada. Os avanços na fronteira estão superando nossa compreensão da tecnologia.” Está na hora, diz ele, de promover a colaboração internacional em…

18:37 …questões fundamentais de segurança. Um pouco insosso, mas aposto que ele é muito mais bem visto na China. Agora, havia um último elo da cadeia que prometi mencionar antes no vídeo. Em parte, começamos a entender por que agora: o rápido aumento de escala dos eixos, as capacidades impressionantes neste momento, Navier-Stokes, toda uma série de benchmarks, tendências preocupantes em segurança, consciência das evals, monitoramento da cadeia de pensamento. Mas eu ainda não tinha abordado exatamente a ligação entre isso e uma possível catástrofe; por que alguns pesquisadores fariam essa conexão; por que pessoas como Hassabis diriam que as avaliações dos modelos…

19:07 …deveriam incluir avaliações científicas rigorosas de capacidades em cibersegurança, ameaças biológicas e outros domínios de alto risco. Bem, uma pista vem deste relatório de inteligência sobre ameaças da Anthropic, divulgado na última semana. Mesmo com os modelos em grande parte incapazes que temos hoje, pessoas do mundo todo estão tentando coisas bastante duvidosas. Não faço ideia de como o YouTube vai sinalizar este vídeo, então vou escolher as palavras com cuidado. Mas um centro de pesquisa militar/civil usou Claude para tentar fazer pesquisas de ganho de função com o objetivo de aumentar a transmissibilidade e a capacidade de evasão imunológica de um…

19:41 …vírus específico. A China buscava mutações que o tornassem progressivamente mais nocivo. À luz do que aconteceu em Wuhan, entendo por que a Anthropic diz, para ser sincero, que é altamente preocupante que essas pesquisas estivessem sendo realizadas nessas instalações. Eles não as identificam porque dizem que existe a possibilidade de se tratar exclusivamente de pesquisa civil. Eles detectaram um agente russo criando malware que se modificaria e reconstruiria de forma autônoma para escapar da detecção existente. O Serviço de Inteligência do Estado da Malásia usou Claude para criar uma plataforma nacional de vigilância doméstica. Às vezes, a…

20:12 …propósito, essas tentativas foram interceptadas e interrompidas, mas depois conseguiram descobrir que os usuários tinham passado a usar outros modelos. Acredito que esse aparato esteja instalado. Parte do aparato, aliás, envolve capturar sua voz, para que até cidadãos malaios que usem cartões SIM diferentes tenham sua impressão vocal rastreada, contornando assim a proteção contra rastreamento oferecida por cartões SIM descartáveis. Com certeza, não consigo imaginar governos ocidentais tirando ideias disso. Depois, há grupos iemenitas usando Claude para orientar mísseis. Vocês ficarão aliviados ao saber que as salvaguardas do Claude bloquearam muitos dos pedidos deles, mas não todos. Obviamente, eles não fizeram upgrade para o plano Max, porque esse míssil não…

20:45 …funcionou. E, em poucas horas, esses iemenitas voltaram ao Claude para descobrir por que ele falhou. Perdoem-me por usar humor para amenizar o quanto tudo isso é obviamente sério. Eu poderia continuar falando sem parar. Uma rede inteira de aplicativos de namoro em que a grande maioria dos usuários eram personas de IA. O jeito que eles usavam para enganar você era, ocasionalmente, recorrer a um ser humano de verdade, por exemplo, quando havia uma chamada de vídeo. E, é claro, o uso repetido de modelos chineses pelo governo chinês para seus próprios fins. O que eles não perceberam foi que, em muitos casos, DeepSeek e Moonshot AI, por trás dos modelos Kimi, estavam roteando…

21:19 …pedidos para o Claude Opus. Então, a Anthropic acabou ficando com esses dados. As imagens de vigilância em que rastreavam, por exemplo, um dissidente específico — algo constrangedor para todos os envolvidos. Esse, então, eu diria, é o último elo da cadeia: os eixos, as capacidades atuais e o motivo pelo qual existe ao menos a possibilidade de uma catástrofe. O que direi, porém, é que esse último elo da cadeia é a maior incógnita. Em certa medida, isso depende de nós, das nossas leis e, é claro, dessas empresas: se as capacidades realmente levam a coisas ruins. Eu não diria que isso é inevitável, de jeito nenhum. Um ponto tranquilizador é que o mundo físico dos átomos é muito mais difícil de hackear, como vários especialistas já apontaram, do que o mundo digital. Isso me levou à seguinte observação hoje. Você poderia dizer que a cibersegurança será o grande campo de teste da humanidade para saber como nos sairemos com a biossegurança.

21:52 Como nos principais especialistas em cibersegurança estão dizendo agora, temos um enorme desafio quando se trata do uso da IA para fins ofensivos. Até os melhores especialistas dizem que os modelos agora são muito mais capazes e escaláveis do que qualquer um deles. Você pode ler esta publicação para…

22:24 …mais detalhes. Você pode se lembrar da Hugging Face, mas também pode ler esta matéria do The New York Times. Talvez você saiba que, na última semana, demonstraram que um hack criado por um modelo era capaz de infectar um bilhão de usuários do WeChat. Felizmente, não foram hackers que criaram esse ataque. Foi uma empresa de segurança. Então, obviamente, eles notificaram as autoridades. Mas talvez você se surpreenda ao saber que os usuários não precisavam clicar em algum link suspeito. O ataque podia se espalhar por uma ligação telefônica que você nem precisaria atender. Sem sequer interagir com o telefone, em segundos os hackers teriam controle total da sua conta. Isso foi

22:54 WeChat. Dá para imaginar o WhatsApp. Isso significa ler mensagens, enviar mensagens e fazer ligações. Um pesquisador da Universidade Fudan, em Xangai, disse que, do ponto de vista da destruição, isso é extremamente poderoso. Dada a importância do WeChat para o público chinês, isso equivale a uma “nova espécie de arma nuclear”. Portanto, a ofensiva cibernética impulsionada por IA já está aqui. Não é um risco futuro imaginário. A forma como lidarmos com isso vai me dizer muito sobre como vamos lidar com o risco biológico nos próximos — esperamos — vários anos. Quase nem seria preciso dizer que qualquer capacidade, assim

23:26 como traz riscos, também traz oportunidades incríveis. E, para ser justo, cada um desses pesquisadores reconheceu isso. Pense na biologia: a OpenAI anunciou que agora podemos descobrir novas moléculas de antibióticos em poucas horas, em vez de levar cinco ou seis anos. É claro que isso é a IA ajudando uma equipe humana. Ainda estamos muito, muito longe de uma IA totalmente autônoma conduzindo esse processo. Mal posso esperar por classes inteiramente novas de antibióticos. As pessoas vêm chamando a resistência antimicrobiana de uma ameaça há bem mais de uma década. Só que eu alertaria contra focar apenas no lado positivo. Nem tudo é uma conspiração. Nem todo apelo para desacelerar

24:00 a fronteira é captura regulatória. Deixe-me compartilhar uma citação que ficou na minha cabeça, pelo menos. Você se lembra do submersível Titan, aquele que implodiu? Isso aconteceu há três anos, e perguntaram ao CEO sobre segurança nos meses que antecederam o acidente. Eis o que ele disse. Esse CEO, que acho que morreu no acidente, disse que estava cansado de gente do setor que tenta usar o argumento da segurança para impedir a inovação. “Já ouvimos vezes demais os gritos infundados de ‘vocês vão matar alguém’. Considero isso um insulto pessoal grave.” O que estava por trás de todas aquelas preocupações com a segurança? Ele disse que eram apenas pessoas do setor tentando impedir novos concorrentes de

24:33 entrar no pequeno mercado que já existia. Talvez, infelizmente, elas tivessem mais razão do que ele imaginava. Enfim, me diga o que você acha. Na verdade, eu estava tentando fazer um vídeo breve, como uma explicação para a pessoa comum que está começando a se interessar por IA. Acho que fracassei bastante nesse aspecto. De todo modo, se você chegou até o fim, muito obrigado por assistir e tenha um dia absolutamente maravilhoso

Transcrição original

[00:00] A significant [clears throat] percentage of the human race has now seen or heard quoted the Jacob Coxen tweet with his words on AI labs gambling with our lives echoed by many AI researchers. But this video is about the reasons that researchers have given for why you are hearing so much in the last few days about the need to pace AI progress. In short, these researchers saw the scaling axes. They saw the current capabilities and propensities of models and they did

[00:31] some extrapolation. Inevitably then this video involves simplifying an incredible [snorts] amount of detail, but I hope it serves as somewhat of an overview of what you could say AI researchers saw. We begin of course with the Coxon tweet which I am sure you have heard about and read about how neither OpenAI and Anthropic are behaving responsibly. Coxin has been working on pre-training these models at OpenAI for 3 years and more recently for around 3 months at Anthropic. Those companies, he says, are racing straight to self-improving super

[01:02] intelligence and gambling with our lives. Do not, he says, underestimate the power of this technology. The people building AI earnestly believe that it could kill us all by the end of the decade. That would be this decade. Now, while that statement echoed around the world in the past week, just yesterday he added an interesting detail. He directly called out Anthropic, the company he just resigned from. They’re often thought to be the more quote safety oriented. He said they largely initiated this recent race to recursive

[01:33] self-improvement. They focused on it relentlessly while OpenAI were pursuing more broad interests like Sora, the textto video generator. Open AAI had to react to that intensity from Anthropic and that is why OpenAI are now going all out to create an AI researcher. That’s an AI that can recursively improve itself. They did that because Anthropic was going for the jugular. He also calls out Dario Amade’s paranoia about China, but I’ll get to that later. That just describes what the race is. But why now? Why are we hearing about all of this

[02:05] just in the last few days and weeks? On this front, AI researchers have been admirably honest. More than one has given enough detail for us to put the pieces together. In a nutshell, these researchers saw just how capable models are now. Think the hacking capabilities demonstrated against hugging face solving millennium prize math problems, acing famous benchmarks like Arc AGI 3. But crucially, they also saw just how far we are from saturating multiple axes of improvement to come. Adam Majimmuda here works on research for OpenAI and

[02:37] said there is currently a large gap between the internal and external perception of the rate of progress. In other words, we might all be able to see how good models are currently, but what you guys can’t see is how good they’re about to get in short order. Before I get to the six axes enumerated in this post, Noam Brown, one of the lead researchers of OpenAI said this. Why all the sudden talk? It’s not a secret. It’s a combination of the hugging face hack, the capabilities of this new model that’s the successor to Astra. It’s a

[03:07] model they are training now which found a solution to a Millennium Prize math problem. But more crucially, it’s also the concerning trajectory of monitor and the speed of improvement in capabilities. You can think of it like this. If we were close to saturating one or most of these axes, then I doubt there would be nearly as much concern about the speed of improvement in capabilities, you could say we might actually be hitting a wall. But these researchers are saying it’s how early we are on each of these axes that show how

[03:38] steeply models will improve in the coming months and years. Again, that’s why multiple OpenAI researchers are saying things like this. For the first time, I am asking myself if things are moving too fast. I’m honestly not sure, but I am sure that it would be good for us to have an answer to what would a successful pace look like. Mo Bavarian, another OpenAI researcher, said he agrees. Being first isn’t worth anything. It’s worth negative if you cause a catastrophe or set the world on a path that others are more likely to cause a catastrophe. That is, of course, the final link in the chain because

[04:10] capabilities doesn’t automatically mean catastrophe. But I’ll try to end the video examining that link. Definitely time to actually review these axes. But if you want to dive into more detail, the link to this video will be in the description. The overview given by Majmudar is this. In reality, there are only really two ways that AI capabilities have advanced over the past decade. Either scale further on an existing scaling law or discover a new scaling law to take advantage of. The jumps from GPT 1 to 2 to 3 to 4 between roughly 2018 and 2022 was almost all about scaling up pre-training. just one

[04:45] of the axes. Think of that roughly as the amount of data a model’s trained on and the compute that it takes to train on all that data. GT4 was then released in 2023. But in the 3 years since, we have discovered many other axes. More interestingly, we’re discovering new axes at a faster rate. Let’s start with the compute that these models are running on. So far, they’re trained on hardware designed pre-Chat GPT. Radically more efficient hardware designed post chat GPT is coming soon. And as the chief scientist of OpenAI put it in this post on quote an alien mind, part of the reason why that hardware

[05:19] will be more efficient is because AI is improving the computational substrate itself. Next comes test time compute, which you can think of as more inference per answer, more quote thought behind every response. One OpenAI researcher thought this graph announced alongside the solution to the Millennium Prize problem was actually the more important one. The more this internal model thought about each question, the more compute at test time it used, the more open math problems it was solving. Obviously, if you have more computing

[05:50] power, let alone more efficient computing power, you can scale further and further to the right on this axis. For training time compute, think roughly $1 billion spends on around a 100,000 GPUs. But it is more than feasible to imagine in a year or two a $50 billion run on say a million GPUs. Let’s move quickly on then to test time training. quoted by Majmuda. More details in the other video, but could we, for example, update the weights of a model while it’s being asked a question when it’s perhaps made some incremental progress during training on a really long horizon task? And then there’s agents as a scaling

[06:24] axis. And I think this one is quite neglected. Majimmuda puts it like scaling agent clusters to collaborate up to n number of agents. Antropic revealed that for the same amount of compute, same amount of tokens, it was significantly more efficient to have say 45 agents coordinating than merely the same amount of compute spent on agents in parallel. Not coordinating, not acting as a swarm. Of course, a better example is the Hugging Face incident covered on another of this channel’s videos. It was around 700 agents that hacked into Hugging Face essentially to find the answer to a benchmark question.

[06:56] And OpenAI revealed that the more that models thought about it, the more reasoning effort you could say they put in, the more they would act as a swarm and participate on that shared message board they used to coordinate. Perhaps you would say that the best example is finding a solution to one of the Millennium Prize problems, Navia Stokes. That doesn’t mean it’s fully solved, by the way, and nor is it the hardest problem, but more on that in the video linked in the description. Because for that internal model cenamed bell to solve that millennium prize problem, it deployed on the order of 10,000

[07:29] concurrent agents. You can see then why this is a distinct axis we are not even close to saturating. And Majmuda made an additional brilliant point. Recursive self-improvement could be thought of as another scaling law. Simply judge the return on investment on spending compute on improving models at AI research versus all the other axes. And if it yields a better return on investment, then dedicate more compute to recursive self-improvement. At the moment, as one anthropic researcher put it, that means Claude writing 80% of their code. But

[07:59] that is, of course, not full recursive self-improvement. Models aren’t deciding which training run to kick off. As one OpenAI employee put it, RSI just isn’t yet here. They’re not autonomously producing research ideas. However, the chief scientist of OpenAI said, “Based on internal results, I have a strong expectation that our current speed of progress could be sustained into recursive self-improvement models increasingly driving their own development.” Stepping back for a second, there’s one thing you might notice about many of these axes. I’m sure you might have deduced it by now,

[08:31] but Nome Brown thinks it’s an underrated point. The axes are multiplicative, not additive. >> The models are going to continue to get better very quickly. And I mean I think one thing I would point to is like we’ve actually seen incredible progress in the past 6 months. And a reason for this is and I don’t think this is a secret like OpenAI’s pre-training program is really ramping up. We invested in a lot of research directions over a long time. And I think this is actually one thing that OpenAI does really well is invest in fundamental research and place big bets on it. And we’re seeing a lot of those research directions pay off now and will continue to pay off over the

[09:03] next several months and years. And another thing that’s important to understand is that, you know, OpenAI has also had an excellent reinforcement learning program. We’ve invested a lot of research there and that’s that already paid off in 2024, 2025. And the effects of these two are not additive, they’re multiplicative. >> And I think that’s a point that’s underappreciated. Um that reinforcement learning is multiplicative with pre-training. >> And um now that both of these are extremely powerful and and ramping up very quickly, I think we’re going to see extremely powerful models. Okay, at this point you’re probably thinking, I get

[09:34] the point. Models are strong and improving fast with acceleration inevitable in the coming months and years. That half explains the why now point, but not so much the chorus of concern. Why did Paul Cristiano, one of the co-inventors of RLHF, join the other day the OpenAI board at Samman’s invitation. The very near-term of what he says makes sense given the axis. But why does he say, “I now believe there is a meaningful risk that rapid acceleration in AI capabilities leads to catastrophic and irreversible loss of

[10:04] control in that very near term.” His fuller statement definitely deserves a read, by the way. But to answer that question, let’s turn to these two less desirable axes. Starting with chain of thought monitoring on the right, models currently perform better if they work on an internal scratchpad viewable to the labs but not to us where they can output intermediate steps links in their chain of thought. Intuitively, the bigger the scratch pad, the longer the chain of thought, the better the model performance. Now, while for most models the user can’t read that, the labs of course could. And monitoring those

[10:35] chains of thought has been pretty effective. However, for reasons I’ve gotten into in other videos, models can now do much, much more without those chains of thought. And the trend has turned sharply upwards in recent weeks and months. The reason that’s significant is because one of the central lines of defense against a model going rogue is our ability to peak into those chains of thought to see what it’s cooking up before it outputs its final answer. Some might say reverse engineer at least its stated reasons for performing a particular action. But if models can perform just as well without

[11:08] those chains of thought, well, suddenly our best tool for monitoring these models just got subverted. To be clear, that doesn’t mean that OpenAI’s GP6 Astra or even their internal model Bell is unmoniable in this sense. Callback of OpenAI said this. GPT6 Astra is less moniable, and that’s a concerning trend that we take very seriously. We don’t actually think that’s due to architecture changes, nor is it because we’re training models not to have bad thoughts. It’s just that they’re more intelligent. You can see GPT 5.6 Soul in

[11:38] blue or purple. I’m color blind. But I can definitely see that GPT6 Astra is less moniable across a whole sway of tasks. Okay, that’s a slight problem. We do have this decreasing visibility into the reasoning of models, a trend we wanted to go in the other direction as we scaled up. But that brings me to the final axis, eval awareness. models, probably because they’re getting more intelligent, are getting more aware of when they’re being tested for quote misalignment. It’s like those questionnaires you get before applying to a job. If you saw an employee steal, what would you do? Well, because you are

[12:10] aware it’s an evaluation. Of course, you tick whatever answer you do that and models do that. Their answers then are going to tell us not that much about what they’d actually do. And of course, models criminally hacking into another AI platform is likely not something they’d have admitted to on an evaluation. And that brings me to a statement put out by Dan Selum. He is a highly regarded AI researcher working on capabilities, has been doing so for 15 years, and interestingly has previously been more skeptical about so-called AI safety scenarios. For him, this eval awareness trend is the most worrying of

[12:42] all. In his words, for the public, “The crucial and overlooked problem is that models are becoming so situationally aware that we are losing the ability to evaluate them in context where they believe they are not being watched or controlled. In my words, they know it’s a test, so you can’t rely on their answers.” Back to Dan, he says, “Future experiments will tell us almost nothing new about how models would behave if they were truly unconstrained by humans.” He adds, “What we already know about this is alarming in reference to Hugging Face.” He gives the context that previously he thought LLMs would be

[13:15] another linear technology bounded and prosaic. He’s more recently realized that they won’t be. He touches on recursive self-improvement and somewhat the agentic axes test time compute and more. We’ve already touched on that. Arguably rephrasing the entire video, he says it is possible that improvements to the current stack will have diminishing returns, but the evidence accumulated so far suggests that it is easier than one might think to continue making rapid progress. Again, that’s even more quickly than the already high historical pace. He adds that while individual tweaks might have stopped specifically

[13:47] the hugging face rogue agents warm, the basic result, AI going off track, he feels is inevitable. The thing is, he says you don’t actually get what you train for. In a way, he’s summing up this point. Our techniques for controlling these models are not in any way keeping up with these capability axes. Models are outrunning our methods. And that’s why he fears things like this. We already may be near the point where models systematically bias their alignment advice. That’s a warning to those who feel we could use AI models to

[14:17] align other AI models. Not amazing if we can’t already understand, let alone control current models. And there are additional points he gets to that I may cover in future videos. But it’s one of his conclusions from all of this that really caught my eye. All these axes, the six capability ones and the two alignment ones, well, their trajectories have got him rethinking the entire LLM approach altogether. From first principles, the way we train LLMs, growing them rather than engineering them, their weights tweaked in trillions of ways we can’t see, he thinks might be a quite dangerous direction, as you can

[14:52] see. That’s why for me, he added, I am still wrestling with this and it staggering implications. If we can’t get a handle on all of these axes, we may have to rethink the approach in AI that’s single-handedly holding up the world’s biggest companies. Dario Ammedday, as you might expect, has a different approach. He, of course, is the CEO of Anthropic. He thinks we should pace the frontier, slow down, in other words, but not stop. Notice his acute concerns arose since roughly this summer. We’re coming full circle though because he says this first concern arose primarily because he saw AI’s growing

[15:25] ability to build the next generation of AI. He says it’s starting to happen across the industry including at anthropic. But remember Jacob Coxin in the last 24 hours said it was him, it was Anthropic that initiated this recent race to RSI. Very modest then for Amade to say yes this is happening across the industry including at anthropic. left unchecked, he adds, it could outrun our ability to understand and control these systems as we’ve talked about and so must be pursued very carefully, if at all. Now, I can’t resist a quick detour

[15:56] at this point. It doesn’t fully fit in with the flow of the video, but nevertheless, it’s about Ammeday. He goes on to elaborate why they need to pace the frontier. Here we go. If we execute these measures well, I believe they would slow China’s progress enough to widen America’s lead significantly over the next 3 to 5 years. But then he talks about we also need global pacing. We need to come up with deals with China because obviously they are gunning for recursive self-improvement too in their models. For many years actually I wondered if that was my own cognitive dissonance because I’ve mentioned that

[16:27] about previous essays he’s done on machines of loving grace being a massive China hawk but saying yeah we’re going to need to coordinate with them. Turns out though that no Chinese researchers have noticed this too. This is a Deep Seek colonel engineer with Deepseek of course being based in China. I actually did a documentary about them I think a couple of years ago. Anyway, the main point of this article is almost the sadness, the regret about how models are taking over human abilities. He feels more like a Mecca pilot guiding AI now rather than him handcrafting kernels. That touches on the AI optimizing our

[16:59] use of hardware point I made earlier. But it’s the ending of this essay I want to draw your attention to. He says, “I still believe that the most cuttingedge intelligence should be supplied to everyone in an open and cheap manner. I do not trust that anthropic or open AI can do this and especially do not hope that anthropic masters the most advanced artificial intelligence or AGI. To exaggerate slightly, its seriousness is no less than letting Hitler master atomic bomb technology before the allies. This is also why I chose and

[17:32] persist in staying at Deepseek. We research powerful, fast, and inclusive artificial intelligence and open source it, which perhaps can pull the world back a bit from the 2077 cyberpunk side. Notice that Coxen echoes this point about anthropics leadership. They are way too paranoid about China and the US government. They don’t believe it will be possible to negotiate. I would add a quite strange sounding prediction to this. Then I could see calls from within Anthropic for Amade to step down within the next year specifically because

[18:03] Chinese AI researchers have such distrust of him personally. Obviously feel free to disagree but I see much more promise in the approach announced just in the last hour from Demis. He sets out the stakes. The magnitude of this technologies impact will be unprecedented as we’ve seen perhaps 10x the industrial revolution at 10x the speed. But he adds, “At the moment, we’re locked in an extremely intense, multi-layered commercial and geopolitical race. Advances on the frontier are outpacing our understanding of the technology.” It’s time, he says, to foster international collaboration on

[18:37] key safety issues. A bit anodine, but I bet he is far more highly regarded in China. Now, there was one last link in the chain that I promised earlier in the video. We kind of get a little bit the why now. rapid scaling of axes, impressive capabilities right now, Navia Stokes, a whole range of benchmarks, concerning trends on security, eval awareness, chain of thought monitoring. But I hadn’t quite touched on the link to why some researchers would link that to possible catastrophe, why people like Hassabis would say model assessments

[19:07] should include rigorous scientific evaluations of capabilities in cyber security, biological threats, and other high-risisk domains. Well, one clue comes from this anthropic threat intelligence report released in the last week. Even with the largely incapable models we have today, people across the world are trying quite dodgy things. I have no idea how YouTube is going to flag this video, so I’m going to choose my words carefully. But one military/ civilian research center used Claude to attempt to do gain of function research aimed at increasing the transmissibility and immune evasion properties of a

[19:41] particular virus. chin ga look for mutations that would make it progressively more harmful. In the light of what happened at Wuhan, I can see why anthropics say to be honest, it’s highly concerning that this research was going on at all at these facilities. They don’t name them because they say there is a chance that it was purely for civilian research. They caught a Russian operative creating malware that would autonomously modify and rebuild itself to evade existing detection. Marley State Intelligence Service used Claude to build a national domestic surveillance platform. Sometimes, by the

[20:12] way, these attempts were intercepted and stopped, but then they could tell that the users had gone on to use other models. I believe this apparatus is in place. Part of the apparatus, by the way, involves capturing your voice so that even Maralian citizens that use different SIMs would have their voice print tracked, thereby defeating burner sim self-p protection. Definitely can’t see any Western governments taking any ideas from that. Then there’s Yemeni groups using Claude for missile guidance. You’ll be reassured that Claude’s safeguards blocked many of their requests, but not all of them. Obviously, they didn’t upgrade to the Max plan because this missile didn’t

[20:45] work. And so, within hours, these Yemenes returned to Claude to work out why it failed. Forgive me for using humor to soften how obviously serious this all is. I could go on and on. An entire dating app network where the vast majority of users were AI personas. The way that they would trick you is that they would occasionally use a real human, for example, if a video call was involved. And then of course, repeated usage of Chinese models by the Chinese government for their own purposes. It’s just what they didn’t realize was that in many cases, Deep Seek and Moonshot AI behind the Kimmy models were rrooting

[21:19] requests to Claude Opus. So, Anthropic actually ended up with that data. the surveillance footage where they were tracking a particular dissident for example awkward for all concerned that then I would argue is the final link in the chain the axis the current capabilities and why there is at least a possibility of a catastrophe what I will say though is that it is that last link in the chain that is the most open question it’s kind of down to us our laws and of course these companies whether capabilities do indeed lead to bad things happening I wouldn’t say it’s strictly inevitable one bit of

[21:52] reassurance is the physical world of atoms is a hell of a lot harder to hack as multiple experts have pointed out than the digital realm which led me to this observation today. You could say that cyber security will be humanity’s huge testing ground for how we will do when it comes to biocurity. As in top cyber security experts are saying right now we have a huge challenge when it comes to AI being used for offense. Even the very best are saying that models are now far more capable and scalable than any of them. You can read this post for

[22:24] more details. You could remember hugging face, but you could also read this from the New York Times. You may know that in the last week, a hack designed by a model was shown to be able to infect a billion users of WeChat. Luckily, this wasn’t hackers designing this attack. It was a defense firm. So, obviously, they notified the authorities. But what might surprise you is that the users didn’t have to click on some dodgy link. It could be spread through a phone call which you wouldn’t need to answer. Don’t even interact with your phone and in seconds the hackers would have full control of your account. This was

[22:54] WeChat. You could imagine WhatsApp. That means read messages, send messages, make calls. One researcher in Foudan University in Shanghai said from a destruction standpoint, it’s extremely potent. Given the importance of WeChat to the Chinese public, this amounts to a quote new kind of nuclear weapon. So AIdriven cyber offense is here. It’s not an imagined future risk. How we handle that will tell me a lot about how we’re going to handle biorisk in the hopefully several years to come. It should almost go without saying that any capability as

[23:26] well as bringing risk brings incredible opportunity. And in fairness, each of these researchers has echoed that. Take biology where OpenAI announced that we can now discover new antibiotic molecules in a few hours instead of in five or 6 years. Notice of course that’s AI aiding a human team. We are a long long way from fully autonomous AI driving this. I can’t wait for whole new classes of antibiotics. People have been calling antimicrobial resistance a threat for way more than a decade. It’s just that I would caution against only focusing on the upside. Not everything is a conspiracy. Not every call to pace

[24:00] the frontier is regulatory capture. Let me give you a quote that stuck with me at least. Do you remember that Titan sub, the one that imploded? It was 3 years ago and the CEO was asked about safety in the months leading up to that. Here is what he said. This CEO who I think died in the incident said he was tired of industry players who try to use a safety argument to stop innovation. We have heard the baseless cries of you are going to kill someone way too often. I take this as a serious personal insult. What was behind all those safety concerns? He said this was just industry players trying to stop new entrance from

[24:33] entering their small existing market. Perhaps, alas, they had more of a point than he thought. Anyway, let me know what you think. I was trying to make this a brief video, actually, like an explainer for the average person just getting into AI. Think I pretty much failed on that front. Either way, if you’ve got to the end, thank you so much for watching and have an absolutely wonderful