Google voltou com tudo...

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Google is SO back… · Canal: Wes Roth · 14:25 · Assistir no YouTube

Tópicos: Agentes de IA, Aplicações empresariais de IA, Modelos de IA, Robótica e sistemas autônomos

Resumo

O vídeo apresenta o Dream RSI, uma pesquisa do Google e de universidades colaboradoras que usa o histórico de experimentos como uma simulação para explorar caminhos de pesquisa em IA. Em vez de executar cada experimento, agentes avaliam possibilidades no chamado “mundo de sonhos” e podem evitar caminhos que já se mostraram improdutivos. Segundo o vídeo, o método teve bons resultados em comparação com outras abordagens, embora nem sempre supere ferramentas como Alpha Evolve em tarefas específicas. Wes Roth vê a ideia como uma possível peça fundamental para sistemas que planejam, executam e otimizam pesquisas, aproximando-se da melhoria recursiva de IA.

Pontos-chave

O Dream RSI trata o histórico de experimentos como um espaço de simulação para testar estratégias de exploração.
A abordagem procura identificar caminhos promissores e evitar direções que já levaram a becos sem saída.
Testar candidatos na simulação pode evitar executar cada experimento no mundo real, reduzindo custos e espera.
A estratégia de exploração é adaptativa: pode ajustar o esforço computacional conforme o progresso desacelera.
No comparativo apresentado, Gemini RSI com Gemini 3.7 Flash alcança a melhor pontuação entre as abordagens avaliadas.
Alpha Evolve é citado como uma ferramenta complementar, com desempenho superior em algumas otimizações matemáticas.
O apresentador relaciona o trabalho a um futuro em que sistemas de IA escolhem, executam e otimizam experimentos em conjunto.

Capítulos

Início	Capítulo	Resumo
00:00	O problema de escolher os caminhos de pesquisa	O vídeo introduz RSI e explica como decisões sobre quais experimentos seguir podem determinar o avanço ou o desperdício de recursos.
03:13	Dream RSI usa o histórico como simulação	A pesquisa propõe explorar árvores de descoberta com agentes que testam estratégias no histórico de experimentos, sem executar cada candidato.
06:25	Exploração adaptativa e mundos simulados	O apresentador descreve os limites das estratégias fixas e explica como mapas de experiências anteriores podem orientar novas explorações.
10:37	Resultados e comparação com outras abordagens	O vídeo comenta os resultados atribuídos ao Dream RSI e compara seu desempenho com Gemini RSI e Alpha Evolve.
13:21	Possível base para a melhoria recursiva	Wes Roth avalia o potencial da pesquisa como parte de sistemas que aprimoram ferramentas, processos e futuras gerações de modelos.

Citações

Todo aquele histórico de experimentos é, de certa forma, dado. — 03:44

A história é o mundo em que se pode sonhar. — 04:17

Uma nova política de exploração é testada imaginando-a, não vivendo-a. — 05:20

A história já é um simulador. — 09:03

Isso parece algo fundamental. — 13:21

Conceitos e entidades

Dream RSI (conceito): Abordagem de pesquisa que usa o histórico de experimentos como uma simulação para avaliar estratégias de exploração.
RSI (conceito): Sigla de recursive self-improvement, ou melhoria recursiva, discutida como a possibilidade de sistemas ajudarem a aprimorar a si mesmos.
Google (empresa): Empresa associada à pesquisa Dream RSI e a outras iniciativas de otimização de sistemas de IA mencionadas no vídeo.
Gemini 3.7 Flash (modelo): Modelo citado como parte da abordagem Gemini RSI, que obteve a melhor pontuação no comparativo apresentado.
AlphaEvolve (ferramenta): Sistema do Google citado por seu uso em otimizações, incluindo a melhoria do agendamento de recursos em data centers.
Borg (conceito): Nome mencionado para o sistema de agendamento de recursos do Google, cuja eficiência teria sido melhorada com Alpha Evolve.
Wes Roth (pessoa): Apresentador do vídeo que explica a pesquisa e comenta suas possíveis implicações.

Tradução completa (pt-BR)

00:00 O Google sonha com RSI, autoaperfeiçoamento recursivo. Enquanto a maior parte do país debate se devemos ou não ter RSI, o Google diz: “Ei, podemos colocar essa IA numa simulação e fazê-la praticar RSI.” Tenho que dizer que eles merecem crédito por isso. Então, neste vídeo, vamos dar uma olhada neste artigo, porque é algo importante. Ele se chama Dream RSI. “Dream” no sentido de simulação. A IA meio que sonha e passa por muitas e muitas simulações para descobrir como pode se aprimorar da melhor forma, quais caminhos seguir para chegar lá mais rápido. E, especificamente, estamos falando apenas de

00:34 um aspecto da pesquisa e do desenvolvimento de IA. Podemos pensar assim: digamos que haja duas pessoas no laboratório de pesquisa. Uma delas conduz os experimentos de fato. São cientistas que põem a mão na massa. Elas fazem experimentos e veem o que funciona. Digamos que a outra cientista seja a pessoa que decide o que fazemos em seguida. O que merece nossa atenção na próxima hora de trabalho. E, claro, você pode ser uma pesquisadora absolutamente excelente e ainda assim desperdiçar uma semana inteira de trabalho porque decidiu seguir o tipo errado de cadeia, o ramo errado. Os videogames têm um conceito incrível chamado árvore tecnológica. Isso

01:07 só significa que você precisa desbloquear uma coisa antes de desbloquear outra. Certo? É como no Minecraft. Você precisa construir ferramentas de madeira, depois ferramentas de pedra, depois não sei o quê e, por fim, ferramentas de diamante. Não jogo tanto Minecraft, mas deu para entender. Foi assim, mais ou menos, que nosso sistema de descobertas funcionou, certo? Tivemos ferramentas de pedra, ferramentas de lascas, aparentemente mel mais ou menos na mesma época e, depois, fomos ficando cada vez melhores. Por fim, tivemos wikis, DVDs, Wi-Fi e GPUs. E, aparentemente, essa história toda termina com o AI coding agent em 2025. Chatbot de LLM, modelo de raciocínio, AI coding agent

01:38 e é isso. Fim da linha. Por que estamos falando disso? Porque boa parte da pesquisa científica é muito parecida com isso. Há certas árvores ou ramos pelos quais seguimos. Alguns podem parecer empolgantes no início, mas depois não nos levam a lugar nenhum. Outros podem surgir quase por acaso, mas percebemos que são grandes saltos à frente. Podemos descobrir alguns deles bem cedo, mas não temos toda a tecnologia necessária que os faz funcionar. Sabe, com as redes neurais, algumas pessoas achavam que aquilo não daria em nada. Era um beco sem saída e não funcionava de verdade. Eu

02:11 acredito que foi Geoffrey Hinton quem, na verdade, contrariou a tendência e boa parte da opinião dos outros especialistas da área nos anos 1980 e 1990, dizendo: “Não, este é o caminho.” O motivo de não funcionarem era que simplesmente não tínhamos capacidade computacional suficiente. O hardware estava ficando para trás. Aí chega Jensen Huang, cria a GPU, e agora essas coisas juntas são tipo: “Uau.” Não levem isso muito a sério. Estou exagerando bastante, mas vocês entenderam o que quero dizer. Tínhamos essa ideia, mas não tínhamos o hardware para executá-la — ou, pelo menos, para executá-la de um jeito que produzisse resultados incríveis. E, claro, tudo isso levou a

02:41 LLMs, por fim, os grandes modelos de linguagem, além, é claro, de coisas como AlphaGo, AlphaFold e tudo isso. E, claro, com os LLMs, alguns cientistas, pesquisadores, diziam: “É horrível. Não vai dar em nada. Nunca vai alcançar coisa alguma. É o caminho errado para a AGI. Acabem com tudo.” E algumas pessoas diziam: “Não, sabe de uma coisa? Parece estar funcionando. Vamos continuar tentando ampliá-lo e aprimorá-lo. Vamos ver aonde isso vai dar.” E, claro, funcionaram muito bem, e essas pessoas ficam muito, muito irritadas, mas não admitem que estavam erradas. O que isso tem a

03:13 ver com DreamRSI, este artigo do Google que estamos analisando? Desculpem se isso foi uma digressão, mas achei que ajudaria a ilustrar o ponto. A questão é: como determinamos quais experimentos devemos perseguir? Em quais deles investimos mais energia, capacidade computacional e recursos? Quais são becos sem saída? Como podemos tomar decisões melhores a esse respeito? Então, neste artigo DreamRSI, os pesquisadores do Google — e é uma colaboração com outras universidades etc., portanto não é só o Google — disseram: “Sabe, todos aqueles experimentos e coisas que fizemos, meio que os vemos como história antiga, mas

03:44 também são dados. Eles podem nos mostrar quais experimentos funcionaram e quais foram meio que becos sem saída.” Então, se criarmos uma espécie de diagrama ramificado, como essa árvore tecnológica, e fizermos vários agents de IA percorrê-la, provavelmente conseguiremos descobrir algumas coisas. O brilhantismo disso é que, na prática, é quase de graça. É extremamente barato, porque já temos todos os dados. Sabemos o que aconteceu. É assim que eles explicam: “A história é o mundo em que sonhamos.” E eles usam “sonhar” no sentido de simulação, certo? Então, estamos simulando uma certa história. Voltamos a um ponto específico e

04:17 então essa IA meio que a percorre. Assim, eles dizem que um modelo de mundo aprendido não é uma aproximação. A árvore de descobertas que o agent já construiu é um simulador exato do espaço de busca que alcançou. Um mundo que surgiu de graça como subproduto do trabalho. Voltando à nossa pequena linha do tempo, à árvore tecnológica histórica: dá para imaginar voltar a algum ponto, digamos, nos anos 1900. Essa coisa está com um atraso enorme. Então, vou deixá-la onde estiver. Não consigo parar de mexer nela. O ponto é que, na verdade, Demis

04:48 Hassabis propôs isso como um dos experimentos mentais. Se você pegasse um modelo de IA e o treinasse com todos os dados até, digamos, o início dos anos 1900, será que ele conseguiria, por exemplo, fazer experimentos ou formular a teoria da relatividade? Então, se você o treinasse até algum ponto aqui e o fizesse avançar no tempo, ele descobriria isso? Ou, numa pergunta mais relacionada a este artigo: se o mandássemos de volta no tempo e ele percorresse a história, conseguiria acelerar as descobertas? Encontraria maneiras melhores de percorrer essa árvore tecnológica? Encontraria

05:20 caminhos mais rápidos, ramos melhores? Ou, pensando de outra forma, será que ele poderia melhorar — desenvolver a habilidade de aprimorar a capacidade de descobrir como percorrer essas árvores tecnológicas mais rapidamente? Então, é isso que querem dizer aqui, certo? Eles pegaram todas as descobertas, a “história”, por assim dizer, e registraram quais descobertas vieram de quais outras, e quais eram pré-requisitos. E é assim que sonhar permite que o sistema se aprimore. Uma nova política de exploração é testada ao imaginá-la, não ao vivê-la. Milhares de candidatas foram simuladas naquele mundo sem nenhuma execução, e só a vencedora é

05:53 implantada. Talvez vocês tenham visto aqueles vídeos em que a IA aprende a jogar Mario ou algo assim, certo? Então, você cria um bilhão de Marios, todos passam por essa coisa e você percebe que eles convergem para uma tática que funciona. Mas, em vez de bater a cabeça nos blocos suspeitos e pisotear seja lá como se chamam aquelas coisas, eles tentam descobrir como praticar RSI — autoaperfeiçoamento recursivo — da melhor forma, ou, pelo menos, como conduzir pesquisas de IA da melhor forma. O que buscar primeiro? Que tipos de ramos não são viáveis ou não valem a pena? E, por fim, cada rodada

06:25 acrescenta um mundo. A política vencedora volta a ficar ativa e registra uma nova árvore de descobertas. Mais um mundo alcançando lugares a que nenhuma política anterior teria chegado. O conjunto cresce a cada rodada. Uma política simulada em mais mundos supera uma ajustada à sorte de uma única execução. E essa política traz de volta mundos que nenhuma política anterior conseguiria. Essa é a recursão. Então, o que determina se vale a pena realizar esses ciclos é a exploração. Onde ramificamos? Que experimentos tentamos executar em paralelo? Quando interrompemos uma linha de pesquisa, certo? É como quando descobrimos o que era um LLM e algumas pessoas disseram: “Mas esse é o caminho errado para

06:57 seguir. Simplesmente pare de trabalhar nisso. Nunca vamos chegar lá.” E se tivéssemos escutado? O que eles estão dizendo é que a exploração ainda é um componente escrito à mão e congelado. Em outras palavras, podemos escrever um script que decide qual caminho seguir. Talvez ele analise as duas decisões diferentes diante de nós, dê uma nota para cada uma em alguma escala, veja qual nota é maior e então simplesmente siga por esse caminho. Mas a questão é que uma estratégia fixa não consegue aprender com as experiências que acumula. Então, continua investindo em caminhos que já fracassaram. E otimizar em tempo real esbarra em dois obstáculos

07:28 ao mesmo tempo. Um deles é que o feedback em nível meta é atrasado e caro. Ou seja, é preciso esperar todos esses testes serem executados e todos os experimentos serem concluídos. Em primeiro lugar, há o atraso porque, como sabem, é preciso esperar até o fim. Em segundo, é caro. Não dá para deixar alguém tentar, porque essa pessoa pode gastar muito dinheiro, recursos e computação seguindo caminhos menos ideais. E eles dizem que isso é caro porque avaliar uma política de exploração significa observá-la conduzir uma rodada inteira de descoberta até o fim, em vez de avaliar um único candidato. E o espaço de políticas meta é vasto. Então, a maioria

07:59 das políticas que vocês teriam de testar seria ruim. Mas, curiosamente, isso surgiu várias vezes nas diferentes entrevistas que fizemos neste canal e também em geral: existe algo na IA que parece estar muito ligado a simulações. Algumas pessoas propuseram a ideia de que talvez estejamos em uma simulação e talvez haja milhões, bilhões ou um número infinito de outras simulações sendo executadas. A piada que sempre faço é: e se alguma realidade-base lá fora quisesse descobrir como liberar a superinteligência, mas quisesse fazer isso de um jeito muito seguro? Então, criou mil simulações e recriou a Terra exatamente como era quando a IA estava prestes a entrar em cena. Tipo: “Ah, vamos começar nos anos 1990 ou algo assim.” E agora estão nos observando com atenção para ver qual de nós vai descobrir como fazer isso, qual de nós vai descobrir como lançar a superinteligência com segurança, porque, obviamente, isso seria um dado muito valioso para uma realidade-base desse tipo.

08:31 simulações. E recriaram a Terra exatamente como era quando a IA estava prestes a entrar em cena. Tipo: “Ah, vamos começar nos anos 1990 ou algo assim.” E agora estão nos observando com atenção para ver qual de nós vai descobrir como fazer isso, qual de nós vai descobrir como lançar a superinteligência com segurança, porque, obviamente, isso seria um dado muito valioso para uma realidade-base desse tipo. Trago isso à tona porque é quase certo que nós vamos construir simulações. Há muita coisa apontando nessa direção. O que estamos vendo aqui é uma simulação muito rudimentar da pesquisa que eles já estavam fazendo.

09:03 E então, eles dizem que a história já é um simulador. Um simulador é qualquer coisa capaz de responder o que aconteceria se, sem executar o mundo. Para políticas de exploração, esse objeto já existe, totalmente construído e totalmente pago, certo? É simplesmente o histórico dos experimentos que já foram executados. Pensem em um agent atravessando um terreno desconhecido pela primeira vez. Ele segue rotas ineficientes, chega a becos sem saída, volta pelo caminho e, ao fazer isso, desenha um mapa, seja um mapa real ou, provavelmente, o que eles querem dizer é algo como uma mente neural, uma compreensão do mundo, de para onde ir. A política seguinte não precisa percorrer o terreno de novo. Ela raciocina com base no mapa. Evita os

09:36 becos sem saída conhecidos, reconsidera decisões com as quais a primeira política se comprometeu cedo demais e compara rotas inteiras antes de se mover. E, assim, a descoberta de longo horizonte tem exatamente essa estrutura, e o mapa já está sendo feito. Então, pensando bem, é por isso que mostrei aquela espécie de árvore tecnológica da humanidade, por assim dizer, para que vocês possam pensar nela como uma representação de como descobrimos as coisas, de como chegamos até, sabem, os dias de hoje. E, obviamente, continuamos fazendo isso. Então, ao longo de um horizonte extenso, vamos desenhar cada vez mais esse mapa. Mas, se pensarmos nisso como um território desconhecido, certamente podemos pensar

10:07 que entender como a árvore tecnológica cresce e se ramifica é como desenhar um mapa dela. E, claro, percorrermos a simulação retorna resultados imediatamente e custa zero execuções. E, à medida que novos experimentos são adicionados a esse vasto espaço de possíveis ramificações, o agent que está executando isso passa a ter não apenas um mundo, mas um conjunto crescente deles. Então, os mundos evoluem junto com o agent. No fim das contas, o que aconteceu? Essa abordagem funcionou? Aqui, o RSI é comparado com outros modelos de machine learning.

10:37 Por exemplo, estes dois são bibliotecas de machine learning para construir esses modelos preditivos e, basicamente, quanto menor, melhor. Queremos a menor pontuação possível, porque ela representa quantos recursos investimos nisso. Assim, ele consegue encontrar melhor o caminho mais otimizado, certo? É como se o mandássemos de volta aos tempos pré-históricos e fizéssemos com que executasse a simulação da árvore tecnológica do mundo real. Digamos que eu voltasse e dissesse: “Bom, aquilo que levou vocês, sei lá, 20 mil anos, eu fiz em menos de mil.” A questão aqui é que esse Dream RSI está obtendo algumas das

11:10 melhores pontuações. O Gemini RSI com Gemini 3.7 Flash tem a melhor pontuação entre todos os outros modelos ou abordagens com os quais foi comparado. O interessante aqui é que essa abordagem é adaptativa. Quando tudo vai muito bem, ela não usa tanta computação, mas, quando o progresso desacelera e as coisas ficam um pouco mais difíceis, o uso de computação e o esforço aumentam. Tentar orientar o agent ou dar conselhos com base no passado, na verdade, piora as coisas. Esse tipo de exploração aberta funciona melhor. Então, o motivo

11:41 de isso ser importante é que coisas como o Alpha Evolve, do Google, sobre o qual falamos há um ou dois anos, tinham essa como a grande ideia. A ideia era pegar esses LLMs e fazê-los tentar otimizar algum caminho evolutivo ramificado. E descobriram que há certos usos em que essas abordagens com LLMs são extremamente úteis. O Google tem um enorme conjunto global de recursos de computação, e uma das coisas que o Alpha Evolve fez foi encontrar uma maneira melhor e mais eficiente de organizá-los. Especificamente, isso melhorou o agendamento dos data centers, ou o Borg, como eles o chamam. Já falamos

12:15 sobre isso, mas estou esquecendo boa parte porque faz bastante tempo. Mas foi extremamente impressionante, pois não era apenas teórico. O Google conseguiu economizar, imagino, milhões e milhões de dólares graças a essa otimização criada por esse modelo de IA. Dá para pensar nisso como o Google produzindo, basicamente, cada vez mais ferramentas para fazer esse tipo de pesquisa. O Alpha Evolve é uma delas. E, a propósito, percebam que ele supera o Dream RSI em algumas das otimizações matemáticas que realiza. Mas dá para pensar neles como ferramentas diferentes, trabalhando em aspectos ou projetos diferentes. E eu

12:47 acho que isso está caminhando para um objetivo: criar uma pessoa — ou uma máquina, um sistema — que realize os experimentos; outra que descubra a melhor forma de agendá-los, decidindo qual será executado em seguida. E, com o tempo, fazer com que esses sistemas de IA prevejam para onde ir e o que fazer, executem esses experimentos e, em conjunto, todos os sistemas melhorem a próxima geração de modelos. E, claro, se esses modelos da próxima geração forem mais capazes de aprimorar as ferramentas que usam, assim como os processos, e conseguirem otimizar melhor todos os sistemas envolvidos, bem,

13:21 isso é RSI, aprimoramento recursivo de si mesmo. Então, é definitivamente uma época muito empolgante para estar vivo. Parabéns ao Google. Isso parece ser algo fundamental. Não é tão imediatamente empolgante quanto um novo modelo incrível que acabou de sair. Isso está mais na base, no nível fundamental. São essas coisas que vão nos permitir continuar aprimorando os modelos daqui para a frente. E, claro, o Google é fundamental para boa parte do que estamos vendo no progresso da IA. Eles inventaram o transformer, e às vezes é difícil saber quais artigos vão se traduzir em

13:53 um impacto enorme no futuro. Isso parece bem grandioso. Certamente, a ideia de usar o histórico que já temos. Temos esses dados. Sabemos o que aconteceu no passado e, então, criar essas simulações, esses mundos, e fazer esses agents percorrê-los para descobrir se há caminhos mais otimizados que poderíamos ter seguido. Isso parece uma direção bem importante. Mais uma vez, este é mais um passo para construirmos, acredito, simulações completas. Deixá-las rodar, porque os dados, é claro, seriam inestimáveis. Então, parabéns ao Google. Me conte o que achou disso. Se chegou

14:25 até aqui, muito obrigado por assistir. Meu nome é Wes Roth e vejo você no próximo vídeo.

Transcrição original

[00:00] Google dreams of RSI, recursive self-improvement. While most of the country is debating whether or not we should have RSI, Google is like, “Hey, we can put this AI into a simulation and have it do RSI.” Which, I got to say, you got to give them credit for this. So, in this video, let’s take a look at this paper cuz this is kind of a big deal. It’s called Dream RSI. Dream as in simulation. We’re having the AI sort of a dream and run through many, many simulations to figure out how to best improve itself, which pathways to take that lead us there the fastest. And specifically, we’re talking about just

[00:34] one aspect of AI research, AI development. So, we can think of it as, let’s say there are two people in the research lab. One of them runs the actual experiments. They’re the hands-on scientists. They’re experimenting and seeing what works. And let’s say the other scientist is the person deciding what we do next. What deserves our attention for the next hour of work. And of course, you can be an absolutely excellent researcher and still waste an entire week of work because you decided to pursue the wrong sort of chain, the wrong branch. Video games have this awesome concept called a tech tree. It

[01:07] just means you have to unlock one thing before you unlock another. Right? It’s like Minecraft. You got to build wooden tools, then stone tools, then I don’t know what, eventually diamond tools. I don’t play Minecraft that much, but you get the idea. That’s similar how our discovery system worked, right? We had stone tools, flake tools, honey apparently around the same time, and then eventually got better and better and better and better. Eventually, we had wikis and DVDs and Wi-Fi and GPUs. And apparently, this whole thing ends with AI coding agent in 2025. It’s LM chatbot reasoning model AI coding agent

[01:38] and that’s it. End of the line. Why are we talking about this? Because a lot of these scientific research is very much like this. There’s a certain trees that we do go down or branches. Some of them might seem exciting at first, but then lead us nowhere. Whereas, other ones can be almost accidental, but we realize that they’re they’re huge leaps of forward. We might discover some of them kind of early on, but we don’t have all the other prerequisite technology that like makes it work. You know, with neural nets, some people thought that that was not going anywhere. It was a dead end and they don’t really work. I

[02:11] believe it was actually Geoffrey Hinton who kind of went against the grain and a lot of the other expert opinion field in the ’80s and ’90s saying, “No, this is the way.” The reason they didn’t work is we just didn’t really have the compute for it. The hardware was lagging behind. And then here comes the Jensen Huang, builds the GPU, and now these things together are like, “Wow.” Don’t take that too seriously. I’m exaggerating wildly, but you get what I’m saying. We had this idea, but we didn’t have the hardware to run it, or at least run it in such a way that it produced amazing results. And of course, this all led to

[02:41] LLMs eventually, large language models, as well as of course things like AlphaGo, AlphaFold, all of that stuff. And of course, with LLMs, some people, some scientists, yeah, researchers, they’re like, “It’s horrible. It’s not going anywhere. It will never achieve anything. It’s the wrong way to AGI. Shut it all down.” And some people are like, “No, you know what? It seems to be working. Let’s keep trying to increase it and improve it. Let’s see where this goes.” And of course, they worked pretty well, and then these people are very very mad, but they will not admit that they were wrong. What does that have to

[03:13] do with DreamRSI, this Google paper that we’re covering? I apologize if that was a tangent, but I thought that this would help illustrate the point. The question is, how do we determine which experiments to pursue? Which ones do we contribute more energy and compute and resources to? Which ones are dead ends? How do we make better decisions about that? So, in this DreamRSI paper, the Google researchers, and it’s a collaboration with other universities, etc., so it’s not just Google, but they said, “You know, all those experiments and stuff that that we did, we kind of see it as just like ancient history, but

[03:44] it’s also data. It can show us which experiments worked, which experiments were kind of dead ends.” So, if we create kind of this little branching chart, like this tech tree and run a bunch of AI agents through it, we can probably figure stuff out. The brilliance of this is that this really is almost free. It’s extremely cheap because we already have all of the data. We know what happened. Here’s how they kind of explain it. History is the world to dream in. And dream they use it as kind of simulation, right? So, we’re kind of simulating a certain history. We roll it back to a specific point and

[04:17] then this AI kind of like goes through it. So, they’re saying that a learned world model and not approximation. The discovery tree the agent already built is an exact simulator of the search space it reached. A world that came free as a byproduct of working. So, going back to our little timeline here, historical tech tree. You can imagine going back to some point, let’s say in the 1900s. This thing is super laggy. So, I’m just going to leave it wherever it’s sitting. I can’t stop messing with it. The point is and actually Demis

[04:48] Hassabis proposed this a sort of one of the thought experiments. If you took an AI model, you trained it up on all the data up until let’s say the early 1900s, could it then let’s say go through and maybe conduct some experiments or come up with the theory of relativity, right? So, if you train it up to somewhere here and you had it kind of go through foreign time, would it figure this out? Or a different question more closely related to this paper is like if we send it back in time and it went through history, could it like speedrun discovery? Could it find better ways to approach this tech tree? Could it find

[05:20] faster avenues, better branches? Or another way to think about it is like could it get better at like could it develop the skill of improve the skill of figuring out how to go through these tech trees faster? So, that’s what they mean here, right? They took all their findings, their quote-unquote history and kind of like which findings came out of which one, which one was like a prerequisite. And so, dreaming is how it self-improves. So, a new exploration policy is tested by imagining it, not by living through it. Thousands of candidates dreamt against that world at zero executions and only the winner is

[05:53] ever deployed. You might have seen those videos where like AI learns to play Mario or something, right? So you get a billion Marios and they all run through this thing and you sort of notice them kind of converge on a certain tactic that’s working, but instead of hitting your head on the questionable blocks and stomping whatever those things are called, instead of doing that, they’re trying to figure out how to best do RSI recursive self- improvement or or at least how to best do AI research. What do you go after first? Which sort of branches are, you know, not feasible or not worthwhile? And finally, every lap

[06:25] adds a world. The wing policy goes back online and records a new discovery tree. One more world reaching places no earlier policy would have gone. The pool grows every lap. A policy dreamt against more worlds beats one tuned to the luck of a single run. And that policy brings back worlds no earlier one could. That is the recursion. So what decides whether those cycles are worth their computes is exploration. So where do we branch? What experiments do we try to run in parallel? When to cut a line off, right? It’s kind of like when we figured out what an LLM was and then some people were like, “But that’s the wrong way to

[06:57] go. Just stop working on it. We’re we’ll never get there.” Like, what if we listened? And so what they’re saying is that exploration is one component still handwritten and frozen. So in other words, we can write some script that decides which avenue to pursue. Maybe it’s analyze the two different decisions in front of us, kind of grade them on some scale and then see which grade is higher and then just pursue that. But the point is a fixed strategy cannot learn from the experiences it accumulates. So it keeps paying for directions that have already failed. And optimizing online walks into two walls

[07:28] at once. One is meta-level feedback is delayed and expensive. Meaning if you’re waiting for all these tests to be run, all the experiments to be completed. So first of all, it’s delayed because, you know, you have to wait till the end of it. Two, it’s expensive. You can’t let somebody take a stab at it cuz they might spend a lot of money and resources and computes, you know, going down these less optimal paths. And they’re saying it’s the only expensive because judging an exploration policy means watching it steer an entire discovery run to the end rather than scoring one candidate. And the meta policy space is vast. So, most

[07:59] of the policies that you would have to try are bad ones. But, interestingly, and this came up for many different times in the various interviews that we did on this channel and just in general, something about AI being very connected somehow to simulations. Some people proposed the idea that maybe we are in a simulation and maybe there are millions or billions or an infinite number of other simulations being run. The joke I always make is like, what if some base reality out there wanted to figure out how to unleash superintelligence, but they wanted to do it in a very safe way? So, they spun up a thousand different

[08:31] simulations and they recreated Earth just as it was approaching the time when AI would come online. They’re like, “Ah, let’s let’s start them in the ’90s or something like that.” And now they’re carefully observing us to see which one of us is going to figure it out, which one of us is going to figure out how to launch superintelligence safely because obviously that would be very valuable data for the sort of a base reality. The reason I bring that up is because us building simulations is almost a guarantee. There’s so much of it that’s kind of a pointed in that direction. I mean, what we’re seeing here is a very like rudimentary simulation of the research that they were already doing.

[09:03] And so, they’re saying history is already a simulator. A simulator is anything that can answer what would happen if, you know, without running the world. For exploration policies, that object already exists, fully built and fully paid for, right? That’s just the history of the experiments that were already run. Think of an agent crossing unfamiliar terrain for the first time. It takes inefficient routes, hits dead ends, backtracks, and in doing so, it draws a map, whether a real map or they’re probably referring to kind of a neural mind, kind of an understanding of the world, where to go. The next policy does not have to walk the ground again. It reasons over the map. It avoids the

[09:36] known dead ends, reconsiders decisions to first policy committed to too early, and compares whole routes before moving. And so, long horizon discovery has exactly the structure, and the map is already being written. So, if you think about it again, that’s why I showed that kind of like humanities tech tree, so to speak, so you can think of that as sort of how we discovered things, how we got up to, you know, today. And so, obviously, we’re we’re also continuing that. So, over the long horizon, we’ll draw more and more of this. But, if you think of it as sort of unfamiliar territory, then certainly we can think

[10:07] of us understanding how the tech tree sort of grows and branches as drawing a map of it. And of course, us kind of running through the simulation, it returns immediately and costs zero executions. And as we have new experiments that get added to this kind of vast space of a potential branches, so the agent that that’s running this owns not one world, but a growing pool of them. So, the worlds evolve along with the agent. So, at the end of day, what happened? Did this approach work? So, here RSI is compared against other

[10:37] machine learning models. So, for example, these two are machine learning libraries for building these predictive models, and basically lower is better. We want the lowest score possible because that represents how much resources we put into it. It’s better able to find the most optimized path, right? It’s like if we threw it some back into the prehistoric times and had it run the simulation of the tech tree of the actual world. Let’s say I would come back and say, “Well, what took you guys whatever, 20,000 years? I did it in under a thousand.” So, the point here is this Dream RSI is getting some of the

[11:10] best scores. Gemini RSI with Gemini 3.7 Flash has the best score out of all the other models it was compared to, models or approaches. What’s interesting here is that this approach, it it’s adaptive. So, when everything is going great, it doesn’t use as much compute, but as progress slows down and things get a little more difficult, its compute, its effort increases trying to guide the agent forward or giving it some advice from its past, actually makes things worse. That sort of open-ended exploration works best. So, the reason

[11:41] that it’s important is because things like Alpha Evolve, that was out of Google, we covered it a year or two ago, that was the big idea behind that. More of we took these at large language models and we had them try to optimize some branching evolutionary path. And they found that there’s certain uses where these approaches with large language models are ex- tremely extremely useful. Google has this massive global pool of resources that it uses of compute and Alpha Evolve, one of the things that it did, it found a better, more efficient way to sort of organize that. Specifically, this was improving the data center scheduling or or Borg, as they call it. We’ve covered

[12:15] this, but I’m forgetting a lot of it cuz it was quite some time ago. But, it was extremely impressive in that it wasn’t just theoretical. Google was able to save what I assume it is millions and millions of dollars because of this optimization that this AI model came up with. You can think of this as Google basically producing more and more tools to do this sort of research. Alpha Evolve is one. And by the way, notice it beats Dream RSI on some of the mathematical optimizations that it’s doing. But, you can think of them as different tools working on different aspects or different projects. And I

[12:47] think where this is going is that the goal is to build out one person that’s doing or one machine, one system that’s doing the experiments, one that’s figuring out how to best schedule those experiments, which one runs next. And over time, have these AI systems kind of predict where to go, what to do, then executing those experiments, and all the systems in combination improving the next generation of models. And of course, if those next generation of models are now better able to improve the tools that they’re using, as well as the processes, they’re better able to optimize all the systems involved, well,

[13:21] that’s RSI, recursive self-improvement. So, definitely a very exciting time to be alive. Congratulations to Google. This does it seem like something that’s kind of foundational. It’s not as quite immediately exciting as a new model rolling off the shelves that are just amazing. This is more at the base at the foundational level. These are the things that’s going to allow us to continue improving the models moving forward. And of course Google is instrumental for a lot of this stuff that we’re seeing with AI progress. They invented the transformer and it is sometimes hard to tell which papers will translate to

[13:53] massive impact in the future. This feels pretty big. Certainly the concept of taking the history that we already have. We have that data. We we know what happened in the past and then creating these assimilations, these worlds and having these agents run through them to figure out if there are more optimized paths that we could have taken. That feels like it’s a pretty big direction. Again, this is one more step towards us building, I believe, full-blown assimilations. Let them run because the data of course would be invaluable. So, congratulations to Google. Let me know what you thought about this. If you made

[14:25] this far, thank you so much for watching. My name is Wes Roth and I will see you in the next one.