Modelos de mundo precisam de causalidade, não de pixels bonitos — Christopher Manning, Moonlake AI

Ver no idioma original →

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: World Models Need Causality, Not Pretty Pixels — Christopher Manning, Moonlake AI · Canal: AI Engineer · 50:51 · Assistir no YouTube

Tópicos: Modelos de IA, Robótica e sistemas autônomos

Resumo

Christopher Manning percorre momentos da história da IA e do processamento de linguagem natural para contextualizar por que modelos de linguagem, apesar de suas capacidades, não bastam para uma inteligência capaz de agir no mundo físico. Ele defende modelos de mundo semânticos e condicionados a ações, que representem objetos manipuláveis e suas relações causais, em vez de apenas gerar imagens visualmente convincentes. A abordagem da Moonlake AI combina representações simbólicas baseadas em código, conhecimento de física e informações obtidas na web para criar simulações úteis ao planejamento e ao treinamento de sistemas robóticos. Manning argumenta que simulações podem reduzir o custo da coleta de dados no mundo real e ajudar a diminuir a lacuna entre simulação e realidade, embora todo modelo continue sujeito a limitações.

Pontos-chave

• Modelos de linguagem ampliaram muito o que a IA consegue fazer, mas continuam operando sobre descrições textuais do mundo e não substituem a capacidade de agir nele.
• Um modelo de mundo útil deve representar estados semânticos e prever como eles mudam em resposta a ações.
• Vídeos gerados com pixels realistas não garantem uma simulação causal, manipulável ou adequada ao planejamento.
• A Moonlake AI busca reconstruir cenas como ambientes com objetos que podem ser manipulados, recorrendo também a informações externas para inferir detalhes não visíveis.
• A abordagem combina modelos neurais com representações simbólicas em código, que podem ser inspecionadas, editadas e conectadas a ferramentas de simulação física.
• Simulações podem gerar dados em escala e reduzir a dependência de milhares de horas de operação remota de robôs no mundo real.
• A qualidade da simulação deve depender do objetivo: nem todo detalhe do mundo precisa ser representado para cada tarefa.
• Aplicações possíveis incluem robótica industrial, robótica humanoide, exploração espacial e jogos.
• O palestrante propõe usar otimização neural e comparação com vídeos do mundo real para reduzir a lacuna entre simulação e realidade.
• Modelos são necessariamente incompletos, mas ainda podem ajudar a explorar hipóteses e descobrir relações úteis.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação e contexto histórico	Manning apresenta o objetivo da palestra e inicia uma retrospectiva da história da IA.
05:26	Os primeiros laboratórios e robôs de IA	A palestra aborda o laboratório de Stanford, seus primeiros robôs e as origens da pesquisa em inteligência incorporada.
10:49	A trajetória dos modelos de linguagem	Manning revisa as origens dos modelos de linguagem e o desenvolvimento que levou aos LLMs modernos.
17:39	Por que a IA precisa agir no mundo físico	O palestrante explica por que os modelos de linguagem, apesar de suas capacidades, não bastam para operar no mundo real.
19:18	Simulação e modelos internos do mundo	Manning compara aprender diretamente no mundo real com usar um modelo de mundo para planejar ações.
22:15	Causalidade em vez de pixels bonitos	A palestra diferencia a geração de vídeos visualmente convincentes de simulações semânticas e úteis ao planejamento.
25:33	Reconstruir cenas com objetos manipuláveis	Manning descreve como transformar observações parciais em ambientes que representam objetos e permitem interações.
30:37	Código e representações neurossimbólicas	A abordagem da Moonlake AI usa código e ciclos de revisão para criar modelos de mundo controláveis e alinhados à realidade física.
35:02	Treinar sistemas físicos em simulação	O palestrante explica como simulações podem gerar dados em escala para treinar robôs e apoiar a transferência ao mundo real.
38:20	Aplicações em jogos e robótica	Na sessão de perguntas, Manning comenta o potencial da abordagem para jogos e automação física.
40:27	Representações simbólicas e conhecimento	Manning discute como código e estruturas simbólicas podem facilitar a conexão entre modelos neurais, pessoas e aplicações.
42:40	Novos processos e casos raros	A conversa aborda aplicações em robótica avançada e como a simulação pode ajudar a explorar situações difíceis de reproduzir no mundo real.
44:20	Física e redução da lacuna simulação-realidade	Manning afirma que a abordagem incorpora conhecimento físico e propõe ajustar simulações comparando-as com o comportamento real.
47:06	Limites dos modelos e descobertas	As perguntas finais tratam de simular comportamentos humanos, explorar conexões e reconhecer que modelos são incompletos.

Citações

O modelo de mundo é abstrato e tem mais semântica. — 23:26

Esses pixels tentam simular observações, mas não representam a semântica por trás do mundo. — 24:26

Software não chegou a devorar o mundo físico. — 32:47

Todos os modelos estão errados, mas alguns são úteis. — 50:19

Conceitos e entidades

• Christopher Manning (pessoa): Pesquisador de processamento de linguagem natural que apresenta a abordagem da Moonlake AI para simulação e IA física.
• Moonlake AI (empresa): Empresa apresentada por Manning, que desenvolve uma infraestrutura de simulação para IA física.
• world model (conceito): Representação interna e abstrata do mundo usada para prever consequências de ações, planejar e raciocinar.
• embodied intelligence (conceito): Inteligência capaz de perceber e agir em um ambiente físico ou simulado.
• action-conditioned world model (conceito): Modelo de mundo que prevê como o estado do ambiente muda quando uma ação é executada.
• neurosymbolic representation (conceito): Representação que combina componentes neurais com estruturas simbólicas, como código, para modelar e controlar ambientes.
• sim-to-real gap (conceito): Diferença entre o comportamento de um sistema em simulação e seu comportamento no mundo real.
• Genie 3 (modelo): Sistema citado como exemplo de geração de mundos visuais, cuja aparência atraente não garante representação semântica ou causal.
• Marble (modelo): Produto citado que gera uma simulação visual de uma cena e permite observá-la de diferentes ângulos.
• Shakey (modelo): Robô histórico de Stanford usado para explorar percepção, navegação e representação interna do ambiente.
• Stanford Artificial Intelligence Laboratory (empresa): Laboratório de Stanford cuja história e primeiros projetos de robótica são abordados na palestra.
• Claude Code (ferramenta): Ferramenta mencionada em comparação com ciclos iterativos de escrita, avaliação e revisão de código.
• retrieval-augmented generation (conceito): Método citado para buscar informações na web e complementar a reconstrução de objetos parcialmente observados.

Tradução completa (pt-BR)

00:01 [música] Certo. Olá a todos. [aplausos] E muito obrigado por terem vindo ao segundo andar e encontrado minha sessão aqui. Certo. Sou Chris Manning, e o que quero fazer hoje é apresentar algo sobre a abordagem da Moonlake para criar uma infraestrutura de simulação para IA física prática. O objetivo geral

00:33 aqui é que uma estrela-guia para a IA e, na verdade, também para a ciência cognitiva sempre foi entender e descobrir como construir inteligência incorporada. Então, hoje vou falar sobre alguns dos trabalhos recentes que temos feito para chegar a uma forma prática de inteligência artificial geral incorporada. Mas, sabe, na verdade não vou começar por aí, porque o Swick disse: “Não, você não deveria simplesmente fazer isso.”

01:07 Você deveria ter uma sessão dupla. E, antes de tudo, já que tenho vocês aqui hoje, deveria contar a história. Deveria contar às pessoas a história da IA, sua trajetória por ela e como você veio parar aqui. Então, sentem-se, preparem-se para a hora da história. Vamos fazer uma introdução bem gradual e ouvir tudo sobre a história da IA por 20 minutos; depois, vamos ouvir os detalhes sobre o que a Moon Lake está

01:38 fazendo. Ele parece muito convincente aí, não é? Já na hora em que tivemos essa conversa, eu estava num dia péssimo para o cabelo. Então, tive pouquíssima escolha a não ser aceitar essa tarefa. E aqui estou, com algumas observações de longo prazo sobre como eu e todos nós chegamos a este momento, desde os tempos remotos em que a IA não funcionava. O começo da IA foi o projeto de pesquisa de verão de Dartmouth, em 1956. Ele aconteceu para realizar esse projeto de verão em grupo, quando John McCarthy cunhou o termo IA e reuniu esse grupo de pessoas.

02:13 Então, aquele lá atrás, à direita, é John McCarthy; ali está Minsky, e quase todos parecem um bando de nerds, como vocês podem ver. Mas o atraente, na ponta direita, é, como sabem, meu herói pessoal, por ser mais ligado à linguagem: Claude Shannon.

02:43 Então, esse é mais ou menos o início da IA, em 1956. Foi daí que veio o termo IA. Mas, na verdade, há outras coisas que vieram antes de 1956. A partir dos anos 1940 e do início dos anos 1950, houve trabalhos em cibernética. A cibernética buscava conectar comunicação, controle e feedback em seres vivos e computadores. Então, “Kubernetes” é, na verdade, a mesma palavra que “cibernética”, só que menos anglicizada, mas tem um significado bem diferente.

03:18 Isso levou aos primeiros trabalhos em redes neurais e à rede perceptron. Aqui está o perceptron de Frank Rosenblatt, que antecedeu o termo inteligência artificial. Como vocês podem ver, naquela época, as redes neurais eram conectadas por fios; hoje, usamos multiplicação de matrizes. Mas outra coisa que começou antes do termo inteligência artificial e que tem sido minha área de interesse por muito tempo é fazer

03:50 coisas em processamento de linguagem natural, que começou como tradução automática. E aqui estamos de novo em 1954, dois anos antes de o termo inteligência artificial ser cunhado. Esta é a primeira página do New York Times. De certa forma, a primeira página do New York Times em 1954 lembra surpreendentemente os assuntos que aparecem na primeira página do New York Times em 2026, porque é

04:23 exatamente o mesmo assunto. O presidente propõe acabar com a cidadania das pessoas. Muita coisa não mudou nos 75 anos que se passaram. Acusações de vários tipos de comportamento que beiram a traição. Tudo soa muito familiar. Mas essa era a metade de cima da página. E, se você olhasse a metade de baixo, encontraria este artigo: “Russo é traduzido para o inglês por um tradutor eletrônico rápido”. Uma demonstração pública do que se acredita ser

04:54 o primeiro uso bem-sucedido de uma máquina para traduzir um texto com sentido de um idioma para outro aconteceu aqui ontem à tarde. E aqui está um pequeno vídeo mostrando esse sistema. Em um dos primeiros não americanos

05:26 foram feitas previsões de que o computador substituiria a maioria dos tradutores humanos. >> Certo. E vamos voltar a isso daqui a pouco. Mas, pouco depois da fundação da IA por John McCarthy, ele se mudou para Stanford e fundou o Stanford Artificial Intelligence Lab, a partir de 1963.

05:56 E o Stanford AI Lab original ficava neste prédio, no sopé das colinas. Se vocês conhecem bem o South Bay, se já foram a uma área de descanso e olharam para o lado, onde ficam os pastos de Portola, uma área para cavalos, ou se andam a cavalo, é lá que ficava esse laboratório de IA. Esse foi o local de muitos dos trabalhos pioneiros em inteligência artificial, além de muitas outras coisas. O Stanford AI Lab foi

06:29 o lugar onde aconteceu o primeiro torneio de videogame, em 1972. McCarthy era um lógico matemático, e quase todo o seu trabalho consistia em desenvolver essas noções de lógica matemática. Mas, em seu modo de pensar, ele tinha interesses muito amplos e gostava da ideia de como poderíamos construir uma inteligência artificial geral incorporada

07:00 e ficou muito feliz em fornecer as instalações e o dinheiro para que outras pessoas começassem a explorar isso. Este foi o primeiro robô do Stanford AI Lab: o carrinho de Stanford, nada sofisticado, no antigo prédio da Sale. Mas, mais relevante para o que vamos discutir hoje sobre infraestruturas de simulação para IA, havia outro robô: o Shakey, do Stanford Research Institute.

07:32 >> [áudio mecânico] Então, esse era um robô capaz de perceber o ambiente, se deslocar, mover caixas e fazer coisas desse tipo no ambiente. Certo. Isso começou a explorar a ideia de uma inteligência artificial incorporada, que tivesse uma compreensão do mundo e do seu

08:05 ambiente. Só uma pequena digressão que não tem muito a ver com IA. Quem aqui tem alguma ligação com Stanford? Pessoas com ligação com Stanford. Quem tem alguma ligação com Berkeley? Pessoas com ligação com Berkeley. Menos gente de Berkeley. Alguém tem ligação com os dois lugares? Há algumas pessoas que estudaram nos dois. Não? Certo. Então, só preciso fazer minha propaganda de Stanford nos primeiros tempos. Se você trabalha com inteligência artificial,

08:37 conhece a história: nos primeiros tempos, tudo era Stanford. Quer dizer, há duas histórias diferentes que posso contar. Se você estudar a história das universidades da Costa Oeste, na primeira metade do século XX, tudo que era importante acontecia em Berkeley, e Stanford era uma escola regional meio insignificante. Mas, quando chegamos à segunda metade do século XX, a era dos computadores e da IA, tudo aconteceu em Stanford.

09:12 Por exemplo, se você olhar para os primórdios da internet, a Arpanet, aqui está ela em 1972, conectando alguns campi da Universidade da Califórnia: Berkeley, UCLA e Santa Barbara; e conectando-se a Stanford, MIT e Harvard, mas não a Berkeley. Avance para 1980. Berkeley ainda não fazia parte da internet. Ela já tinha chegado ao Havaí e a Londres, mas Berkeley ainda não estava conectada. E, durante todo esse período, realmente não havia IA em

09:47 Berkeley. Quer dizer, outras coisas aconteceram em Berkeley, para ser justo. Houve trabalhos importantes em sistemas. Houve o banco de dados Ingres e o BSD Unix, que alguns de vocês provavelmente lembram se já têm cabelos grisalhos como eu. Mas, essencialmente, durante os anos 1960 e 1970 e a primeira metade dos anos 1980, simplesmente não havia IA em Berkeley. E a IA em Berkeley só começou de fato em 1986, quando dois recém-formados com doutorado por Stanford

10:17 Jitendra Malik e Stuart Russell se mudaram de Stanford para Berkeley para assumir cátedras. É claro que isso foi há 40 anos. Então, Berkeley já tem IA há algum tempo, mas não nos velhos tempos. Se quiser saber mais sobre essa história dos velhos tempos, há alguns anos, reunimos uma história dos primeiros 60 anos de IA em Stanford. Convenientemente, esses 60 anos terminaram pouco antes da chegada do Chat

10:49 GPT e dos LLMs. E você pode encontrá-la no YouTube. Certo. Essa foi minha breve história resumida da IA. O que fiz da minha vida? Bem, trabalhei com processamento de linguagem natural. E foi nessa área que desenvolvemos modelos de linguagem. Na verdade, os modelos de linguagem existem, de alguma forma, há muito

11:23 tempo. O primeiro modelo de linguagem foi proposto por Andrey Markov, que inventou os modelos de Markov, certo? Ao desenvolver a ideia dos modelos de Markov, ele trabalhou com linguagem: usou o romance de Pushkin, Eugene Onegin, e desenvolveu um modelo de linguagem em nível de caractere. Mas o nome famoso aqui é Claude Shannon, que vimos antes, que formalizou a teoria da informação e começou a criar modelos de linguagem de n-gramas de palavras e caracteres

11:57 no fim da década de 1940. Esse foi o método dominante que continuamos usando. Em particular, em 1975, ainda no início da IA, um grupo famoso da IBM, o grupo de Fred Jelinek na IBM, definiu — bem, cunhou o termo “modelo de linguagem”, que ainda usamos hoje, e definiu a ideia de modelos probabilísticos de texto que poderiam servir de base para todos os tipos de aplicações de fala e

12:31 processamento de linguagem natural. Portanto, desde muito cedo, na tradição da fala e do PLN, os modelos de linguagem eram vistos como uma tecnologia central, que pessoas de outras áreas da IA e do aprendizado de máquina simplesmente desconheciam. E foi isso que possibilitou avanços interessantes nos primórdios do reconhecimento de fala e em várias áreas do PLN. Tanto os primeiros sistemas de reconhecimento de fala quanto o tipo de tradução automática que o Google oferecia a partir de

13:06 2007 foram bastante impulsionados por modelos de linguagem. Acho que há uma história interessante sobre o desenvolvimento da IA moderna, um pouco diferente da que a maioria das pessoas lembra, que é dominada pela história da visão, porque a visão foi vista por muita gente como o ponto de entrada das redes neurais em grande escala. Mas, ainda assim, vou apontar a limitação desse trabalho inicial com modelos de linguagem.

13:41 Eles eram usados para correção ortográfica, tradução automática e todas essas coisas. Mas, naquela época, ninguém pensava que os modelos de linguagem fossem resolver a inteligência artificial. Ainda acreditávamos na velha narrativa da IA: precisaríamos de memórias, representações de conhecimento, sistemas de planejamento, sistemas de raciocínio e todas essas coisas clássicas da IA. Certo. Então, esta é a história dos LLMs sob a perspectiva de alguém do PLN.

14:16 Até onde consegui descobrir, a primeira menção ao termo “modelos de linguagem grandes” foi em 1998. Mas, na verdade, a questão era como armazenar todo aquele texto para construir um modelo. A primeira conexão interessante com os LLMs surgiu em 2000, quando Yoshua Bengio e colegas definiram novos modelos probabilísticos de linguagem: o primeiro modelo neural de linguagem. Mas, como mostram essas estatísticas — um corpus de 32 milhões de tokens e um vocabulário de 31 mil palavras —, era um modelo minúsculo, porque naquela época não havia poder computacional suficiente para fazer algo interessante.

14:47 Mas, curiosamente, já em 2007, no Google, eles conseguiram resolver os problemas de poder computacional e de dados. Hoje, a maioria das pessoas se esquece disso, mas, em 2007, o Google tinha um modelo de linguagem construído com dois trilhões de tokens de texto. Isso é um pouco menos do que os modelos de ponta atuais, que podem ser treinados com 15 trilhões de tokens de texto, mas está na mesma ordem de grandeza, certo? Então, já havia, há cerca de duas décadas, dados e poder computacional em escala suficiente para construir um tipo de modelo de linguagem.

15:22 O grande problema era que não havia flexibilidade suficiente no modelo: as redes neurais modernas e poderosas que usamos hoje ainda não tinham sido inventadas. Por isso, os LLMs modernos só começaram a surgir em 2018, com o uso de transformers. Mas as primeiras versões voltaram a usar pequenas quantidades de dados. O primeiro modelo GPT usou apenas 3,3 bilhões de tokens. O tamanho caiu novamente em três ordens de grandeza. Voltamos a não ter dados suficientes. E só em 2020, com o GPT-3 em diante, todas essas coisas se juntaram e os modelos de linguagem realmente decolaram, como os conhecemos hoje. Isso levou a uma surpreendente

15:52 vitória do processamento de linguagem natural. Acho até engraçado que, hoje em dia, quando a mídia de massa menciona IA, há uma grande probabilidade de estar falando de um LLM — antes não era assim, e o PLN era uma área relativamente marginal da inteligência artificial. E, como todos sabemos, esses LLMs nos permitiram fazer coisas incríveis, incríveis. A capacidade desses sistemas de raciocinar e resolver problemas complexos, como problemas de matemática,

16:29 é simplesmente impressionante. Quer dizer, até para alguém como eu, que passou 30 anos trabalhando com processamento de linguagem natural, é difícil acreditar que você pode pegar problemas de matemática realmente difíceis, de um tipo que eu certamente não conseguiria resolver, simplesmente inseri-los em um LLM e, de algum modo, ele consegue avançar, pensando durante o teste, e chegar às respostas certas. Foi um avanço impressionante, vindo de uma direção inesperada. Bem, esse foi o meu mundo, mas

17:04 agora estamos voltando ao tema principal da palestra: onde estamos? Por que a inteligência geral artificial incorporada é uma estrela-guia que devemos seguir? A razão é que, embora seja impressionante tudo o que se pode fazer com LLMs, eles ainda são uma descrição do mundo baseada em texto. E acontece que é possível fazer

17:39 muita coisa com uma descrição do mundo baseada em texto. Acho que é verdade que conseguimos fazer muito mais do que quase todo mundo acreditava ser possível com uma descrição do mundo baseada em texto. Durante uma década, muitas pessoas proeminentes da robótica e da visão computacional disseram: “Ah, nunca será possível fazer isso com um LLM”. Na verdade, conseguimos fazer muita coisa disso com um LLM. Mas, no fim das contas, queremos lidar com o mundo ao nosso redor e ter inteligência

18:13 capaz de atuar no nosso mundo. Então, a pergunta é: como podemos construir essas inteligências gerais artificiais incorporadas? Aos poucos, comecei a me interessar mais por como incorporar o mundo visual e comecei a analisar coisas como perguntas e respostas visuais, e como conectar texto a modelos generativos de mundos visuais e raciocinar sobre isso. Hoje vou

18:46 contar mais sobre como desenvolver essa linha de trabalho e usar simulação como uma forma de começar a abordar a inteligência geral artificial incorporada. Por que queremos simulação? Há, basicamente, duas maneiras de começar a construir modelos inteligentes do mundo físico. Uma delas é aprender diretamente no mundo real. Então, você pode preparar hardware ou coletar seus vídeos do YouTube

19:18 Vou contar mais sobre como você pode desenvolver essa linha de trabalho e usar a simulação como uma forma de começar a abordar a inteligência artificial geral incorporada. Então, por que queremos simulação? Há, de certa forma, duas maneiras de começar a construir modelos inteligentes do mundo físico. Uma delas é aprender diretamente no mundo real. Então, você pode preparar hardware ou coletar seus vídeos do YouTube

19:54 vídeos no mundo real e começar a aprender políticas inteligentes sobre como agir. Então, esse foi o tipo de abordagem usada no trabalho QOP do Google X, em que você tem fileiras de braços robóticos fazendo coisas. Você grava o que eles estão fazendo e, no mundo físico, começa a aprender uma política. Essa é uma maneira bem desagradável de tentar progredir. Então, quando as pessoas estão progredindo nesse tipo de mundo, você consegue cerca de

20:28 10 mil horas de teleoperação; isso significa que uma pessoa movimenta o robô para coletar dados e começar a treinar um modelo. Não é uma perspectiva muito atraente. Se quisermos começar a ter robótica geralmente boa, simplesmente não vamos chegar muito longe se ficarmos avançando nesse ritmo, com esses robôs se movimentando. Mas, curiosamente, se voltarmos ao Shaky, nos anos 1970, o Shaky tinha uma resposta diferente. O Shaky dizia: “Bem, não deveríamos ter apenas o

21:05 mundo real que nos cerca. Também deveríamos ter, na cabeça do robô, um modelo de mundo que contenha uma representação interna de como é o mundo.” Então, essa ideia de um modelo de mundo como uma representação interna abstrata do mundo, que pode ser usada para simulação e planejamento, vem da ciência cognitiva. Ela foi proposta pela primeira vez por Kenneth Craig, nos anos 1940. Ele argumentou que os humanos e outras criaturas têm modelos de mundo

21:41 dentro da própria cabeça. Assim, conseguem pensar em alternativas e em como elas provavelmente se desenrolariam e, portanto, conseguem elaborar bons planos antes de agir. E é isso também que gostaríamos que nossos robôs fizessem: ter esse mesmo tipo de capacidade. Então, esse era o modelo de mundo do Shaky. O Shaky tinha uma espécie de mundo de blocos, que na verdade era um mundo em grade, como você talvez se lembre dos primeiros livros didáticos de IA, mas que representava

22:15 o que havia em diferentes lugares do mundo e quais eram os atributos das diferentes coisas; naquela época, tudo era armazenado nesse tipo de representação lógica. Então, como podemos começar agora a construir uma versão do século XXI de uma inteligência artificial geral incorporada? Acho que a maneira certa de fazer isso é descobrir como construir bons modelos de mundo condicionados à ação. E hoje quero falar sobre uma maneira prática e eficaz de construir uma infraestrutura de simulação

22:51 que possa servir de base para uma AGI incorporada. Hoje, a ideia de modelo de mundo costuma ser formalizada em termos de conceitos de aprendizado por reforço: temos observações de um mundo, mas supomos que, por trás delas, exista em nossa mente uma representação semântica e abstrata do estado do mundo. O modelo de mundo nos dá a capacidade de tentar prever, quando uma ação é realizada em

23:26 um estado, qual novo estado vai surgir. E o ponto crucial é que o modelo de mundo é abstrato e tem mais semântica. Muitas vezes, quando as pessoas falam sobre modelos de mundo, não estão realmente pensando na abstração e na semântica; estão apenas falando sobre a possibilidade de produzir vídeos generativos de IA bonitos. Então, aqui está o

23:56 Genie 3. Este é um exemplo interessante de Riley Goodside, a mesma pessoa que ficou muito conhecida nos primeiros tempos dos LLMs por ser um bom engenheiro de prompt. Agora, ele está brincando com o Genie 3. E, sabe, o tipo de coisa que dá para fazer com o Genie 3 é bonito, maravilhoso, bem fluido, parece ótimo, mas, sabe, a maior parte da IA visual

24:26 desse período foi avaliada apenas pelos pixels. Se você tem pixels bonitos, tem um software bonito, mas esses pixels estão tentando simular observações. Eles não têm nem representam de fato a semântica por trás do mundo. Portanto, não são bons em realismo. Não servem de base para o planejamento. Não servem para criar uma infraestrutura robusta de simulação do mundo real. E, por isso,

24:57 queremos esse tipo de infraestrutura de simulação porque, com um bom simulador, temos conhecimento causal de como o mundo funciona, o que nos permite prever e planejar como as coisas funcionarão em qualquer situação. E esse é o tipo de mundo que queremos ter e disponibilizar na Moonlake. O ponto de partida é uma observação do mundo real. Dada uma imagem ou um trecho de vídeo, queremos conseguir interpretar essa imagem como uma

25:33 observação, que é sempre parcial, do que realmente existe no mundo subjacente. Depois, queremos reconstruir um modelo desse mundo que nos permita fazer coisas nele e ver como ele reage. Isso nos dará uma base para descobrir a causalidade, aprender a planejar e raciocinar de maneira representacional e condicionada, o que servirá de base para ações inteligentes de robôs dentro desse mundo.

26:08 Então, o que poderíamos fazer aqui? Bem, a primeira coisa que você pode fazer é pegar essa imagem, inseri-la em um produto de outra empresa conhecida e dizer: “Certo, faça uma simulação deste mundo.” E é isso que você obtém com o Marble. É uma simulação bastante boa do mundo. Se o que você quer é apenas andar por esse mundo e vê-lo de diferentes ângulos, funciona muito bem. A questão é: essa é uma boa simulação

26:44 e se é uma boa simulação depende do problema que você quer resolver no mundo real. Isso lhe dá informações suficientes para resolver o problema no mundo real? Se tudo o que você quer fazer no mundo real é poder passear e ver a paisagem de diferentes ângulos, então isso é ótimo. Está resolvido. Mas, muitas vezes, o que você gostaria de fazer no mundo real é entender quais objetos estão aqui e

27:18 conseguir fazer coisas com eles. Certo? Há alguns objetos aqui. Há uma chaleira, uma caixa e uma xícara. Mas, no mundo do Marble, não dá para fazer nada com essas coisas. Tudo o que você pode fazer é meio que passear como uma figura sem corpo. Para muitos fins, como realizar tarefas com robótica ou em outros mundos fisicamente precisos, precisamos que nosso modelo do mundo tenha uma compreensão maior, uma simulação mais

27:50 detalhada. Então, na Moonlake, queremos descobrir o que as pessoas realmente querem fazer com a simulação e, em seguida, construir o tipo de simulação que viabilize isso. Talvez você pense: “Ah, na verdade, quero conseguir mover os objetos pelo mundo.” E esse é o ponto de partida do tipo de coisa que estamos tentando fazer na Moonlake. Então, se quisermos ter um mundo no qual possamos mover coisas, estamos dizendo:

28:20 certo, algo como o ImageBlaster, um sistema desse tipo; na verdade, precisamos pegar esse mundo, entender o que há nele e, depois, ter objetos que possam ser manipulados. Separamos o plano de fundo e, em seguida, os objetos dentro dele, de modo que seja possível ter o mundo de fundo em uma representação semelhante à do Marble. Mas, no primeiro plano, há vários tipos de objetos que podemos manipular e mover. Bem,

28:53 isso é um começo, mas, na imagem anterior, a caixa de chá estava sempre fechada. E podemos nos perguntar se dá para abrir a caixa de chá e ver o que tem dentro. Bem, isso faz parte do fato de que as observações de um mundo são sempre parciais. Na foto real, o que podíamos ver era uma caixa de chá fechada. Nem sequer conseguíamos ver muito bem a caixa de chá. Como poderíamos saber o que tem dentro dela? Bem, a resposta para como podemos saber o que

29:28 dentro dela no século XXI é sair e fazer um pouco de pesquisa. Começamos a buscar informações na web, usando uma abordagem no estilo RAG, para descobrir o que existe. Então, podemos encontrar na web imagens desta caixa de chá que a mostram com mais detalhes. Elas mostram como ela é quando está aberta. Há descrições dela: coleção de saquinhos de chá de luxo orgânico, caixa de presente de couro. Também informa o tamanho. Nós

30:03 podemos descobrir tudo sobre ela. Portanto, podemos construir, em nossa simulação, uma caixa de chá com uma compreensão do conteúdo dela. Isso é muito bom. Então, agora temos a caixa de chá com saquinhos de chá dentro. Mas, se não fizermos mais nada, eles ficam ali, sem poder ser movidos. Gostaríamos de representar o fato de que, espere um instante, é possível levantar os saquinhos de chá e tirá-los da caixa. Então, também precisamos começar a representar esses

30:37 saquinhos de chá como objetos modelados em nossa simulação, com tamanho e capacidade de serem manipulados. Como estamos fazendo tudo isso? Uma parte distinta do que acontece na Moonlake é a construção. Embora parte disso esteja no campo da visão, muito do que fazemos, na verdade, está de volta ao campo do código. Isso retoma a ideia de que os chamados modelos de linguagem

31:12 hoje são, na verdade, modelos simbólicos que trabalham não apenas com linguagens humanas, mas também com matemática, código e coisas do tipo. Eles têm sido uma base muito poderosa para avançar. Assim, produzimos modelos de mundo controláveis e manipuláveis, gerando as partes controláveis desses mundos ao colocar código por baixo delas. Em particular, podemos treinar

31:43 esses modelos de código usando o mesmo tipo de engenharia de loop que muitos de vocês já viram com o Claude: temos um loop em que escrevemos código para renderizar objetos e aplicar a eles texturas baseadas em difusão, etc. Podemos então avaliar o quanto nossa renderização corresponde à realidade física e identificar os desvios. Podemos revisar o código e

32:15 produzir renderizações cada vez melhores. É assim que construímos esse modelo de mundo detalhado e condicionado a ações, para podermos agir sobre os objetos do mundo. Isso significa que temos aqui uma espécie de representação neurossimbólica do mundo, e as representações neurossimbólicas têm uma grande vantagem: a representação simbólica pode ser facilmente integrada, controlada, editada e

32:47 mantida em nosso mundo humano. A mensagem que gostaria de transmitir aqui é uma pequena ressalva. Muitos de vocês provavelmente conhecem a famosa declaração de Marc Andreessen, de 15 anos atrás: “O software vai devorar o mundo”. E, sabe, isso estava quase certo. Mas acho que não estava completamente certo, porque o software simplesmente não devorou o mundo físico. Quer dizer,

33:22 muito do mundo se tornou virtual, e muita coisa agora está dentro dos computadores. E, sim, o software podia devorar todos os processos de gestão, contabilidade e abastecimento, todos os registros de fornecedores, tudo o que faz parte do mundo virtual. Mas ainda não tínhamos capacidade para que o software devorasse o mundo físico. A esperança é que essa nova capacidade de construir simulações verificáveis, baseadas em código, do tipo que acabei de esboçar

33:57 por um momento nos permita ter simulações verificáveis que também devorem o mundo físico. É esse tipo de coisa que construímos. E podemos seguir adiante e, sabe, continuar dando passos nessa direção. Certo? Talvez não queiramos ter apenas saquinhos de chá em embalagens de papel-alumínio; gostaríamos de poder tirá-los da embalagem e, de algum modo, colocar o saquinho de chá dentro da xícara, porque

34:29 esse é um passo útil para fazer chá. E, é claro, também queremos ter a chaleira com água, que possamos ferver e depois despejar no chá. Quando temos um bom simulador de mundo como esse, a ideia é incluir nele todas as partes do mundo simulado que permitam uma transferência eficaz para o mundo real. E é importante

35:02 pensar no que é necessário para diferentes tipos de transferência. O argumento que gostaríamos de apresentar é que, normalmente, uma simulação não é completa e precisa em todos os detalhes, porque há partes do mundo que são importantes para você e outras que não são. Isso também acontece com os modelos de mundo humanos, certo? Na verdade, não modelamos boa parte do mundo em

35:35 nenhum momento; modelamos as partes que são importantes para nós. Ter controle sobre quais aspectos precisam ser modelados e usados é o que nos permite obter simulações que possam ser usadas de forma eficaz no mundo real. Que tipos de aplicações isso nos permitirá realizar? A esperança é que, em vez de ter que coletar 10 mil horas de dados por teleoperação no mundo real, possamos

36:09 construir simulações precisas que permitam a transferência para o mundo real. Deixe-me mostrar o tipo de progresso que temos feito nessa área. Isso não é robótica de ponta, mas é o tipo de IA física que você encontra em toda parte no mundo real: há processos físicos acontecendo que gostaríamos de entender e automatizar. Em particular,

36:40 se quisermos concretizar algum dos sonhos de recuperar os Estados Unidos como uma grande economia manufatureira, parece que precisamos descobrir como automatizar muito mais coisas no mundo físico. Usando a tecnologia da Moonlake AI, podemos pegar esse vídeo curto e produzir automaticamente uma simulação precisa daquele mundo, transformando-o em um mundo 3D com detalhes suficientes sobre como as coisas se movem e quais objetos há

37:14 no mundo para começarmos a desenvolver isso e usá-lo como base para dados simulados que se transfiram com precisão para o mundo real. Assim, temos esse modelo que nos permite obter 10 mil horas de simulação gratuitamente. Com base nisso, podemos treinar um sistema robótico capaz de explorar o que é possível fazer nesse mundo e aprender a

37:47 operar nele de modo eficaz. Então, podemos treinar sistemas robóticos de maneira eficaz e barata. Certo. Essa é a história. Muito obrigado a todos. [aplausos] Acredito que também tenho tempo para perguntas. >> Muito obrigado pela conversa. Foi muito profunda. Minha primeira

38:20 pergunta é: isso poderia ser aplicado a algo como a indústria de jogos? Como poderiam usar isso? Estamos vendo GTA 6, todo mundo está falando desse novo jogo. Consigo imaginar uma aplicação muito clara: você poderia ter interações ilimitadas com o modelo de mundo que estão construindo. Você tem trabalhado com a indústria de jogos ou isso é mais voltado à robótica? >> Sim, com certeza. Outra área muito promissora para isso é a

38:51 indústria de jogos. E, nesse caso, o mundo real é uma espécie de mundo virtual, mas você pode ter uma simulação do seu mundo de jogo e, então, desenvolver o mesmo tipo de inteligência incorporada. A indústria de jogos tem características muito atraentes. Há milhões e milhões de jogadores, então é fácil coletar muitos dados. E as pessoas que jogam têm objetivos relativamente claros. Assim, você pode aprender

39:22 loop de aprendizado por reinforcement learning, boas maneiras de agir. E, com certeza, uma das aplicações que a Moonlake explorou é no setor de jogos, e provavelmente haverá mais disso. Mas, recentemente, temos dado destaque especial à infraestrutura física e realizado simulações nesse contexto. >> Muito obrigado.

39:55 É fascinante para mim que vocês estejam voltando a representações neuro-simbólicas. Parte da IA original, da velha escola, envolvia muito desenvolvimento de ontologias, representação do conhecimento e lógica. Você vê um papel para aprofundar a representação neuro-simbólica usando, por exemplo, aquilo que aprendemos com o desenvolvimento de ontologias no passado, para modelar uma representação do mundo real? E

40:27 você vê isso como uma área de expansão e desenvolvimento para o tipo de ferramentas com que vocês estão trabalhando? Sim, quer dizer, não acho que vamos voltar exatamente às ontologias e bases de conhecimento do estilo antigo, mas, na prática, é isso que estamos fazendo, sabe? A diferença é que isso vem com uma nova roupagem: é código. Quer dizer, acho que este é um espaço interessante, e podemos falar dele de maneira mais geral.

41:00 Certo, existe uma abordagem puramente neural, em que a representação latente do mundo é puramente neural. Esse é o tipo de coisa que a arquitetura JEPA busca. De certa forma, é uma boa abordagem puramente neural, mas, por outro lado, é muito difícil para os seres humanos se conectarem a ela de qualquer maneira, assim como é difícil para outras aplicações se conectarem a ela. Então, nossa aposta é que a maneira mais prática de construir uma IA física

41:34 e uma infraestrutura de simulação no futuro previsível é baseá-las em representações simbólicas. Aproveitando o enorme poder do código que vemos por toda parte, nesta era do Codex e do Claude Code, esse tipo de representação simbólica permite que sistemas de IA neural raciocinem, planejem e façam todas essas coisas muito bem. Então, em certa medida, sim, isso traz de volta noções como as formas mais antigas de

42:06 representação do conhecimento. O microfone está ligado. Olá. Olá. Oi. Então, muitos dos nossos casos de uso atuais em robótica industrial parecem ser para automatizar processos existentes que exigem trabalho manual intensivo de pessoas. O investimento no

42:40 desenvolvimento de world models permitiria explorar processos ou atividades novas, que atualmente não são viáveis com mão de obra humana, nem mesmo com os processos de manufatura industrial existentes? >> Com certeza. Sim. Por exemplo, no fim, mostrei um sistema de esteira transportadora bem antigo. Mas estamos também num momento em que acontecem coisas incríveis na robótica humanoide.

43:14 Para qualquer uma das novas formas de automação robótica, ou em outros casos que você possa imaginar, como realizar tarefas no espaço, haverá exatamente o mesmo problema: você vai querer treinar agents de IA para que consigam agir em diferentes cenários, e é extremamente caro e difícil fazer esse treinamento no mundo real. E, ao treinar no mundo real, é muito difícil chegar

43:49 à cauda de casos raros. Vimos isso na direção autônoma, certo? Há uma razão para a direção autônoma ter levado uns 20 anos para chegar. Desde as conquistas do Stanley — “oba, um carro autônomo venceu a corrida” — até a implantação ampla dos Waymos, o motivo é essa cauda enorme. E a maneira de alcançar esses casos extremos em todas essas novas aplicações de robótica humanoide, robótica espacial etc.

44:20 é ter uma boa simulação. >> Olá, obrigado pela palestra. Adorei a energia. Minha pergunta é: você mostrou um vídeo de água. Então, tudo é aprendido a partir de vídeos ou há física incorporada de alguma forma? Por exemplo, seu modelo conhece propriedades físicas da água, como viscosidade, as leis de Bernoulli ou, por exemplo, o atrito? Para alguns casos de uso, como direção autônoma, talvez essas coisas

44:50 não sejam importantes; você só precisa conhecer a velocidade e coisas assim. Mas, para outros casos de uso, imagino que essas propriedades físicas sejam importantes. >> E nós conhecemos física, sem dúvida. É nesse sentido que essa abordagem neuro-simbólica é, se quiser, uma abordagem conservadora: ela usa, sem dúvida, engines de física e conhecimento de física na geração e no controle do movimento. Se você acabou de começar com

45:24 uma imagem de água e quer entender como ela se comporta, usa um modelo físico para prever como ela vai se comportar. Certo. Tem tempo para…? Ah, tem outra pessoa no microfone. Oi. >> Olá, professor Manning, obrigado pela apresentação. Tenho uma pergunta sobre a lacuna entre simulação e realidade. Então, eu

45:55 queria dizer, a simulação é ótima, é barata e escalável. Você tem alguma sugestão sobre como reduzir a lacuna entre simulação e realidade diante de coisas como a física, que não conseguimos simular com precisão, e tolerâncias mecânicas, folgas e tudo isso que não conseguimos incluir nas simulações? Sim, tradicionalmente, o problema sempre foi a lacuna entre simulação e realidade parecer grande demais, de modo que boa parte do treinamento precisava acontecer no mundo real. E

46:30 acreditamos que a resposta para isso é, na prática, um loop do Claude Code. Agora estamos num mundo em que podemos fazer otimização neural. Podemos comparar a simulação com o comportamento no mundo real, usando vídeo, e aprender automaticamente a reduzir a lacuna entre simulação e realidade de um jeito que simplesmente não era possível quando as pessoas tentavam escrever à mão uma simulação física de alguma coisa. Esta foi uma ótima discussão. Obrigado. Em relação à pergunta que acabou de ser feita, quais você acha que são os maiores desafios para adicionar a camada sociotécnica — os elementos, os processos,

47:06 as pessoas e as autoridades que tomam decisões sobre os objetos que vocês querem simular? Quais são os maiores desafios para desenvolver um sistema que tenha uma representação precisa? Por exemplo, se quisermos modelar pedágios de veículos elétricos ou fazer previsões de energia em aeroportos, coisas assim, não necessariamente ampliar o trabalho para além da robótica, mas considerar essas outras áreas de uso. >> Sim, essa é uma ótima área. Para ser

47:38 honesto, não é algo com que tenhamos lidado muito na Moonlake. Ainda há algumas limitações, mas os LLMs, ao absorverem enormes quantidades de dados sobre o comportamento humano, estão cada vez melhores em simular como os seres humanos — diferentes tipos de seres humanos — vão se comportar e reagir em diferentes circunstâncias.

48:09 Então, acho que estamos começando a chegar a um ponto em que podemos ter simuladores de comportamento humano razoavelmente bons, alimentados pelo conhecimento dos LLMs, e algumas empresas estão começando a estudar isso. >> Legal. Última pergunta. Sim. A pessoa aqui está esperando há bastante tempo. [risos]

48:42 >> Obrigado. Então, se você olhar, por exemplo, para chips analógicos, a física é compreendida, mas, conforme se avança para operações químicas, o calor e essas coisas ainda estão sendo estudados pelas pessoas. Portanto, não é algo que se possa dizer que esteja completamente compreendido. Agora, vou dar outro exemplo: estou analisando literatura relacionada aos rins e ao fígado. Essas coisas dão uma resposta bastante boa. Para questões sobre os rins, dão uma resposta, mas, quando se olha para as relações

49:16 entre os dois, em algum momento, pessoas — médicos — estabeleceram uma ligação, e é por isso que conseguimos enxergá-la. Minha opinião é: se operássemos completamente no espaço latente e não conhecêssemos as conexões no nível humano, poderíamos explorar inteiramente o espaço latente e encontrar conexões ocultas que pudessem se traduzir no mundo real, ou estou pensando em algo absurdo? >> Sim, com certeza. Quer dizer, para

49:49 entre as duas pessoas, em algum lugar, médicos fizeram uma ligação, e é por isso que você consegue ver. Minha visão é: se operássemos completamente no espaço latente e não conhecêssemos as conexões em nível humano, poderíamos explorar completamente o espaço latente e encontrar conexões ocultas ali que pudessem se traduzir para o mundo real, ou estou pensando em algo absurdo? >> Sim, quero dizer, com certeza. Quero dizer, até

50:19 Na medida em que temos uma simulação bastante boa, podemos esperar encontrar descobertas surpreendentes que acabam sendo corretas no mundo simulado. Quer dizer, as coisas acontecem nos dois sentidos, certo? Também é provável que haja coisas que acabam sendo verdadeiras no mundo real, mas que não estavam na nossa simulação, certo? Há aquela afirmação famosa de que todos os modelos estão errados, mas alguns são úteis, certo? E, então, o modelo de mundo de qualquer pessoa,

50:51 independentemente de ser o que estamos construindo ou o modelo de mundo na cabeça de uma pessoa, certo, nem sempre está certo. Às vezes, achamos que alguém vai reagir de um jeito, mas essa pessoa reage de outro. Ainda assim, muitas vezes isso nos permite explorar muito mais e descobrir novos fatos e novas conexões de que não tínhamos conhecimento no mundo real. Certo, ótimo. É isso, pessoal. Muito obrigado, Chris.

Transcrição original

[00:01] [music] Okay. Hi everyone. [applause] Um, and thanks a lot for making it down to the second floor and finding my session here. Okay. So I’m Chris Manning and what I want to do today is present something about Moonlakes’s approach to producing a simulation infrastructure for practical physical AI. The overall

[00:33] goal here is that a north star for AI and actually cognitive science as well has always been to understand and work out how to build embodied intelligence. So today I’m going to tell us about some of the recent work that we’ve been doing at approaching a practical form of embodied artificial general intelligence. But you know I’m not actually going to start there because uh you know um Swick said no you shouldn’t just do that. Um,

[01:07] you should have a double slot. And first of all, since I’ve got you here today, I should have people tell you about the history. You should tell people about the history of AI and your journey through it and how you ended up here. Um, so, uh, sit back, um, get ready for story time and we’re going to have the really slow build and we’re going to hear about all about the history of AI for 20 minutes and then we’re going to hear the details about what Moon Lake is

[01:38] doing. Um, he looks very persuasive there, doesn’t he? Whereas at the time we were having this conversation, I was having a very bad hair day. So I had very little um choice um to agree to this task. Um so here I am with some long-term remarks on how did I and all of us get to this moment from the far ago days um when AI didn’t work. Um so the very beginning of AI was the Dartmouth summer research project in 1956. It was for the holding of this um

[02:13] kind of summer group project was when um John McCarthy coined the term AI and got together um this group of people. Um so that one on the back right there, that’s John McCarthy, there’s Minsky and both most of them look like a real bunch of geeks as you can see. Um but the attractive one on right on the right end is you know my personal hero as more of a language guy um Claude Shannon.

[02:43] So this is sort of the start of AI 1956. It’s where the the term AI came from. But really there’s other stuff that came earlier than 1956. So really starting in the 40s and early in the 50s there was work on cybernetics. So cybernetics sought to tie together communications control and feedback in living things and computers. Um so uh you know kubernetes is really the same word as cybernetics just less anglicized um but has very different

[03:18] meaning. Um yeah so this led to the earliest work on neural networks and the perceptron network. So here’s Frank Rosenlat’s perceptron um that was you know predated the term artificial intelligence and as you can see like in those days you actually used to wire neural networks now this modern matrix multiplication but another thing that actually started before the term artificial intelligence and has been my long-term area of interest is doing

[03:50] things in natural language processing and natural language processing began as machine translation. And so here we are again in 1954, two years before the term artificial intelligence was coined. And here’s the front page of the New York Times. Now, there’s a way in which the front page of the New York Times in 1954 is surprisingly reminiscent of the issues that you see in the front page of the New York Times um in 2026 because it’s

[04:23] exactly the same issue. President proposing ending citizenship for people. Um not much has changed in the um intervening 75 years. Um allegations of various kinds of behavior akin to treason. All sounds very familiar. Um, but this was the top half of the page. And if you went down to the bottom half of the page, um, you found this article. Russian is turned into English by a fast electronic, um, translator. A public demonstration of what’s believed to be

[04:54] the first successful use of a machine to translate meaningful text from one language to another took place here yesterday afternoon. Um, and here’s a little bit of video of showing that system. into one of the first nonmerica

[05:26] were made that the computer would replace most human translators. >> Okay. Um, and we’ll come back to that again in a little bit. Um, but coming off of the founding of AI, um, by John McCarthy, fairly soon after that, John McCarthy moved to Stanford and founded Stanford Artificial Intelligence, the Stanford Artificial Intelligence Lab, starting from 1963.

[05:56] And the original Stanford AI lab was in this um, building up in the foothills. Um if you down if you know the South Bay well um if you’ve ever been to a restraero and you look over next to a restraero um where there’s the Portola pastures um horse area or if you ride a horse um that’s where this AI lab used to be and that was the site of many of the um founding um work in artificial intelligence and also a lot of other stuff. Um the Stanford AI lab was the

[06:29] where the very first video game tournament was played in 1972. Um now McCarthy himself um was um mathematical logician and nearly all of his work was sort of building out these not notions of mathematical logic but in his thinking he was very wide ranging and so he he liked the idea of how could we build an embodied artificial general

[07:00] intelligence and was very happy to sort of provide the facilities and the money for other people to start to explore this. Um so this was the Stanford AI Labs um very first robot um the Stanford cart not very fancy um the old um sale building um but more relevant to what we’re going to talk about today for simulation infrastructures for AI um was another robot um Stanford SRRI shaky

[07:32] robot >> mach audio Um, so this was a robot that could um perceive the environment, move around, move boxes and so on in the environment and do things like that. Okay. And so this sort of started to explore this idea of having an embodied in artificial intelligence that had an understanding of a world and its

[08:05] environment. Um, just one little distraction that’s not really about AI. Um, who here has a connection to Stanford? Stanford connections. Who here has a connection to Berkeley? Berkeley connections. Less Berkeley people. Anybody with a connection to both places? There are some people who’ve been to both of them. No. Okay. Um, so I just have to put in my advertisement for early Stanford. Um if you’re an artificial intelligence

[08:37] person you know the story in the early days is all Stanford. I mean there you know there are two different stories I can tell right you know if you’re in the history of west coast universities really in the first half of the 20th century all the prominent stuff was Berkeley and that Stanford was um this sort of pokey regional school but once you get to the second half of the 20th century which is the era of computers and AI um it all happened at Stanford um

[09:12] So that you know if you look at things like the beginnings of the internet, the Arpanet, um here it is in 1972 and it connects up some UC campuses, Berke um UCLA and Santa Barbara and connects to Stanford, MIT, Harvard, but no Berkeley. Go ahead to 1980. Um Berkeley still isn’t part of the internet. you know, it’s made it as far as Hawaii and London and Berkeley is still not there. Um, and really in all of this period, there just wasn’t AI at

[09:47] Berkeley. I mean, there was other stuff that went on at Berkeley, I should be fair. There was important systems work. There was ingress database and BSD Unix, which some of you probably remember if you have gray hair like me. Um, but you know, essentially through the 60s and 70s and the first half of the 80s, there was just no AI at Berkeley. And so AI at Berkeley really only got underway in 1986 um when two fresh Stanford PhD grads um

[10:17] Jendra Malik and Stuart Russell um moved from Stanford um to Berkeley to take up professorships. Now of course that’s 40 years ago now. So, they’ve had they’ve had um AI for a while at Berkeley now, but not in the old days. Um, if you’d like to know more about this history of the old days, um, a couple of years ago, we actually put together, um, a story of the first 60 years of, um, AI at Stanford. Conveniently, um, the 60 years stopped just before the arrival of chat

[10:49] GPT and large language models. Um, and you can, um, find it on YouTube. Um, okay. So, that was my very brief potted history of AI. Um, what did I do for my life? Well, what I did for my life was to be a natural language processing person. And so, a natural language processing that was where we developed language models. And language models actually in some form go back a

[11:23] very very long way. So the first language model was proposed by Andre Marov who invented Markoff models right. So in developing the idea of Markoff models he actually did it with language um taking a novel of Pushkin’s Eugene Anagen and developed a character level language model over that. Um but the famous thing is then back to Claude Shannon who we saw earlier who sort of formalized information theory and started to build um word and character

[11:57] engram language models in the late 1940s which is the dominant stuff that we went on and using and in particular um then in 1975 again so back in the sort of early part of AI um a famous group at IBM Fred Gelan’s group at IBM sort of defined well they came up with the term language model that we still use today and they defined this idea of probabilistic models of text that could be used as a basis for all kinds of speech and

[12:31] natural language processing applications. So really from very early on in the speech and NLP tradition, language models were seen as a central technology that other people in other areas of AI and um machine learning just didn’t really know about. And it was what enabled um interesting good things to happen early in speech and various areas of NLP. So both early speech recognition systems but also the kind of um machine

[13:06] translation that you got at Google starting about 2007. It was considerably powered by language models. And so I think there’s actually a kind of an interesting story here of the development of our modern AI um sorry which is um slightly different to the story most people remember which um is a story that’s dominated by the vision story because the vision sort of came in most people’s head to be seen as the sort of entry place of neural

[13:41] networks in a large scale. Um but nevertheless I’ll point out the limitation of this early work in language models. It was used for spelling correction, machine translation, all of these things. But at this time, nobody thought of language models as these were going to solve artificial intelligence. We still all bought the old AI story of that we’re going to need memories, knowledge representations, planning systems, reasoning systems, all of these classic AI things. Yeah. So here’s the sort of history of large language models from an NLP

[14:16] suspect perspective. So the very first mention of the term large language models was in 1998 as far as I can tell. But you know really that was sort of a how are we going to store all this text um to build a model. So the first interesting um connection of large language models was in 2000 when Joshua Benjio and colleagues defined new probabilistic language models. the first neural language model. Um, but as you can see from those stats of 32 million

[14:47] um token corpus, 31,000word vocabulary, this was a teeny model because at that point they just didn’t have enough compute to do anything interesting. Um, but interestingly as early as 2007 at Google they were able to solve the compute problem and the data problem. Um, so most people forget this now, but in 2007, um, Google had a language model that was built on two trillion tokens of text. So, you know, that’s a bit smaller than

[15:22] the state-of-the-art models now that might be trained on 15 trillions of text, but it’s actually the same order of magnitude, right? So we all already in sort of two decades ago there was the scale of data and compute to build a form of language model. The big problem was they didn’t have enough model flexibility that the kind of modern powerful neural networks that we use today hadn’t yet been invented. Um and so it was then only in 2018 that

[15:52] modern large language models started to appear using transformers. But the early versions of those um were back to small amounts of data. So the early GPT model only used 3.3 billion tokens. So down three orders of magnitude in size again. So we reverted to not enough data. And then it was eventually only in 2020 with GPT3 forward that all of those things came together and language models really took off as we know about it now. Um and so that led to this surprising

[16:29] victory of natural language processing. I mean it actually gives me a bit of a laugh um that if in the sort of mass media if you see a reference to AI these days with pretty high probability they’re actually going to be talking about a large language model which wasn’t the way it used to be where NLP used to be a fairly marginal area of artificial intelligence. And as we all know, these large language models have allowed us to do amazing amazing things. And so the ability of these systems to reason and solve complex problems like

[17:04] math problems is just completely stunning. I mean, you know, even for someone like me who’s spent my 30 years working in natural language processing, I kind of find it hard to believe that you can pick really difficult math problems of a kind I certainly could not solve myself and just feed it into a large language model and somehow it can um chunk along doing its test time thinking and come up with right answers. I mean it’s just been a sort of a stunning breakthrough from an unexpected direction. Um so that’s been most of my

[17:39] world but then here we are um now getting back into the main topic of the talk of well where are we um why is embodied artificial general intelligence a north star that we should be looking at and the reason for that is even though it’s been so amazing what can be done with large language models they’re still this textbased description of the world. And it turns out that you can do

[18:13] a lot of stuff with a textbased description of the world. I think it’s true that we can do just way more than almost anybody believed possible with a textbased description of the world. Certainly a lot of prominent people in robotics and computer vision spent a decade saying, “Oh, you’ll never be able to do that with a large language model.” where actually we’ve been able to do a lot of that with a large language model. But still at the end of the day um we do actually want to deal with the world around us and have artificial

[18:46] intelligence that can operate in our world. And so the question is then how can we build these embodied artificial general intelligences? And so gradually I started to um get a bit more interested in well how can we start to incorporate the visual world and I started to look at things like visual question answering and how you could connect between um text and then generative models of visual worlds and reason about that. And so today I’m

[19:18] going to be telling you more about how you can build out that line of work and be using simulation as a way to start to approach um embodied artificial general intelligence. So why do we want simulation? Um there are sort of two ways that you can go about um starting to build intelligent models of the physical world. One way of doing it is that you’re actually going to directly learn in the real world. So you can um set up hardware or collect your YouTube

[19:54] videos in the real world and start learning intelligent policies for how to act. So this was the kind of approach that was used in Google X’s QOP um work that you’ve got your um rows of robot arms that are doing things. you’re recording what they’re doing and you’re in the physical world starting to learn a policy. Um, that’s a really unpleasant way to try and make progress. So, when people are do making progress in this kind of world, you’re getting about

[20:28] 10,000 hours of teleyop, that means a human is moving the robot around um data to start to train a model. um it’s not a very appealing picture. If we want to start having generally good robotics, we’re just not going to get very far if we’re sort of um chugging along at the speed of these robots um moving. But interestingly, if we go back to Shaky in the 1970s, Shaky had a different answer. Shaky said, “Well, we shouldn’t just have the

[21:05] real world that’s surrounding us. We should also have in the robot’s head a world model that has an internal representation of what the world is like. So this idea of a world model as an abstracted internal representation of the world which can be used for simulation and planning that’s an idea that goes back to cognitive science. So it was first proposed by Kenneth Craig um in the 1940s. So he argued that humans and other creatures have world

[21:41] models inside their own heads. Um so um that they can think about alternatives and how they’re likely to play to play out and therefore they can think of good plans um before acting. And so that’s also what we’d like our robots to do is to have the same kind of abilities. Um so this was Shaky’s world model. So, Shiki had a kind of a blocks world where it was actually a grid world as you might remember from your early AI textbooks, but it was representing um

[22:15] what was in different places in the world and what were the attributes of different things and it was all stored in this kind of logical representation in those days. So how now can we start um building a 21st century version of an embodied artificial general intelligence? And I think the right way to do it is to work out how to build good action condition world models. And today I want to talk about a practical effective way to build a simulation

[22:51] infrastructure that can be used um for as a basis from embodied AGI. So the idea of a world model is now normally formalized in terms of reinforcement learning ideas that what we do is we have observations of a world but we assume that underlying those we have a semantic abstracted representation of the state of the world in our head. And what the world model does is gives us an ability to try and predict um when an action is taken in

[23:26] one state, what new state is going to emerge. And so the crucial thing there is that the world model is abstracted and has more semantics. Quite a lot of the time when people have talked about world models, they haven’t really been thinking about the abstraction and the semantics, they’ve just been talking about can you produce beautiful generative AI video. Um so here’s um

[23:56] Genie 3. Um this is kind of a cute example by Riley Goodside who was the same person who got a lot of fame in the early LLM days by being a good prompt engineer. um and he’s now playing around um here with Genie 3. And you know the the kind of things you can do with Genie 3, you know, it looks beautiful, it’s wonderful, it’s pretty fluid, it seems great, but you know, most of visual AI

[24:26] for this period has been just judged by the pixels. If you’ve got beautiful pixels, you’ve got a beautiful piece of software, but these pixels are trying to simulate observations. They don’t actually have or represent any of the semantics behind the world. And therefore, they aren’t good at realism. They aren’t good for giving a basis to plan. They aren’t good for actually having a robust simulation infrastructure of the real world. And so

[24:57] we want this kind of simulation infrastructure because with a good simulator we actually have causal knowledge of how the world works which allows us to predict and plan how things will work in any situation. And so that’s the kind of world um that we’re wanting to have and make available at Moon Lake. So the starting point is a real world observation. Um, so given an image or a bit of video, we want to be able to interpret this image as an

[25:33] observation which is always partial of what’s actually in the underlying world. And then what we want to do is reconstruct a model of this world which actually allows us to do stuff in it and see how it reacts. that this will give us a basis of being able to work out causality, work out how to plan and reason in a repres representation condition way which gives us the basis for intelligent robot actions inside this world.

[26:08] So what might one do here? Well, the first thing you can do is take that um picture and feed it into one of our well-known um other companies products and say, “Okay, make a simulation of this world.” Um and so this is what you get from Marble. And it’s a pretty good simulation of the world. And if what you want to do is just uh walk around in this world and see it from different angles, this works pretty well. Um the question is is this a good simulation

[26:44] and whether it’s a good simulation depends on what problem you want to solve in the real world. And then is does this give you sufficient information to solve the problem in the real world? And if all you want to do in the real world is to be able to wander around and see the view from different angles, then this is great. We’re done. But a lot of the time what you’d like to do in the real world is understand the objects are here and

[27:18] to be able to do things with them. Right? So there’s some objects here. There’s a kettle and there’s a box and there’s a cup. But in the marble world, there’s nothing you can actually do with these things. All you can do is sort of wander around as a disembodied figure. Um, and so for a lot of purposes such as doing things with robotics or other physically accurate worlds, um, we need to be able to have more understanding in our model of the world, a better, more

[27:50] detailed simulation. And so at Moon Lake, we’re wanting to work out what people actually want to do with their simulation, and then to build the kind of simulation that will power that. So you might think, oh, I actually want to be able to move around the objects in the world. And so that’s the kind of starting point of the kind of thing that we’re trying to do at Moon Lake. So if we want to um have a world in which we can move things around then we’re saying

[28:20] okay kind of like um image blaster a system like that we actually need to take this world and understand what’s in it and then have objects that can be manipulated. So we separate out a background and then objects inside that background with then being able to sort of have the background world in a representation that’s similar to marble. But then in the foreground there are various kinds of objects that we can manipulate and move around. Now, well,

[28:53] that’s a start, but um in the previous picture, um the tea box was always closed. And we might wonder if you can open up the tea box and see what’s inside it. Um and well, this is sort of a part of how observations of a world are always partial. Um for what we could see in the actual photo, there was a closed tea box. We couldn’t even see the tea box very well. How could we possibly know what’s inside it? And well, the answer to the way we can know what’s

[29:28] inside it in the 21st century is we go off and do a little bit re of research. We fire up um getting information um off the web um in a a rag style fashion um to work out what’s there. And then we can find images of this um tea um box on the web which show it in more detail. They show a picture of what it’s like when it’s open. There are descriptions of it. Organic luxury tea bag collection, leather gift box. It gives its size. We

[30:03] can find all about it. So therefore, we can build um in our simulation um a tea box with an understanding of the contents of that tea box. Well, that’s really good. Um, so how now we have um the tea box with tea bags inside it. But if we do nothing else, um, they’re just sort of sitting there and movable. So we’d like to realize the fact, well, wait a minute, tea bags you can lift up and you can take out of a tea box. So then we need to start having these

[30:37] teaags also um be objects that are modeled in our simulation that they have a size and an ability to be manipulated as well. Um so how are we doing all of this? And so a distinctive part of what’s happening at Moon Lake is building although part of this is in the world of vision a lot of what we’re doing is actually back in the world of code. So this is picking up on the idea um that what’s normally referred to as language models

[31:12] but these days are really symbolic models which work on not only human languages but also math code and things like that that they that has been just a very powerful substrate with which to make progress. And so we are producing controllable manipulable world models by generating the controllable parts of these worlds by putting code under them. And in particular, um, we can train

[31:43] these code models using the same kind of loop engineering that many of you will have seen, um, with Claude that we’re having a loop where we’re writing code to render objects, um, and put on that um, diffusionbased textures, etc. We can then assess how good our render is against physical reality and then we can work out the deviations. We can revise the code and

[32:15] make better and better um renders of what goes along. And so that’s the way that so we’re building this detailed action conditional world model so that we can take actions on the objects in the world. Um so that means that we have a kind of neuros symbolic representation of the world here and neuros symbolic representations have a big advantage that the symbolic representation can be easily interfaced controlled edited and

[32:47] maintained in our human world. Um, and so the message I’d like to give as a little delta of a message here, um, is most of you are probably familiar with Mark Andre’s famous statement 15 years ago, software will eat the world. And you know, that was mostly right. Um but I think it wasn’t completely right because it’s just not the case that software ate the physical world. Um it,

[33:22] you know, a lot of the world went virtual and um a lot of the world is inside computers now and yeah it could eat all of the processes of managing, counting, supplying all um records of suppliers, all the stuff that’s in the virtual world. But we hadn’t had the power for software to eat the physical world. Whereas the hope is with this new ability of being able to build verifiable simulations powered by code of the sort that I’ve just sketched for

[33:57] a moment there that this will allow us to actually have verifiable simulation which will also eat the physical world. And so that’s the kind of thing we built. And we can go on from here and um you know keep on making further steps of this. Right? So we maybe don’t want to only have tea bags um in foil containers, but we’d like to be able to um take them out of the foil container and we don’t we somehow want to actually get the tea bag inside the cup because

[34:29] that’s a useful step for making tea. And then of course we also want to have um the jug of um water which we want to be able to boil and then be able to pour that into the tea. Um and once we have a good world simulator like that, the idea of this is that we are building in all of the parts of the simulated world which will allow effective transfer into the real world. And it’s important to

[35:02] think about that as to sort of what’s necessary for different kinds of transfer. And the argument um that I we’d like to make is that you know normally uh simulation isn’t complete and accurate in every detail because there are sort of parts of the world that are important to you and parts of the world that aren’t important to you. I mean, this is the same with human world models, right? That a lot of the world we’re not actually modeling at any

[35:35] time, but we’re modeling the bits of it that are important to us. And it’s having that control of which things you need to model and use is what needed then to give you the actual simulations that will be allowed to be effectively used um in the real world. So, what kind of applications um is this going to allow us to do? So the hope is that um rather than having to collect 10,000 hours of data in by teley op in the real world, we can

[36:09] instead build accurate simulations which will allow transfer to real. So let me show you the kind of progress that we’ve been making on this. So this is um not highuting robotics um but is the kind of physical AI that you find everywhere in the real world that there are things happening in physical processes um which you’d like to be able to um understand and automate. And so in particular, um,

[36:40] if we’re going to realize any of the dreams of bringing back America as a great manufacturing economy, it seems like we have to work out how to be able to automate much more in the physical world. Well, um, using the Moonlake AI technology, what we can then do is say, so from this short video, we can automatically produce an accurate simulation of that world, turning it into a 3D world with enough detail about how things move and what objects are in

[37:14] the world that we can start to build on this and use it as a basis of simulated data which transfers refers accurately to the real world. So we then have this model which allows us to get 10,000 hours of simulation um for free. And so on the basis of that um we can then train up a robotic system that can operate um to actually um explore what you can do in this world and learn the

[37:47] way to operate in the world so it works. and then we can have the effective and cheap training of robotic systems. Okay. Um so that’s the story. Um thanks a lot everyone. [applause] And I do have time for questions I believe. >> Thank you very much for the conversation. Um, super deep. My first

[38:20] question is, would this be applied to something like the gaming industry and how could they use it for we’re seeing GTA 6? Everyone is talking about this new game. Um, I could see a very application there where you could have endless interaction with the world model that they’re building. U, have you been working with the gaming industry at all or this is more applied to robotics? >> Um, so yeah, absolutely. Um, another hugely good area for this is in the

[38:51] gaming industry. And you know, the real world is then kind of a virtual world, but you can have a simulation of your gaming world um, and then be building the same kind of embodied intelligence. And the gaming industry has some really appealing attributes. Well, you know, there are millions and millions of game players, so there’s lots of easy data to collect. Um the people who are gaming have goals which are fairly clearly known. So you can sort of learn in a

[39:22] reinforcement learning loop good ways to act. And so absolutely one of the applications that Moon Lake has explored is in the gaming industry and there’s likely to be more of that. Um but recently we’ve been actually particularly emphasizing physical infrastructure and doing simulations in the physical infrastructure world. >> Thank you so much.

[39:55] Uh so it’s fascinating to me that that you’re turning back to neurosy symbolic representations and um the part of the original kind of old school AI involved a lot of ontology development and knowledge representation and logic and representation of that. Do you see a role for uh deepening the neuros symbolic representation using kind of like what we how ontologies have been developed previously to model um a representation of the real world? Um and

[40:27] do you see that as being a kind of an area of expansion and development for the type of tools that you’re working in? Yeah, I mean I don’t think we’re quite going to go back to old style ontologies and knowledge bases, but I mean effectively that is what we’re doing, you know, apart from it’s in new clothing of um having it being um code that I mean I I do you know this is an interesting space and we can talk about it in more general

[41:00] right there is you know there’s sort a purely neural approach in which your latent representation of the world is purely neural and so that’s the kind of thing that the jeoper architecture is after I mean in some ways that’s a good pure neural approach but on the other hand that’s very hard for humans to connect to in any way or for other applications to connect to in any way and so our bet is that the sort of practical ical way to have a physical AI

[41:34] simulation infrastructure for the foreseeable future is to base it on symbolic representations. Taking advantage of sort of the huge power of code that we see everywhere around us in the sort of um codeex cla code era that those kind of symbolic representations allow um neural eye systems to reason, plan and do all of these things excellently well. And so to some extent yes that will be bringing back notions like older fashion

[42:06] knowledge representation. Mic keeps on. Hello. Hello. Oh hi. Um so a lot of our existing um it seems like industrial robotics use cases or to sort of automate existing sort of human manual intensive processes. Um would investment in

[42:40] development of like world models would that allow us to go explore novel new uh processes or activities where they’re currently not accessible by human labor or by even the kind of existing um industrial manufacturing processes that we have. >> I mean sure absolutely. Yeah. So for the example at the end I showed a very old school um conveyor belt system but I mean you know we’re also in this world of amazing things happening in humanoid

[43:14] robotics and for any of the new forms of robotics automation other cases you could think about doing things in space well you’ll have exactly the same problem that You want to train up AI agents to be able to act in different scenarios and it’s extremely costly and difficult to do that training in the real world. Um and it’s very hard when training in the real world to get

[43:49] out into the sort of tale of rare cases. I mean you’ve seen that um for autonomous driving, right? There’s a reason why autonomous driving kind of took 20 years to arrive. Um from you know Stanley breakthroughs of yay autonomous car wins the race to actually having Whimos um widely deployed is because you have this enormous tail and the way to get out to that tail for all of these new applications with um humanoid robotics, space robotics, etc.

[44:20] is to have good simulation. >> Hey, uh thank you for your talk. I love the energy. Uh my question is you showed a video of water. Uh so is everything like learned from videos or is like physics ingrained in anything like for example does your model know any physical properties of water like viscosity, Bernali’s laws or like for example friction. uh for some use cases like self-driving maybe those things are

[44:50] like not important right you just need to know the velocity and stuff but like for other use cases I would imagine these physical properties are important so >> and we absolutely know physics I mean this is the sense in which this neurosyolic approach is you know you call a conservative approach if you will you know that this is absolutely using physics engines and knowledge of physics um to in its generation and control of movement, right? That if you’re what you know when you’ve just started off with

[45:24] an image of water or and you want to understand how that’s behaves, you’re using a physics model to predict how it’s going to behave. Okay. Um I know is there time for Oh, there’s someone else at the mic. Hi. >> Hey. Uh, Professor Manning, thank you for this presentation. Um, I have a question about seem to row gap. So, I

[45:55] mean, simulation is great. It’s cheap, is scalable. Um do you have a suggestion for um how we close the simulation to real gaps [snorts] encounter you know like the like fix part that we are not able to accurately simulate and like mechanical tolerancing back latches like all those things that we are not able to put into the simulations. Um yeah so traditionally the problem has always been the simtoreal gap and the

[46:30] simtoreal gap seeming too large so that a lot of the training has had to happen in the real world and we believe that the answer to that is you know effectively claude code loop we’re now in this world in which we can do neural optimization. So we can have the simulation compared to behavior in the real world with video and we can automatically

[47:06] learn to shrink the sim to real gap in a way that just wasn’t possible when you had people trying to handr write a physics simulation of something. This this was a great discussion. Thank you. Um tangential to the question that was just asked, how do you see like what do you see the biggest challenges are to adding like the sociote techchnical layer, the pieces, the the processes,

[47:38] the people, the authorities that make decisions on the objects that you’re looking to simulate. What are the biggest challenges to developing a system that has accurate representation? So for example, if we want to model uh EV tolls or um doing you know forecasting of energy at airports uh you know things like that not necessarily extending beyond the robotics into these other um use cases areas. >> Um yeah that’s a great area. Um in all

[48:09] honesty it’s not something we’ve been um really dealing with at Moon Lake. Um, you know, at the there are still some limitations, but you know, large language models with their slurping up of enormous amounts of human behavior data that they’re actually getting better and better at being able to simulate how human beings, different kinds of human beings are going to behave and react in different circumstances.

[48:42] So I think we are starting to approach the point in which we can have fairly good human behavior simulators that are being powered by the knowledge of large language models and there are a couple of companies that are now starting to look at that. >> Cool. Last question. Yeah. person over here has one for a long time. [laughter]

[49:16] >> Thank you. Um so if you look at um analog chips for instance right the physics is understood but as you go higher up the chemical operations then the heat and those things are still people are working on it. So that’s not what you call completely um understood. Now I’ll give you another example of say I’m looking at kidney related uh literature and stuff and then liver related stuff these things it gives a pretty good answer the kidney stuff it gives answer but when you look at the relations

[49:49] between the two people have somewhere u doctors have made a link and that’s why you are able to see my take is if we operated completely in the latent space and we did not know the connection connections at a human level. Can we explore in the latent space completely and be able to find hidden connections over there that could translate into the real world or am I thinking something crazy? >> Yeah, I mean absolutely. I mean to the

[50:19] extent that we have a pretty good simulation, we can hope to find surprising discoveries that turn out to be correct in the simulated world. I mean, you know, things go both ways, right? There are also likely to be things that turn out to be true in the real world that weren’t in our simulation, right? There’s this famous statement about all models are wrong, but some models are useful, right? And that so anybody’s world model,

[50:51] regardless of whether it’s the one we’re building or the world model in a human head, right, they’re not always right. Sometimes we think a person’s going to react in one way and they react in another way. But nevertheless, a lot of the time it can let us explore much more widely and discover new facts and new connections that we weren’t aware of in the real world. Okay, >> awesome. That’s a wrap everyone. Thank you so much, Chris.