Fundamentar a inteligência no mundo físico | Runway Summit SF 2026

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Grounding intelligence in the physical world | Runway Summit SF 2026 · Canal: Runway · 25:31 · Assistir no YouTube

Tópicos: Modelos de IA, Modelos multimodais, Robótica e sistemas autônomos

Resumo

Neste painel, pesquisadores e líderes da NVIDIA, Google DeepMind e Wayve discutem o que são world models e quais problemas podem resolver. Eles abordam a simulação para robótica, a diferença entre simulação e realidade e os limites de modelos que geram apenas vídeo. Também debatem representações 3D, multimodalidade e o papel de agentes de programação em tarefas físicas. Entre os desafios apontados estão controle preciso, latência, acesso a dados de sensores e a capacidade de escalar modelos de forma sustentável.

Pontos-chave

World models podem apoiar tarefas como navegação, previsão dos efeitos de ações e compreensão do ambiente, mas não há uma definição única do conceito.
A diferença entre simulação e realidade varia conforme a tarefa: pode estar mais próxima de ser resolvida em locomoção e navegação do que em manipulação.
Vídeo sintético mais realista não basta para simular fenômenos físicos; algumas aplicações exigem resultados verificáveis, como os de um simulador de física.
Uma representação 3D estruturada e interoperável pode ser mais útil do que pixels gerados por um modelo, pois pode ser integrada a simuladores e ferramentas de criação.
Para aprender representações úteis do mundo, pode ser necessário combinar objetivos como previsão de vídeo, linguagem e previsão de ações.
A robótica requer mais do que compreensão semântica: também depende de controle preciso, raciocínio espacial e raciocínio sobre física.
Agentes de programação podem contribuir para world models ao criar código 3D e simulações, mas o controle fino e a precisão continuam sendo desafios.
Modelos de vídeo podem ser lentos e caros; dados de sensores e a capacidade de incorporar novos dados e compute também são importantes para o progresso.

Capítulos

Início	Capítulo	Resumo
00:00	O que são world models?	Os participantes discutem a definição do termo e as possíveis aplicações de modelos que representam ou simulam o mundo.
02:37	Aplicações em robótica e no mundo físico	O painel relaciona world models a navegação, previsão de consequências e execução de tarefas físicas.
05:45	A diferença entre simulação e realidade	Os participantes explicam por que essa diferença depende da tarefa e destacam os desafios de simular física e manipulação.
10:25	Dados, objetivos de previsão e representações	A conversa passa da previsão de vídeo para os dados e as representações internas que podem sustentar modelos do mundo.
15:06	Representações 3D e modelos generativos	John Barron defende explorar representações estruturadas que possam ser usadas em simuladores, jogos e fabricação.
18:43	Robótica, agentes e controle preciso	Os painelistas avaliam capacidades de modelos como Astra e apontam a necessidade de controle de baixo nível e raciocínio espacial.
22:54	O que pode dar errado?	O debate final destaca latência, custo, dados de sensores e a necessidade de escalar os modelos de forma sustentável.
25:31	Encerramento	O moderador agradece aos participantes e encerra o painel.

Citações

Se dois modelos alcançarem qualidade semelhante para uma tarefa, eu diria que a diferença entre simulação e realidade foi resolvida para essa tarefa. — 07:51

Treinar com vídeo é uma ótima ideia. Devemos treinar modelos para prever o próximo pixel. — 11:57

Não quero assistir a um vídeo da casa. Quero morar nela. — 16:08

O maior problema dos modelos baseados em vídeo é a velocidade. Eles são muito caros e lentos. — 23:26

Conceitos e entidades

world model (conceito): Modelo destinado a representar aspectos do mundo para tarefas como prever resultados de ações, navegar ou simular cenários.
sim-to-real gap (conceito): Diferença entre o desempenho de um sistema em simulação e seu desempenho no mundo físico, que pode variar conforme a tarefa.
physical AI (conceito): Inteligência artificial voltada a realizar tarefas no mundo físico, incluindo aplicações em robótica e veículos autônomos.
NVIDIA Cosmos (ferramenta): Plataforma aberta de world models da NVIDIA, apresentada no painel como uma base multimodal para desenvolvedores de IA física.
NeRF (conceito): Representação baseada em redes neurais para reconstruir e renderizar cenas tridimensionais a partir de imagens.
Google DeepMind (empresa): Organização de pesquisa em inteligência artificial representada no painel por John Barron.
Wayve (empresa): Empresa de autonomia e robótica cujo diretor de pesquisa, Alex Toshev, participou do painel.
Runway (empresa): Empresa que organizou o evento Runway Summit SF 2026.
Astra (modelo): Sistema mencionado no painel por seus resultados em tarefas de programação, aplicações 3D e raciocínio espacial.

Tradução completa (pt-BR)

00:00 Por favor, recebam no palco o vice-presidente da Nvidia e do Cosmos Lab, Mingu; o cientista pesquisador principal da Google DeepMind, John Baron; o diretor de pesquisa da Wave, Alexander Tosev; e o fundador da Welch Labs, Steven Welch. >> Olá, pessoal. Obrigado por estarem aqui. Hoje temos Mingu. Ele é vice-presidente do Cosmos, da Nvidia, que é um modelo de mundo em plataforma aberta. Temos John Baron. Ele é cientista pesquisador principal na Google DeepMind.

00:30 e um dos autores do NeRF. E, por fim, temos Alex Tersev. Ele foi coautor de um dos primeiros artigos que usaram deep learning para estimar poses humanas, em 2013. Ele copiderou o desenvolvimento do LLM multimodal MMM1 da Apple e recentemente entrou para a Wave para liderar os modelos fundacionais de robótica da empresa. Estou muito animado para conversar com todos hoje. Vamos direto ao assunto. Eu sou Stephen Welch. Tenho um canal no YouTube chamado Welch Labs. A pergunta mais popular do nosso público, quando contei quem seriam os participantes do painel, foi: que problemas os modelos de mundo resolvem?

01:03 Então, alguém quer começar? Que problemas podemos resolver com modelos de mundo? >> É uma pergunta difícil. Acho que ainda não resolvemos nenhum, não é? A subpergunta é: o que é um modelo de mundo? Acho que isso também está completamente mal definido. Devíamos discutir isso? >> Vamos. Acho que a definição padrão seria um modelo de vídeo controlável, algo que gera pixels e com o qual você interage. Pelo que entendi, a Runway está fazendo muita coisa nessa área. Mas eu

01:35 acho que há muitas outras possibilidades nessa área: coisas em 3D, como as da World Labs, campos de radiância, e também modelos de programação. Acho que tudo isso pode ser modelo de mundo. Acho que é algo aspiracional, sabe? É algo que imaginamos que possa existir, mas ainda não sabemos o que vai ser. >> Sim. Quando pensei nessa pergunta, imaginei que, se estivéssemos aqui em 2018 ou algo assim e eu perguntasse que problema um modelo de linguagem resolve, talvez vocês dissessem — não diriam isso, mas — previsão do próximo token, certo? E daí?

02:05 Então talvez uma versão mais profunda da pergunta seja: se conseguirmos entender essa questão dos modelos de mundo — e talvez já estejamos bem encaminhados — que novos problemas vão surgir? Não fazíamos ideia de que os LLMs seriam tão bons em escrever código e poderiam automatizar tanto do desenvolvimento de software. Se tivermos esses modelos de mundo incríveis, que novos problemas vocês veem na fronteira? A robótica, obviamente, é um deles. Talvez possamos avançar muito na robótica. Esse é o principal, ou vocês veem outras etapas no caminho para a adoção de modelos de mundo e para que eles melhorem?

02:37 >> Sim. Talvez eu possa comentar esses assuntos. As pessoas vivem no mundo e queremos resolver alguns problemas. Muitos dos problemas que queremos resolver envolvem algum entendimento ou modelagem do mundo. Como há diferentes tipos de problemas que queremos resolver, há diferentes tipos de modelos de mundo. Você pode ter um modelo de mundo para navegação, por exemplo, para ajudar a entender como evitar obstáculos e chegar ao destino. E também pode

03:08 querer prever o que acontecerá em seguida se você realizar determinada ação. Por exemplo, o que acontece se você deixar a maçã cair na tigela? E também há a parte de compreensão. Acho que os modelos de mundo ficaram populares porque somos muito bons com IA digital, com IA que vive nos computadores, e pensamos, necessariamente, no que acontecerá em seguida. Todos sonhamos em ter robôs para realizar tarefas e também veículos autônomos que levem você

03:41 do ponto A ao ponto B sem que você precise se envolver. Assim, você pode dormir durante todo o trajeto. Para ter uma IA que conclua tarefas com sucesso no mundo físico, naturalmente pensamos que ela precisa de algum tipo de modelagem do mundo. Acho que é por isso que os modelos de mundo ficaram tão populares recentemente. Como esperamos que a IA física resolva todo tipo de tarefa, acho que haverá

04:13 também modelos de mundo diversos. Não acho que um modelo de mundo seja uma única coisa. Deixe-me explicar: são vários modelos juntos. E o que me anima são os modelos fundacionais. Sabemos que, se conseguirmos agregar dados que representem diferentes padrões e tendências, isso cria um gargalo de capacidade, e às vezes é possível treinar

04:44 o modelo para generalizar e resolver tarefas inéditas. Agora estamos analisando tantos modelos de mundo diferentes. Se juntarmos os dados desses modelos, conseguiremos abranger algumas formas de modelagem do mundo que não previmos e que não estavam nos dados de treinamento? E como isso pode ajudar a IA física a resolver outras tarefas? >> Sim, faz sentido. Alex, está claro como vocês vão usar modelos de mundo na Wave? Acho que, na Wave, fomos pioneiros no aprendizado para

05:15 autonomia em geral, para políticas, e agora estamos começando um trabalho em robótica. Então, a modelagem do mundo é, para nós, uma forma de aprender simulação. >> Acho que, pelo menos hoje, considerando o estado atual das coisas, é um pouco difícil dizer que estamos modelando o mundo. Mas os modelos de mundo são uma ótima maneira de tornar dados reais, até certo ponto, controláveis e editáveis, e úteis tanto para treinamento quanto para validação, seja na síntese de dados, seja na criação de cenários

05:45 bastante interessantes para os problemas que queremos abordar. >> Sim, com certeza. Falamos bastante de simulação, e acho que a grande questão para mim é: quão grande é a lacuna entre simulação e realidade? Quanto isso importa? Talvez eu possa formular a pergunta de um jeito bom. Se fecharmos essa lacuna, como saberemos? Vai ficar óbvio de imediato, com robôs muito melhores? Como saberemos se fechamos a lacuna entre simulação e realidade? Parece que estamos avançando, mas quais serão os sinais? >> O que é a lacuna do simulador? A lacuna entre simulação

06:16 e realidade? >> Desculpe, é um pouco difícil ouvir “lacuna entre simulação e realidade”. Como saberemos se nossos simuladores são bons o suficiente? O que vamos observar? >> Acho que há duas lacunas aí. A lacuna entre simulação e realidade provavelmente será resolvida ampliando os modelos de vídeo do jeito que estão sendo ampliados atualmente. Isso está funcionando bem. Parece que vai dar certo. Acho que existe uma lacuna maior, a do simulador. O objetivo de um simulador de física é dizer o que vai acontecer no mundo físico. E você

06:48 poderia imaginar ampliar os modelos de vídeo para que os pixels que eles geram se pareçam mais com o mundo real, mas não é isso que você quer da maioria dos simuladores, certo? Se estou fazendo, por exemplo, uma simulação aerodinâmica, não quero um vídeo do vento passando em volta de um avião. Quero o avião. E acho que essa lacuna é a questão interessante: como vamos realmente obter um avião a partir disso e

07:18 ter uma física verificável? Acho que isso está completamente fora do escopo do paradigma de modelos de mundo baseados em modelos de vídeo controláveis e é algo pouco explorado. >> Certo. Sim, com certeza. Qual é a sua opinião, Mu? Tenho pensado em como definir se fechamos a lacuna. >> Sim. >> E, como dá para perceber pelos meus comentários anteriores, estou mais focado em resolver tarefas. Digamos que eu queira resolver essa tarefa física e treine dois modelos. Um modelo aproveita todos

07:51 Os dados do mundo real, e o outro modelo usa dados de, digamos, um modelo de mundo ou simulador. Se esses dois modelos alcançarem qualidade semelhante em termos de precisão e ambos ficarem acima do limiar de desempenho, eu diria que a lacuna sim-to-real para essa tarefa específica foi resolvida. É assim que eu definiria isso. E, sabe, acredito que existam muitos tipos diferentes de modelos de mundo. Para alguns deles, acho que estamos

08:22 muito perto. Acho que a lacuna sim-to-real na navegação é uma das que temos mais perspectiva de resolver. Mas a lacuna sim-to-real na manipulação — digamos, comprimir uma esponja ou tentar empurrar um cabo para dentro de uma tomada — é mais difícil, certo? Então, acho que existem diferentes problemas relacionados a modelos de mundo; em alguns, estamos mais perto de superar a lacuna sim-to-real, e em outros ainda estamos longe.

08:53 >> Certo. >> Sim, totalmente. Quer acrescentar algo, Alex? >> Bem, acho que a pergunta é um pouco enganosa. A lacuna sim-to-real não é algo binário, certo? Há lacunas sim-to-real em vários aspectos. >> Se pensarmos em robótica, a lacuna sim-to-real já foi superada na locomoção. Acho que as políticas de locomoção de ponta atuais são treinadas em simulação. Então, é preciso entender exatamente o que se busca e quais aspectos do problema se está tentando resolver. Se eu olhar para as aplicações de modelos de mundo, em particular, no treinamento…

09:23 por exemplo, com reinforcement learning, infelizmente, o RL é muito bom em descobrir idiossincrasias e problemas no seu modelo de mundo. Então, é bem difícil treinar um modelo de mundo forte com o qual o RL consiga de fato produzir uma boa política, porque ele vai encontrar coisas estranhas. Esse é um exemplo de algo com que ainda temos muita dificuldade e que, de certa forma, é contraproducente, porque você realmente precisa de modelos de mundo fortes. Acho que também há a questão de como usamos esses modelos de mundo quando falamos da lacuna sim-to-real. E, digamos,

09:54 que vamos usar RL: existem maneiras de atenuar isso no lado do aprendizado, observando apenas as distribuições nas quais o modelo de mundo tem um bom desempenho? Talvez identificar a distribuição, ou usar modelos de mundo que também estimem a incerteza, para que você possa aproveitar isso durante o aprendizado, integrando dados reais com os quais possa verificar os desdobramentos no mundo real e garantir que o que está aprendendo é correto. Então, acho que também importa como você os usa e como estrutura o problema de aprendizado, para conseguir aproveitar os pontos fortes e evitar as fraquezas da modelagem de mundo.

10:25 >> Certo. Faz sentido. Vamos continuar. Não quero depender totalmente de comparações com modelos de linguagem, mas acho apropriado, já que os modelos de mundo são uma espécie de nossa próxima fronteira. Acho que, na modelagem de linguagem, o que foi tão surpreendente é que tínhamos esse objetivo de previsão do próximo token e, de repente, surgiram propriedades emergentes incríveis, como o aprendizado em contexto, por exemplo. Vocês acham que, no caso dos modelos de mundo, encontramos o objetivo de previsão certo? É…

10:55 prever o próximo frame, ou encontramos o objetivo certo para a modelagem de mundo com os vários objetivos de previsão baseados em vídeo? E como sabemos, certo? Estamos vendo essas propriedades emergentes surpreendentes surgirem nos modelos de mundo? Estamos prevendo a coisa certa? >> É que a comparação com modelos de linguagem é muito difícil, porque o nome “modelos de linguagem” é realmente muito adequado, certo? Eles modelam a linguagem. Você poderia imaginar alguém chamando-os de modelos de pensamento, o que não estaria errado, mas seria confuso, e você sempre ficaria se perguntando:

11:26 “Será que estão mesmo pensando ou só…?”. O modelo de linguagem descreve a entrada e a saída. Já acho que o paradigma dos modelos de mundo não é muito bom, porque não descreve as entradas nem as saídas do sistema, certo? Na verdade, acho que modelos que criam o mundo são uma boa ideia, algo que deveríamos fazer, mas não é isso que os sistemas de geração de vídeo controlável fazem. Então, sim, não sei bem como conciliar isso. Quanto ao objetivo, a questão é: quais são os dados e qual é a função de perda.

11:57 >> Claro. >> Acho ótimo treinar com vídeo. Devemos treinar modelos que prevejam o próximo pixel. Provavelmente, essa é a melhor coisa que temos. Temos muitos pixels. O vídeo é infinito. Acho que a questão maior é mais sobre qual representação interna está gerando esses pixels. É um modelo de difusão? É um agent que coordena um grafo de cena e depois o renderiza? É algum tipo de coisa em 3D? Acho que isso ainda está totalmente em aberto, e o paradigma que vencer vai possibilitar coisas diferentes. >> Sim, muito interessante. Então, o Cosmos é…

12:30 obviamente muito multimodal, certo? Voltando à questão de prever vídeo ser suficiente: vocês usam vários tipos diferentes de objetivos de previsão e entradas. Vocês descobriram que isso é um grande diferencial? Se tivessem um modelo Cosmos apenas de vídeo, ou se removessem a maior parte da multimodalidade, quanto isso afetaria o desempenho, na opinião de vocês? Sim. Isso volta à nossa convicção de que existem muitos modelos de mundo diferentes e, na missão do Cosmos, queremos reuni-los para criar uma ótima base que permita…

13:01 o desenvolvimento físico, certo? Há uma parte de compreensão do mundo, uma parte de geração e simulação do mundo e também a questão de como o mundo muda quando se aplica uma determinada ação, quando o agent descrito na cena executa uma ação específica, certo? Como John disse antes, deep learning trata de aprender a representação, certo? Quando se empilham transformers para resolver determinado…

13:32 objetivo de treinamento — a previsão do próximo token —, aprende-se uma representação incrível, que pode ser usada em outras tarefas, certo? E, para os modelos de mundo, é um pouco mais complicado; não é puramente linguístico, como John descreveu antes. Estamos falando do mundo real. E, no mundo real, a forma de dados mais disponível para nós são os vídeos: os vídeos da internet, em enorme quantidade. Mas, quando você olha para os vídeos da internet, tem os pixels brutos, mas não observa as ações que causaram as mudanças que você vê. Então, também há cenas ocultas.

14:04 Minha visão é que este é um problema desafiador e que vamos usar qualquer objetivo de que precisarmos para aprender uma boa representação, certo? Pode ser a previsão do próximo token, pode ser o objetivo de difusão, e também pode ser uma regressão que preveja ações. Então, minha visão é que esse conjunto…

14:35 de coisas reunidas atua como um gargalo de informação para forçar o aprendizado de uma boa representação do mundo, útil tanto para tarefas de compreensão quanto de simulação. >> Certo, certo, faz sentido. Voltando ao comentário sobre representação que você fez, John, e talvez Alex também possa opinar. Parece que o transformer de difusão e suas variantes autorregressivas estão sendo bastante eficazes agora, resolvendo muitos problemas, certo? E, pelas entrevistas recentes que fiz, parece que o foco está bastante voltado para conseguir o conjunto de dados certo para realmente escalar, sabe? Mas explique melhor: se não for um transformer de difusão, certo? Você trabalhou com NeRF, John. Quais você vê como as principais alternativas ao transformer de difusão para aprender a representação?

15:06 >> Claro. Acho que difusão e transformers provavelmente vieram para ficar. São tecnologias muito maduras. Não é óbvio que algo vá substituí-las. >> Mas ainda há muitas escolhas sobre o que eles fazem. >> Ah, entendi errado. Desculpe. Eu…

15:37 Achei que você queria dizer substituir tudo. Mas, sim, conte mais para nós sobre isso. >> Mas eu acho que a questão de usar um transformer de difusão para criar latentes que depois são decodidos em pixels é uma escolha bem específica. >> O que mais me empolga é a ideia de transformers de difusão e tudo isso, porque o problema com o paradigma de vídeo é que não consigo entrar no vídeo e pegar coisas. Não consigo fazer nada com esse vídeo de uma casa. Quero morar numa casa. Não quero olhar para um vídeo da casa. Você pode imaginar — e isso é

16:08 algo que as pessoas estão começando a desenvolver — sistemas em que os pixels não são algum bloco neural que mapeia latentes para pixels de uma forma ininterpretável, mas sim apenas um mecanismo de renderização. E é assim que o Nerf funciona. Há vários outros trabalhos que funcionam assim. Acho que isso ainda é pouco explorado. É difícil porque você precisa se restringir para obedecer à física. Mas, então, a representação que você recupera é interoperável com todo o resto que temos. Você poderia colocar isso num simulador de física. Poderia colocar isso num videogame, certo? >> E isso vai ser uma

16:41 grande abertura para todo tipo de experiência digital, mas também para criar coisas fisicamente no mundo, por exemplo, num contexto de manufatura. >> Com certeza. Certo, ótimo. Para respeitar o tempo, vamos seguir em frente. Nas últimas semanas, houve muito burburinho em torno do lançamento do Astra, especialmente sobre usar o OpenAI Astra como uma política de robótica praticamente pronto para uso. Também houve burburinho sobre o Astra ser bastante eficaz em aplicações de CAD 3D. O lançamento do

17:12 Astra foi uma atualização para alguém sobre o que você achava que um agent de propósito geral poderia fazer em termos de robótica ou 3D? >> Sem dúvida, é surpreendente, certo? É um conjunto de resultados muito impressionante. Vejo o Astra — ou todos esses modelos do tipo coding agent — basicamente como uso de computador por meio das ferramentas comuns que temos para desenvolvimento de jogos, produção de filmes e coisas assim. E não se trata apenas de 3D: há aqueles resultados do Claude em que ele cria vídeos a partir de gráficos vetoriais. Acho isso legal, é um paradigma totalmente razoável para fazer isso. Minha preocupação seria não ver realmente um caminho para que essas coisas transcendam os limites da tecnologia 3D existente. Já fizemos, como sociedade, o experimento de ter mil pessoas trabalhando durante uma década para criar um videogame com a aparência mais realista possível. É isso que Grand Theft Auto 6 representa. É isso que se consegue, e ainda assim

17:42 não parece realidade. Parece um videogame. E acho que a ideia do Astra é: “Bem, agora você consegue fazer isso em uma hora”. >> Claro. O que é muito legal, mas acho que criar coisas com esses elementos básicos que já temos, como grafos de cena e triângulos, tem um limite. E acho interessante imaginar o que vai nos levar além disso. Acho que o que vier depois ainda será orquestrado por um LLM agêntico que vai estar, de certa forma, pintando com esses pincéis, mas acho que será outra coisa. >> Sim. Alex, sei que você mencionou

18:13 que contratar é uma grande prioridade para você na Wave agora. Por que não usar o Astra? Você precisa de uma equipe? Quer dizer, o Astra pode ser sua política? >> Primeiro, não quero comentar os modelos mais recentes e incríveis da semana. Acho que, obviamente, temos viés de atualidade, e na semana que vem haverá algo interessante. Mas, na verdade, acho que há dois componentes. Para resolver a robótica, digamos, você precisa de modelos com certas capacidades. E, de vez em quando, vemos um salto nessas capacidades, e as pessoas ficam muito empolgadas e acreditam que esse salto pode viabilizar coisas novas. E

18:43 talvez seja verdade, talvez não. Acho que, para resolver a robótica, é preciso ter a capacidade de entender semanticamente a cena, e os modelos já são bastante bons nisso há vários anos. Também é preciso ter capacidade de controle de baixo nível, controle preciso, e os modelos fundacionais e de fronteira ainda não são bons nisso. Há muitas empresas e iniciativas tentando resolver isso diretamente, porque são necessários esforços e dados dedicados. Outra capacidade é o raciocínio espacial ou incorporado, que vai além do

19:15 raciocínio semântico: ser capaz de entender relações espaciais, movimentos e física, de uma perspectiva perceptiva. Os modelos de fronteira não têm sido muito bons nisso. Acho que é uma área de pesquisa ativa e que vamos ver algum progresso. Acho que o Astra demonstra um grande salto nesse domínio. Outra capacidade é a física inversa: a capacidade de pegar dados reais, convertê-los em simulação, fazer algum trabalho nisso e voltar. Acho que os modelos de hoje parecem estar fazendo um trabalho melhor. Então, há um salto aí.

19:45 Agora, vamos juntar todos esses ingredientes e tentar ver o quanto conseguimos resolver em robótica. Muito provavelmente, não vamos resolver tudo, mas acho que vemos progresso. E, quando se vê um salto em algumas dessas capacidades, é importante experimentar e ver onde as coisas falham, certo? Então, é uma época empolgante, e vamos ver saltos também em outras áreas daqui para a frente. >> Com certeza. Qual foi a reação de vocês ao Astra? >> Sim, temos acompanhado as pessoas compartilhando resultados bem-sucedidos do uso do Astra em muitas tarefas que eu não achava que um modelo de linguagem fosse capaz de fazer e, para ser sincero, acho que isso me abriu uma nova perspectiva. No passado, quando pensava em modelagem do mundo, minha preocupação principal era a linguagem e o vídeo, certo? Vídeo e ação também, certo? Vídeo e ação andam juntos. Esses são dados brutos, e a linguagem ajuda a entender o que aconteceu ou a controlar o que se quer que aconteça na saída. E também tem o código, que é uma parte importante da

20:16 modelagem do mundo, certo? E o que isso mostra é que, se você tem um coding agent poderoso que consegue escrever código 3D e fazer simulações, ele de fato faz algum tipo de modelagem do mundo. Também permite representar sua compreensão do mundo na forma de código. E o sistema de modelos fundacionais é um modelo poderoso que reúne tudo isso. Aí vem a sinergia. Isso sugere que o código também é um componente importante que devemos incluir nos

20:49 modelos do mundo, na forma mais geral de um modelo do mundo, para ajudar desenvolvedores de IA física. Então, é realmente chocante, mas também acho que isso vai mudar a forma como muitas tarefas de IA física serão resolvidas daqui para a frente. >> Com certeza. Sim. Achei bastante chocante o fato de um LLM conseguir fazer isso pronto para uso. Você tem toda razão, Alex. O controle minucioso parece ser um fator limitante, mas vai ser interessante ver o que acontece a seguir. >> E também não é pronto para uso, certo? Eu

21:22 quer dizer, ele foi treinado. É RL para essas tarefas. >> Ah, claro. Ótima observação. >> É algo muito deliberado, que você precisa tentar fazer, >> certo? Não aconteceu por acaso. Boa ressalva. A questão da precisão está relacionada a isso, porque, como estão usando RL, é preciso usar RL para essas tarefas da forma como elas são configuradas, certo? Porque não consigo fazer os gradientes fluírem pela geração do código e pela execução do código até os pixels, ao contrário, por exemplo, dos modelos de vídeo, nos quais dá para simplesmente fazer gradiente descendente. E acho que é por isso que eles sempre erram por alguns pixels, porque

21:52 os modelos de mundo, a forma mais geral, um modelo de mundo para ajudar desenvolvedores de IA física. Então, é realmente surpreendente e, mas também acho que isso vai mudar a quantidade de tarefas de IA física que são resolvidas daqui para a frente. >> Com certeza. É. É. Achei que só o fato de um LLM conseguir fazer isso sem ajustes já era bem surpreendente. Você tem toda a razão, Alex. O controle minucioso parece ser um fator limitante, mas, sim, vai ser interessante ver o que acontece a seguir. >> Também não é sem ajustes, certo? Quer dizer, ele é treinado. É RL para essas tarefas. >> Ah, claro. Ótima observação. >> É algo muito intencional, algo que você precisa tentar fazer, >> certo? Não foi por acaso. Sim. Boa >> ressalva. A questão da precisão está relacionada a isso, porque, como eles estão fazendo RL, é preciso fazer RL para essas tarefas da maneira como estão estruturadas, certo? Porque não consigo fazer os gradientes fluírem pela geração do código e pela execução do código até os pixels, ao contrário, por exemplo, dos modelos de vídeo, nos quais basta fazer descida do gradiente. E acho que é por isso que eles sempre ficam alguns pixels fora do lugar, porque…

22:23 quer dizer, ele é treinado. É RL para essas tarefas. >> Ah, claro. Ótima observação. >> É algo muito intencional, algo que você precisa tentar fazer, >> certo? Não foi por acaso. Sim. Boa >> ressalva. A questão da precisão está relacionada a isso, porque, como eles estão fazendo RL, é preciso fazer RL para essas tarefas da maneira como estão estruturadas, certo? Porque não consigo fazer os gradientes fluírem pela geração do código e pela execução do código até os pixels, ao contrário, por exemplo, dos modelos de vídeo, nos quais basta fazer descida do gradiente. E acho que é por isso que eles sempre ficam alguns pixels fora do lugar, porque

22:54 É só que, tipo, RL é um sinal de supervisão extremamente fraco, que permite fazer as coisas de forma grosseira, por meios mágicos, mas, tipo, a última etapa é muito, muito difícil. >> Totalmente. É. Certo, estamos entre vocês e o almoço. Então, vamos fazer mais uma pergunta e depois é hora do almoço. Prometo. Então, por um minuto, vamos adotar uma visão contrária. Digamos que todos nós estejamos de volta aqui em 2030 e os world models tenham dado errado. Digamos que não tenha funcionado, certo? Que tenha sido um desvio. Que outra coisa tenha surgido. Qual seria o motivo? Por que os world models, como…

23:26 estamos olhando para o futuro, ampliando a escala dos vídeos, achamos que vamos fechar a lacuna entre simulação e realidade. Por que isso não daria certo? >> Acho que o maior problema dos modelos baseados em vídeo, dos world models, é a velocidade. Eles são muito caros e lentos. Mesmo os que funcionam em tempo real >> têm uma latência de cerca de 100 milissegundos, 200 milissegundos. Isso é um problema enorme em comparação com texto, em que a resposta a uma consulta em texto pode ter apenas algumas palavras e pode…

23:57 realmente mudar sua vida, certo? O texto é um meio muito bom para isso. Pixels são muito caros de produzir, e você precisa de muitos deles para fazer qualquer coisa. Acho que esse é o maior problema. >> Certo. Latência. Entendi. Certo. Mingu, Alex, o que poderia dar errado? >> Bem, acho que uma coisa que eu gostaria de incentivar é irmos além do vídeo. Acho que a modelagem do mundo não se limita a dados visuais. Há muitos dados de sensores, especialmente no mundo físico, a portas fechadas, nas empresas, que de fato capturam o mundo de muitas maneiras diferentes; usar esses dados será muito importante. Acho que…

24:29 começamos pelos dados mais abundantes, como linguagem e vídeo, mas não devemos esquecer que estamos tentando modelar o mundo e que há muitos outros sinais que podemos usar. >> Sim. Certo. A última palavra é do Mingu. O que poderia dar errado? >> Não acho que vá dar errado, mas… [risos] Porque acho que a IA física é um problema que toda a comunidade, toda a sociedade, está determinada a resolver, certo? E, para resolver o problema da IA física, é preciso ter algum tipo de modelagem do…

25:00 mundo. E o que poderia dar errado é talvez os world models não terem um papel tão importante quanto esperamos hoje. Isso poderia acontecer se os world models não escalarem, se não tivermos uma maneira sustentável de incorporar continuamente novos dados e mais capacidade computacional para melhorar o desempenho nas nossas tarefas. Se isso falhar, talvez eles não tenham um papel tão importante. Esse é um cenário possível, mas acho improvável. >> Entendi. Sim. Bem, acendeu a luz vermelha. Obrigado pelo tempo de vocês hoje, John, Mingu e Alex. Foi ótimo.

25:31 Espero que possamos fazer isso de novo. E espero que não estejamos naquele caminho de que falamos, e que os world models estejam arrasando em 2030 e estejamos conversando sobre como já passamos para a próxima coisa. Obrigado pelo tempo de vocês. Obrigado.

Transcrição original

[00:00] Please welcome to the stage Nvidia VP of Cosmos Lab Mingu, Google DeepMind principal research scientist John Baron, Wave research director Alexander Tosev, and Welch Labs founder Steven Welch. >> Hey everyone, thank you for joining us. Um, so today we have Mingu. He’s the vice president of Nvidia’s Cosmos, which is an open platform world model. We’ve got John Baron. He’s a principal research scientist at Google Deep Mind

[00:30] and one of the authors of Nerf. And then finally, we have Alex Tersev. He co-authored one of the first papers using deep learning for human pose estimation back in 2013. He co-led Apple’s development of the multimodal LLM MMM1 and recently joined Wave to lead their foundation models for robotics. So excited to talk to everyone today. Um so let’s dive right in. Um this was and I’m Stephen Welch. I run a YouTube channel called Welch Labs. Um, the most popular question from our audience when I told them who the panelists were was, uh, what problems do

[01:03] world models solve? So, anyone want to jump in? What problems can we solve with with world models? >> Yeah, it’s a tough one. I don’t think we have any yet, do we? Um, I mean, the the sub question, right, is like what is a world model, which I think is also completely illdefined. Should we should we workshop that? >> Let’s do it. I uh I guess like the default thing is a controllable video model, something that’s making pixels and you kind of interact with it. I gather that runway is doing a lot in this space. Um but I

[01:35] think there’s lots of other bets in the space, 3D sorts of things, things like uh world labs, radiance fields, and then there’s coding models. I think these all could be world models. I think it’s an aspirational thing, you know, and uh it’s a thing that we think might exist and we don’t know what it’s going to be yet. >> Yeah. When I was thinking about this question, I thought like if we were sitting here in 2018 or something and I asked you what problem does a language model solve, right? You might say you wouldn’t say this, but you know, next token prediction, right? And who cares,

[02:05] right? Um so maybe a deeper version of the question is if we can figure out this world model thing and maybe we are well on the path to doing so. Um what what new problems will become emergent? Like we had no idea that LLMs would be so good at writing code and could automate so much of software >> if we have these incredible world models. What what new problems do you guys see on the frontier? Right. So robotics is obviously a huge one. We could possibly make huge strides in robotics. Is that kind of the main one or are there other steps along the way you guys see from from world model

[02:37] adoption and world models getting better? >> Yeah. So maybe I can chime in on these topics. So people live in the world and we want to solve some problems and a lot of problem we want to solve involve some understanding of the world some modeling of the world and because there are different kind of problem we want to solve. So there are different kind of war models right. So you can have a war model for navigation. So help you understand how to avoid obstacle to reach the your destination and it can be

[03:08] also you want to predict what happen next if you take certain action right you know if you drop the apple into the bowl what going to happen and also there’s understanding part of it right so and I think a war model become popular because people are we are very good at the digital AI you know AI living in computers and necessarily we think about what happen next, right? And we all dream about having robot to do some task force, right? And also autonomous vehicle, you know, take you

[03:41] from destination A to B without, you know, your engagement. So you can sleep all the way. And and to have an AI that u successfully complete task in a physical war, naturally we think that AI need to have some kind of war modeling there, right? So, so I I think that is why war model become so popular uh recently and and because we expect uh the physical AI to solve all kind of different uh tasks. So I think they’re

[04:13] going to be also diverse war models. So I don’t think a war model is uh is a single um let me put this way it multiple model together and uh what I’m excited about is uh foundation model we know that uh if you can aggregate data uh represent different patterns together and trend uh puts the this capacity bottleneck and you sometime can train

[04:44] the model to generalize to solve of unseen task. Now we are looking at so many different war models, right? If we puts the data for those war model together, will we be able to cover some of the war modeling we didn’t foresee, we didn’t have in the uh in this uh training data and how they can help physical to solve other task. >> Yeah, makes sense. Alex, is it clear how you guys will use world models at Wave? I think in you know at way if we learn we’ve been pioneers in learning for

[05:15] autonomy in general for policies and now we’re starting in a robotics effort so world modeling is you know our answer to learning simulation as well >> I think the way how we think about world models at least today given the state of affairs is that it’s a bit challenging to say that we’re modeling the world but I think world models are really good way to make real data to some degree steerable editable >> and useful for both uh training and and validation in terms of synthesizing data as well as creating scenarios that are

[05:45] you know quite interesting for the problems it asks right >> yeah absolutely so we’ve talked about simulation a bunch right and I think the big question in my mind certainly is how big is the sim to real gap how big of a deal is it right so let me think of maybe a good way to phrase it right so um if we do close this gap how will we know will it be obvious immediately robots we’re going to way better like how will we know if we’ve closed this sim to gap. I mean, it seems like we’re making progress, but what are what will the signs be? >> What’s the simulator gap? Like the sim

[06:16] to real gap? >> Sorry, sim to real audio is a little hard. Um, yeah. How will we know if our simulators are are good enough, right? Like what will we what will we see? >> I I think there’s two gaps there that like the sim tore gap is uh probably solved by scaling video models the way they they currently [clears throat] are. That like that that’s all scaling well. That seems like that’ll just work. Um, I think there’s a bigger kind of simulator gap, which is that like the point of a simul like a physics simulator is to tell you what’s going to happen in the physical world. Yeah. Um, and uh, you

[06:48] you could imagine scaling video models such that the pixels they make for you look more like the real world, but that’s not really what you want for most simulators, right? Like if I’m doing, you know, uh, aerodynamic simulation, I don’t want a video of wind going around an airplane. I want the airplane. Um, and I think that that that gap is the interesting thing, right? Like how will we actually get an airplane out of the thing and >> have verifiable physics? Um, that is something that I think is just

[07:18] completely out of scope for the uh controllable video model paradigm for world models and is is kind of uh underexplored. >> Right. Right. Yeah. Absolutely. What uh what’s your take, Mu? So I’ve been thinking about how to define we close the gap. >> Yeah. >> And you can see from my earlier comments I’m more like a solving from the solving task perspective. Right. Let’s say I want to solve this physical task and I train two models. One model leverage all

[07:51] the real world data and the other model leverage data from let’s say war model or simulator. If these two model uh both achieve similar quality uh in terms of the accuracy and both above the bar of potassium uh kind of threshold then I would say that seem to real gap for this particular task is solved that’s how I will define it and and you know I believe there are many different wall modeling for some of them I think we are

[08:22] very close I seem to uh real gap for navigation I think that’s one is more foreseeable we’re going to be solved but synal gap for manipulation uh let’s say you compress some sponge or others in order to or try to push some cable into the the the socket those are harder right so I think there are different world model problem and some of them the real gap we are closer and some we are still far away

[08:53] >> right >> yeah totally anything to add Alex >> well I think that I mean I believe the question is a bit misleading. Sim to real gap is not a binary thing, right? There is sim to real gap in various aspects. >> So if you think about robotics, simal gap is closed for locomotion. I think the current state-of-the-art locomotion policies are trained in simulation. So really have to understand exactly what you’re after and um what aspects of the problem you’re trying to solve. If I look at applications of word modeling in particular um training let’s

[09:23] say with reinforcement learning um unfortunately area is pretty good at figuring out idiosyncrasies and problems in your word model. So uh it’s pretty challenging to train a strong model work model where Ariel is actually can produce a good policy because it’s going to find weird things and uh so that’s an example where you know we still struggle a lot and it’s kind of counterproductive in a sense that uh you really really need strong work models and I think there is also the question when you talk about simal gap also think about the way how we use these word models and let’s

[09:54] say we should do RL are there ways to mitigate this on the learning side where you’re looking at uh learning only on the distributions where you have a strong performance of your world model. Identifying the distribution maybe have world models that even produce uncertainty quantification so that you can utilize it during your learning integrated with real data where you verify against real world unrolls and make sure what you’re learning is the right thing. So I think there is alo question of how you use them and how do you structure your learning problem so that you can actually leverage the strengths and avoid the weaknesses of word modeling.

[10:25] >> Right? Makes sense. Okay, let’s keep moving here. Um, so I don’t want to completely rely on comparisons to language models, but I think it’s appropriate if world models are kind of our next frontier. Um, I think with language modeling, what was so shocking is we had this prediction target of next token prediction and all of a sudden you got these amazing emergent properties like in context learning for example. Um do we think that with do you guys think for world models do you think we’ve found the right prediction target is

[10:55] predicting the next frame or you know various video-based prediction targets have we found the right target for world modeling um and how do we know right are we seeing those emergent things come from world models that are surprising us um are we predicting the right thing >> it’s so the comparison to language models is so hard because uh language models are named really well right they they model language anguage and you can imagine someone calling them thinking models and that wouldn’t be wrong but it would be confusing and you’d always be

[11:26] like is it really thinking or is it just you know it’s the language model describes the the output and the input it’s uh the world model paradigm I think is not a very good one because it doesn’t describe the inputs or the outputs to the system right like I I actually think models that make the world is a good idea that’s a thing we should be doing but that’s not what controllable video generation systems are doing Uh so yeah, not sure how to reconcile that. Um I think that in terms of the target, so that’s kind of like what’s the data, what’s the loss.

[11:57] >> Sure, >> I think training on video is a great idea. You should train models that predict uh the next pixel. That’s probably the the best thing we have. We have so many pixels. Video is infinite. Um I think the bigger question is is more like what is the representation under the hood that is making those pixels? Is it a diffusion model? Is it an agent orchestrating a a scene graph and then rendering it? Is it some sort of 3D thing that I think is completely up in the air and I think that which paradigm wins there will unlock different things. >> Yeah, very interesting. Um, so Cosmos is

[12:30] obviously highly multimodal, right? Um, do you find so kind of returning to is predicting video enough, right? You guys use all different kinds of prediction targets and inputs. Um have you found that to be a big differentiator if you if you had a video only cosmos model or if you took away most of your multimodality how much would that impact performance you think? Yeah. So it’s all back to our belief that there are many different war models and in the mission of cosmo we want to put them together to build a great foundation uh to enable

[13:01] physical developers right and there’s a world understanding part that’s a world generation simulation part and there’s also how you know the the world change when you apply certain action when the agent in the scene you describe apply certain action right so and like John said earlier uh deep learning is all about learning the representation right when you stack uh transformer together uh and to ser uh solve certain u

[13:32] training objective uh the next token prediction and you have a uh amazing representation learn uh you can use it for other task right and and for the war model it’s a bit more complicated not like a purely language what like what John described earlier uh it’s in the real world and real world war uh the most uh uh you know available form of data to earth is the videos the internet video huge amount but when you look at the internet videos you have the

[14:04] raw pixel but you don’t observe the action taken to cause the change what you observe right so so there’s also some hidden scenes there so my view is more like a this is a challenging problem and we’re going to take whatever objective we need uh to learn a good representation right and it can be sue next token prediction it can sue from the division objective and can also be pursue like a regression predator action so my view is more like a this scene uh

[14:35] put together uh and s the information bottleneck to force to learn a good world representation both good for understanding and the simulation task >> right right that makes sense And just going back to the representation comment that you made, John, um, and possibly Alex could weigh in here, too. Um, it seems like the diffusion transformer and auto reggressive variants of it. Um, seem pretty effective right now, like they’re solving a lot of problems, right? And it seems like the recent interviews I’ve done, it kind of seems

[15:06] like a lot of focus is turned on to getting the right set of data to really scale, you know? Um, but elaborate more. So, if if it’s not a diffusion transformer, right? What obviously you worked on Nerf John? Um, what do you see as kind of the main alternatives to a diffusion transformer being the way we learn the representation? >> Sure. Uh, I think diffusion and transformers are probably here to stay. Those are very mature technologies. It’s not obvious that they would be displaced by anything. >> Um, but I think you still have a lot of choices around what what they’re doing. >> Oh, I misunderstood. I’m sorry. I

[15:37] thought you meant replacing the whole thing. But yeah, tell us more about Yeah, >> but like uh I I think the the the question of using a diffusion transformer to make uh latent that are then decoded into pixels is a very specific choice. >> I I am most excited about the idea of you know diffusion transformers and all that good stuff where um so the problem with the video paradigm right is I can’t reach into the video and grab stuff. I can’t like do anything with this video of a house. I want to live in a house. I don’t want to look at a video of the house. Um uh you can imagine and this is

[16:08] a thing that people are starting to build uh systems where the pixels are not some uh neural blob that maps latence into pixels in a way that’s uninterpretable but is just a rendering engine. And you know this is how Nerf works. This is how a variety of work. Um that that I think is underexplored. It’s hard to do because you have to constrain yourself to obey physics. But then the representation you you recover is interoperable with everything else that we have. You could throw that into a physics simulator. You could throw it into a video game, right? >> Um and there like that’s going to be a

[16:41] huge unlock for uh all sorts of digital experiences, but also just making stuff physically in the world in like a manufacturing context. >> Absolutely. Okay, great. Um in the interest of time, let’s keep moving here. Um, so there was a lot of noise over the last few weeks about the Astra release, especially using uh OpenAI Astra as a robotics policy kind of out of the box. Um, and then also some noise around Astra being um pretty effective at CAD 3D kind of applications. Um, did

[17:12] the Astra release was that kind of an update for anyone about what you thought kind of a general purpose agent could do in terms of either robotics or 3D? >> It certainly is surprising, right? like it’s a very striking set of results. Um I I think of Astra as or all these kind of coding agent sort of models as being basically computer use um via the normal tools that we have for gamedev and movie making and things like that. Um and it’s not just 3D like there’s those clawed

[17:42] results of like where it makes videos out of like kind of vector graphics. Uh and I think that that’s cool like that’s a totally reasonable paradigm for doing that. Um my my concern would be that uh I don’t really see a path towards those things kind of transcending the limits of existing like 3D technology like >> uh like we’ve already done the experiments as a society of having like a thousand people work for a decade to make a video game that looks as realistic as possible. That’s like what Grand Theft Auto 6. It’s like like that’s that’s what you get and it still

[18:13] doesn’t look like reality. It looks like a video game. Um, and I think that Astra is like, well, you could do that in an hour now. >> Sure. Um, which is really cool, but uh, I think that it’s, you know, making stuff out of these primitives you already have of scene graphs and triangles is kind of there’s a ceiling there. And I think that, uh, it’s interesting to imagine, you know, what gets you past that. I think whatever is past that will still be orchestrated by an agentic LLM who’s kind of >> painting with those those paint brushes, but it’ll be something else, I think. >> Yeah. So, Alex, I know you mentioned

[18:43] that hiring is a big focus for you at at Wave right now. Um, why not just use Astra? Do you need a team? I mean, can Astra just be your policy? >> First of all, I don’t want to comment on the latest greatest models of the week. I think we obviously have recency bias and next week there will be something interesting. But really, I think there are two components. Um, in order, let’s say, to solve robotics, you need you need models that have certain capabilities. And occasionally we see a step function in these capabilities and people get really excited and they believe that step function can enable new things. And

[19:15] maybe that’s true, maybe that’s not true. Um I think in order to solve robotics, you need the ability to semantically understand the scene and models have been pretty good for this for a number of years now. U you need also the ability to do low-level control, precision control and foundation model, frontier models are not good at it yet. There are a lot of companies and efforts that are trying to tackle this directly because you need dedicated efforts and data for that. Another capability is spatial or embodied reasoning which goes beyond

[19:45] semantic reasoning being able to understand spatial relationship motions uh physics in um kind of from perceptual standpoint. Frontier models haven’t been very good at this. Um I think there it’s an active area of research and I think you know we’re going to see some progress and I think astr demonstrating a strong jump in that domain. Another capability is inverse physics. The ability to take real data, convert it into simulation and do some work there and go back. I think um you know the models today seem to be doing better job. So there is a step function there.

[20:16] Now put all these ingredients together. Let’s try to see how much we can solve robotics. Most likely we wouldn’t be solving but I think we we see we see progress and it’s important when you see a step function in some of these capabilities to give it a go and see whether where the things are failing, right? So it’s an exciting time and we’re going to see step functions you know >> elsewhere going forward. >> Absolutely. Among you what was your response to Astra? >> Yeah we have been uh watching people share their successful results of using Astra for many tasks I didn’t think uh

[20:49] language model was capable to do and uh to be honest um I think they opened a new window to me. So in in the past when I’m thinking about war modeling I mainly concerned about language and video right video uh also action right video and action come together uh those are raw data and language help you understand what happened there or control what you want to happen uh in output and then also about code is an important part of

[21:22] war modeling as well right and what show is that if you have a powerful coding agent that can write 3D uh code uh do simulation, it actually do some sort of war modeling and it also allow you to represent your understanding of war in the form of code and the system of foundation model is a powerful model that puts everything together and then the synergy right so now it suggest that actually code is also one important component that we should bring in into

[21:52] the uh the war models the more general form a war model to help physical AI developers. So, it’s really shocking uh and but also I think it’s going to u change how many physical AI uh task is solved moving forward. >> Absolutely. Yeah. Yeah. I thought um just the fact that an LLM can do that off the shelf was pretty shocking to me. You’re totally right, Alex. The fine fine grain control seems, you know, a limiting factor, but um yeah, I was it’ll be interesting to see what happens next. >> It’s also not off the shelf, right? I

[22:23] mean, like it’s trained. It’s RL for these tasks. >> Oh, sure. Great point. >> Uh like it’s it’s a very intentional like thing you have to try to do, >> right? It wasn’t wasn’t an accident. Yeah. Good >> qualification. The precision thing is is uh related to that because like >> the fact that they’re RLing, you have to RL for these tasks the way they’re set up, right? Because I can’t get gradients to flow through the generation of code and the execution of code to the pixels unlike say video models which you can just do gradient descent. Um, and I think that’s why there’s always they’re always off by a few pixels because like

[22:54] it’s just a very like RL is a extremely weak supervisory signal that let you get things coarsely in magic ways, but like the f the last mile is very very hard. >> Totally. Y Okay, we are in between you guys and lunch. So, we’re going to do one more question and then lunchtime. I promise. Um, so taking a contrarian view for a minute. Let’s say we’re all back here in 2030 and world models are have gone poorly. Let’s say it didn’t work out, right? It was a detour. Something else came along. Um, what’s the reason? Why would why would world models, as

[23:26] we’re kind of looking forward into the future, scaling up video, we think this is going to we’re going to close the sim to real gap. Why would this not work? >> I I think the biggest problem with video based models, world models, um, is speed. They are very expensive and slow. Even the ones that are real time >> have a latency of 100 milliseconds or so, 200 millonds. Um, that’s a really big problem compared to text where um the the output to a text query can be just a handful of words um and can

[23:57] really change your life, right? Like like the the text is a very good medium for this. Uh pixels are very expensive to make and you need a lot of them to do anything with. I think that’s the biggest problem, >> right? Okay. Latency. Got it. Okay. Mingu, Alex, what could go wrong? >> Well, I think one thing I would encourage us is to go beyond video. I think world modeling world is not only um visual data. There is a lot of sensor inputs especially in the physical world behind closed doors in companies that actually capture the world in many different ways and using that data is going to be quite important. I think we

[24:29] start with the data that is more plentiful like language and video but we should not forget that we’re actually trying to model the world and there’s a lot more signals to utilize in addition. >> Yeah. Okay. Last word goes to Mingu. What could go wrong? I I don’t think it will go wrong but uh [laughter] so uh because I think physical eye is a problem that the whole community the whole society determined to solve right and to solve physical eye problem you need to have some sort of modeling of

[25:00] the world and and what could go wrong is maybe war model doesn’t play uh as important role as we expect today and that could happen if war model doesn’t scale we don’t have a kind a sustainable way of continually ingest new data, new compute to make it better for our task. If that fail, uh, it may not play a big role. That that’s one possible scenario, but I think it’s unlikely. >> Got it. Yep. Well, we got the red light. Thank you for your time today, John, Mingu, and Alex. This was great. Uh,

[25:31] looking forward to doing it again. And hopefully it’s not that, you know, path we talked about and world models are crushing it in 2030 and we’re talking about how we’ve onto the next thing. Thank you for your time, guys. Thank you.