De VLMs e VLAs a agentes incorporados — Armen Aghajanyan, Perceptron AI

Ver no idioma original →

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: From VLM/VLA’s to Embodied Agents — Armen Aghajanyan, Perceptron AI · Canal: AI Engineer · 20:19 · Assistir no YouTube

Tópicos: Agentes de IA, Modelos de IA, Modelos multimodais, Robótica e sistemas autônomos

Resumo

Armen Aghajanyan apresenta a visão da Perceptron de desenvolver embodied foundation models que percebam, raciocinem e ajam no mundo físico em tempo real. Ele descreve desafios de treinamento ligados à escassez de sinais de supervisão e ao crescimento do context window, e explica como a empresa usa compressão e seleção de tokens para lidar com eles. O palestrante mostra tarefas de percepção e controle realizadas por um único modelo e apresenta resultados sobre a relação entre dados de vídeo e dados de teleoperação. Na sessão de perguntas, aborda limites no entendimento temporal, robustez e aplicações de extração estruturada.

Pontos-chave

• A Perceptron busca unificar percepção, raciocínio incorporado e controle em embodied foundation models.
• Em vídeos longos, a supervisão pode cobrir apenas uma pequena fração dos tokens de entrada, criando sinais de treinamento esparsos ou inadequados.
• Prever cada pixel gera um sinal denso, mas pode dar importância excessiva a elementos de fundo em vez de objetos e interações relevantes.
• A abordagem de data sparse mixture of experts permite que o modelo aprenda quais tokens analisar ou ignorar, conforme a tarefa.
• A empresa afirma que seu modelo Mark1 foi treinado com um conjunto de dados de um petabyte e combina texto, imagens, vídeos e trajetórias.
• O modelo pode reformular tarefas clássicas de visão computacional como tarefas agentic, usando ações como ampliar regiões e ajustar o contraste.
• Aghajanyan afirma que mais dados de vídeo de pré-treinamento podem compensar parte dos dados caros de teleoperação em modelos incorporados unificados.
• Combinar percepção e controle pode aumentar a robustez a mudanças de fundo e iluminação, embora o palestrante ressalte que ainda há limitações.

Capítulos

Início	Capítulo	Resumo
00:01	Visão da Perceptron e modelos multimodais	Aghajanyan apresenta a missão da empresa e descreve a evolução de VLMs e VLAs rumo a modelos incorporados unificados.
03:07	Desafios de supervisão e seleção de tokens	O palestrante discute a escassez de sinais de treinamento em vídeos longos e a abordagem da Perceptron para selecionar tokens relevantes.
08:48	Mark1 e tarefas de percepção agentic	Ele apresenta o modelo da empresa e exemplos de tarefas visuais resolvidas por meio de ações como ampliar regiões e alterar o contraste.
12:23	Scaling laws e controle robótico	Aghajanyan descreve resultados sobre a combinação de dados de vídeo e teleoperação e mostra tarefas robóticas que integram percepção e controle.
16:01	Perguntas sobre tempo, robustez e aplicações	Na sessão de perguntas, o palestrante comenta o gerenciamento de contexto, a robustez a mudanças visuais e a extração estruturada.

Citações

Queremos nos afastar das distinções entre VLMs, VLAs e modelos de mundo e chegar a algo que chamamos de embodied foundation models. — 00:32

Você tem 1 milhão de tokens entrando e calcula a loss em apenas 2% deles. — 04:08

Deixe o modelo descobrir quais tokens deve analisar e quais deve ignorar. — 07:17

Você pode trocar 10 vezes menos dados de teleoperação por 10 vezes mais dados de vídeo de pré-treinamento. — 13:58

Conceitos e entidades

• Perceptron AI (empresa): Empresa cofundada por Armen Aghajanyan que desenvolve modelos de IA para percepção e interação com o mundo físico.
• Armen Aghajanyan (pessoa): Cofundador e CEO da Perceptron, apresentado como palestrante sobre embodied foundation models.
• embodied foundation models (conceito): Modelos que integram percepção, raciocínio incorporado e controle para interagir com o mundo físico.
• VLM (conceito): Modelo multimodal que recebe imagens, vídeos e texto e pode gerar texto como saída.
• VLA (conceito): Modelo que estende as saídas de modelos multimodais para incluir ações.
• data sparse mixture of experts (conceito): Abordagem descrita na palestra em que um roteador ajuda o modelo a selecionar os tokens relevantes para processar.
• Gemini 3.1 Pro (modelo): Modelo usado pelo palestrante como referência de comparação para o modelo da Perceptron.
• Mark1 (modelo): Modelo da Perceptron mencionado como parte de sua oferta de pesos para um grupo limitado de parceiros.
• teleop data (conceito): Dados coletados por teleoperação, apresentados como mais caros do que dados gerais de vídeo.

Tradução completa (pt-BR)

00:01 [música] Sim, acho que vamos começar. Sou Armen, cofundador e CEO da Perceptron. Vamos falar um pouco sobre o que fazemos, mas o que quero discutir hoje, principalmente, é nossa perspectiva de pesquisa: queremos deixar de fazer distinções entre VLMs, VAS, world models — seja lá como você quiser chamar — e passar para algo que chamamos de embodied foundation models.

00:32 Então, especificamente, o que fazemos na Perceptron, nossa verdadeira estrela-guia, é construir fundamentos de IA física que nos deem a capacidade de perceber, compreender e interagir com o mundo físico em tempo real. E a missão que nos guia é, fundamentalmente, conectar o mundo físico ao digital. Isso significa que nosso objetivo é

01:04 estar onde quer que haja um dispositivo, um instrumento, um robô, uma câmera ou um sensor, fornecendo inteligência a ele. Especificamente, quando falamos desse paradigma de ser capaz de perceber, raciocinar e agir, vemos isso como uma unificação da modelagem multimodal tradicional. Eu vim da FAIR, onde passei seis anos, e meu objetivo lá era tentar descobrir como ampliar as receitas para modelos multimodais. E então

01:35 uma das primeiras coisas em que começamos a trabalhar, e sobre a qual publicamos bastante nesse domínio, foi a fusão precoce. A ideia é incorporar todas essas modalidades o mais cedo possível. A verdadeira complexidade está em descobrir como representar corretamente todas as diferentes modalidades, tanto na entrada quanto na saída, para que possam ser representadas de maneira holística. E os VLMs acabaram se tornando aquilo em que você provavelmente pensa quando falo de modelos multimodais. Então, trata-se da capacidade de receber uma imagem, um vídeo e algum texto, e ser

02:05 capaz de gerar algum texto. Há variações disso. Existem modelos como os modelos ER, os modelos de raciocínio incorporado, capazes de gerar talvez alguns pontos de ancoragem e de realizar um pouco melhor a compreensão ou o raciocínio espacial. Depois, temos coisas como VALAs, que ampliam o domínio de saída para além do texto, incluindo ações. E, tradicionalmente, claro, eles continuam sendo construídos sobre backbones padrão de VLMs. Embora tenha havido algumas tentativas de migrar dos VLMs para

02:36 coisas como world models ou world action models, embora nada tenha sido muito promissor até agora. Depois chegamos a variantes de modelos multimodais mais interessantes e complexas, como os world models, nos quais você gera um vídeo a partir de algumas entradas, que podem ser imagens, vídeos ou, na verdade, imagens, vídeos e ações. E o último ponto de que vou falar é algo recente que chamamos de semantic world models: você não gera nada propriamente, mas aprende algum tipo de representação que acredita ser útil no futuro.

03:07 O que entendemos por embodied foundation model é, na verdade, uma formulação que permite realizar a percepção padrão, o raciocínio incorporado e, em seguida, o objetivo que nos guia — o controle — tudo em um único modelo. Assim, é possível raciocinar sobre diferentes modalidades sensoriais na entrada e realizar, na saída, a maior parte do que mencionei, tudo dentro de um único modelo unificado. Vou falar rapidamente sobre dois desafios, desafios fundamentais de pesquisa que enfrentamos, e explicarei como

03:38 nossa empresa abordou isso e o que outras pessoas também estão fazendo por aqui. Primeiro, pense apenas no seguinte: se você tentar modelar algo como um vídeo de uma hora, dependendo da representação, talvez tenha 1 milhão de tokens visuais entrando. A verdade é que não existe nenhum dado de referência que você possa usar de forma eficaz, certo? Então, você pode fazer coisas como — e as pessoas fizeram isso, claro — extrair as transcrições, prever as transcrições a partir do vídeo ou talvez sintetizar rótulos para alguns quadros, fazer algumas perguntas, e acaba sendo

04:08 um desperdício enorme, certo? Pense no que entra no seu modelo: 1 milhão de tokens, mas você calcula a loss em apenas uns 2% de todos os tokens que entram. Isso é fundamentalmente problemático. E a verdade é que, seja qual for a maneira que você tente encontrar para resolver isso, estará essencialmente introduzindo um sinal de treinamento incorreto. Ou o sinal é esparso demais, sintético demais ou indiscriminado demais. Então, além do enriquecimento sintético, uma abordagem tem sido

04:39 prever cada pixel. É verdade que esse é um sinal muito denso, mas ele distribui muito mal a atenção. Você está tratando um pixel do fundo com a mesma importância que a ponta de uma garra, os pontos de contato, as falhas específicas ou a física. Então, o que fazemos na Perceptron — e essa é parte da nossa propriedade intelectual central — é pensar no que seria um objetivo perceptivo natural. Especificamente, como posso prever, de maneira muito automática, as percepções que achamos que serão importantes no futuro?

05:11 Por exemplo, você poderia definir algo manualmente, como: se você tem um braço robótico, a ponta das garras acaba sendo uma percepção muito útil para prever no futuro. As pessoas começaram a fazer isso. Por exemplo, o pessoal do app Momo, da AI2, fez isso. Há outros VAS que também fizeram isso. Mas essa ainda é uma percepção definida manualmente. Então, a questão é: dá para encontrar uma maneira automática de o modelo aprender semanticamente esse objetivo específico? A verdade é que encontramos uma maneira. Não vamos compartilhar aqui como fazemos isso, mas isto é só uma indicação de como abordamos o problema da esparsidade.

05:43 O segundo problema central em que nos concentramos bastante é o inchaço do contexto. Se você tem câmeras sempre ligadas, se tem robôs que não necessariamente ficam esperando, que não param, precisa raciocinar sobre uma quantidade muito grande de tokens por um período muito longo. E o texto é relativamente denso, enquanto o vídeo é relativamente esparso. Então, a questão é: existem avanços arquiteturais que permitam lidar com esse problema de forma nativa, em vez de tentar corrigir esse desequilíbrio em algum nível

06:15 sintético? Há algumas coisas que você pode fazer. Um princípio fundamental inicial é que você precisa começar a tratar modalidades diferentes como completamente distintas. Não dá para tratar tokens de texto como se fossem iguais a tokens de imagem, de áudio ou de vídeo. Uma coisa que você pode começar a considerar é focar na compressão espacial ou na compressão de tokens. As pessoas fazem coisas bem tolas; nós começamos fazendo essas coisas tolas, e elas funcionam. Você pode pensar em calcular médias das representações por partes

06:47 ao longo de um vídeo ou de uma imagem. E dá para obter algumas taxas de compressão interessantes, de até 10x. Mas isso ainda é mais ou menos uma gambiarra, e não existem métodos arquiteturais bem estabelecidos para resolver isso de fato. Então, nos últimos meses, lançamos o que acreditamos ser nossa abordagem para lidar com diferentes graus de esparsidade: deixar o modelo decidir quais tokens deve observar e quais não deve. E então lançamos

07:17 nosso artigo sobre mistura esparsa de especialistas em dados, que essencialmente permite fazer isso. Ele permite que o modelo — bem, há um roteador no modelo que permite que ele preveja qual token deve inserir e qual token deve ignorar. E permite fazer isso praticamente de graça em todas as diferentes camadas. Acontece que, se você simplesmente deixar o modelo aprender, sem codificar à mão nenhum prior arquitetural significativo, o modelo realmente aprende. Então, se você visualizar a computação esparsa em dados que nossos modelos usam, vai ver que eles aprendem naturalmente a começar a se concentrar em informações de densidade muito alta ou relevantes para a tarefa. E acontece que também há alocação dependente da tarefa. Então, se você olhar no canto inferior esquerdo, se fizer uma pergunta muito, muito geral

07:47 vai ver um mapa de atenção que se estende por toda a imagem. Portanto, o modelo simplesmente não sabe qual é a maneira adequada de alocar computação. Ao mesmo tempo, se você pedir para ele fazer algo como segmentar todas as frutas, vai ver que ele aloca mais tokens ao que acredita serem tokens de fruta. E esse é um truque muito bom e inteligente que usamos e publicamos; outras pessoas também estão começando a usar. A ideia é incorporar priors à arquitetura que sejam úteis para lidar com os desequilíbrios de esparsidade entre as modalidades, mas que não sejam tão rígidos a ponto de

08:18 os modelos não estarem realmente aprendendo de forma nativa. Então, reunimos tudo isso e talvez vocês tenham visto o lançamento: essencialmente, lançamos nosso modelo, que consideramos o primeiro modelo de fundação incorporado, algumas semanas atrás. Esse modelo está essencialmente na fronteira em comparação com o Gemini 3.1 Pro. Na verdade, é melhor que o Gemini em raciocínio incorporado. E custa algo como 15 vezes menos. Ele foi treinado essencialmente com esse conjunto de dados de um petabyte que coletamos literalmente de

08:48 tudo. São dados de rastreamentos da internet, das nossas próprias receitas de treinamento personalizadas e de pipelines de dados sintéticos. Temos esse petabyte de dados de texto, imagens, vídeos e trajetórias. Essas trajetórias podem ser muito gerais. Podem ser trajetórias de uso de computador ou de jogos. E acontece que, quando você começa a fazer essas coisas, surgem propriedades muito interessantes. A maior propriedade que observamos, e que em retrospecto parece meio óbvia,

09:20 é que você pode começar a pensar em tarefas clássicas de visão computacional como tarefas de agent. Neste caso, reformulamos essencialmente a detecção como uma tarefa de agent. Nosso modelo pode escrever código, pedir para ampliar partes específicas e mudar o contraste. E dá para ver aqui que este é um problema muito difícil. Acho que há um subreddit inteiro no Reddit dedicado a esses problemas de encontrar objetos muito difíceis em imagens. Nossos modelos fazem isso muito bem, mas de forma agentic. Então,

09:50 isso não é uma detecção clássica do tipo “detecte esta caixa”. O próprio modelo decide que precisa dividir a imagem em blocos. Precisa mudar o contraste. Ele propõe uma caixa aqui. Acho que aqui, sim, aumenta o contraste e consegue encontrar o pássaro. De novo, é muito difícil fazer isso, até mesmo para um humano, e humanos são muito bons em tarefas perceptivas. É uma tarefa relativamente difícil. E tudo isso vem simplesmente de termos modelos incorporados nativamente, que realmente entendem como observar diferentes modalidades.

10:21 E, dando sequência, como isso se relaciona com a visão geral da IA física aplicada à robótica? Peguei este slide emprestado do pessoal da GDM. Uma coisa que estamos começando a observar em sistemas agentic de robótica é essa separação entre o que chamamos de modelos de raciocínio incorporado, ou orquestradores, e modelos de política tátil. Pensem em problemas como fazer café, o que leva três minutos. Uma coisa que posso fazer

10:51 é tentar forçar todo o meu VLA a descobrir como realizar essa tarefa específica. Ou posso ter um modelo orquestrador que divide a tarefa em subtarefas, com uma política de controle tátil funcionando por cima. Há todo um espectro entre usar apenas VLA e usar esse tipo de sistema agentic. Mas o principal que quero destacar é que o raciocínio incorporado é um problema muito interessante e complexo, ainda não resolvido. Dito isso, nossos modelos continuam na fronteira em raciocínio incorporado. E, por estarem na fronteira, começamos a

11:21 ver coisas muito legais que não tínhamos visto antes. Aqui está um exemplo concreto de anotação de dados robóticos muito complexa — não egocêntrica, na verdade. Dá para ver o modelo pulando entre diferentes partes do vídeo, recortando trechos, verificando se as legendas estão corretas e fazendo autoverificação. E podemos fazer tudo isso porque nossos modelos são rápidos. Eles são significativamente mais baratos que qualquer outra coisa disponível. Se tentassem fazer isso com o Gemini, este vídeo provavelmente custaria alguns dólares, enquanto, para nós, provavelmente

11:52 seria nessa ordem de grandeza. E tudo isso surgiu da capacidade de ter essas capacidades de raciocínio incorporado de ponta, que simplesmente não tínhamos visto antes em outros modelos. Certo. Provavelmente vou compartilhar o maior avanço de pesquisa que tivemos, e acho que vamos divulgar mais sobre isso nas próximas semanas, provavelmente no Twitter. Uma coisa que descobrimos é que encontramos novas leis de escala para modelos de fundação incorporados. São modelos que, mais uma vez, permitem fazer treinamento baseado em controle,

12:23 treinamento com trajetórias, treinamento perceptivo e treinamento de raciocínio incorporado. Se você descobrir a maneira certa de combinar tudo isso e os objetivos certos a usar, começa a observar alavancas muito interessantes que talvez antes não fossem visíveis. A alavanca concreta de que vou falar é a capacidade de trocar dados gerais de pré-treinamento com vídeos por dados de teleoperação. Como sabemos, dados de teleoperação são muito caros. O custo fica na ordem de

12:54 100 dólares por hora de dados. Com cem dólares, consigo coletar muito mais dados de pré-treinamento com vídeos. Este gráfico mostra que, se você estiver treinando apenas políticas VLA, existe uma faixa de resultados. Ou seja, ainda há ganhos de escala: você obtém benefícios com cada vez mais dados de teleoperação. Dito isso, os benefícios não são tão substanciais quanto quando se treinam esses modelos de fundação incorporados unificados. É isso que mostra a metade inferior do gráfico. E a alavanca realmente interessante

13:26 é que você pode trocar por dez vezes menos dados de teleoperação se tiver dez vezes mais dados de pré-treinamento com vídeos. Até agora, isso se manteve para a quantidade de computação disponível na nossa empresa. E vamos continuar expandindo os limites do quanto é possível levar esses modelos de fundação incorporados. Aqui estão alguns vídeos de uma política que esperamos que…

13:58 A alavanca que temos é que, essencialmente, você pode usar 10 vezes menos dados de teleoperação se tiver 10 vezes mais dados de pré-treinamento com vídeo. E, até agora, isso se manteve para a quantidade de computação que nossa empresa tem. E vamos continuar ampliando os limites de até onde é possível levar esses modelos fundacionais incorporados. Então, aqui estão alguns vídeos de uma política que, espero, vai… nós vamos…

14:28 um dos modelos menores de open source em algumas semanas. Mas isso tudo está rodando nativamente dentro de um único modelo, capaz de fazer o raciocínio incorporado necessário para descobrir qual é a tarefa e, na verdade, emitir tokens de controle. Dá para ver que ele está um pouco instável, mas tudo bem. Espero que isso seja resolvido em escala, e aí será possível realizar tarefas muito complexas que, antes, acho que seriam realmente difíceis para modelos puramente VLA. Então, acho que, se vocês olharem o vídeo da direita, será preciso que eles leiam o título do livro, saibam que tipo de livro é e então

15:00 o coloquem corretamente em uma das caixas. Então, essa é, na verdade, uma tarefa de várias etapas, entre percepção e controle, que é realmente muito difícil de fazer com um modelo de controle puramente de ponta a ponta, que não esteja ciente das diferentes tarefas perceptivas que precisa realizar para executar essa tarefa. Sim, é bem legal. Também funciona relativamente bem em zero-shot, direto da caixa. Estamos animados para colocar isso nas mãos

15:31 das pessoas em algumas semanas, em algum momento de julho. Vou deixar alguns minutos para perguntas gerais, mas, se vocês tiverem interesse, vamos conversar. Uma coisa legal que fazemos na empresa é dar acesso aos pesos do nosso Mark1 a um conjunto limitado de parceiros. Também damos acesso aos pesos dos nossos modelos de base incorporados maiores. Então, mandem um e-mail, uma DM pelo Twitter, o que for mais fácil. E aí vou abrir para perguntas. Há

16:01 alguns minutos para perguntas. >> [aplausos] >> esses modelos e, tipo, quando eu vi

16:31 muitos contextos. Então, você pode falar um pouco sobre isso? >> Sim, acho que… então, a pergunta é: como conseguimos acertar tão bem a compreensão temporal e espacial? É uma boa pergunta. Para ser sincero, ainda não acertamos. Ainda há muito trabalho a fazer para chegar a um ponto em que seja possível implantá-lo de forma confiável. A questão central é: como pensar no gerenciamento de contexto? Você tem um contexto relativamente limitado. Acho que os modelos aqui têm um milhão de contexto, mas é relativamente fácil preenchê-lo com vídeo em FPS alto. Então, é preciso começar a pensar: há coisas interessantes que podemos fazer? Vou dar um exemplo. Antes fazíamos isso, mas já superamos essa etapa: como pensar em quadros-chave versus quadros delta? Como posso gerenciar meu contexto treinando esses dois elementos? E então você começa a pensar, durante o objetivo de pré-treinamento, em como ingerir nativamente coisas que acredito serem úteis para tarefas de robótica. Por exemplo, uma

17:03 coisa muito básica com que até os modelos Gemini costumavam ter dificuldade — acho que os novos são bem bons nisso — é identificar relações espaciais. Por exemplo, esquerda e direita são muito difíceis de identificar com varreduras em escala da internet, porque ninguém na internet necessariamente rotula as coisas dizendo que este objeto está à esquerda daquele objeto ou abaixo dele. Então, pensar de verdade nas distribuições de dados desde o começo permite desenvolver essa capacidade relativamente rápido. E esse tipo de raciocínio incorporado também foi um foco muito concreto desse trabalho, e é por isso que acho que conseguimos superar o Gemini ER usando relativamente menos computação.

17:34 >> Uma questão que às vezes me ocorre é se vocês analisaram se os seus modelos são mais robustos do que… >> Sim. Talvez o aspecto mais legal de robustez que observamos seja o seguinte: especificamente para modelos VLA, se você pegar um dos modelos chineses e tentar fazer fine-tuning dele para uma política específica, basta mudar o fundo da mesa para, sei lá, o modelo falhar.

18:12 Se você mudar o fundo da mesa, a política realmente falha. O que é muito interessante é que, se você fizer esse tipo de modelagem conjunta de percepção e controle, terá muito mais robustez a esses tipos de erro ou a mudanças ligeiras na forma como a luz incide. Acho que vemos isso principalmente como robustez a mudanças no fundo, algo que os modelos tradicionais talvez não tenham. Dito isso, não vou exagerar nas alegações. Ainda é relativamente difícil. Acho que, se eu apontasse uma lanterna para um dos braços, provavelmente não funcionaria. Mas conseguir

18:43 modelar essas coisas em conjunto ajuda bastante. Também fazemos muitas ampliações de dados online. Simulamos, por exemplo, uma das câmeras do braço desligada. Simulamos a luz do sol entrando de uma certa direção. Fazemos essas coisas durante o treinamento para melhorar a robustez. Mas os grandes ganhos vêm de pegar esse paradigma de fusão precoce e levá-lo para o domínio da robótica. >> Legal.

19:14 >> criar uma base de conhecimento usando o modelo K1. >> Ah, bases de conhecimento. São úteis para, por exemplo, legendar imagens e vídeos; funcionam relativamente bem. Trabalhamos com parceiros de robótica em anotações egocêntricas muito complexas, como esta. Então, não se trata necessariamente de construir uma ontologia, mas acho que nossos modelos são muito bons em fazer extração estruturada e profunda. Aliás, tudo o que mostrei aqui está disponível por APIs públicas, então vocês podem experimentar. Os benchmarks são públicos. Acho que meu tempo acabou.

19:47 Estão me cortando. Posso conversar com vocês lá fora, mas obrigado a todos. >> [música]

20:19 Estão me interrompendo. Então, posso conversar com o pessoal lá fora, mas obrigado a todos. >> [música]

Transcrição original

[00:01] [music] Yeah, I guess uh let’s get started. I’m I’m Armen. I’m I’m the co-founder and CEO of Perceptron. Um, we’ll get a little bit into into what we do, but uh, primarily what I want to talk about today is kind of our research stance that we want to move away from distinctions between VLMs, VAS, world

[00:32] models, whatever you want to call it, to something that we call embodied foundation models. So specifically what we what we do at Perceptron kind of our northstar really is we want to be able to build physical AI foundations that give us the ability to perceive, understand and interact with the physical world in real time. And so kind of the the northstar mission is really to bridge the the physical and digital world uh worlds fundamentally meaning that our our goal is kind of

[01:04] wherever there is a um a device, an instrument, a robot, a camera, a sensor, uh we’re essentially there providing intelligence to it. And specifically when we talk about this paradigm of being able to perceive, being able to reason, being able to act, we view this as kind of a a unification of uh traditional multimodal modeling. So I came from fair, I was there for six years and and and my target there was really to try to figure out how to scale up recipes for multimodal models. And so

[01:35] one of the early things that we we started working on and we’ve published a lot in this domain was around early fusion. So this concept that you want to bring in all these modalities as early as you can and and the real complexity there is trying to figure out what is the correct way to actually properly represent all the different modalities uh both on the input and on on the output that you want to be able to represent holistically and so VLMs have kind of became the when I talk about multimodal models um you probably think of VLM. So this is the ability to take in some image video and some text and be

[02:05] able to output some some text essentially. And there’s there’s variations of this. There’s there’s models like the ER models, the embodied reasoning models that are able to output maybe some grounding points um that are able to do spatial understanding or reasoning a little bit better. Then we have things like VALAS that extend kind of the output domain apart from just text to now actions. And these are traditionally of course continue to be built on by standard VLM backbones. Although there’s been some efforts to try to migrate away from uh from VLMs to

[02:36] things like world models or world action models, although nothing that’s been super fruitful just yet. And then we get into kind of more interesting and complex uh variants of multimodal models like world models where you essentially are outputting video uh from some inputs and the inputs can be either image or video or honestly image video and and actions. Um and the last point that I’ll talk about is something recent which we call semantic world models which is you don’t really output anything but you learn some type of representation that you think is useful um in the future.

[03:07] What we kind of view as an embodied foundation model is actually uh a framing that allows you to both to do the standard perception the embodied reasoning and then the northstar target of control all within one model. Um, so being able to reason across different sense of modalities on the input and being able to do kind of most of what I mentioned on the output all within one single unified model. And so very quickly I’m going to talk about two challenges and these are kind of fundamental research challenges that we face and I’ll talk about kind of how

[03:38] our company has approached this um and and and what other folks are doing in here as well. So the very first thing is think about purely if you’re going to try to model something like video like one hour of video depending on the representation you might have something like 1 million visual tokens that are coming in. The truth is is that there’s not actually any ground truth that you can use uh effectively, right? So you can do things like and people have done this of course like pull out the transcripts uh predict the transcripts from the video or or maybe synthetically

[04:08] label some frames, ask it some questions and it turns out that this is kind of a humongous waste, right? So if you think about what’s going into your model, you have 1 million tokens going in and you’re essentially calculating the loss on something like you know 2% of all the tokens that are going in. And so this is very fundamentally problematic and and and the truth is is any way you try to figure out how to fix this, you’re essentially injecting a wrong training signal. Either the signal is too sparse, it’s too synthetic, or it’s too indiscriminate. And so approaches beyond just synthetic enrichment have been,

[04:39] well, let’s predict every single pixel. I mean, true, this is a very dense signal, but it actually very poorly allocates attention. there’s, you know, you’re comparing a, you’re treating a background pixel with the same degree of importance as you’re treating a gripper tip or the contact points or the specific failures or the physics. And so what we do kind of at Perceptron is, and this is kind of some of our core IP is we think about what does a natural perceptive objective look like? So specifically, how can I predict the percepts that we think will matter in in the future in a very very automatic way.

[05:11] So, as an example, you might hardcode something like, well, if you have a robotic arm, well, the the the tip of the grippers turns out to be a very useful percept that you can predict into the future. And folks have started doing this. Um, like the Momo app folks from AI2 have done this. There are other VAS that have done this. But this is still a hard-coded percept. So, the question is, can you figure out an automatic way that the model semantically is able to learn this very unique objective? And the truth is, we have figured out a way. uh we’re not going to share how we do it here, but this is just kind of hinting at how we approach the the problem of of

[05:43] of sparity. The the second core problem that we’ve spent a lot of time focusing on is is context bloat. So, if you have always on cameras, if you have robots that don’t necessarily wait, they don’t stop, you’re essentially having to reason over a very very long um very long amount of tokens. And and so text is relatively dense and video is relatively sparse. And so the question is, are there architectural breakthroughs that are there in order for you to be able to deal with this problem problem natively rather than just trying to on some

[06:15] synthetic level figure out how to fix this imbalance? Um, and so there’s a couple of things that you can do. One kind of core first principle is you need to start treating different uh modalities as completely different. So you can’t treat text tokens as the same as image tokens as the same as audio or video tokens. So, one thing that you can start thinking about doing is focusing on spatial compression or token compression. And people do really dumb things and we started off doing the dumb things and it does work. You can start thinking about averaging, you know, patch-wise

[06:47] representations across a a video or an image. Um, and you can start getting some interesting compression rates, you know, up up up to 10x. But still, this is relatively of a hack and there’s there’s not, you know, wellused architectural methods to actually solve this. Um, so what we’ve done in in in the last couple of months, we’ve released what we think is our approach to dealing with um varying degrees of sparity, which is just let the model figure out what tokens it should look at and what tokens it shouldn’t look like. And so we released

[07:17] our data sparse mixture of experts paper, which essentially allows you to do this. Um, it allows the model, well, there’s a router in the model allows it to actually predict what token I should input, what token I should skip. Um, and it allows us to do it kind of for free through all the different layers. And it turns out that if you just let the model learn, if you’re not actually hard coding any significant um architectural priors, um, the model actually does learn. So if you end up visualizing the data sparse compute uh

[07:47] that our models use, you’ll actually see that our models innately learn to start focusing on very um high density information or task relevant information. Um so in in in the upper right you can kind of see that the model decides to focus in on the graph which actually you as a human would also kind of zoom into because this is likely uh what’s interesting within the figure. Um and it turns out that even task dependent um uh task dependent allocation ends up happening as well. So if you look at the bottom left if you just ask you know a very very general

[08:18] question you’re kind of going to see an attention graph that is throughout the whole image. So the model just doesn’t know what the proper way to allocate compute is. At the same time, if you ask it to do something like, you know, segment out all the fruit, you can see that it’s going to allocate more tokens to what it thinks are fruit tokens. And so this is a very nice and clever trick that that we use and we’ve published and and other folks are starting to use around embedding priors into the architecture that are useful to deal with the sparsity imbalances of your modalities but not too harsh to the

[08:48] point that the models aren’t actually learning uh natively. And so kind of we we put all this together and you guys might have seen the release, but we essentially released our our our model which was uh what we considered to be the first embodied foundation model a couple weeks ago. And this model is essentially frontier um with respect to Gemini 3.1 Pro. It’s actually better than Gemini embodied reasoning. Um and it’s something like 15 times cheaper. And it’s essentially trained on this one pedibyte data set that we’ve collected across uh literally

[09:20] everything. It’s uh from from internet crawls to to our own custommade training recipes or synthetic data pipelines. We have this one one pabyte of data across text, images, videos, trajectories. And these trajectories can be very very general. They can be desktop use trajectories. It can be playing a video game trajectory. And it turns out that once you start doing these things, very interesting properties end up emerging. And so the the biggest property that we kind of saw which is kind of obvious in retrospect

[09:50] is that you can actually start thinking of doing classical CV tasks as being an agentic task. And so in this case we essentially reframe detection as an agentic task. So our model can you know write code it can it can ask to zoom in into specific portions. Uh it can change the contrast. Um and you can actually see here this is a very hard problem. I think there’s a whole Reddit subreddit of these problems of trying to find very hard objects and images. And our models essentially do this very well, but they do this in an agentic sense. So this

[10:21] isn’t the this isn’t a classical, you know, detect this one box. This is the model actually deciding that it needs to tile things up. It needs to change the contrast. It proposes a box here. I think here it yeah uh increases contrast and it can find the bird. So again, very hard to do if if like even for a human and humans are very good at perceptive tasks. This is a relatively tough thing to do. And this all comes from just having natively embodied models that actually understand how to look at different modalities.

[10:51] And so following up kind of how does this relate to the general physical AI stance around robotics? So I kind of stole this slide from from GDM folks. And so one thing we’ve we’re starting to see from kind of robotics um u agentic systems is this separation between what we call kind of embodied reasoning models or orchestrators and tactile policy models. You can think of problems as like you know if I have a if if I’m making coffee and that takes me three minutes to do I mean one thing I can do

[11:21] is try to force my whole you know VLA to try to figure out how to do this individual task or what I can do is I can have an orchestrator model that breaks up this tasks into subtasks and there’s a tactile control policy that’s running on top and there’s kind of a full spectrum between you know full VA only all the way to this kind of agentic system. Uh but the main thing I’m trying to highlight is that embodied reasoning is actually very interesting and complex problem that is yet to be solved. Um that being said, our models continue to be frontier on embodied reasoning. And because they’re frontier, we start

[11:52] seeing really cool things that we haven’t seen before. Here’s a concrete example of doing very complex egocentric or not egocentric, but this is robotic data annotation. And you can kind of see here the model is jumping around looking at different portions of the video, uh, you know, clipping it, figuring out whether or not the captions are correct, self-ver uh, self-verifying. And we can all do this because AR models are fast. They’re significantly cheaper than anything else that’s out there. So, if you try to do this with Gemini, this video would probably cost you a couple of dollars where for us, it’s probably

[12:23] in the sense. Um, and these all kind of emerged from being able to have these frontier embodied reasoning capabilities that we just previously have not seen from other models. Um, okay. Probably going to share the the biggest research breakthrough that we’ve had and I think we’ll we’ll share more of this uh in the upcoming weeks probably on Twitter. Uh, but one thing that we found is we’ve we’ve we’ve discovered new scaling laws for embodied foundation models. So these are models again that you can jointly do

[12:54] control-based training, you can do trajectory training, you can do perceptive training, you can do embodied reasoning training. If you just figure out what the right way to mix this all together is and the right objectives to use, you actually start seeing very interesting levers that you maybe previously haven’t been able to see before. So the concrete lever that I’ll talk about is this ability to trade um this ability to trade general video uh pre-training data for teleop data. So kind of as we know teleop data is very expensive. It’s on the orders of you

[13:26] know $100 per hour of data for a hundred you know dollars I can collect significantly more video pre-training data. And so what this graph is showing is that um if you’re just training pure VA’s pure policies there’s this band that you have. So you do actually still have scaling loss. So you do get benefits from more and more teop data. That being said, the benefits are not as substantial as if you are really training these unified embodied foundation models. And so this is what kind of the bottom bottom half of the graph is. Uh and the really cool kind of

[13:58] uh lever that we get is you can essentially trade 10x uh less teleop data if you have 10x more video pre-training data. And so far this is kind of held for the amount of compute that our company has. Um and it will be continuing to to kind of push the fold on uh how far you can push these embodied foundation models. So here’s a couple of videos of of a policy that hopefully will will um we’ll

[14:28] open source one of the smaller models in a couple of weeks. Uh but this is all running natively within a single model that is capable of doing the embodied reasoning in order to figure out the task actually is outputting control tokens. Um you can see it’s a little bit jittery but that’s okay. Hopefully it’ll be figured out at scale and you can actually see very complex tasks that previously I think would be really tough for pure VA to do. So I think if you look at the right hand video, this is requiring them all to actually read the title of the book, have the knowledge about what type of book this is and then

[15:00] properly allocate it within one of the bins. Um so this is actually a multi-step task between perception and control that is really really tough to do if you have a kind of a pure endto-end control model that is not aware of the different perceptive tasks that it needs to accomplish in order to do this task. Yeah, it’s pretty cool. It also works zero shot relatively well out of the box. So, we’re excited to get this in the hands

[15:31] of folks in in a couple of weeks sometime in July. Um, yeah, going to leave a couple of minutes for for for general questions, but if you guys are interested, let’s uh let’s connect. So, one cool thing that we do with our company is we actually for a limited set of partners give access to our Mark1 weights. We give access to our larger embodied foundation models weights. So, email me, DM me on Twitter, uh, whatever is easier. Um, and then yeah, I’ll open up. There’s a

[16:01] couple minutes left for for questions. >> [applause] >> these models and like when I saw

[16:31] a lot of contss So can you talk a little bit on that? >> Yeah, I think it’s it’s so yeah. So the question is how are we able to nail temporal and uh understanding to this degree? Um it’s a good question. I mean to be honest it’s not nailed. So there’s still a lot of work to actually get it to a place where you can reliably deploy it. The the core thing is how do you think about context management? So you have relatively limited context. So I think the the the models here have 1

[17:03] million context, but that’s relatively easy to fit in with the, you know, high FPS video. And so you have to start thinking about, are there interesting things that you can do? I’ll throw something out there. We we used to do this, but we got past this, but like how do I think about like uh uh key frames versus delta frames? How can I manage my context by training these two off? Um, and then you start thinking about during your pre-training objective, how can I start kind of natively ingesting things that I think will be useful for the robotics tasks. Um, so for example, a

[17:34] very basic thing that even kind of the the Gemini models used to struggle at, I think the new ones are pretty good, but being able to tell cardalities. So like left and right is very hard to tell if you do internet scale crawls because no one on the internet is necessarily labeling things as, you know, this object is to the left of this object, it’s below this object. So really thinking about data distributions early on gives you this ability relatively quickly. And it’s also like er this type of embodied reasoning was a very concrete focus with this which is why I think we were able to kind of surpass Gemini ER with relatively less compute.

[18:12] >> One issue with sometimes I was wondering whether you looked your models are more robust than >> Yeah. So, probably the coolest robustness that we’ve seen is that uh for VA models specifically, like if you go and you take one of the Chinese ones um and you try to fine-tune it for a specific policy, if you just change the background of the I don’t know, you can

[18:43] like in the table uh if you change the the background of the table, the policy will actually fail. What’s really interesting, if you do this type of joint perceptive and control modeling, you’re much more robust to these types of errors or if the light is hitting it a slightly different way. And I think we primarily view this as robustness to background uh in a way that I think traditional models don’t necessarily have. That being said, I’m not going to overclaim like uh I mean like it’s still relatively hard. I think if I was going to go and shine a flashlight into one of the one of the arms, it’s probably not going to work. Uh but being able to

[19:14] jointly model these things helps a significant amount. We also do a lot of online augmentations. So, so we do actually, you know, fake um I don’t know um one of the one of the arm cameras being off, right? We fake uh you know, sunlight coming in from a certain direction, right? So, we do these things during training to improve robustness. Uh but the big gains come from taking this early fusion paradigm and then moving it into the robotics domain. >> Cool.

[19:47] uh create knowledge base using the K1 model. >> Uh oh, knowledge bases. Um it’s useful for like I I mean if you want to caption images, videos, it’s relatively well. We work with robotics partners for like very complex egocentric annotation like this. Um so it’s not necessarily building out an ontology, but being able to do kind of very deep structured extraction, I think our models are are very good at. Yeah. By the way, everything that I kind of showed here is kind of public APIs, so you can go play around with it. The benchmarks are public. Um, I think I’m out of time.

[20:19] They’re cutting me off. So, uh, I can talk with folks outside, but thank you guys. >> [music]