Os melhores modelos ainda raciocinam como crianças pequenas — Andrew Dai, Elorian

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: The Best Models Still Reason Like Toddlers — Andrew Dai, Elorian · Canal: AI Engineer · 17:46 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Engenharia de software com IA, Modelos multimodais, Robótica e sistemas autônomos

Resumo

Andrew Dai argumenta que os modelos multimodais de ponta ainda falham em tarefas de raciocínio visual que exigem contagem precisa, compreensão espacial e acompanhamento de mudanças ao longo do tempo. Ele diferencia reconhecimento de padrões de raciocínio visual e critica benchmarks que, segundo ele, não medem bem as dificuldades do mundo real. A proposta da Elorium é desenvolver modelos com inteligência espacial e temporal ativa, usando dados específicos, evals e raciocínio visual em várias etapas. Dai destaca aplicações potenciais em robótica, construção, arquitetura e design mecânico.

Pontos-chave

Modelos de ponta podem alucinar elementos que não estão na imagem, como completar mentalmente um tabuleiro de xadrez.
Reconhecer objetos ou padrões não equivale a raciocinar sobre detalhes espaciais e relações entre elementos.
Modelos também podem perder o fio de acontecimentos em vídeos longos, comprometendo a compreensão de ações.
Benchmarks como ARC-AGI e MMU podem não representar tarefas visuais complexas do mundo real.
A visão computacional tradicional identifica e segmenta objetos, mas é descrita como passiva e sem capacidade de raciocínio.
A Elorium propõe dados específicos para raciocínio visual, uma estratégia de melhoria com evals e aprendizado e raciocínio visual em várias etapas.
Robótica, construção e design são apresentados como áreas em que a compreensão visual detalhada pode ter aplicações práticas.
O palestrante defende que o design mecânico e outras tarefas visuais não podem ser resolvidos apenas com código.

Capítulos

Início	Capítulo	Resumo
00:01	Falhas de raciocínio visual nos modelos atuais	Dai mostra exemplos de alucinações, erros espaciais e perda de contexto em imagens e vídeos.
04:09	Entendimento visual versus raciocínio visual	A palestra distingue reconhecimento rápido de padrões de tarefas que exigem análise visual detalhada.
05:44	Limitações das evals visuais	Dai questiona se benchmarks existentes avaliam adequadamente tarefas visuais complexas do mundo real.
07:51	A proposta de modelos que pensam visualmente	O palestrante apresenta a lacuna entre geração ou rotulagem visual e raciocínio espacial e temporal.
10:57	Equipe e experiência da Elorium	Dai resume sua trajetória e apresenta a equipe da empresa.
12:30	Aplicações em robótica e construção	A palestra descreve como o raciocínio visual poderia apoiar robôs e a interpretação de regras de segurança em canteiros de obras.
14:35	Arquitetura, design e engenharia mecânica	Dai aborda tarefas de projeto que exigem precisão espacial e validação por simulação, e encerra com aplicações potenciais.

Citações

É exatamente aqui que os modelos de ponta falham hoje. — 05:12

O paradigma que falta na IA visual é o pensamento. — 07:51

A fronteira está nos modelos de pensamento visual. — 09:24

Isso não pode ser feito apenas com código. — 17:14

Conceitos e entidades

Andrew Dai (pessoa): Palestrante, cofundador e CEO da Elorium, com experiência anterior no Google Brain e DeepMind.
Elorium (empresa): Empresa apresentada por Dai, que desenvolve modelos voltados ao raciocínio visual.
raciocínio visual (conceito): Capacidade de analisar detalhes de imagens e vídeos, incluindo relações espaciais e mudanças ao longo do tempo.
reconhecimento de padrões (conceito): Identificação de padrões conhecidos, que pode ser útil para reconhecer objetos, mas também levar a erros em tarefas visuais detalhadas.
ARC-AGI (benchmark): Benchmark mencionado na palestra cuja baixa resolução de imagens é apontada como uma limitação para avaliar tarefas visuais do mundo real.
MMU (benchmark): Avaliação multimodal citada pelo palestrante, na qual muitas questões poderiam ser respondidas sem examinar a imagem em detalhe.
SAM 3 (modelo): Modelo citado como ferramenta de segmentação de imagens.
YOLO (modelo): Sistema citado para reconhecimento e detecção de objetos.
raciocínio visual em várias etapas (conceito): Processo em que o modelo divide uma pergunta visual em etapas, como localizar objetos antes de contá-los.
robótica (conceito): Área de aplicação em que modelos poderiam fornecer compreensão de cenas relevante para planejamento e controle de robôs.

Tradução completa (pt-BR)

00:01 [música] Oi, obrigado a todos por terem vindo. Sou cofundador e CEO da Elorium e estou aqui para falar sobre alguns dos problemas dos modelos atuais, dos modelos de ponta atuais. Isso inclui Claude, ChatGPT e Gemini, e como eles

00:33 lidam com problemas visuais. Isso talvez seja novidade para alguns de vocês que não trabalham com visão, mas, na verdade, existe uma diferença bem grande entre como esses modelos lidam com raciocínio visual e como os humanos lidam com isso. E vocês verão que ainda estamos bem longe de qualquer definição de AGI para raciocínio visual. Então, aqui estão alguns exemplos de como é fácil encontrar situações em que os modelos

01:04 falham. E vocês mesmos podem encontrar esses exemplos. Leva só alguns minutos. Neste primeiro exemplo, temos uma alucinação sobre um tabuleiro de xadrez: mostramos esta imagem aos modelos e perguntamos quantas casas brancas há na imagem. Uma pessoa comum, que não esteja alucinando, provavelmente não diria que são 32. É claro que os modelos dizem que são 32 porque veem parte do tabuleiro de xadrez

01:35 e alucinam o tabuleiro completo e, como resultado, dão o número errado. Isso acontece bastante: os modelos atuais dependem muito de correspondência de padrões. É isso que os torna tão bons em identificar plantas, animais e flores no mundo real. Mas, quando se trata de perguntas complexas, essa característica os prejudica. Nesse caso, a correspondência de padrões está ativamente atrapalhando. Então, o que acontece no raciocínio deles é algo como: “Ah, isto é um tabuleiro de xadrez. Os tabuleiros de xadrez sempre têm 32 casas. Portanto, este também deve ter 32 casas brancas.” No exemplo à direita, sou um grande jogador de jogos de tabuleiro. Tenho uma coleção bem grande. Dá para ver que o tema aqui são jogos de tabuleiro. E, na verdade, vocês podem reproduzir isso lá fora, se forem, sabem, sair da palestra. Tem uma área de jogos com bolas. Há tabuleiros de xadrez. Aposto que, se algum de vocês colocar as peças em alguma posição aleatória, nenhum modelo de ponta vai

02:07 conseguir dizer onde as peças estão, onde todas elas estão. E outro exemplo aqui é Catan. Temos outra pergunta bem simples: quantas estradas o jogador azul tem? Os modelos de ponta pensam bastante sobre esse problema. Uma resposta que vi foi: “Ah, o jogador tem 10 estradas azuis ao lado do tabuleiro. Portanto, deve haver cinco estradas azuis no tabuleiro de Catan.” Mas, obviamente,

02:38 isso não é verdade. São sete, se você contar. Então, mais uma vez, esses modelos são ótimos para adivinhar, ótimos em correspondência de padrões, mas não têm uma compreensão espacial muito bem fundamentada e simplesmente não conseguem lidar com perguntas detalhadas. E, por fim, temos este exemplo, que afeta robôs: aqui há um braço robótico manipulando esta xícara e este fogão, basicamente, e

03:08 os modelos de ponta atuais não percebem que o braço robótico levantou a tampa e, no final, também não percebem que o robô está ligando o fogão bem neste momento. Então, basicamente, ocorre uma amnésia de contexto. Isso acontece porque esses modelos não conseguem manter a consistência ao longo de vídeos longos e perdem de vista com muita facilidade o que está acontecendo. E uma

03:38 pergunta muito comum que recebo é: como definir um problema de raciocínio visual em oposição a um problema de compreensão visual? Ou poderíamos dizer pensamento visual em comparação com compreensão visual. Acho que uma maneira bem simples de fazer isso é se fazer a mesma pergunta: se você olhasse para uma imagem ou um vídeo, quanto tempo levaria para responder à pergunta? Por exemplo, nestes dois casos, duvido que alguém nesta sala conseguisse responder se

04:09 só pudesse olhar para a imagem por um segundo. Um segundo não é suficiente para esse tipo de pergunta complexa, também chamada de pensamento do tipo Sistema 2 no livro de Daniel Kahneman. Mas, se eu perguntasse que jogo é este, ou, da mesma forma, que flor é esta, ou, se houvesse apenas três peças no tabuleiro de xadrez, quantas peças há, tenho certeza de que todos vocês conseguiriam responder em menos de um segundo. E, da mesma forma, todos os modelos de ponta acertariam esse tipo de pergunta. Então, essa é a

04:41 distinção que fazemos entre compreensão, reconhecimento de padrões e raciocínio, em que é preciso observar a imagem em detalhes e analisar diferentes elementos. E é exatamente aqui que os modelos de ponta falham hoje. Então, ao projetarem seus próprios sistemas, é bom ter isso em mente: mantenham essas tarefas visuais bem simples; caso contrário, haverá muitas alucinações, muitas mesmo.

05:12 Isso nos leva, é claro, a evals. Já existem vários evals de raciocínio multimodal ou de raciocínio visual para modelos de ponta. Um dos que talvez vocês conheçam é o ARC-AGI. Ele é frequentemente mencionado por pessoas que dizem: “Ah, os modelos de ponta estão com 85% ou 90% no ARC-AGI; portanto, já percorremos 90% do caminho até a AGI.” Mas acho que essas pessoas não analisaram de verdade os dados de

05:44 benchmark, porque, se vocês olharem os dados, vão notar que as imagens têm apenas 32 × 32 ou 64 × 64 pixels. E eu desafiaria qualquer um a me dar um exemplo de tarefa complexa do mundo real que possa ser reduzida a um problema de 32 × 32 pixels. Acho que vocês vão perceber bem rápido que quase nenhuma tarefa, quase nenhuma tarefa interessante, pode ser reduzida a esse tipo de resolução. Outro eval que as pessoas costumam mencionar é o MMU, o Massive Multidiscipline Multimodal Understanding. Ele é um avanço em relação ao MMLU porque contém imagens, em vez de apenas perguntas de ciências compostas por texto. São perguntas de ciências baseadas em imagens. Mas, ainda assim, as imagens representam uma parte pequena de muitas dessas perguntas. Muitas delas podem ser respondidas sem olhar para a imagem, ou apenas fazendo algum reconhecimento de padrões, sabendo mais ou menos do que a imagem trata. Então, o que realmente precisamos é de novos benchmarks de raciocínio visual na indústria, que se concentrem de verdade nas coisas que

06:15 importam para as pessoas, como alinhamento geométrico, inteligência espacial e terminologia de objetos. Esses aspectos são realmente fundamentais para que a IA seja implementada nesses casos de uso visuais. E talvez vocês tenham percebido que ainda há pouca adoção de IA em muitos setores principalmente visuais, aos quais vou voltar. Grande parte da adoção de IA ocorreu na área de engenharia de software, na matemática e em documentos, processamento de documentos etc. Mas

06:48 há uma enorme lacuna, uma enorme oportunidade, que está sendo ignorada neste momento, em comparação com o interesse em programação. [limpa a garganta] E o paradigma que falta na IA visual é o pensamento. Temos modelos de geração de altíssima qualidade, como o modelo Seedance da ByteDance. São modelos de altíssima fidelidade, e eles parecem ótimos, mas não têm uma verdadeira

07:18 compreensão física fundamentada nem lógica causal. Vocês provavelmente vão notar que, se pedirem a esses modelos para produzir uma imagem ou um vídeo de algo explodindo, de um prédio desabando ou de coisas assim, o resultado parece muito cartunesco, com aquele estilo de Hollywood. Isso acontece porque eles simplesmente reproduzem o que estava nos dados de treinamento, e muitos vídeos de desastres e muitos vídeos de ação na internet vêm de Hollywood ou de motores de jogos. Então,

07:51 eles tentam reproduzir esse conteúdo, e isso é um problema fundamental, porque significa que não podem ser melhores do que esse tipo de vídeo. Quanto à compreensão, o que temos hoje são muitas ferramentas capazes de mapear pixels para rótulos semânticos. O Google Lens, por exemplo, é ótimo para identificar plantas e flores, e eu o uso o tempo todo. O SAM 3 para segmentação, o YOLO para reconhecimento e detecção de objetos, o Mask R-CNN. Essas ferramentas são, é claro, muito robustas e são usadas em toda a indústria,

08:22 ancoragem e lógica causal. Então, vocês provavelmente vão notar que, se pedirem a esses modelos para produzir uma imagem ou um vídeo de algo explodindo, de um prédio desabando ou coisas assim, eles parecem muito cartunescos, parecem coisas meio no estilo Hollywood. E isso porque eles estão apenas reproduzindo o que havia nos dados de treinamento, e muitos vídeos de desastres e muitos vídeos de ação na internet vêm de Hollywood ou de engines de jogos. Então

08:52 eles estão tentando reproduzir isso, e esse é, fundamentalmente, um problema, porque significa que eles não podem ser melhores do que esse tipo de vídeo. Quanto à compreensão de onde estamos atualmente, temos muitas ferramentas que conseguem mapear pixels para rótulos semânticos. O Google Lens, por exemplo, é obviamente ótimo para identificar plantas e flores, e eu o uso o tempo todo. O SAM 3 para segmentação, YOLO para reconhecimento e detecção de objetos, Mask R-CNN. Essas ferramentas são, claro, altamente robustas e são usadas em toda a indústria,

09:24 mas eles são fundamentalmente passivos. Portanto, não têm capacidade de raciocínio. Não conseguem responder a perguntas mais complexas. E, de fato, a fronteira está nos modelos de raciocínio visual. Esses modelos terão inteligência espacial e temporal ativa. Eles podem extrair lógica de ação para planejar workflows agênticos e execução física. Nossa abordagem tem quatro etapas. Estamos coletando e gerando nossos próprios

09:55 dados multimodais, dados específicos de raciocínio visual. Descobrimos que simplesmente não é possível obter esse tipo de dado on-line. Temos um ciclo de dados sintéticos que usa agentes de evals, SFT e RL para melhorar o modelo. Fizemos alguns avanços na arquitetura, com várias melhorias diferentes sobre a arquitetura baseada em transformer, e também estamos habilitando o raciocínio por cadeia de pensamento visual. Essa é uma das principais

10:25 coisas que os humanos têm e nenhum modelo de fronteira tem hoje, já que os modelos de fronteira se baseiam apenas em cadeias de pensamento textuais. Este é um exemplo de cadeia de pensamento visual. A pergunta é: quantos hotéis vermelhos foram construídos nesta foto? Então, o modelo percebe: “Ah, primeiro precisamos identificar todos os hotéis”. Ele desenha caixas ao redor dos hotéis e de outros objetos e, depois, reduz a busca ao hotel vermelho. É um processo de várias etapas que acontece

10:57 diretamente no espaço visual. Sobre nossa empresa: sou cofundador e CEO. Passei os últimos 12 anos no Google Brain e no DeepMind. Desenvolvi muitas das técnicas fundamentais para os LLMs modernos. Há 11 anos, fui o primeiro autor do trabalho que introduziu o pré-treinamento e o fine-tuning. Esse trabalho, combinado com o artigo sobre transformers de 2017, levou à série de modelos GPT. Portanto, todos os artigos sobre GPT citam

11:27 nosso artigo. Liderei em conjunto os primeiros modelos, o primeiro modelo de ponta chamado GLAM. Mais recentemente, liderei em conjunto a arquitetura de pré-treinamento do PaLM 2 e fui um dos líderes da área de dados do Gemini. Meu cofundador, que trabalhava no Google Research, liderou a pesquisa do primeiro modelo multimodal público da Apple, o MM1, e tem muita experiência em raciocínio visual, tanto em linguagem quanto em

11:59 visão. E esta é nossa equipe. Somos cerca de 20 pessoas agora. Também temos um arquiteto-chefe de raciocínio, Dustin Tran. Anteriormente, ele liderava o pós-treinamento na xAI. Contratamos uma equipe de nível mundial, com pessoas vindas de muitas outras empresas, como Apple, xAI, DeepMind, Amazon e outras. Quanto aos casos de uso que mencionei, a robótica é um dos principais.

12:30 Os robôs enfrentam gargalos realmente críticos para executar ações físicas complexas em tempo real nesses ambientes dinâmicos. Mas os modelos de visão atuais, como vocês provavelmente perceberam, são treinados com imagens estáticas e vídeos muito direcionados. Eles não são ativos; não têm interação física ativa. Por isso, os métodos existentes são excessivamente complexos e frágeis. Estamos planejando lançar uma API de modelo até o fim deste ano.

13:02 Nesse momento, a API poderá ser usada para fornecer compreensão de cena relevante para as ações aos sistemas existentes de planejamento e controle desses robôs. Outro caso de uso importante para o raciocínio visual é a construção civil. Os canteiros de obras têm regras de segurança muito complexas e específicas para cada zona. A visão computacional não consegue se adaptar rápido o suficiente às mudanças nas regras de segurança. Ela

13:35 também não consegue interpretar coisas como a linguagem das políticas da OSHA e relacionar essa linguagem ao que realmente está acontecendo no local, nem compreender as relações espaciais importantes ali. Por exemplo: quantos desses trabalhadores estão usando capacete? Ou: a construção está sendo realizada de acordo com os planos definidos anteriormente? Atualmente, para fazer cumprir essas regras, é preciso treinar modelos separados para

14:05 diferentes casos de uso, porque, como eu disse antes, esses modelos são muito frágeis. Por isso, é preciso retreiná-los constantemente. Nossa abordagem, com os recursos de compreensão de vídeo que estamos incorporando aos modelos, permite fundamentar esses fluxos de vídeo nos regulamentos de segurança. E, claro, os regulamentos de segurança estão em texto, em linguagem. Portanto, o modelo precisa manipular muito bem tanto a linguagem quanto a visão.

14:35 E também achamos que arquitetura e design são casos de uso muito promissores. Este é exatamente o tipo de caso de uso em que é preciso prestar muita atenção aos detalhes. Voltando ao exemplo do jogo de tabuleiro e à contagem de relações espaciais: isso aparece muito em arquitetura e design. Por exemplo,

15:07 se você projetar uma casa com quatro quartos em vez de três, quem comprou a casa vai ficar muito irritado, certo? Então, obviamente, contar é importante. E compreender essas restrições espaciais e do mundo real ainda é um processo muito manual hoje em dia. Conversamos há poucas semanas com uma empresa de engenharia mecânica, e eles disseram que projetar uma peça pequena de uma plataforma de testes para robôs leva de 100 a

15:40 200 horas do tempo necessário para projetar toda a plataforma de testes. Acredito que sejam necessárias de 2.000 a 3.000 horas de trabalho humano nesse caso. Muitas dessas empresas tentaram usar modelos de fronteira, mas eles simplesmente não funcionam para esses casos de uso. Têm muita dificuldade para entender o contexto visual em plantas arquitetônicas, arquivos CAD e CAM em 3D. Por isso, há muitos erros. E, da mesma forma,

16:12 acreditamos que isso também pode ser útil para outros tipos de design, não apenas arquitetura e engenharia, mas talvez também para design para a web, moda ou outras áreas. Nossa abordagem usa raciocínio multimodal para extrair a lógica geométrica importante. Permitimos a validação programática ou por simulação. Assim como no código, você pode executar o código usando testes unitários. Também pode

16:43 testar dispositivos mecânicos em simuladores desenvolvidos pela Siemens e por várias outras empresas para verificar se algo funcionará no mundo real. Na verdade, há muitos paralelos entre esse tipo de projeto mecânico e a programação. Mas o projeto mecânico continua relativamente intocado pela IA. E o controle de qualidade de CAD e CAM é outro caso de uso potencial. No fim das contas, acreditamos que este será um passo fundamental para o futuro do

17:14 projeto mecânico, em que a IA poderá criar carros mais rápidos, foguetes mais eficientes, baterias melhores e muitas outras coisas que não podem ser feitas apenas com código. As pessoas não estão programando o próximo iPhone nem o próximo foguete da SpaceX. Tudo isso é fundamentalmente muito visual. Para saber mais sobre nós, acesse nosso site, lauren.ai, nossa página no Twitter, xx.comai,

17:46 ou nossa página no LinkedIn. E ficarei feliz em responder a quaisquer perguntas. Vou ficar por aqui mais um pouco. Obrigado. [aplausos]

Transcrição original

[00:01] [music] Hi, thanks for coming everyone. Um, I’m the co-founder and CEO of Elorium and I’m here to talk about some of the issues with current models, current frontier models. This includes um Claude Chat GBD and Gemini um and how they

[00:33] handle visual problems and um uh this might be new to some of you who don’t work in the visual space but actually there’s quite a big gap between how these models handle visual reasoning and how humans deal with it. And you will see that we’re actually quite far away from any definition of AGI for visual reasoning. So here are some examples of where uh how easy it is to find where models

[01:04] break down. And um you can find these examples yourself. Just takes a few minutes. Uh in this first example uh we have a chessboard hallucination and we give the models um this picture and ask how many white squares are in the image and any ordinary person uh who doesn’t hallucinate would probably not say it’s 32. So 32 of course the models say this because they see part of the chessboard

[01:35] and they hallucinate the complete board and as a result they give the wrong number and you see this quite a lot that models rely a lot current models rely a lot on pattern matching. That’s what makes them so good at identifying plants and animals and flowers uh in the real world. But when it comes to like complex questions that part hurts them. So the pattern matching is actively hurting them in this case. Um so in their in what’s going on in their reasoning is that oh this is a chess board. Chess

[02:07] boards all have 32 squares. Therefore this one must have 32 Y squares too. On the right example um I’m a big board game player. Have quite a collection. Um so you can see there’s a a board game theme going on here. And actually you can uh reproduce this outside if you just go to you know outside the talks. It’s a ball game area there. There are chess boards. Um I will bet if any of you uh place the pieces in some kind of random position, no frontier model will

[02:38] be able to tell you where those pieces are located, where all those pieces are located. Um and then another example here is katan. Um here another very simple question. How many rows does the blue player have? Um, these frontier models think extensively about this problem. Uh, one response I’ve seen is that, oh, the the guy has uh 10 blue rows off to the side of the board. Therefore, there must be five uh blue rows on the can board. Uh, but obviously

[03:08] that’s not true. There’s seven if you actually count. So these models um again are great at guessing uh great at pattern matching but they are not very spatially grounded and they just can’t handle any kind of detailed questions. Um and then finally um we have this example where it actually um affects robots where here you have a robot arm uh manipulating this uh cup and um uh

[03:38] cooker basically and the state-of-the-art models today they miss the fact that the uh robot arm lifted the lid um and at the end they also missed the fact that the robot is turning on the stove like right now. So there’s uh essentially context amnesia happening. Um and this is because these models can’t maintain consistency um across long videos and they very easily lose track of what’s happening. And a

[04:09] very common question I get is how do you define a visual reasoning problem versus a visual understanding problem? Um or you could say like visual thinking um compared to visual understanding. I think a very simple way to do it is just um ask yourself the same question. If you looked at an image or a video, how long would it take you to answer the question? So uh for example, in both of these cases, I doubt anyone in this room would be able to give an answer uh if

[04:41] they were only allowed one second to look at the image. So 1 second isn’t enough to do these kind of like complex questions also called like system two um kind of thinking in Daniel Canon’s book. But if I asked you what game is this uh or similarly what flower is this or if there are only three pieces on the chessboard if I asked you how many pieces are there those questions uh I’m sure all of you would be able to answer in less than a second and similarly all the frontier models would get that kind of question right. So that is the

[05:12] distinction um that we make between what is understanding uh what is like pattern recognition versus what is reasoning where you actually have to look in detail at the picture and um look at various things and this is exactly where frontier models uh fall apart today. So as you are designing your own systems uh that’s something to keep in mind keep these visual tasks very simple otherwise you will have hallucinations a lot and a lot of hallucinations

[05:44] um so uh this leads into evals of course um frontier models there are already a bunch of multimodal reasoning evals or visual reasoning evals some that you might have heard of is arc agi this is uh quite often brought up to um people saying oh we the frontier models are 85% or 90% on RKGI therefore we are 90% of the way to a uh to AGI itself uh but I think these people they haven’t really looked at any

[06:15] of the benchmark data because if you actually look at the data you will notice that the images are only 32x 32 or 64x 64 pixels and I would challenge anyone uh to give me like a real world complex task that can be reduced to a 32x 32 pixel problem. Um I think you’ll very quickly realize almost no tasks almost no interesting tasks can be reduced to that kind of resolution. Another eval that people commonly uh bring up is MMU. Uh this is the massive

[06:48] multiddiscipline multimodal understanding. This is a step up from MMLU because it has um images rather than just pure text science questions. This is science questions based on images. But still images are a minor part of a lot of these questions. A lot of the questions you can just answer without looking at the image or just doing some pattern recognition just knowing roughly what the image is about. So what we really need is new visual reasoning benchmarks in the industry that really target the things that

[07:18] people care about like geometric align alignment, spatial intelligence, um object terminus and these are really critical for AI to be deployed in these visual use cases. And you might have noticed that still in a lot of industries that uh are primarily visual um which I will go into there isn’t much uptake of AI right a lot of the AI uptake has been in the software engineering world and in the mathematician world um and in like documents um document handling etc. But

[07:51] this uh there is actually a huge gap huge opportunity that is just being looked over right now um based on the interest in coding. [clears throat] And so the missing paradigm in visual AI is thinking. So we have generation models very high quality generation models like bite dances seance model. Um, so we have these very high fidelity models and they look great, but they lack actual physical

[08:22] grounding um and causal logic. So you will you probably notice that if you ask these models to produce a a picture um a video of a some like uh something blowing up like um or a building falling down or these things they look very cartoonish they look Hollywood style kind of things and that’s because they are just outputting what was in the training data and a lot of disaster videos um a lot of like action kind of videos on the internet are just going to be from Hollywood or game engines. So

[08:52] they’re working to reproduce that and that’s fundamentally a problem because it means they can be no better than those kind of uh videos. Um on understanding the what we are where we currently are is we have lot of tools that can map pixels to semantic labels like Google lens is obviously great to identify plants and flowers and I use that all the time. The SAM 3 for segmentation, YOLO for uh object recognition detection, mascaras CNN. These are of course highly robust and they’re used everywhere in the industry,

[09:24] but they’re fundamentally passive. So there’s no reasoning capability to them. So they can’t answer more complex questions. Um and really where the frontier is is uh with thinking visual thinking models. These models will have active spatial and temporal intelligence. They can extract actional logic for planning uh agentic workflows and physical execution. And so our approach uh is uh four stage. So we are collecting and generating our

[09:55] own uh multimodal data uh visual reasoning specific data. This this kind of data we found you just can’t uh get online. Uh we have a synthetic data flywheel using evals agents SFT and RL to improve the model. We’re making some uh we made some advances to the architecture um in terms of uh various different time um advance various different improvements on top of the transformer-based architecture and we’re also enabling visual chain of thought reasoning and this is one of the key

[10:25] things that humans have that no frontier model has today since the frontier models are only textual uh chain of thought based um and this is one example of a visual chain of thought. So the question is like how many red hotels are built in this photo? Then the model realizes oh uh first we need to identify all the hotels. So it draws boxes around hotels um and other objects and then uh it reduces that to the red hotel. So it’s this multi-step uh process happening in

[10:57] the visual space natively. So um about our company um I’m the co-founder and CEO. I spent the last 12 years at Google Brain and Deep Mind. Um I developed a lot of the foundational techniques for the model for modern LLMs. 11 years ago I was the first author of the work that introduced pre-training and fine-tuning. That’s the work when combined with the transformer paper in 2017 led to the GBT series of models. So all the GBT uh papers site

[11:27] our paper. Um I co-led the earlye models uh the first model that was state-of-the-art called glam and then um more recently I co-led the palm to 2 pre-training architecture and I was co-lead for the gemini data area and my co-founder info and Google research he led research for Apple’s first public multimodal model MM1 and he’s has a a lot of experience in visual reasoning um across uh language as

[11:59] And this is our team. So we’re roughly 20 people now. Um we’ve also have a chief reasoning architect Dustin Tran. Previously he was lead of post training at XAI. Um and we’ve hired a world-class team um across uh many other uh companies like Apple uh XAI um deep mind Amazon and so on. Um and in terms of the uh use cases that I mentioned, robotics is one primary use

[12:30] case. So robots have uh really critical bottlenecks performing complex real-time physical actions uh in these kind of like dynamic environments. Uh but existing vision models uh you probably realize are trained from static images and very directed videos. They are not like act they don’t have active physical interaction. So existing methods are overengineered and brittle. Um and uh we are planning to release a model API available uh by the end of this year. Um

[13:02] and at that point the API can be used to deliver action relevant uh scene understanding into existing um planning and control systems for these um robots. Another important use case for uh visual reasoning um is construction. So construction sites they have these very complex zone specific safety rules. Um and uh computer vision can’t adapt fast enough to changing safety rules. They

[13:35] also can’t interpret things like OSHA policy language and match the that language to what’s actually going on at the site or understand the spatial relationships that are important there. For example, like how many of these workers are wearing helmets or like is the construction um happening according to the plans that uh were defined earlier. And um currently enforcing these rules require training separate models for

[14:05] different use cases uh because they’re very these models as I said before are very brittle. So you constantly have to do uh retraining. Um and our approach uh with the video um understanding capabilities that we are building into our models is um allows you to um ground these video streams in the safety regulations. And of course the safety regulations are in text, they’re in language. So you have to be um the model has to manipulate both language and vision very well.

[14:35] And um yeah uh this will allow these models to interpret uh site policies using the current camera infrastructure that they have. Um and then finally architecture and design we think is also a very uh promising use case here. Uh this is exactly the use case where you need to be very detail oriented. So back to the board game example around counting spatial relationships. This shows up a lot in architecture and design. Uh like

[15:07] if you design a if you design a house with with four bedrooms instead of three, that homeowner is going to be very angry, right? Um so obviously counting is actually important. Um and also just understanding these spatial constraints, real world constraints is uh is a very manual process uh these days. We spoke to a mechanical engineering company just a few weeks ago and they said to design one small part of a robot testing platform takes 100 to

[15:40] 200 hours uh of the time to design the entire testing platform. Um, I believe it takes 2,000 to 3,000 hours of human uh time there. And they’ve uh a lot of these places they’ve tried frontier models, but they just don’t work for these use cases. They really struggle to understand uh visual context across these like architecture blueprints, 3D CAD, CAM files. Um, and so there are lots of errors there. Um and similarly

[16:12] we believe that this can be useful useful for other kinds of design as well not just um architecture and engineering but maybe like designing um yeah for the web or fashion or other things and our approach is uh we’re using multimodal reasoning to uh to extract um this uh geometric logic that’s important. We’re allowing programmatic validation or simulation validation. Just like in code, you can run code against unit tests. You can

[16:43] also run u mechanical devices through simulators that have been developed through seammens um and uh v various other companies to see if something will work in the real world. So there’s a lot of parallels actually between uh this kind of like mechanical design and coding itself. But mechanical design is still relatively untouched by AI. Um and yeah, CAD CAM quality control is another potential use case and ultimately we believe that this is going to be a critical step to the future of

[17:14] mechanical design where the where AI can make faster cars, more efficient rockets, better batteries and all these things cannot be done just with code. Uh people are not coding up the next iPhone or coding up the next uh SpaceX rocket. It’s all fundamentally very visual. So, um you can find out more about us through our website um lauren.ai, our Twitter page xx.comai

[17:46] or our LinkedIn uh page. And yeah, happy to take any questions. I’ll be standing around here for for a little bit. Thanks. [applause]