A robótica está estagnada há 70 anos — Deepak Pathak, Skild AI

Ver no idioma original →

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Robotics Has Been Stuck for 70 Years — Deepak Pathak, Skild AI · Canal: AI Engineer · 27:57 · Assistir no YouTube

Tópicos: Agentes de IA, Dados, bancos de dados e embeddings, Modelos de IA, Robótica e sistemas autônomos

Resumo

Deepak Pathak argumenta que, apesar do rápido avanço da IA, a robótica enfrenta há décadas desafios fundamentais que não se resolvem apenas com hardware melhor ou modelos maiores. A principal barreira é a falta de dados robóticos em grande escala, já que a coleta por teleoperação é lenta e cara. A proposta da Skild AI é criar uma inteligência geral para diferentes corpos robóticos e tarefas, combinando simulação, vídeos humanos, teleoperação e dados de implantação. O palestrante apresenta exemplos de tarefas e implantações para ilustrar como um modelo geral pode se adaptar a cenários variados e até a mudanças ou falhas no robô.

Pontos-chave

• Muitas demonstrações de robótica de hoje se assemelham a resultados produzidos décadas atrás, indicando que o campo avançou menos do que outras áreas da tecnologia.
• O paradoxo de Moravec ajuda a explicar por que tarefas que parecem simples para humanos, como subir escadas, podem ser difíceis para robôs.
• A teleoperação produz dados de alta qualidade, mas coletá-los é lento, caro e limitado em diversidade.
• Dados de simulação e vídeos humanos podem ser escaláveis e diversos, mas são menos próximos dos dados reais do robô.
• A estratégia proposta combina pré-treinamento com dados escaláveis e variados e pós-treinamento com dados de teleoperação de alta qualidade.
• Dados de implantação podem alimentar um ciclo contínuo de melhoria do modelo, desde que o mesmo cérebro robótico funcione em diferentes corpos e tarefas.
• O palestrante afirma que tarefas com alta tolerância a erros, como dobrar tecidos, podem ser mais fáceis para sistemas de deep learning do que para a robótica clássica.
• O modelo apresentado recebe imagens de câmeras e envia comandos aos motores, sem depender de etapas tradicionais como mapeamento e planejamento.
• A inteligência geral para diferentes corpos pode ajudar robôs a se adaptar a mudanças físicas, como rodas travadas ou membros desativados.

Capítulos

Início	Capítulo	Resumo
00:01	Por que a robótica parece estagnada	Pathak compara demonstrações atuais com resultados antigos e apresenta o paradoxo de Moravec como explicação para a dificuldade de tarefas físicas.
04:12	O desafio de escalar dados robóticos	O palestrante explica por que a receita de grandes conjuntos de dados e modelos não pode ser aplicada diretamente à robótica.
09:34	Fontes de dados e suas limitações	Pathak compara exploração autônoma, teleoperação, simulação e vídeos humanos segundo escala, diversidade e proximidade com o robô.
13:14	Pré-treinamento, pós-treinamento e ciclo de dados	A proposta combina dados escaláveis no pré-treinamento, teleoperação no pós-treinamento e dados de implantação para aprimorar continuamente o modelo.
17:23	Aprender com vídeos e generalizar tarefas	O palestrante mostra como vídeos humanos e pequenas quantidades de dados robóticos podem apoiar a transferência para tarefas e plataformas diferentes.
20:34	Controle de ponta a ponta e locomoção	Pathak descreve um sistema que conecta câmeras a motores e compara tarefas acrobáticas com desafios de locomoção que exigem percepção do ambiente.
24:17	Implantações em fábricas e entregas	O palestrante cita aplicações em montagem de GPUs e entrega de pacotes para explicar a importância de começar a implantar robôs no mundo real.
26:24	Adaptação a falhas e segurança	Pathak apresenta exemplos de transferência entre robôs e adaptação a danos ou mudanças no corpo como benefícios de uma inteligência geral.

Citações

A robótica está quase chegando há quase 70 anos. — 00:33

Difícil é fácil; fácil é difícil. — 04:12

Qualquer robô, qualquer tarefa, um cérebro. — 07:20

Não existe um caminho único e perfeito. — 13:14

Conceitos e entidades

• Deepak Pathak (pessoa): Pesquisador e palestrante que apresenta a visão da Skild AI para avançar a robótica.
• Skild AI (empresa): Empresa cuja proposta, segundo o palestrante, é desenvolver uma inteligência geral para diferentes robôs e tarefas.
• Moravec’s paradox (conceito): Paradoxo segundo o qual habilidades consideradas difíceis por humanos podem ser fáceis para computadores, enquanto habilidades simples para humanos podem ser difíceis para máquinas.
• teleoperation (conceito): Método de coleta de dados em que uma pessoa controla o robô à distância, produzindo dados de alta qualidade, mas em ritmo limitado.
• simulation (conceito): Ambiente virtual usado para treinar robôs em grande escala, embora a criação de cenas diversas exija trabalho de engenharia.
• omni-bodied intelligence (conceito): Abordagem descrita pelo palestrante em que um único modelo pode controlar diferentes tipos de corpos robóticos e realizar várias tarefas.
• data flywheel (conceito): Ciclo em que dados coletados durante a implantação são reutilizados no treinamento para aprimorar o modelo.
• NVIDIA (empresa): Empresa citada como parceira em um exemplo de automação da montagem de GPUs em fábrica.

Tradução completa (pt-BR)

00:01 [música] Acho que todos vocês sabem aqui quanto a IA avançou nos últimos cinco anos. Parece que avançou mais do que nos últimos 100 anos. E o que está acontecendo, especialmente na IA, é que ela começou pela linguagem, depois veio a fala, o áudio e o vídeo, e todo mundo está empolgado com o próximo passo: a robótica, certo? E essa empolgação está…

00:33 …atingindo o auge este ano, por algum motivo que ainda está além da minha compreensão. Vocês também podem ver líderes como Jensen falando sobre IA física como a próxima fronteira da robótica. Então, parece que, se você abrir o Twitter ou o LinkedIn, a robótica já chegou e teremos robôs domésticos em nossas casas em algum momento até dezembro, como várias pessoas têm dito. Mas estou aqui para destacar que a robótica está quase chegando há 70 anos.

01:06 [suspira] Agora. Quem começou a se interessar por robótica nos últimos quatro ou cinco anos pode fazer qualquer curso de robótica e, se conseguir distinguir os vídeos de robótica de 30 anos atrás dos de hoje, pago um jantar para você. Para dar um exemplo, vamos olhar para este robô. Este robô aqui recebe uma imagem, e o objetivo é olhar para a imagem dos blocos e organizá-los à sua frente de modo que formem o mesmo padrão da imagem.

01:36 É uma tarefa extremamente simples. Mas, se você pensar bem, trata-se de um bloco 3D. É preciso olhar para ele e entender o 3D de cada lado. E o robô consegue fazer isso com bastante precisão. Alguém arrisca dizer de que ano é esse resultado? Alguém? É um palpite. Pode chutar qualquer ano. Hein? >> 40 anos. Certo, esse foi o palpite mais distante. [ofegante] Isso é dos anos 1960. Muito antes de existirem computadores. Certo. Isso se chama demonstração de cópia do MIT. Isso foi o começo de… isso é anterior à IA.

02:06 Como vocês sabem, hoje, olhem para este aqui. >> Uma exposição no Congresso Nuclear, na Filadélfia, tem a fórmula perfeita para… >> O que está acontecendo aqui? O homem nos bastidores está controlando esses robôs, em um sistema de líder e seguidor. E, se vocês olharem para qualquer grande laboratório, grande empresa ou grande laboratório acadêmico, verão que, para obter dados, usam um sistema de teleoperação que segue exatamente os mesmos princípios.

02:38 Alguém arrisca o ano deste? >> Agora, todo mundo vai corrigir o ano com muita convicção, mas isso é de 1957, há 68 anos. Certo? Perguntem a alguém da família que seja mais velho — na verdade, talvez essa pessoa já nem esteja mais por aqui —, porque, para isso, vocês precisam perguntar a alguém de 80 anos como era o estado da tecnologia naquela época. Por exemplo, alguns KB de RAM exigiriam um equipamento do tamanho de uma sala, uma instalação desse tamanho. E isso é daquela época, quando…

03:09 …as pessoas conseguiam fazer isso funcionar. E não foi só esse caso: a cada década, vocês voltam e os vídeos continuam parecendo legais. Aqui está um robô humanoide fazendo malabarismo e jogando pebolim com uma pessoa. E isso também é de… Dá para ver que tudo isso é anterior ao deep learning. Este é de oito anos atrás. Esse robô é resultado de um trabalho de Berkeley: consegue limpar a mesa toda e organizar itens em uma caixa. Isso foi feito por um único aluno de pós-graduação, usando apenas uma máquina com uma GPU. Nada além disso. Certo, agora, esta imagem… E se eu…

03:40 …colorir todos esses vídeos antigos e aplicar um filtro de IA generativa para modernizar a voz, vocês não vão conseguir dizer se este [risos] vídeo é de 1965 ou de hoje. E esses nem são os resultados mais antigos. Os mais antigos remontam aos anos 1940. Certo. Então, o que explica isso? Se olharmos para a tecnologia dos últimos 70 anos, todas as outras tecnologias avançaram muito: compreensão de linguagem, visão computacional, celulares, chips. Por que a robótica continua presa nesta era primitiva há tanto tempo? E a razão…

04:12 …é a falta de um cérebro geral. A robótica sempre foi abordada como um problema de hardware, começando do zero. Essa é a razão pela qual tudo ao redor da robótica avançou, mas ela continua presa no mesmo lugar há 70 anos. Existe um paradoxo muito famoso chamado paradoxo de Moravec. Não sei se vocês conhecem Moravec. Ele também foi professor na CMU, e eu também sou professor na CMU, então tenho que citá-lo, com certeza. Ele foi uma das figuras fundadoras da IA. Depois de 30 anos trabalhando com robótica, chegou a uma conclusão muito simples: o difícil é fácil; o fácil é difícil. Certo?

04:44 Tudo o que os humanos consideram difícil é extremamente fácil para os computadores, e vice-versa. E vocês podem ver isso acontecendo bem diante dos seus olhos. Vocês diriam que fazer matemática é difícil. Ganhar uma medalha de ouro na Olimpíada de Matemática é muito, muito difícil. Subir uma escada? Ah, super fácil. Agora, olhem ao redor, para a tecnologia, e vejam onde estamos em relação ao que já foi resolvido e ao que ainda não foi. Isso é a robótica. Certo. Ela é muito… Não é apenas mais uma aplicação da IA. É aquilo para o qual a IA foi criada desde o começo, mas em que avançou muito pouco. Não é apenas mais uma…

05:15 …aplicação em que redes profundas podem entrar e atacar a área. Isso precisa ser pensado a partir de primeiros princípios fundamentais, desde o início. Este é um exemplo muito famoso: um computador pode derrotar Gary Kasparov no xadrez nos anos 1990, mas ainda não temos um computador ou robô capaz de pegar as peças de xadrez e colocá-las em qualquer tabuleiro. Agora, como podemos resolver isso? Certo. Em uma nota mais otimista, temos uma…

05:47 …fórmula mágica para o sucesso da IA, certo? Você obtém um grande conjunto de dados, treina modelos grandes e a mágica acontece. Certo, sabemos que essa receita funciona muito bem em muitas áreas. Agora, podemos aplicar a mesma receita à robótica? Bem, ela não se aplica diretamente porque não temos dados. Não existe uma internet de dados de robótica e, como eu disse antes, é possível coletar dados manualmente no robô usando teleoperação. E, como vocês perceberam, a teleoperação não é algo de cinco anos…

06:17 …atrás. É algo de 68 ou 70 anos atrás. A parte engraçada é que, se vocês voltarem e olharem para toda a evolução dos modelos GPT-3 e GPT-4 — voltem ao GPT-3, de três anos atrás, parece que faz uma vida inteira —, o GPT-3 só começou a funcionar e chamou a atenção das pessoas quando foi possível treinar esses modelos com trilhões de tokens. Então, o GPT-3 já foi treinado com mais de 30 trilhões de tokens e, hoje, são centenas de trilhões de tokens. Se vocês coletarem dados manualmente por teleoperação, cada exemplo leva cerca de um minuto para…

06:48 …ser obtido. Vocês podem fazer as contas: se contratassem toda a população dos EUA, levariam mais de um século para alcançar a mesma escala do GPT-3, que é… E hoje ninguém usa o GPT-3. Certo. Então isso é muito lento e caro. Eu diria que ninguém realmente escalou a robótica ainda e que estamos muito longe de falar em escala na robótica nos moldes em que outras áreas alcançaram escala. Certo, é nisso que temos nos concentrado. A Skild tem cerca de três anos, mas eu…

07:20 …trabalho nesse problema há mais de uma década. Foi só isso que fiz na minha carreira, nada mais. Então, nossa tese na Skild é construir o que chamamos de inteligência omni-incorporada: qualquer robô, qualquer tarefa, um único cérebro. Qualquer robô: pode ser um humanoide, um quadrúpede, um braço robótico em uma esteira ou uma mão hábil; não importa muito. Até essa hipótese é muito mais geral do que… Pode-se argumentar que os humanos controlam o próprio corpo. Então, por que precisamos…

07:51 Em geral, o argumento é que, na robótica, não há dados de qualquer maneira. Então, não posso escolher de qual hardware vou usar dados. E devemos poder usar dados de qualquer tipo de hardware, qualquer tipo de tarefa, qualquer tipo de cenário. Essa é a única maneira de realmente alcançar a escala que os modelos de linguagem alcançaram há três anos. Certo. Então, o objetivo aqui é esta ideia de qualquer robô, qualquer tarefa, um cérebro. E, ao longo desta palestra, espero convencer vocês de que esse é o caminho a seguir na robótica. Certo. Essa foi uma introdução geral, mas, antes de

08:23 entrar em mais detalhes, deixem-me mostrar apenas um resultado para dar uma ideia. Neste resultado, cada robô é de uma empresa diferente, tem um hardware diferente, e todos são controlados pelo cérebro da Skild, sejam humanoides subindo e descendo escadas ou em qualquer tipo de cenário. E estes não são resultados novos. São resultados de alguns anos atrás. São robustos a perturbações, como poeira. Você pode colocá-los em cenários novos sem nenhum treinamento.

09:02 Então, a ideia aqui é que cada robô neste vídeo realiza qualquer ação, em qualquer lugar do mundo, e o cérebro por trás disso [música] melhora, porque é um cérebro para qualquer corpo. >> Sim, isso é muito difícil, né? Porque, tipo, ovos são… Certo. Esse é um exemplo do que nós

09:34 fazemos. Quero tornar esta palestra mais científica e informativa do que um anúncio de empresa. Então, vou falar sobre como ampliamos a escala dos dados em robótica. Certo, vamos voltar no tempo e ver como as pessoas abordaram isso. Vou olhar para a minha própria carreira e para como minha hipótese sobre dados mudou ao longo dos anos. Certo. Quando comecei a trabalhar em como ampliar a escala, a ideia era que se podia ter robôs e coletar dados para eles manualmente, mas isso era lento demais, e os robôs deveriam poder coletar dados por conta própria. Então, tínhamos

10:04 toda essa ideia de exploração orientada pela curiosidade. Permitir que os robôs explorem o ambiente de maneira curiosa tem muitas vantagens, como não exigir nenhum humano. Os robôs podem ir e continuar brincando, coletando mais dados. Na época, chamávamos isso de dados de brincadeira. São dados muito ricos, porque incluem sensores de força e ângulos das juntas. Mas a dificuldade é que eles existem apenas no mundo físico. Então, é muito difícil ampliar a escala. O Google estava fazendo isso na época, com centenas de robôs. Até para o Google, é caro demais e lento demais ampliar a escala. A outra ideia é

10:35 novamente a teleoperação. Como eu disse, é uma ideia antiga, mas os mesmos problemas persistem: é impossível ampliar a escala, porque agora você não precisa só de um robô, também precisa de humanos. Então, é ainda mais caro, e a diversidade é muito limitada, porque, mesmo que você coloque um robô em uma configuração com um humano, pode obter mil exemplos, mas todos serão dessa mesma configuração. O ideal seria levar o robô para uma casa nova todos os dias, em um cenário novo, mas isso é extremamente difícil de ampliar. Depois tivemos um grande avanço no aprendizado a partir de simulação. Este foi um dos primeiros resultados em que foi possível

11:08 mostrar que o deep reinforcement learning treinado em simulação era transferido para um robô real. Este foi um dos artigos premiados na época, e agora é usado por todas as empresas de humanoides. Este trabalho veio do nosso laboratório em Berkeley e na CMU. Mas, de novo, há vantagens e desvantagens. É muito fácil ampliar a escala, mas é difícil obter diversidade, porque você precisa criar manualmente cada cena na simulação. Então, se você está ouvindo isso, não existe uma resposta única à qual eu vá chegar. Não existe uma solução única. Este

11:39 é outro trabalho que fizemos anteriormente. Isso foi tudo antes do aprendizado a partir de vídeos de humanos na Skild. Você assiste a um humano fazendo coisas e, depois, o robô copia. De novo, há muita diversidade. Você pode usar vídeos do YouTube etc. É altamente escalável, mas é uma forma de dados muito ruim, porque está muito distante do robô. Certo. Então, qual é a solução? A resposta é que não existe um caminho perfeito. Você precisa pensar nos dados considerando diferentes características. E, na minha opinião, há apenas três características que

12:09 importam na robótica: escalabilidade, diversidade e o quão perto você está dos ângulos das juntas do robô. Certo, escalabilidade significa: consigo ampliar rapidamente a escala para diferentes cenários? Diversidade significa: consigo obter dados diversos? Porque ter 100 trilhões de tokens é completamente inútil se todos estiverem no mesmo ambiente e nos mesmos cenários. Certo. E proximidade com o robô significa o quão distante você está da verdade fundamental dos próprios ângulos das juntas do robô. Então, se você olhar para a simulação, ela é muito escalável, pouco diversa

12:42 e moderadamente próxima do robô. Os vídeos de humanos são muito escaláveis e diversos, mas estão muito distantes dos dados do robô; é preciso aprender a mapear o humano para o robô. As outras duas abordagens, a teleoperação e as interfaces de manipulação, ficam mais ou menos no meio. E dá para ver aqui que, no mundo todo, as diferentes empresas estão se concentrando em uma dessas abordagens. A maioria está em teleoperação ou em configurações com Yumi, e muito poucas estão em qualquer outra coisa. Mas não existe uma resposta perfeita: cada uma delas tem uma desvantagem. A grande vantagem aqui é que todas

13:14 se complementam; suas desvantagens não são exatamente as mesmas. Então, a receita a que chegamos ao longo dos anos é perceber que o treinamento deve ser separado em duas partes: pré-treinamento e pós-treinamento. Isso não é uma surpresa, certo? Mas como fazer o pré-treinamento? Você quer pré-treinar usando dados altamente escaláveis e diversos, mas talvez de baixa qualidade, como simulações, vídeos de humanos etc. É assim que você faz o pré-treinamento. Depois, para o pós-treinamento, usa dados de teleoperação. E o que são dados de teleoperação? São de altíssima qualidade, mas em

13:45 pequena quantidade. Certo, alta qualidade, pequena quantidade. Isso nos lembra exatamente a receita dos modelos de linguagem. Você faz o pré-treinamento com dados da internet e depois o pós-treinamento para programação, para a sua própria empresa etc. Mas, na robótica, há mais uma categoria: os dados de implantação. E os dados de implantação são altamente escaláveis quando a implantação ganha escala. Então, com o tempo, esses dados vão superar todos os outros. E o que estamos tentando construir é o que chamamos de ciclo de dados, que pega

14:17 esses dados do pós-treinamento e os devolve ao pré-treinamento. E agora dá para ver por que essa ideia de um cérebro para qualquer corpo é extremamente importante: é muito improvável que você tenha apenas um robô, apenas uma versão implantada para sempre, em todas as tarefas do mundo. Isso nunca acontece em nenhuma área de hardware, exceto nos chips, porque eles são muito difíceis de fabricar. E, mesmo nos chips, dá para ver que estão surgindo chips de inference de muitas empresas, a todo momento, hoje em dia. Então, no hardware, isso nunca acontece: ter apenas uma versão do robô, com apenas um formato. É por isso que

14:48 a inteligência para qualquer corpo possibilita o que chamamos de ciclo de dados de implantação. Certo, agora vamos ver alguns resultados, bem rápido. Este cérebro é extremamente generalista. Então, conseguimos realizar rapidamente uma variedade de tarefas. Talvez vocês tenham visto muitas tarefas, como dobrar roupa etc. Por algum motivo, é uma tarefa muito popular no Vale do Silício. E o argumento aqui é: alguma vez, ao dobrar uma camiseta, você pensou que, se errasse a posição da mão por 1 cm, a dobra

15:21 da camiseta ficaria um desastre? Você não pensa assim. As pessoas nem pensam enquanto dobram; simplesmente seguram em qualquer lugar e fazem alguma coisa. Então, a tolerância ao erro é extremamente alta. Por que essa tarefa é difícil, então? Alguém sabe? Por que as pessoas acabam acreditando que essa tarefa é… Deixe-me colocar assim: tecido, certo? Por que tecido é difícil? Simulação. Mas, de qualquer maneira, ninguém está usando simulação. Isso tudo vem de teleoperação. Por que isso é difícil? Você

15:51 Sabe por que é difícil? Porque é difícil na versão clássica da robótica. Na robótica clássica, as pessoas modelavam toda a física, criavam modelos à mão e depois faziam isso. Isso é muito difícil. Mas, para a robótica baseada em deep learning, esta é a tarefa mais fácil possível, porque há uma alta tolerância a erros. Então, agora, muitas empresas estão se concentrando nessa tarefa. O que é difícil, eu diria, é algo como esta tarefa, por exemplo. Se eu perguntasse antes de você ver este vídeo: dá para fazer esta tarefa sem mãos?

16:22 É bem provável que metade das pessoas diga que não, porque exige colocar… Quantos de vocês já perderam AirPods? Na nossa empresa, há um canal chamado “AirPod direito”, porque as pessoas vivem perdendo o direito. Neste caso, o robô não tem mão, tem uma garra. Então, esta tarefa é muito difícil para a garra. Ela exige um nível mais alto de inteligência, porque o braço precisa se mover e se orientar para pegar o AirPod do jeito certo, para que ele possa ser inserido, já que as garras só conseguem fechar assim.

16:52 Elas são garras paralelas. Então, você não consegue girar o AirPod bem no final. O que vocês estão vendo aqui não são AirPods de verdade. São falsos, comprados na Temu, por uns US$ 5 ou US$ 10 cada. Então, não têm um ímã dentro. O robô precisa se esforçar bastante para colocar isso corretamente, porque não há um ímã para puxá-lo com facilidade. Então, todos estes são falsos. Isso é ainda mais difícil do que parece no vídeo. Depois que você constrói o cérebro geral por trás da cena, também pode ensiná-lo com uma variedade de vídeos de pessoas, sem ter nenhum dado de fine-tuning no momento da teleoperação. Então, neste cenário, o que fizemos foi treiná-lo com vídeos de pessoas como este, vídeos egocêntricos. Agora estamos tentando transferi-lo para mais vídeos em terceira pessoa e, se funcionar em terceira pessoa, você pode aprender com o YouTube, com qualquer tipo de dado open source. Neste caso, vemos o vídeo e depois adicionamos menos de uma hora de dados do robô. Então, a transferência é muito rápida e ele pode ser transferido para humanoides. Agora, estes

17:23 têm mãos. Ter mãos ou não é um grande debate. Muitas vezes, as pessoas usam as mãos como desculpa para explicar por que a robótica ainda não chegou lá, mas esse não é o caso. O que importa é sempre a inteligência por trás da cena. Não implantamos mãos agora porque não há nenhuma disponível que possa ser implantada em fábricas. Todas quebram em menos de 100 jardas. Escolha qualquer uma. Se você tiver uma mão melhor, adoraria comprar 10 unidades o quanto antes para testar. Então, é robusto em vários cenários. A ideia é que você

17:53 pode fazer muitas tarefas observando pessoas. E o motivo de conseguirmos trabalhar com tão poucos dados, menos de uma hora de dados do robô, é que o robô imagina as coisas na própria cabeça e tenta multiplicar o aprendizado para muitos cenários. O que vocês estão vendo aqui é um vídeo completamente falso; podem chamar de sonho do robô. Ele está dentro do próprio modelo do robô, onde pode imaginar cenários. Então, estes não são dados reais. Tudo isso é falso, gerado pelo próprio modelo do robô. Você pode transferi-lo para tarefas mais complexas e até para hardware de custo mais baixo. Então, esta é uma tarefa de fazer ovos, de preparar omeletes.

18:26 A preparação de omeletes. Este conjunto todo custa cerca de US$ 4.000. São braços extremamente baratos, comparados com o que se vê por aí. E, se vocês repararem, este conjunto é barato demais para ter qualquer sensor. Então, o único sensor aqui é uma câmera. Nada de força, nada mais. E o robô consegue realizar tarefas que exigem força usando visão. Não estou dizendo que esse é o futuro, nem que vocês não deveriam fazer isso. Tenho certeza de que os sensores vão melhorar, mas

18:59 >> Com os sensores que temos hoje, estamos muito aquém do que poderíamos alcançar apenas do ponto de vista da inteligência. >> Certo. Isso pode continuar. Este é meu orientador de Berkeley. Ele não acreditava que os robôs conseguiriam fazer isso. Ficou parado por cerca de uma hora, e o robô continuou fazendo omeletes. E o interessante aqui é que este é um sistema totalmente de ponta a ponta. Não há máquina de estados, nada. O motivo de o robô estar olhando para o ovo é que há um prato vazio à frente. Não sei por que está oscilando. Não está… não há nenhum corte no vídeo. Garanto isso. É um problema de HDMI. Assim que você tira o prato… Desculpem, não sei por que isso está acontecendo. É. Então, não há máquina de estados para determinar quando o robô começa ou quando termina. É tudo automatizado e muito robusto até diante de perturbações. Você pode mudar os objetos de lugar. Pode adicionar… Estes são todos objetos que o robô não viu antes. Só a frigideira e o fogão a gás são os mesmos. Todo o resto é diferente, e o robô pode continuar. Então, é possível obter uma robustez básica. Tudo isso foi treinado com menos de 10 horas de dados. Então, são pouquíssimos dados para aprender essa robustez, e ela vem

19:31 do modelo-base por trás da cena. Vou pular esta parte por falta de tempo. Ao contrário dos pipelines tradicionais de robótica, em que há planejamento, mapeamento etc., este é um cérebro de ponta a ponta. “Ponta a ponta” é um termo muito usado em muitas áreas da IA. Mas, quando digo ponta a ponta, quero dizer realmente de ponta a ponta. Ele lê diretamente das câmeras e aplica potência diretamente aos motores. Então, não usamos nada no meio, exceto um controlador P no final, para ir de 100 a 500

20:03 Hz. Mas o controlador P não é uma contribuição da robótica. Isso já existia antes, desde a Segunda Guerra Mundial ou algo assim. Certo. O interessante é que, para nós, a visão é apenas mais uma entrada. Não tem nada de tão extraordinário. Então, se vocês viram muitos resultados de robôs dançando, fazendo caratê, kung fu, dando mortais para trás, voltem e pensem: quantos resultados vocês viram de robôs subindo e descendo escadas? Muito poucos. Até mesmo as principais empresas de humanoides por aí não mostraram mais do que uma escada de exemplo

20:34 só para marcar a caixinha. É o que fazem. E as pessoas falam que os humanoides estão chegando, China contra EUA, tudo isso é meio que bobagem. Se os humanoides não conseguem subir escadas, para que servem as pernas? Certo, essa é a única razão para ter pernas. Isso é, na verdade, o paradoxo de Moravec em ação. O da esquerda é muito mais fácil para um robô. Dar um mortal para trás, dançar etc. é muito mais fácil para o robô. E vocês podem pensar: certo, por que existe esse paradoxo? Pensem um nível mais fundo. Quando um robô está dando um

21:04 mortal para trás, ele só precisa conhecer o próprio corpo, mais nada. Certo? Então, quando tudo é conhecido ou totalmente observado, é nisso que os computadores são bons, porque conseguem simular todas as configurações possíveis. Mas o da direita, até mesmo simplesmente subir escadas, exige enxergar a escada antes de mais nada: qual é a altura, qual é a largura? Você não mede exatamente a altura e a largura, mas se ajusta a todas as perturbações, e isso exige visão. Então, o da direita exige

21:37 compreensão, e é por isso que é difícil. Vocês não veem nada disso, mas, para nós, é apenas mais um resultado. Não faz tanta diferença. Então, publicamos este resultado há um ano e meio. Gravamos isso há cerca de dois anos e meio. Mas este robô consegue andar em qualquer cenário. Ele não tropeça nas coisas. Ele intencionalmente passa por cima delas, e não há mapeamento nem planejamento. Ele não cria nenhum mapa 3D do ambiente. Tudo funciona a partir de uma câmera no torso. E você pode colocá-lo em qualquer tipo de ambiente, em qualquer tipo de escada. Vou passar mais rápido por aqui. Estas são escadas de emergência.

22:07 mortal para trás, ele só precisa conhecer o próprio corpo, nada mais. Certo? Então, quando tudo é conhecido ou totalmente observado, é nisso que os computadores são bons, porque conseguem simular todas as configurações possíveis, mas a configuração certa… Até mesmo simplesmente subir escadas exige ver a escada primeiro: qual é a altura, qual é a largura. Você não mede exatamente a altura e a largura, mas se ajusta a todas as perturbações, e isso exige visão. Então, a opção certa exige

22:38 entendimento, e é por isso que é difícil. E você não vê nada disso, mas, para nós, é só obter outro resultado; não importa muito. Então, colocamos esse resultado no ar há um ano e meio. Filmamos isso há uns dois anos e meio. Mas esse robô consegue andar em qualquer cenário. Ele não tropeça nas coisas. Ele passa por cima delas de propósito, e não há mapeamento nem planejamento. Ele não cria nenhum mapa 3D do ambiente. Tudo funciona a partir de uma câmera no torso. E você pode colocá-lo em qualquer tipo de configuração, em qualquer tipo de escada. Vou acelerar aqui. Estas são, sabe, escadas de emergência.

23:11 É um pouco estranho. As escadas de emergência devem ser usadas em situações urgentes, quando há um incêndio, e são as mais difíceis de todos os prédios. Então, estamos testando em todos esses ambientes, mas você pode colocar o robô em qualquer lugar, perturbá-lo e mantê-lo ali; isso realmente não importa. Essa é uma capacidade sobre-humana, porque o robô não consegue perceber que está sendo puxado. Então, para o robô, é uma surpresa você puxar a violeta enquanto ele sobe. E, de novo, é o mesmo modelo em todos esses cenários. Então, é muito fácil, embora o parkour fácil pareça divertido… pareça divertido, e as pessoas muitas vezes acham que, sabe…

23:45 os robôs conseguem fazer tudo isso, mas isso é muito mais fácil do que o que mostrei antes. E, mesmo que vocês vejam esses vídeos agora, muitos vão achar isso mais impressionante, embora eu esteja dizendo que é fácil. Leva meia hora para treinar isso, enquanto o anterior leva muito mais tempo e é bem mais difícil de treinar. Então, você pode pegar esse modelo básico e transferi-lo para uma variedade de tarefas muito rapidamente. Aqui, este é um resultado bem antigo, de um ano e meio atrás, para inserir cabos LAN etc. Agora temos sistemas muito avançados, mas já estamos implementando esses modelos em vários…

24:17 tipos de aplicação. Por exemplo, para construir o ciclo de dados, a parte mais difícil é a própria implementação. Há muitos outros problemas além da inteligência e do hardware que surgem quando se implementa robótica. Não é a mesma coisa. Isso não é igual a implementar o ChatGPT em um app, porque é preciso lidar com muitos dos… E acho que a Skyio fez uma palestra antes desta e pode falar o dia inteiro sobre as dificuldades da implementação. Então, precisamos começar a implementar agora para que possamos ter esse ciclo de dados em um futuro previsível. Vou dar alguns exemplos

24:48 de implementações que estamos fazendo. Um dos exemplos é com a Nvidia: a Nvidia está abrindo sua primeira fábrica em Houston. As GPUs que vocês usam agora são todas fabricadas fora dos EUA, principalmente em Taiwan, e tudo é feito manualmente por lá. Os humanoides são realmente eficientes e muito bons em fabricar essas coisas, mas manter os custos, a escalabilidade e a capacidade de produção nos EUA é muito difícil sem essa força de trabalho. Então, estamos automatizando a montagem dessas GPUs para eles. Fizemos uma demonstração ao vivo na Nvidia GTC. Isso já está implementado na fábrica desde a semana passada, então já está funcionando.

25:20 Mas o ponto interessante que quero destacar é que esta é uma tarefa fabril bem tradicional, mas, se você olhar para toda a configuração, ela é extremamente aleatória e caótica. Em qualquer fábrica tradicional, o ambiente costuma ser extremamente limpo. Aqui, o mesmo cérebro do robô não só consegue executar tarefas muito precisas, como também pode ser muito robusto diante de qualquer tipo de perturbação. Isso significa que agora esses robôs não precisam ficar dentro de uma gaiola e

25:51 podem ser simplesmente instalados nessas linhas de fábrica, sem nenhuma alteração na linha, ao lado de pessoas. E onde há pessoas, há bagunça. Certo, você pode usar o mesmo cérebro em aplicações de entrega. Aqui, o robô faz a entrega do caminhão até a porta. Ele precisa descobrir onde fica a porta da frente. É um problema de senso comum, não de mobilidade. E já estamos entregando pacotes até a porta da frente das casas nessas áreas, trabalhando nos bastidores com vários parceiros. A mesma configuração funciona em armazéns e em todos esses lugares. Agora, só para

26:24 encerrar a palestra… encerrar o tópico: mencionei que este é um cérebro para qualquer corpo, e espero que esteja muito claro por que é extremamente essencial ter um cérebro para qualquer corpo para construir um ciclo de dados. Mas há um benefício extra: seus robôs podem quebrar com o tempo. E a segurança — ou os cenários de segurança — é um subproduto desse cérebro para qualquer corpo. Porque, se você tiver um… Podemos colocar… Vou passar bem rápido por aqui para vocês verem. Isso tudo acontece em tempo real, mas podemos usar o mesmo cérebro em cada um desses sistemas, em cada um desses robôs

26:55 e, neste caso, nem sequer treinamos nesses robôs. Isso é uma transferência totalmente zero-shot para todos esses humanoides e todos esses sistemas. E, mesmo que o robô quebre — como aqui, em que a perna quebra —, ele consegue se recuperar em milissegundos, porque, quando a perna quebra, o robô de três pernas se torna um robô novo. Então, não importa muito qual é o formato do robô. Aqui, desativamos as pernas do robô; ele aprende a aprender — aprende a andar sobre duas pernas em apenas três tentativas. Então, o que vocês estão vendo na tela é todo o treinamento do robô que está acontecendo nesses

27:26 sistemas. Então, ele se adapta em alguns milissegundos a cerca de 30 segundos. Um exemplo aqui: ele está andando sobre rodas. Você trava a roda e ele começa a andar. Esse é outro subproduto de um cérebro para qualquer corpo. A segurança ganha um significado bem diferente com esse tipo de modelo, quando o robô consegue voar — ou, desculpem, quando os robôs conseguem andar ou operar usando apenas metade do corpo. Removi algumas cenas mais explícitas daqui, mas também cortamos o robô ao meio, e ele ainda consegue funcionar com cada uma das duas metades separadamente. Mas, para isso,

27:57 vocês podem procurar no YouTube. E é tudo o que tenho. Obrigado.

Transcrição original

[00:01] [music] I think uh all of you know here that how much progress has AI made in the last five years. Uh seems like it’s more than uh last 100 years of progress. And what is happening especially in AI is AI came for language then speech audio video and everybody’s excitement is next is robotics okay and this excitement has is

[00:33] going on peak uh this year uh for some reason which is still beyond my uh understanding and you can also see uh leaders like Jensen talking about physical AI as the next frontier of robotics. So it seems like if you open Twitter or LinkedIn, it seems like robots robotics is already here and we’ll have home robots in our homes sometime by December uh as uh as it’s being said by multiple people. But I’m here to highlight that robotics has been almost here for the last 70 years

[01:06] [sighs] now. Those of you who got into robotics in the last four or five years, go and take any any any course in robotics and if you can distinguish the videos in robotics from 30 years ago versus today, uh I owe you a dinner. So to give you an example, let’s look at this robot. So this robot here is an image and the goal of this robot is to look at this image of blocks and arrange these blocks in front of it so that it looks the same

[01:36] pattern as in the image. Okay, this is an extremely simple task. But if you think about this, it’s a 3D block. You have to look at understand 3D from each side. And the robot can do this pretty precisely. Any guesses how old this result is? Anyone? It’s a guess. You can make any guess. Huh? >> 40 years. Okay, that’s the highest. [panting] This is from 1960s. This is way before there were computers. Uh, okay. So, this is this is called MIT copy demo. Uh,

[02:06] this was the start of uh this is this predates AI. Uh, as you know, today look at this one. >> One exhibit at the Nuclear Congress in Philadelphia has the perfect formula for >> what’s happening here. The guy behind the scene is controlling these robots, a leader follower system. And if you look at any big lab, any big company, any big academic lab, how they get data, they use teley operation system, which follows the exact same principles.

[02:38] Any guesses for the year for this one? >> Now, everybody would correct aggressively on the year, but this is from 1957, 68 years ago. Okay? Ask anybody in your family who is older than actually they may not be around like so because this is for 60 you have to ask somebody who is 80 year old what was the state of technology at that time like RAM for few KB of RAM you would have a size of a room uh like this big of a setup and this is from that time when

[03:09] people could make it work on not just this you keep coming back every decade the videos look as cool like here is robot a humanoid juggling playing foosball uh with human and this is also from you can see this is all they were all predate deep learning this from 8 years ago so this robot is a result from Berkeley can clean up the whole table can arrange items in a in a in a box this was done by one grad student with a single GPU machine nothing more than that okay now this picture of and if I

[03:40] colorize all these videos from past and apply genai filter for the modern voice you cannot tell that this [laughter] video is from 19657 or this is from today And these are not even the oldest results the oldest ones go to 1940s. Okay. So what is this that if you look at last 70 years tech every other technology every other technology has come way far language understanding computer vision mobile phone chips why is robotics is stuck in this primitive age uh for for this long and the reason

[04:12] is uh a general brain. Robotics has always been approached as a hardware problem from ground up and this the reason that everything around robotics has progressed but robotics is still stuck in the same land from the last 70 years. So there’s a very famous paradox called Morave paradox. I don’t know if you know about Moravec. He was also a CMU professor and I’m also CMU professor so have to quote him for sure. He was one of the founding figures in in AI. After 30 years of working in robotics he arrived at a very simple conclusion. Hard is easy, easy is hard. Okay.

[04:44] Whatever human believe to be hard is extremely easy for computers and vice versa. And you can see it happening right in front of your eyes. You would say doing math is hard. Math Olympiad gold medal is really really hard. Climbing a stair oh super easy. Now look around you in technology where we are in terms of what has been solved and what’s not being solved. So this is robotics for you. Okay. It’s very it is not yet another application of AI. It is what AI was founded for in the very beginning and has made very little progress towards. This is not yet another

[05:15] application where deep networks can come in and attack the field. This is has to be thought of with fundamentally first principles from the ground up. This is a very famous example of where you can have a you know a computer beat uh Gary Casper on chess in ’90s but you can you still don’t have a a a computer or robot that can pick up the chess pieces and arrange them on any chess board. Now, so how do we go about solving this? Okay, so on a more positive note, uh we have a

[05:47] magic sauce for AI success, right? You get big data set, you train big models and magic happens. Okay, now we know this template is working well very well in many topics. Okay, now can we apply the same recipe to robotics? Well, it’s not uh directly applicable because we have no data. There is no internet of robotics data and as I said earlier you can go and collect data uh manually on the robot called telly operation and as you notice teley operation is not 5 year

[06:17] old thing this is a 68 or 70 year old thing so the the funny part is if you go back and you look at the whole evolution of GPD3 GPD4 models go back to GPD3 uh three years ago seems like a like a lifetime ago GPD3 only began working and caught people’s attention when you could train those models on trillions of tokens. So GPD3 was already trained 30 trillion plus token and today hundreds of trillions of tokens and if you collect data by manually by tell operation it takes you about 1 minute to

[06:48] get one example. You can do the math if you hire all of US population it will take you more than a century to reach the same scale as of GPD3 uh which is like uh and nobody uses GP3 today. Okay. So this is very slow and expensive. So in robotics I would argue nobody has really scaled robotics yet and we are very far from talking about scale in robotics with the way other uh other areas have seen scale. Okay so this is where uh we have been focusing on uh our scaled is about uh 3 years old but uh I

[07:20] have been working on the problem for more than a decade uh that’s all I’ve done in my career uh nothing else. Uh so at scale what our thesis is is to build what we call an omniodied intelligence any robot any task one brain okay any robot it can be a humanoid it can be a quadriped it can be a robotic arm on a conveyor belt or a dextrous hand doesn’t really matter this even this hypothesis is way more general than uh one would argue humans are because we control our own body and why do we have to go so

[07:51] general well the argument is in robotics there there is no data anyway. So I can’t pick and choose which hardware do I use data from. And we should be able to use data from any kind of hardware, any kind of task, any kind of scenario. And that’s the only way to truly achieve the scale of uh of what language models achieved uh three years ago. Okay. So the goal here is this uh this whole idea of any robot any task one brain. And through this talk I’ll hopefully convince you why this is the this is the way to go towards robotics. Okay. So this is the uh rough intro but before I

[08:23] go into the more details let me show you just a teaser result. So in this result, every single robot uh it’s from a different company, different hardware and they’re all controlled by uh skilled brain whether it’s humanoids going up and down stairs, any kind of scenarios. And these are not new results. They’re like a couple of year old uh results in here. Robust to dust disturbances. You can put them zero shot in new scenarios.

[09:02] So the idea here any every single robot in this video takes any action anywhere in the world the brain behind the scene [music] improves because it’s an omni-body brain. >> Yeah, this is really hard right because like eggs are okay. So that’s a teaser of what we what we

[09:34] work on. So I want to make this talk more scientific and more uh more informative than a company ad. So I’ll talk about uh how do we scale data in robotics. Okay, let’s take a tour back as to how have people addressed this. uh I’ll take a look back at my own career and my hypothesis for data has been changing over the years. Okay. When I began uh uh working scaling things the idea was you can have robots you can collect data for robots manually but it is too slow and robots should be allowed to collect data by themselves. So we had

[10:04] this whole idea of curiositydriven exploration. Uh allow robots to explore in a curious way in the environment and it has a lot of good parts like no human required. Robots can go and keep playing collect more data. We called it play data at the time. It’s very rich because it has force sensors and joint angles. But the difficulty is it is only in the physical world. So it’s very difficult to scale. E Google was at it at the time. Uh h having hundreds of robots. Even for Google it’s too expensive and too slow to scale. The other idea is

[10:35] again telly operation. As I said it’s an old idea but again the same issues impossible to scale because now you don’t need robot you also need humans. Uh so it’s even more expensive and diversity is very limited because even if you put a robot in one setup with a human you can get thousand examples but they’ll all be in the same setup. So what you ideally want carry the robot to new home every day in new scenario and that’s just impossibly hard to scale. Then we had major breakthrough in learning from simulation. This was one of the first result where uh one could

[11:08] show deep reinforcement learning uh trained in simulation transfer to real robot. This is one of one of the award-winning paper uh at the time and now it’s used in every humanoid uh every company out there. uh this was from our lab at Berkeley and CMU. But again they there are pros and cons. It’s very easy to scale but diversity is hard to get because you have to engineer every scene in simulation manually. So if you’re listening to this like there is no single answer I’m coming to. Uh there is no uh no no uh no single solution. This

[11:39] is uh another work we did earlier. This is all before skilled learning from human videos. You watch the human do things and then robot copies this. Again high diversity. You can use videos from YouTube etc. Highly scalable but it’s a very poor form of data because it’s very far from robot. Okay. So what is the solution here? The answer is there is no there is no golden path. You have to think about data in the context of different features. And in my opinion there are only three features that

[12:09] matter in in robotics. scalability, diversity and how close you are to your robot uh uh robot joint angles. Okay, scalability means can I quickly scale it across scenarios. Diversity means can I get diverse data because just having 100 trillion tokens is completely useless if they’re all in the same environment and same scenarios. Okay. And closeness to robot mean how far are you from the ground truth of robot own joint angles. So if you look at simulation very scalable low diverse

[12:42] uh uh but moderately close to robot human videos are very scalable and diverse but very far from robot data you have to learn to map the human to robot this other two teleop and the and the manipulation interfaces they are kind of in between and you can see here uh right now around the world if you look at different companies they’re all focusing on one of these approaches most of them are on teleop or or yumi setups very few on everything else and but there There is no golden answer like they every each one of them have a downside but the golden light here is that they are all

[13:14] complemented to each other like they are not their cons are not exactly matching from each other. So this is where uh the recipe that we have converged to over the years is to realize separate the training into two parts pre-training and post- training but that’s not surprise right but how do we pre-train you want to pre-train using data which is highly scalable and diverse but maybe low quality so simulation human videos etc. So that’s how you pre-train and then for post training you use data from telly operation. Now what is teleoperation data? It’s very high quality but low in

[13:45] amount. Okay, high quality low in amount. It exactly reminds us of the recipe in language models. You pre-train data on the internet then you post train for coding for uh uh for your own company etc. But in robotics there is one more bucket which is deployment data and deployment data is highly scalable once deployment scaled. So over time this data will take over everything else. And what we are trying to build is what we call this data flywheel which goes which takes

[14:17] this data from post training time and puts back in pre-training. And now you can see why this idea of omniodied brain is extremely important because this is very unlikely that you have only one robot only one version deployed forever in every task around the world. This never happens in any area of hardware except chips because they are very hard to manufacture. Uh and you can still see even in the chips uh inference chips are coming left and right for many companies these days. So in hardware this is never the case. you have only one version of the robot, one shape, which is why

[14:48] omniodied intelligence is the enabler of what we call a deployment data flywheel. Okay, so let’s now look at a few results uh very quick. Now this brain is extremely general. So we can do variety of tasks very quickly. You may have you have se you may have seen many tasks like laundry folding etc. It’s very popular task in Silicon Valley for some reason. uh and uh and the and the argument here is uh when have you ever thought while folding a t-shirt that if I miss my hand by 1 cm my t-shirt fold

[15:21] will be a blunder you don’t think like this people don’t even think while folding they just hold anywhere you just do something so that the tolerance for error is extremely extremely high then why is this task hard anybody why why do people get why do people get fooled into believing this task is Let me put it that way. Fabric, right? Why is fabric hard? Simulation. But nobody’s using simulation anyway. This is all from telly operation. Why is this hard? You

[15:51] know why is it hard? Because it is hard for classical version of robotics. Classically in robotics, people would model the whole physics, create models by hand and then do this. It’s very hard for that. But for deep learning based robotics, this is the easiest task possible because it has high tolerance for error. So it is completely uh now so many companies focusing on this task. Now what is hard is I would say something about like let’s say this task. If I ask you before seeing this video is this task doable without having hands

[16:22] very likely half the people will say no because it requires putting like how many of you have lost airports? Uh like and in our company there’s a channel called right airpod because people keep losing their right. Now in this case the robot does not have hand it has gripper. So here the task is very hard for the gripper. So it requires a higher level of intelligence because the arm has to go and orient itself to pick up the airpod in the right manner such that it can be inserted because the grippers can

[16:52] only close up and like like this. They’re parallejo grippers. So you cannot turn the uh the the the airpod at the very end. Now what you are seeing here these are not real airpods. They are fake ones from teu uh like $5 $10 each. So they don’t have a magnet inside. So the robot has to really work hard to put this inside properly because there is no magnet to pull it uh easily. So these are all fake uh fake ones. This is even harder than it appears uh in the video. You can also uh like once you build the general brain behind the

[17:23] scene, you can also go and learn it from variety of just human videos without actually having any finetuning data at tell operation time. So in this scenario what we did, we trained on human videos like this like egocentric videos. we are now trying to transfer it to more third person uh uh videos and if third person works you can learn from YouTube any any kind of open source data. So in this case we see the video and then we add less than 1 hour of robot data. So very quick uh transformation and then the it can transfer to humanoids. Now these

[17:53] ones have hands. Hands or no hands is a big debate. People often use hands as an excuse as to why robotics is not here but that’s not the case. It’s always the intelligence uh behind the scene. We don’t deploy hands right now because there are none available which can be deployed in factories. They all break within 100 yards. Uh pick anyone. If you have better hand uh I would love to buy 10 units ASAP to test. So it’s robust to scenarios. Now the idea is you

[18:26] can do many tasks by watching humans. And the reason we can work with very less data which is less than one hour of robot data is because robot imagines things in its own head and tries to multiply the learning from for many scenarios. So what you see here is a completely fake video uh you can call it robot’s dream. So it’s inside the robot’s own model where it can imagine scenarios uh in so this is not real data. This is all fake uh from own robot’s own model. You can transfer it to you know more complex task and even lower cost hardware. So this is a egg uh

[18:59] uh egg making like omelette making task. Uh now here the these this whole setup costs about $4,000. So extremely cheap arms uh compared to the uh what you see out there. And if you notice here this setup is too cheap to even have any sensors. So the only sensor here is just a camera. No force nothing else. And the robot can do task which require forces uh from vision. Now I’m not saying that’s a future like you should not be doing this. I’m sure the sensors will improve but

[19:31] >> from the existing sensors we are way behind than where we can be from just intelligence perspective. >> Okay. So this can keep on going. This is my adviser from Berkeley. He did not believe the robots can do it. He just kept standing for like uh 1 hour and the robot kept making omelette. Uh and and the interesting part here is this is fully end to end system. There is no state machine nothing. So the reason robot is looking egg because there is an empty plate in the front. I don’t know why it’s fluctuating. It’s not in the there’s no cut in the video. I I assure you of that. It’s HDMI problem. So as

[20:03] soon as you remove the plate uh sorry I don’t know why this is happening. Yeah. So there’s no state machine when the robot starts when the robot ends. It’s all automated and it’s very robust to even disturbances. You can change objects around. Uh you can add these are all unseen and unseen objects. Uh only the pan and the gas stove is same. Everything else is different and the robot can keep on going. So you can get basic robustness. So this was this is all trained with less than 10 hours of data. Uh so it’s very low data to be learning this robustness and it’s coming

[20:34] from the base model behind the scene. I’m skipping uh this in the interest of time. So unlike traditional robotics pipelines where you have planning, mapping etc. This is an end toend brain. Now end to end is heavily used term in in many areas of AI. But when I mean end to end, I really mean end to end. It reads directly from the cameras and it applies power directly to motors. So we use nothing uh in between except just a P at the very end to go from 100 to 500

[21:04] Hz. But P is not robotics contribution. This is before it predates to like World War II or something. Okay. Now the the the interesting part is vision for us is yet another input. So nothing that crazy about it. So if you have seen, you may have seen a lot of lot of results of robots dancing, doing karate, kung fu, backflip. Go back and think how many results have you seen of robots going up and down stairs. Very few. Like even the top companies out there in humanoid, they have not shown beyond one sample stair

[21:37] just to check the tick tick box. You do. And people talk about humanoids are coming, China versus US, all of this is sort of BS. If humanoids cannot climb stairs, what’s the point of having legs? All right, that’s the only reason why you have legs. Now, this is actually a Moex paradox add action. Left one actually is much easier for a robot. A backflip, dancing, etc. is much easier for the robot. And you may think, okay, why is this paradox exist? Think one level deeper. When a robot is doing a

[22:07] back flip, it has to only know about its own body, nothing else. Right? So it’s and when everything is known or fully observed that’s what computers are good at because they can do they can simulate every possible uh uh setup but the right one even simply climbing on stairs requires seeing the stair at the first at the first place or what’s the height what’s the width you don’t measure height and width exactly but you adjust to all the disturbances and that requires vision so right one requires

[22:38] understanding and that’s why it is hard and you don’t see any of this but for us it’s just get another result it doesn’t really matter so we And uh we put this result out one and a half year ago. We shot this like two and a half years ago. Uh but uh like this robot can go any scenario. It is not stumbling on things. It intentionally steps over things and there is no mapping or planning. It doesn’t make any 3D map of the surroundings. It’s all operating from camera on the torso. And you can put this in any kind of setup, any kind of stairs. Uh I’m going faster here. These are, you know, uh fire escape stairs.

[23:11] It’s a bit weird. Fire escape stairs are to be used when there is fire in urgency and they are the hardest in every building. Uh so we are testing in all in all those setups but you can put this in anywhere you can disturb it and stay doesn’t really matter. This is superhuman capability because robot cannot see it’s being pulled. So it’s a surprise factor for the robot that you’re pulling the violet while climbing. And again it’s the same model everywhere in all these scenarios. So very easy although easy parkour does look fun uh uh does look fun and people often find like uh this is uh you know

[23:45] the robots can do all this but this is so much easier than what I showed earlier and even if you see these videos right now many of you will find this more impressive even though I’m telling you this is easy it takes half an hour to train this while the previous one it takes much longer uh and much more difficult to train so you can take this Based model and you can transfer to variety of tasks very quickly. So here this is a very old result from one and a half year ago uh for inserting LAN cables etc. We have very advanced systems now but we are deploying these models already across

[24:17] variety of application. So for instance because to to build the data flywhe the hardest part is the deployment itself. There are so many other issues beside intelligence and hardware that come up when you deploy robotics. It is not the same. This is not same same as deploying chat GP over an app because you have to work around many of the and I think Skyio gave a talk before this and they can talk to you about all day about the hardness of deployment. So we have to start deployment now so that we can have this data flywheel in a foreseeable future and I’ll give you a few examples

[24:48] of deployment we are doing. So one of the examples with Nvidia like Nvidia is opening their first factory in Houston. uh and their GPUs what you use right now they’re all built outside US in in Taiwan mainly and it’s all done manually over there and uh humos are really efficient and really uh really good at making these things but sustaining cost and scalability and throughput here in US it’s very hard to maintain without this labor force so here we are automating uh this GPU assembly for them this was we did a live demo in Nvidia GTC this is deployed in factory already

[25:20] uh last week so it’s already live but the interesting part I want to highlight this is a very traditional factory task but if you look at the the whole setup this is extremely randomized extremely noisy and you go to any factory traditional setup they’re extremely clean so here the robot the same brain can not only do very precise task it can be very robust to any kind of disturbance which means now these robots do not need to be in a cage uh and they

[25:51] can be uh just deployed as is on on these factory lines without any change to any factory line alongside humans and wherever there is humans there is mess. Okay, you can put the same brain to delivery applications. So here the robot delivers from the from the truck to the to the door. It has to find where the front door is. So it’s a common sense problem. It’s not mobility problem. And we already have been delivering uh packages to with working behind the scene with many partners to delivering packages to front door of the houses uh in these areas. same setup works across warehouses and all this. Um now just to

[26:24] close the talk uh close the topic I mentioned this is an omnibody brain and I hope it’s very clear why it’s extremely essential to have an omnibody brain to build data flywheel but there’s one extra benefit and the benefit is your robots may break over time and uh or the safety uh scenarios and safety is a byproduct of this omnibody brain because if you have a we can put the I’m just skipping very fast here so you can see the online this is all online uh but we can put the same brain across each of these systems each of these robots

[26:55] and in this case we did not even train on these robots. This is completely zero shot transfer to all these humanoids and all these things and even if the robot breaks like here the leg breaks it can recover within milliseconds because when your leg breaks your three-legged robot is a new robot. So it doesn’t really matter what’s the shape of the robot is anything changing here we disabled the legs of the robot it learns to learn it learns to walk on two legs in just three trials. So what you are seeing on screen is all the training for the robot that they are that that is happening in these

[27:26] systems. So it’s it adapts in few milliseconds to uh uh 30 seconds or so. And like one example here it’s it’s going on wheels. You jam the wheel it starts walking. So this is a another byproduct of omnibody brain. Safety takes a very different meaning uh with these kind of models. when the robot can fly like or sorry when the robots can walk or or operate with only half the body. I removed some of the gory scenes from this but we also cut the robot in half and it can still work uh with both the two halves separately but for that

[27:57] you can go to YouTube uh and that’s all I have. Thank you.