Apresentando Praxis-1 | Runway
Autoria: Runway · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: Introducing Praxis-1 | Runway · Canal: Runway · 01:33 · Assistir no YouTube
Tópicos: Modelos de IA, Modelos multimodais, Robótica e sistemas autônomos
A Runway apresenta Praxis-1, um world action model de open weights desenvolvido para robôs. O modelo aprende sobre o comportamento do mundo físico a partir de vídeos comuns, usando demonstrações humanas em uma escala que os dados tradicionais de treinamento robótico não alcançam. Com uma quantidade relativamente pequena de dados em primeira pessoa e de robôs, Praxis-1 transforma esse aprendizado em controle. Segundo a apresentação, ele pode se adaptar a diferentes embodiments com apenas alguns minutos de demonstrações e estará disponível em breve.
Pontos-chave
Seção intitulada “Pontos-chave”- A Runway aplica sua pesquisa em modelos de vídeo generativo à inteligência física e à robótica.
- Tradicionalmente, os dados de treinamento de robôs exigem que pessoas demonstrem tarefas repetidamente.
- World action models podem usar vídeos de pessoas realizando tarefas como demonstrações.
- Praxis-1 aprende sobre movimento, contato entre objetos e etapas intermediárias de tarefas a partir de vídeos comuns.
- Uma quantidade relativamente pequena de dados em primeira pessoa e de robôs permite transformar o aprendizado em controle.
- Praxis-1 é apresentado como um modelo de open weights desenvolvido para qualquer robô.
- O modelo pode se adaptar a diferentes embodiments com alguns minutos de demonstrações.
- A apresentação afirma que Praxis-1 estará disponível em breve.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:00 | Da geração de vídeo à inteligência física | A Runway relembra o lançamento de Gen-1 e apresenta a aplicação de sua pesquisa em modelos de vídeo à robótica. |
| 00:32 | Vídeos como demonstrações para robôs | A apresentação introduz Praxis-1 e explica como o modelo aprende sobre o mundo físico a partir de vídeos comuns. |
| 01:03 | Do aprendizado ao controle | Praxis-1 transforma seu entendimento em controle com poucos dados de robôs e pode se adaptar a diferentes embodiments. |
Citações
Seção intitulada “Citações”Agora, estamos aplicando esses aprendizados à inteligência física e à robótica. — 00:00
Todos os vídeos de pessoas realizando tarefas se tornam demonstrações. — 00:32
Apresentamos Praxis-1, um world action model de open weights desenvolvido para qualquer robô. — 00:32
Praxis-1 usa esse entendimento para agir dentro do mundo físico. — 01:03
Um modelo que pode se adaptar a qualquer embodiment com apenas alguns minutos de demonstrações. — 01:03
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- Praxis-1 (modelo): Modelo de open weights que aprende sobre o mundo físico a partir de vídeos e usa esse aprendizado para controlar robôs.
- Runway (empresa): Empresa que desenvolve modelos de vídeo generativo e apresenta Praxis-1.
- Gen-1 (modelo): Modelo de vídeo que a Runway descreve como o primeiro modelo de vídeo comercialmente disponível.
- world action models (conceito): Modelos que usam vídeos de pessoas realizando tarefas como demonstrações para aplicações em robótica.
- Runway Solaris (modelo): Nome citado como parte da pesquisa de world models e da infraestrutura em tempo real da Runway.
- GWM worlds (modelo): Nome citado junto a Runway Solaris no contexto de pesquisa de world models e infraestrutura em tempo real.
- physical intelligence (conceito): Área à qual a Runway aplica seus aprendizados sobre modelos de vídeo generativo e treinamento.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:00 Em 2023, [música] a Runway apresentou o primeiro modelo de vídeo disponível comercialmente, Gen-1. Desde então, [música] nossa equipe interna de pesquisa continuou a expandir as fronteiras do que é possível com modelos de vídeo generativo e [música] de como eles são treinados. Agora, estamos aplicando esses aprendizados à inteligência física e à robótica. [música] Historicamente, cada hora de dados de treinamento de robôs precisava ser conquistada. [música] Alguém, em algum lugar, demonstrando uma tarefa de cada vez, repetidamente,
00:32 de novo. Com [música] modelos de ação do mundo, todos os vídeos de pessoas realizando tarefas se tornam demonstrações >> [música] >> em uma escala que os dados de robôs não conseguem igualar. Apresentamos [música] Praxis-1, um modelo de ação do mundo com pesos abertos, desenvolvido para qualquer robô. Praxis-1 aprende como o mundo físico se comporta [música] a partir de vídeos comuns: como os objetos se movem quando entram em contato, como uma tarefa se apresenta pela metade, e faz tudo isso em grande escala.
01:03 >> [música] >> Com uma quantidade relativamente pequena de dados em primeira pessoa e de robôs, ele pode transformar esse entendimento em [música] controle. Praxis-1 vem da mesma pesquisa geral sobre modelos do mundo e da infraestrutura em tempo real [música] que também opera no Runway Solaris e nos mundos GWM. >> Com licença, você sabe onde fica o relógio central >> Esses modelos aprendem sobre o mundo físico gerando-o. Praxis-1 [música] usa esse entendimento para agir nele. Um modelo que pode se adaptar a qualquer
01:33 incorporação física com apenas alguns minutos de demonstrações. [música] Os pesos abertos de Praxis-1 estarão disponíveis em breve para um mundo que se torna mais dinâmico, vivo e editável.
Transcrição original
[00:00] In 2023, [music] Runway introduced the first-ever commercially available video model, Gen-1. Ever since, [music] our in-house research team has continued to push the frontier what’s possible with generative video models and [music] how they’re trained. Now, we’re taking those learnings and applying them to physical intelligence and robotics. [music] Historically, every hour of robot training data had to be earned. [music] Someone, somewhere, demonstrating one task at a time, over and over and over
[00:32] again. With [music] world action models, all videos of humans performing tasks become demonstrations >> [music] >> at a scale robot data cannot match. Introducing [music] Praxis-1, an open-weights world action model built for any robot. Praxis-1 learns how the physical world behaves [music] from ordinary video, how objects move under contact, what a task looks like halfway through, and it does this all at scale.
[01:03] >> [music] >> With a comparatively small amount of first-person and robot data, it can turn that understanding into [music] control. Praxis-1 comes out of the same general world model research and real-time [music] infrastructure running across Runway Solaris and GWM worlds, too. >> Excuse me, do you know where the central clock >> Those models learn the physical world by generating it. Praxis-1 [music] uses that understanding to act within it. One model that can adapt to any
[01:33] embodiment with just a few minutes of demonstrations. [music] Praxis-1 open-weights will be available soon for world that becomes more dynamic, alive, and editable.