Apresentando Continuum: um sistema operacional de vídeo em tempo real | Runway Labs

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Introducing Continuum: A Real-Time Video Operating System | Runway Labs · Canal: Runway · 05:09 · Assistir no YouTube

Tópicos: Agentes de IA, Engenharia de software com IA, Ferramentas de desenvolvimento com IA, Geração de conteúdo com IA

Resumo

Ryan, designer e prototipador da Runway Labs, apresenta uma prévia de Continuum, um aplicativo de pesquisa que explora como modelos de vídeo em tempo real poderiam funcionar em um sistema operacional. A ferramenta cria portais visuais interativos com base no conteúdo que a pessoa está vendo, preservando-os para consulta enquanto navega. Ajustar o tamanho de um portal ou clicar nele pode alterar e regenerar a cena, enquanto dicas informativas revelam parte do prompt usado. Continuum também integra agents com interfaces visuais para mostrar seu raciocínio e pode sugerir experiências de vídeo proativamente, como uma exploração de um posto avançado em Marte.

Pontos-chave

Continuum é uma proposta de aplicativo de pesquisa para levar modelos de vídeo em tempo real além do navegador e integrá-los a um sistema operacional.
A ferramenta mantém contexto e memória das tarefas em andamento e permite selecionar elementos na tela para gerar portais visuais relacionados.
Os portais acompanham a pessoa durante a navegação e podem ser redimensionados e explorados por meio de interações.
Redimensionar uma janela funciona como uma entrada para o modelo de vídeo, que regenera criativamente a cena.
Dicas informativas mostram parte do prompt usado para criar experiências personalizadas.
Um agent pode usar a interface de vídeo em tempo real para apresentar visualmente o que está raciocinando, como no projeto de um suporte de bicicleta para impressão 3D.
Continuum pode sugerir interfaces de vídeo com base no conteúdo aberto ou observado pela pessoa.
A demonstração de um posto avançado em Marte mostra um mundo de vídeo em tempo real que pode ser ampliado e explorado.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação de Continuum e geração de portais	Ryan apresenta Continuum e demonstra como selecionar conteúdo na tela para gerar portais visuais relacionados.
01:33	Portais interativos e personalizáveis	Os portais podem ser redimensionados e explorados, e suas cenas são regeneradas em resposta às interações.
02:33	Agents e raciocínio visual	Um agent usa vídeo em tempo real para visualizar o raciocínio por trás de um modelo de suporte de bicicleta para impressão 3D.
04:08	Sugestões proativas e exploração de Marte	Continuum sugere interfaces de vídeo com base no conteúdo em exibição e demonstra um posto avançado em Marte interativo.

Citações

Estamos explorando como eles poderiam ir além do navegador e fazer parte de um sistema operacional que você usa todos os dias. — 00:00

Esses portais acompanham você durante toda a experiência. — 01:02

Redimensionar uma janela é, na verdade, uma entrada para este modelo de vídeo em tempo real. — 02:03

É muito mais rico do que apenas uma parede de texto. — 03:35

Estamos animados para compartilhar mais em breve e continuar construindo interfaces de vídeo generativo. — 05:09

Conceitos e entidades

Continuum (ferramenta): Aplicativo de pesquisa da Runway Labs que explora interfaces de vídeo generativo em tempo real integradas a um sistema operacional.
Runway Labs (empresa): Equipe da Runway que apresenta a pesquisa e o protótipo de Continuum.
Runway (empresa): Empresa responsável pelo canal e pela apresentação da pesquisa sobre Continuum.
Ryan (pessoa): Designer e prototipador da Runway Labs que apresenta a demonstração de Continuum.
real-time video models (conceito): Modelos de vídeo que geram ou atualizam conteúdo visual em tempo real, usados como base para os portais interativos de Continuum.
visual thinking (conceito): Paradigma apresentado em Continuum no qual um modelo de código usa vídeo em tempo real para representar visualmente seu raciocínio.
agents (conceito): Sistemas que podem trabalhar com interfaces de vídeo em tempo real para criar visualizações do que estão processando.

Tradução completa (pt-BR)

00:00 Olá. Meu nome é Ryan. Sou designer e prototipador aqui na Runway Labs. Queremos mostrar uma prévia de uma nova aplicação de pesquisa em que estamos trabalhando, chamada Continuum. A ideia é que, à medida que os modelos de vídeo em tempo real se tornam disponíveis, temos explorado como eles poderiam existir além do navegador, em um sistema operacional que você usa todos os dias. Então, quero fazer uma demonstração rápida. Certo. Você vai notar que, na parte inferior, há uma barra de prompt familiar, onde pode perguntar qualquer coisa à IA.

00:31 E, na parte superior, tenho abas com coisas em que estava trabalhando e às quais posso voltar. Aqui está um artigo que eu estava lendo antes. O Continuum tem contexto e memória dos tipos de tarefas em que venho trabalhando. Então, enquanto leio, posso sempre pedir ao Continuum que me ajude a aprofundar o assunto. Aqui embaixo, posso selecionar e, em seguida, selecionar qualquer coisa que esteja vendo na tela. E o Continuum gera um vídeo em tempo real

01:02 um portal. Esse portal pode ser uma visualização 3D. Pode ser outro tipo de conteúdo. Na verdade, qualquer coisa que me ajude a aprofundar um assunto de forma visual. E o mais incrível é que esses portais acompanham você durante toda a experiência. Por exemplo, enquanto navego na web, posso sempre passar para o painel à direita, expandi-lo e ver os portais que gerei antes. Eles têm bordas borradas ou difusas, meio que

01:33 oníricas, para ajudar a distinguir o conteúdo gerado do conteúdo fixo que você está vendo na tela. Outra coisa incrível sobre os portais é que são experiências totalmente interativas. Por exemplo, vou abrir um que estava vendo antes. É tudo sobre fotossíntese e biologia vegetal. E, assim como em uma janela tradicional, você pode redimensioná-los para ver melhor.

02:03 Mas o que é diferente aqui é que redimensionar uma janela é, na verdade, uma entrada para esse modelo de vídeo em tempo real. Assim, ele regenera completamente a cena de forma criativa, dando-me mais contexto e controle. Também posso clicar em qualquer lugar para interagir com esse vídeo e ter experiências muito ricas. Além de poder interagir diretamente com o vídeo,

02:33 também temos uma dica de informação no Continuum que revela parte do prompt usado nos bastidores, para que você possa criar e personalizar essas experiências sob medida, que são muito pessoais para você. Certo, vou minimizar essa por enquanto. Outra coisa em que o Continuum é ótimo é trabalhar com agents. Então, vou até a parte de baixo e preciso de um suporte para minha bicicleta, feito para impressão 3D. Vou dizer: “Você pode criar um modelo 3D para impressão de um suporte para minha bicicleta?”

03:04 E você vai notar que o Continuum seleciona automaticamente o modo correto para o tipo de intenção que quero realizar. Então, aqui, vou clicar em “Ir”, e isso abre uma janela de conversa com um agent, com um novo paradigma que estamos chamando de pensamento visual. Assim, o modelo de programação pode usar a interface de vídeo em tempo real para criar essas visualizações 3D do

03:35 que está analisando. É muito incrível e muito mais rico do que apenas uma parede de texto. Achamos que essa é uma maneira muito empolgante de fazer agents trabalharem com modelos de vídeo em tempo real e conseguirem se visualizar de formas que criam transparência e confiança nesses sistemas, especialmente quando estão fazendo coisas no mundo real, como impressão 3D. Certo. Outra coisa que eu queria mostrar como parte disso é como essas interfaces e

04:08 experiências de vídeo generativo podem ser criadas proativamente no Continuum. Então, vou procurar algo que estava vendo mais cedo hoje na web. E você vai notar, na parte de baixo, que o Continuum gera sugestões de interfaces de vídeo em tempo real com base no que está aberto ou no que estou vendo. Então, já que estamos pesquisando alguns desses assuntos espaciais, vamos entrar em um posto avançado em Marte, por

04:39 exemplo. E aqui temos um vídeo em tempo real que mostra um mundo inteiro no qual posso entrar. Posso colocá-lo em tela cheia diretamente no Continuum. E, como seria de esperar, posso clicar em qualquer lugar e interagir com o vídeo da mesma forma. Aqui, posso ampliar o próprio posto avançado.

05:09 Essa foi só uma prévia de alguns dos novos recursos e funcionalidades que temos explorado no Continuum. Estamos animados para compartilhar mais em breve e continuar desenvolvendo interfaces de vídeo generativo.

Transcrição original

[00:00] Hello. My name is Ryan. I’m a designer and prototyper here at Runway Labs. And we want to share an early look at a new research application we’re working on called Continuum. The idea here is that as real-time video models become available, we’ve been exploring how they might live beyond the browser and in an operating system that you use every day. So, I want to give a quick demo. All right. You’ll notice along the bottom you have a familiar prompt bar where you can ask anything to the AI.

[00:31] And along the top, [music] I have tabs of things I’ve been working on that I can jump back into. So, here’s an article I was reading earlier. And Continuum has context and memory of the types of tasks [music] that I’ve been working on. And so, as I’m reading through this, I can always have Continuum help me dive deeper on the topic. So, at the bottom here, I can select and then select anything on screen that I’m looking at. And Continuum generates a real-time

[01:02] video portal. This portal can be 3D visualizations. It can be other content. Really anything that helps me dive deeper on a topic in a visual way. And what’s really awesome is these portals come with you throughout the experience. So, as I’m browsing on the web, for example, I can always scroll over to this right-hand drawer and expand and view portals I’ve previously generated. They have blurry or fuzzy edges, kind of

[01:33] dream-like, to help distinguish between generated and fixed content that you’re looking at on screen. What else is awesome about portals is they’re fully interactive experiences. For example, I’ll jump into one that I was looking at earlier. This is all about photosynthesis and plant biology. And just like a traditional window, you can resize them to get a better look.

[02:03] But what’s different here is that resizing a window is actually an input to this real-time video model. And so it completely regenerates the scene creatively in a way that gives me more context and control. And I can also click anywhere to interact with this video and get really rich experiences. Besides being able to interact directly with the video,

[02:33] we also have an info tooltip in Continuum to expose some of the prompt behind the scenes so that you can really create and tailor these custom experiences that are super personal to you. >> [music] >> All right, I’ll minimize that one for now. Another thing Continuum is awesome at is working with agents. Um so I’m going to go down here to the bottom and I need a 3D mount that’s printed for my bike. So I’m going to say, “Can you make

[03:04] a 3D print model for a mount for my bike?” And you’ll notice that Continuum is automatically selecting the correct mode to use for the type of intent that I’m trying to experience. And so here, I’m going to click go and it opens an agent chat window with a new paradigm we’re calling visual thinking. And so the coding model can actually use the real-time video interface to be able to create these 3D visualizations of

[03:35] what it’s reasoning through. Uh it’s really awesome and so much more rich than just a wall of text. We think this is a really exciting way to have agents work real-time video models and to be able to visualize themselves in ways that create transparency and trust with these systems, especially when they’re doing things in the real world like 3D printing. All right. Another thing I wanted to share as a part of this is how these interfaces and

[04:08] generative video moments can be created proactively within Continuum. And so let me look up something I was looking at earlier today on the web. And you’ll notice at the bottom that Continuum actually generates suggestions for real-time video interfaces based on what I have open or what I’m looking at. So since we’re looking up some of these space topics, let’s jump into a Mars outpost for

[04:39] example. And so here, this is a real-time video that’s a whole world that I can step into. So I can actually full screen this right in Continuum. And just like you’d expect, I can click anywhere and interact with the video >> [music] >> in the same way. So here I can zoom into the outpost itself. That’s just an early look at some of the

[05:09] new capabilities and features that we’ve been exploring in Continuum. [music] We’re excited to share more soon and keep building towards generative video interfaces.