Novo world model da ByteDance pode refilmar cenas!
Autoria: Theoretically Media · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: ByteDance’s New World Model Can Re-Shoot Scenes! · Canal: Theoretically Media · 00:31 · Assistir no YouTube
Tópicos: Modelos de IA, Modelos multimodais
O vídeo apresenta a primeira demonstração do world model que a ByteDance está desenvolvendo. O destaque é a possibilidade de refazer o rastreamento da câmera em um vídeo, preservando detalhes do ambiente e as atuações da cena original. A demonstração usa uma cena de King of Comedy, de Stephen Chow, que recentemente assinou um acordo de licenciamento com a ByteDance para vídeos gerados por IA. O apresentador observa possíveis controles 3D na interface e levanta, com ressalvas, a hipótese de haver um Gaussian splat na segunda cena.
Pontos-chave
Seção intitulada “Pontos-chave”- A ByteDance apresentou uma primeira demonstração de seu world model.
- O recurso em destaque permite refazer o rastreamento da câmera dentro de um vídeo.
- A demonstração usa uma cena do filme King of Comedy, de Stephen Chow.
- Stephen Chow assinou recentemente um acordo de licenciamento com a ByteDance para vídeos gerados por IA.
- A cena original parece manter detalhes do ambiente e as atuações durante o novo rastreamento.
- A interface exibida parece incluir controles 3D, embora o vídeo não permita confirmar isso.
- O apresentador considera possível que a segunda cena use um Gaussian splat, mas ressalta que não é possível ter certeza.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:00 | Primeira demonstração do world model | O vídeo apresenta o modelo da ByteDance e destaca o rastreamento de câmera como o recurso mais chamativo. |
| 00:00 | Cena de King of Comedy | A demonstração usa uma cena do filme de Stephen Chow e mostra o novo rastreamento aplicado à imagem original. |
| 00:31 | Controles da interface e possível Gaussian splat | O apresentador comenta possíveis controles 3D e considera, com ressalvas, a presença de um Gaussian splat. |
Citações
Seção intitulada “Citações”Tivemos nosso primeiro vislumbre do world model que eles estão desenvolvendo. — 00:00
O que me chamou a atenção foi refazer o rastreamento da câmera dentro de um vídeo. — 00:00
Agora podemos refazer o rastreamento dos detalhes do ambiente e das atuações daquela tomada original. — 00:31
É muito difícil ter certeza, mas parece que pode haver um Gaussian splat ali. — 00:31
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- ByteDance (empresa): Empresa que está desenvolvendo o world model mostrado na demonstração.
- world model (conceito): Modelo apresentado pela ByteDance, associado à manipulação e ao rastreamento de cenas em vídeo.
- camera re-tracking (conceito): Técnica demonstrada para refazer o rastreamento da câmera em uma cena de vídeo.
- Stephen Chow (pessoa): Cineasta cuja obra aparece na demonstração e que assinou um acordo de licenciamento com a ByteDance.
- Gaussian splat (conceito): Técnica que o apresentador sugere, sem certeza, que pode estar presente na segunda cena.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:00 Agora, em notícias meio mais empolgantes sobre a ByteDance, tivemos nosso primeiro vislumbre do modelo de mundo que eles vêm desenvolvendo. Mas o que me fez fazer tipo aquele meme do Leo apontando para a tela foi o rastreamento de câmera dentro de um vídeo. Foi apresentada uma cena de King of Comedy, de Stephen Chow, o que, na verdade, não deveria surpreender, considerando que Chow assinou recentemente um acordo de licenciamento com a ByteDance para vídeos gerados por IA, sabe? E, como podemos ver nesta demonstração do filme, agora podemos pegar detalhes do ambiente e as atuações daquela
00:31 tomada original e rastreá-los novamente. Agora, é meio difícil dizer só pelas imagens, de novo. É uma gravação pirata. Mas parece que aquela interface no canto tem alguns controles 3D. E, na segunda tomada, não sei, ainda não tenho certeza, mas parece que pode haver um splat gaussiano ali. De novo, é muito difícil dizer.
Transcrição original
[00:00] Now in kind of more exciting ByteDance news, we did get our first look at the world model that they’ve been building. But the part that got me doing like the like the Leo like pointing at the screen meme um was camera re-tracking within a video. Showcased was a scene from Stephen Chow’s King of Comedy, which actually shouldn’t be a surprise considering that Chow recently signed a licensing deal with ByteDance uh you know for AI generated video. And as we can see in this demo from the film, uh we can now take like environmental details and performances of that
[00:31] original shot and re-track them. Now it’s kind of hard to tell from the footage again. It’s like bootleg footage. Um but it does look like that UI in the corner there does seem to like have some like 3D controls to it. Uh and then on the second shot um I I don’t know I’m still again not entirely sure, but it looks like it might be a Gaussian splat that’s in there. Again, really hard to tell.