World model da ByteDance refaz cenas de filmes, Sora retorna? E Krea 3 chegou!

Ver no idioma original →

Autoria: Theoretically Media · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: ByteDance’s World Model Re-Shoots Movies, Sora Returns? & Krea 3 Is Here! · Canal: Theoretically Media · 16:28 · Assistir no YouTube

Tópicos: Geração de conteúdo com IA, Modelos de IA, Modelos multimodais, Open source e ecossistemas de software

Resumo

O vídeo apresenta o OmniHuman 2.0, tecnologia da ByteDance para criar avatares com sincronização labial e movimentos de câmera, e mostra uma demonstração de seu novo world model. Também avalia o Krea 3 como ferramenta de edição de imagens, destacando recursos de edição localizada e rapidez, embora algumas funções ainda estejam por chegar. O apresentador comenta ferramentas de pós-produção do LTX 2.5 e relata que a OpenAI estaria negociando o acesso à tecnologia do Sora com uma startup ligada a ex-integrantes da empresa. Por fim, mostra uma ferramenta open source para gerar cidades fictícias e explorá-las em 3D.

Pontos-chave

• O OmniHuman 2.0 aprimora a sincronização labial e permite movimentos de câmera mais cinematográficos, mas ainda tem limitações e, no momento, está bloqueado por região para o apresentador.
• O world model da ByteDance permite explorar ambientes com controle pelo mouse, inserir objetos e acompanhar novamente a câmera de cenas de filmes.
• O Krea 3 se destaca mais como editor de imagens rápido do que como gerador; recursos como geração com LoRA e transferência de estilo ainda estavam a caminho.
• O modo de edição precisa do Krea 3 permite selecionar áreas específicas para modificar, com possíveis usos na preparação de quadros iniciais e finais de vídeos.
• O LTX 2.5 inclui ferramentas de pós-produção para criar mattes, converter material SDR para HDR, editar vídeo HDR e ampliar imagens mantendo detalhes.
• Segundo uma reportagem do The Information, a OpenAI estaria negociando com uma startup o acesso à tecnologia e aos pesos de um modelo semelhante ao Sora, em troca de participação acionária.
• A possível nova versão do Sora teria foco em um público profissional da indústria cinematográfica, não em uma distribuição ampla para consumidores.
• A ferramenta da Sharp Maker gera mapas e cidades fictícias exploráveis, com opções de exportação de modelos 3D.

Capítulos

Início	Capítulo	Resumo
00:00	OmniHuman 2.0	O vídeo analisa os avatares da ByteDance, a sincronização labial, os movimentos de câmera e as limitações da tecnologia.
02:37	O world model da ByteDance	Uma demonstração mostra ambientes interativos, objetos inseridos por prompt e o re-enquadramento de cenas de filmes.
05:44	Krea 3 como editor de imagens	O apresentador compara a geração de imagens com os recursos de edição localizada do Krea 3 e seus usos em fluxos de vídeo.
09:49	Ferramentas de pós-produção do LTX 2.5	São apresentados recursos para criar mattes, trabalhar com HDR e ampliar vídeo, além das opções de uso local.
12:53	Possível retorno do Sora	O vídeo relata negociações entre a OpenAI e uma startup para dar acesso à tecnologia do Sora, possivelmente com foco profissional.
14:56	Cidades fictícias exploráveis	Uma ferramenta da Sharp Maker gera cidades que podem ser exploradas e exportadas para uso em projetos 3D.

Citações

Eles são muito úteis para remendos nos seus filmes de IA, quando você precisa daquela fala específica. — 02:05

Espero que 2027 seja realmente o ano em que tudo isso se junte. — 05:12

Não vai ser seu gerador de imagens principal, mas acho que vai se tornar meu editor de imagens principal. — 09:49

Eu adoraria ver o Sora em ação de novo. — 14:25

Conceitos e entidades

• ByteDance (empresa): Empresa que apresentou o OmniHuman 2.0 e um world model ainda sem nome.
• OmniHuman 2.0 (modelo): Tecnologia de avatar da ByteDance que gera fala sincronizada, expressões e movimentos de câmera a partir de uma imagem.
• Dreamina (ferramenta): Plataforma da ByteDance na qual o apresentador espera que o OmniHuman 2.0 fique disponível.
• world model (conceito): Modelo que gera ou representa ambientes interativos nos quais é possível explorar e manipular elementos.
• Krea 3 (modelo): Ferramenta apresentada principalmente como editor de imagens rápido, com edição localizada.
• LTX 2.5 (modelo): Modelo open weight que pode ser executado localmente e que recebeu ferramentas de pós-produção.
• Alpha Gen (ferramenta): Recurso em beta do LTX para gerar mattes precisos a partir de vídeo.
• LTX (empresa): Empresa que patrocinou o vídeo e desenvolve ferramentas de geração e pós-produção de vídeo.
• Sora (modelo): Tecnologia de geração de vídeo da OpenAI cuja possível disponibilização a uma startup é discutida no vídeo.
• OpenAI (empresa): Empresa que desenvolveu o Sora e estaria negociando acesso à tecnologia com uma startup.
• Sharp Maker (ferramenta): Ferramenta apresentada para gerar mapas e cidades fictícias que podem ser exploradas e exportadas em formatos 3D.

Tradução completa (pt-BR)

00:00 Hoje temos algumas novidades legais da ByteDance, incluindo uma prévia do modelo de mundo que está por vir e o retorno do Omni human. Além disso, a Krea está de volta e, na verdade, chegou super rápido com o lançamento do Krea 3. Tudo isso e o retorno do Sora. É, nunca pensei que diria isso. Começando com algumas notícias interessantes da ByteDance. Primeiro, temos o retorno do Omni human. Esta é a versão 2.0 da tecnologia de sincronização labial de avatares deles. Mas agora com mais movimento de câmera, emoção e uma sincronização labial melhor do que a de um avatar padrão.

00:31 sincronização do que a de um avatar padrão. Vamos dar uma olhada rápida. >> Ainda estou tentando assimilar isso. É absolutamente inacreditável. Isso significa muito para mim. Muito obrigada a todos. >> Imagina, atriz falsa de IA. Você mereceu. Não acho que esteja ruim e, sem dúvida, avançamos muito desde os primórdios da tecnologia de avatares. Sabe, aquele tipo de movimento de mão de boneco de cabeça oscilante que costumava ter. Quer dizer, você lembra do que estou falando. Mas, sabe, obviamente ainda temos alguns problemas com os dentes e, você…

01:02 sabe, embora eu não leia lábios, dá a impressão de que não está acertando todos os ditongos. Só uma observação rápida: Ditongos seria um nome incrível para o álbum da minha falsa banda de punk rock, The Gossian Splats. Agora, quanto às performances em si, preciso observar que estes são exemplos da ByteDance, e uma coisa que percebi nos exemplos da ByteDance é que eles nunca parecem tão bons quanto quando, sabe, nós conseguimos pôr as mãos neles. Mas preciso dizer que, em particular, este parece um pouco exagerado. >> O alvo não está aqui.

01:34 Vá imediatamente para o próximo cruzamento. Bloqueie todas as saídas. Ele ainda está dentro deste perímetro. >> Quer dizer, o falso Karl Urban precisa mesmo pegar leve no café. Dito isso, há algumas observações interessantes aqui, incluindo o fato de que, para algo que é essencialmente um avatar, isso demonstra claramente que o Omni human 2.0 consegue fazer movimentos de câmera cinematográficos. E, sim, fica um pouco aquém do C-dances 2 e 2.5, e entendo que talvez você não fique muito impressionado com isso, mas a questão desses…

02:05 tipos de produto é que eles são muito úteis para fazer remendos nos seus filmes de IA. Quando você precisa daquela fala específica. Então, apesar de o Omni Human 2.0 parecer ter algumas limitações, como não poder controlar o vídeo com ele — ele só usa imagens como fonte —, por outro lado, ele não muda o diálogo, como o C-dances costuma fazer. Então, acho que vale a pena ficar de olho nele. Com certeza vou testá-lo assim que estiver disponível. No momento, está bloqueado por região para mim, então não tive a chance de testá-lo. Dito isso, falei com a equipe da Dreamina e…

02:37 quer dizer, eventualmente ele estará nessa plataforma, então todos nós teremos acesso a ele em algum momento. Agora, indo para notícias mais empolgantes da ByteDance, tivemos nossa primeira prévia do modelo de mundo que eles vêm desenvolvendo. Então, sim, essencialmente estamos vendo aqui uma gravação pirata, mas, no evento Wonderful Tonight, realizado no início desta semana em Pequim, a ByteDance apresentou seu modelo de mundo, que ainda não tem nome, mas parece realmente impressionante. No início, parece aquele modelo de mundo padrão. Na verdade, uma coisa…

03:08 que vale observar aqui é que fiquei muito feliz em ver que ele tem controle pelo mouse. Sabe, todos os outros modelos de mundo usam WASD para se movimentar, e você precisa usar as teclas para cima, para baixo, para a esquerda e para a direita. Este parece ter controle pelo mouse, então obrigado por isso. É claro que podemos inserir objetos no mundo com um prompt e fazer os personagens dentro dele reagirem a esses objetos, como vemos aqui com esta colher surgindo do nada e depois nosso personagem subindo nela. Mas a parte que me fez fazer aquele meme do Leo apontando para a tela foi o reenquadramento da câmera dentro de um vídeo.

03:40 O que foi apresentado foi uma cena de King of Comedy, de Stephen Chow, o que não deveria surpreender, considerando que Chow assinou recentemente um acordo de licenciamento com a ByteDance para vídeos gerados por IA. E, como podemos ver nesta demonstração do filme, agora podemos refazer o rastreamento dos detalhes do ambiente e das performances da tomada original. É meio difícil dizer com base na gravação, que, de novo, é pirata, mas parece que aquela interface no canto tem alguns controles 3D. E, na…

04:10 segunda tomada, não sei, ainda não tenho certeza, mas parece que pode haver um Gaussian splat ali. De novo, é muito difícil saber. Há outros elementos interessantes da interface nesta demonstração com efeito de portal. É uma tomada muito bonita, mas o que me chamou a atenção foi quando abriu para um plano mais amplo, dando outra espiada na interface. Sabe, temos basicamente estes três planos do ambiente, e imagino que esta linha seja o trajeto de rastreamento da câmera. Então, sim, é uma maneira muito legal de visualizar isso. Não sei se este vai ser, obviamente, o…

04:41 design final da interface. Provavelmente é algo em que estão trabalhando, mas, sim, é interessante, e acho que é fácil entender. Tudo isso parece muito interessante e definitivamente abre caminho para vários casos de uso além do modelo de mundo atual, que consiste em caminhar por um ambiente durante 60 segundos enquanto as coisas se desintegram ao seu redor. Mais do que isso, estamos definitivamente começando a ver muitas modalidades convergirem. De tudo, sabe, geração de vídeo no C dance, geração de recursos 3D e modelos de mundo. Então, sim, eu…

05:12 espero que 2027 seja realmente o ano em que tudo isso se una. Curiosamente, tudo isso pode ter algo a ver com o próximo headset de VR Pico Space Pro da ByteDance. É mais ou menos a versão deles do Apple Vision Pro. Ainda não foi lançado, embora haja rumores de que será significativamente mais barato do que, digamos, o Apple Vision Pro. Então, vou acompanhar tudo isso de perto e, obviamente, contar a vocês conforme as coisas avançarem. Voltando ao nosso terreno, a Krea claramente tem tomado o café do falso Carl Urban e trabalhado sem parar…

05:44 porque lançou o Krea 3. Isso apenas cinco meses depois do Korea 2. Agora, acho importante dizer que a Korea está concentrando o Korea 3 mais na edição de imagens do que na geração de imagens. Parece que há planos para lançar geração mais adiante. Vamos dar uma olhada nisso daqui a pouco. Mas, em grande parte, eles estão divulgando que é a ferramenta mais rápida para edições em 2K. E, sabe, é até bem boa. Então, de novo, se você está vendo isso apenas como um gerador de imagens, tanto faz. Ele dá conta do recado. Como vemos aqui…

06:14 há quatro imagens do nosso homem de terno azul caminhando por uma rua movimentada da cidade. O engraçado é que até a Korea parece saber disso, considerando que, se você tentar gerar uma imagem no Korea 3, ele pergunta: “Tem certeza de que quer fazer isso?” E acho que isso acontece porque muitos dos recursos extras do Korea 2 ainda não estão disponíveis. Por exemplo, se você tentar gerar com uma Laura, isso chegará em breve. Há uma lista de espera na qual você pode se inscrever ali. E, se quiser transferir estilos, que é um dos pontos fortes do Korea 2, isso também chegará em breve. Então, de novo,

06:44 como gerador, talvez nem tanto. Como editor, acho que ele faz algumas coisas muito boas. Por exemplo, todos conhecemos aquele padrão de granulação nas imagens do GPT. Então, passando essa imagem para o Krea 3 e dando o prompt para remover a granulação e melhorar a textura da pele, chegamos a isto, que ficou significativamente melhor. Está mais limpo. Para algo um pouco mais específico para mim — ou, bem, específico para fãs da Garota do Lança-Chamas —, um problema que sempre encontro no traje original dela, meio naquela vibe de apocalipse de Mad Max, é que sempre que

07:16 tento fazer qualquer tipo de edição de imagem, muitas vezes acabo recebendo uma recusa por conteúdo impróprio, tanto com o Nano Banana quanto com o GPT. Um breve desabafo sobre isso: olha, eu entendo. Sim, ela está com um visual meio sensual aqui, mas sempre a considerei praticamente uma super-heroína e, sinceramente, há versões da Mulher-Maravilha que usam menos roupa do que ela. Ainda bem que o K3 responde: “Quer trocar de roupa?” Claro. Vamos trocar de roupa. Quer dizer, sei que o Claude não gera imagens, mas, se eu tentasse fazer isso no Claude, tenho 90% de certeza de que

07:46 receberia um sermão. Então, sim, é bom ter um modelo de imagem que realmente faça o trabalho. Caso contrário, basicamente ficaríamos com isto como o novo traje dela. O funcionamento é assim: você tem este modo de edição precisa, em que pode basicamente desenhar caixas sobre o que quer mudar. Neste caso, vamos trocar a roupa dela por um traje de negócios. E pronto: a Garota do Lança-Chamas tubarão de terno. Se pedir aqueles relatórios TPS, ela vai incendiar o escritório. Agora, acho que isso é muito útil quando, sabe, você está usando algo com primeiro e último quadro. Por exemplo, pegamos nosso agente do FBI tomando café num restaurante do Noroeste do Pacífico e, depois, geramos uma edição em que a garçonete entrega a torta e usamos isso como último quadro. Bem, chegamos a isto. Este é um café e tanto. Mas e a torta? >> Está muito boa. É uma receita antiga da Mulher do Tronco, que ela recebeu das corujas. >> Então, no geral, um resultado bem sólido

08:16 lanchonete do Pacific Northwest, e então geramos uma edição da garçonete servindo a torta e usamos isso como último frame. Bem, acabamos com isto. Este café é muito bom. Mas e a torta? >> Está muito boa. É uma receita antiga da senhora dos troncos, que a recebeu das corujas. >> Então, sim, no geral, um resultado bem sólido

08:47 e que realmente resolve alguns problemas que encontramos várias vezes no passado. Às vezes, essa água ou a xícara desapareciam e, com certeza, já vimos fatias de torta de tamanho absurdo. Então, vale a pena experimentar. Acho que isso oferece muito mais controle. Dito isso, se você está tentando pegar vários elementos e combiná-los, especialmente para trabalhos cinematográficos, não acho que este seja necessariamente o modelo certo, pelo menos por enquanto. Quer dizer, ele entende a ideia e dá conta do recado. Ainda assim, o GPT Image 2 acaba nos dando

09:19 isto, que, apesar da granulação, parece bem mais dinâmico. Dito isso, quando você pega todos esses elementos e os leva para um modelo Omni, ele meio que… não sei, junta tudo numa sopa de qualquer jeito. Então, por exemplo, um trabalho em andamento de Planet Hell. >> Outra coisa que devo mencionar é que, sim, ele é muito rápido. Então, sim,

09:49 no geral, eu diria, mais uma vez, que não vai ser seu gerador de imagens principal, mas acho que vai acabar se tornando meu editor de imagens principal. Seguindo em frente, o Sora está voltando. Sei que muitos de vocês estavam esperando por isso. Sinceramente, eu nunca achei que fosse acontecer. Mas antes, uma palavra rápida — e vocês definitivamente vão querer conferir isto, porque nossos amigos da LTX têm novas ferramentas open source para nós. Já avançamos muito na geração de vídeos e imagens com IA. Quer dizer, agora elas estão ótimas. Realmente ótimas. Mas uma coisa que… bem, não falamos muito sobre isso é que estão sempre em formatos com perdas. São como JPEGs e MP4s. Geralmente, são de 8 bits e já vêm processadas. E esses formatos não funcionam muito bem em um contexto profissional. Então, sim, você pode publicar o material, mas não dá para fazer correção de cor, chroma key ou ampliar de verdade. Bem, há boas notícias nesse sentido. O LTX 2.5, o modelo de pesos abertos que você pode executar localmente, acaba de lançar ferramentas de pós-produção. Só para informar: a LTX teve a gentileza de patrocinar o vídeo de hoje. E olha,

10:20 falar com frequência demais é que eles estão sempre em formatos com perdas. São como JPEGs e MP4s. Geralmente são de 8 bits e já vêm prontos. E esses formatos não funcionam muito bem em um contexto profissional. Então, sim, você pode publicar, mas, quer dizer, não dá para fazer correção de cor, aplicar chroma key nem ampliar de verdade. Bem, há boas notícias nesse aspecto. O LTX 2.5, o modelo de pesos abertos que, sabe, você pode executar localmente, acabou de lançar ferramentas de pós-produção. Só para você saber, a LTX teve a gentileza de patrocinar o vídeo de hoje. E olha só,

10:51 este aqui é do seu interesse. Vamos dar uma olhada rápida: temos o Alpha Gen. Vale notar que este está em beta. Então, sim, está em beta, mas você fornece um clipe, gerado por IA ou não, e ele devolve a máscara. Com precisão de quadro, preservando cabelo, fumaça, fogo, desfoque de movimento, vidro — tudo continua lá, inclusive as bordas suaves. É algo bem importante. Alguns de vocês talvez se lembrem dos velhos tempos de fazer rotoscopia no After Effects. Então, sim, é quase um sonho. Na parte de cor, há duas atualizações.

11:22 O SDR para HDR pega sua filmagem de 8 bits e a expande para EXR de 16 bits, em espaço linear de cena. Assim, você terá uma faixa de cores real nas sombras e nos realces, menos variação de cor e menos artefatos. E também há HDR nativo para filmagens que já estão em HDR. Ou seja, 16 bits na entrada e 16 bits na saída. Basicamente, a edição acontece sem achatar a imagem. Isso é ótimo para, por exemplo, fazer preenchimento generativo da passagem do dia para a noite ou criar clean plates. Quanto a ampliar a imagem, normalmente você faria o upscale e veria tudo ficar

11:52 suave. O LTX faz justamente o contrário. O processamento em resolução nativa trabalha a filmagem no tamanho em que você realmente vai entregar, seja 4K ou 8K. Depois, o Refine reconstrói a imagem acrescentando detalhes finos. Assim, você acaba com um quadro maior e realmente mais nítido, não mais borrado. Quanto a onde encontrar tudo isso, há algumas opções. Os pesos abertos estão, claro, no Hugging Face. Há workflows para ComfyUI. E, se você detesta nós — sei que alguns de vocês detestam —, há o LTX Desktop, que acaba de receber uma grande atualização que reúne Alpha Gen, Restore, Clean Plate e Layout to Render.

12:22 E tudo isso sem precisar configurar o ComfyUI. Nem mesmo a API. Tudo roda na sua máquina. Os pesos, os workflows e o LTX Desktop estão todos nos links abaixo. E, se criar algo, marque a LTX. Posso garantir que eles veem as publicações. Agradeço, como sempre, à LTX por patrocinar o vídeo de hoje. Então, o Sora, que acho que dispensa apresentações. Curiosamente, o próprio site ainda existe. Você ainda pode

12:53 baixar todos os seus arquivos aqui. E dá para ver todos os ícones. Só que não faz mais nada. Então, sim, é bem triste. O Sora teve as atividades encerradas no início deste ano, quando decidiram que a OpenAI não faria mais projetos paralelos e passaria a se dedicar a iniciativas muito mais sérias, como dots. Estou brincando. Adoro dots. Adoro meu dot. Dot é ótimo. Bem, depois de tudo isso, Bill Peebles, que liderava a pesquisa do Sora, acabou saindo da OpenAI. Talvez você não soubesse disso porque ele não publicou um manifesto declarando que aquilo era o Armagedom. Nossa, hoje estou meio atrevido. Bem, curiosamente, segundo uma reportagem do The Information, parece que a OpenAI está em negociações com uma startup sigilosa não identificada para dar acesso à tecnologia semelhante à do Sora — aos pesos do modelo. Em troca, a OpenAI ficaria com uma participação acionária. O interessante é que essa startup sigilosa, que aparentemente não é tão sigilosa assim, conta com Bill Peebles. Além disso, Jeffrey

13:23 publicar um manifesto declarando que aquilo era o Armagedom. Nossa, hoje estou meio atrevido. Bem, curiosamente, segundo uma reportagem do The Information, parece que a OpenAI está em negociações com uma startup discreta, ainda não identificada, para lhe dar acesso à tecnologia semelhante à do Sora, aos pesos do modelo. Em troca, a OpenAI ficaria com uma participação acionária. Agora, o interessante é que essa startup discreta, que, pelo visto, não é tão discreta assim, porque sabemos que Bill Peebles faz parte dela. Além disso, Jeffrey

13:54 Katzenberg, ex-chefe da DreamWorks Animation, também é cofundador. Sergey Yashin, ex-diretor financeiro da Dropbox, também está envolvido. Então, eu gosto… não sei, de novo, não sei o quanto você acha que está sendo discreto, mas você está sendo tão discreto quanto o cara que foi pego instalando microfones na sala de conferências da OpenAI. Ou seja, nem um pouco discreto. Aliás, você sabe se esse cara realmente usou o ChatGPT para ajudá-lo a construir o dispositivo para espionar a OpenAI? Olha, eu não sou um espião internacional, mas, pelo visto, esse cara também não é. Enfim, voltando à Sora. Ela

14:25 não parece estar prestes a ser lançada nem nada do tipo, e parece que, desta vez, provavelmente não será voltada para o consumidor. A The Information também informa que provavelmente será mais direcionada a um público profissional mais restrito da indústria cinematográfica, sabe, em vez de um lançamento amplo para o público geral. Então, é, vamos ver como isso se desenrola. Com certeza vou ficar de olho nisso. Eu adoraria ver a Sora de volta em ação. Para encerrar, tem uma coisinha legal de open source que descobri no Sharp Maker. O que

14:56 isso faz é gerar mapas de cidades fictícias e, depois, construir as cidades, e aí você pode passear por elas. No geral, acho que isso é muito legal. Está tudo em japonês, então, se o seu navegador tiver suporte à tradução… Quer dizer, sou péssimo para ler kanji, hiragana e katakana. Mas dá para se movimentar, aproximar com o mouse ou, se estiver no celular, fazer o gesto de pinça para aproximar. Há algumas outras opções, sabe, de como você quer renderizar sua cidade. E há, na verdade, uma

15:26 série de outras cidades que você também pode gerar aleatoriamente. Então, é, isso é bem legal. E você também pode chegar ao nível da rua. Então, vamos voltar à cor desta. Isso pode criar algumas oportunidades interessantes, dependendo dos casos de uso, para essencialmente gerar uma cidade e depois preenchê-la com elementos para servir de referência. Outra parte interessante e legal disso é que você pode baixar… ainda não testei, mas

15:57 dá para baixar arquivos GLB, FBX e OBJ. Então, potencialmente, não sei qual é o tamanho, mas você pode gerar uma seção e importá-la para o Blender e, depois, fazer todas aquelas coisas com Claude, GPT e Blender MCP também. Vale a pena adicionar aos favoritos e, de qualquer forma, vale a pena passar uns cinco minutos só passeando por aí, aproximando e afastando a imagem de uma cidade, porque foi isso que eu fiquei fazendo nos últimos cinco minutos. Acho que é isso por hoje. Como sempre, agradeço por assistir. Meu nome é Tim.

16:28 —

Transcrição original

[00:00] Today we’ve got some cool stuff coming out of ByteDance, including a look at their upcoming world model and the return of Omni human. Plus Krea is back and actually super quickly on top of it with the launch of Krea 3. All that and the return of Sora. Yeah, I never thought I’d say that. Kicking off yeah, some interesting news coming out of ByteDance. Well, first off we have the return of Omni human. This is the 2.0 version of their like avatar lip sync technology. But now with more camera movement, emotion, and better lip

[00:31] syncing than like your standard avatar. Let’s take a quick look. >> I’m still trying to wrap my head around this. This is absolutely unbelievable. This means the world to me. Thank you all so much. >> Hey, you’re welcome fake AI actress lady. You earned it. I don’t think it looks bad and we’ve certainly come a long way since like the early days of avatar technology. You know, that kind of like bobblehead like hand motion thing that it used to I mean, you remember what I’m talking about. But you know, I mean obviously we still do have some problems with the teeth and you

[01:02] know, while I don’t read lips, it does kind of feel like it’s not hitting all of like the diphthongs. As a quick side note, diphthongs would be an incredible album name for my fake punk rock band, The Gossian Splats. Now in terms of actual performances, I mean I do have to note that these are ByteDance’s examples and one thing that I’ve just noticed about ByteDance examples is that they tend to not ever look as good as when you know, we get a hold of them. But I mean, I do have to say in particular this one does feel a bit over the top. >> Target is not here.

[01:34] Move to the next intersection immediately. Block all exits. He’s still inside this perimeter. >> I mean, fake Karl Urban really needs to chill out on the coffee. You know, that said, some interesting notes here including the fact that it’s actually for what is essentially an avatar, this does clearly showcase that Omni human 2.0 is you know, clearly able to do cinematic camera movements. And while yes, it does feel a little south of C-dances 2 and 2.5, uh and I understand that you might not be overly wowed by this, but the the thing about these

[02:05] types of products is that they do come in very handy uh for patchwork in your AI films. When you need that like specific line of dialogue. So, despite the fact that Omni Human 2.0 does seem to have some limitations, like you can’t drive video with it. Uh it’s only image sourced, uh but that said, I mean it won’t change the dialogue like C-dances often will. So, I do think that this is one to keep an eye on. I’ll certainly take it out for a test drive once it becomes available. Currently for me, it is region locked, so I haven’t gotten the chance to test it out. That said, I did check in with the Dreamina team, and

[02:37] I mean eventually it will be on that platform, so you know, we will all have access to it at some point. Now, in kind of more exciting ByteDance news, we did get our first look at the world model that they’ve been building. So, yeah, I mean essentially we are looking at like bootleg footage here, but at the Wonderful Tonight event earlier this week in Beijing, ByteDance showcased their uh their world model, which currently is unnamed, but I mean it does look really impressive. So, initially it does kind of look like the standard world model thing. Uh actually one thing

[03:08] to note here is that uh I was really happy to see that it has mouse control, so it’s not you know, all of the other uh world models are all like WASD for moving around, and you have to up down left right uh with your keyboard controls. This one actually looks like it has mouse control, so thank you for that. We can of course prompt objects into the world and then have characters within that world react to that object uh as we see here with this spoon popping to existence, then our character climbing up it. But the part that got me doing like the like the Leo like pointing at the screen meme, um was camera re-tracking within a video.

[03:40] Showcased was a scene from Stephen Chow’s King of Comedy, which actually shouldn’t be a surprise considering that Chow recently signed a licensing deal with ByteDance uh you know, for AI generated video. And as we can see in this demo from the film, uh we can now take like environmental details and performances of that original shot and re-track them. Now, it’s kind of hard to tell from the footage again, it’s like bootleg footage, but it does look like that UI in the corner there does seem to like have some like 3D controls to it. And then on the

[04:10] second shot, I don’t know I’m still again not entirely sure, but it looks like it might be a Gaussian splat that’s in there. Again, really hard to tell. Some more interesting UI stuff in this kind of like portal effect demo. It’s a very nice shot, but what struck me is when it cut out wider kind of again getting another peek at the UI here. You know, we have these three environment planes basically and what I presume this line is is the camera track path through. So, yeah, it’s I mean it’s a really cool way of looking at it. I don’t know if this is going to obviously be you know, the the

[04:41] final design for the UI. It’s it’s probably something that they’re working on, but yeah, I mean interesting and I think it does I think it’s this is easy to wrap your brain around. So, all of this looks really interesting and definitely opens the door to a number of use cases outside of like the current world model template of like walk around an environment for 60 seconds as things decohere around you, but more than that we’re definitely starting to see a lot of the modalities come together. Everything from like you know, video generation in C dance to like 3D asset generation to world models. So, yeah, I

[05:12] expect 2027 to to really be the year that brings it all together. Interestingly, all of this might have something to do with ByteDance’s upcoming Pico Space Pro VR headset. This is kind of like their version of the Apple Vision Pro. Not yet released though it is like rumored to be significantly cheaper than say well like say the Apple Vision Pro. So, I will definitely be keeping an eye on all of this and obviously let you know as it develops. Moving back to home turf, Krea has clearly been drinking fake Carl Urban’s coffee and like grinding away

[05:44] because they have released Krea 3. That’s just 5 months after Korea 2. Now, importantly, I think Korea is actually focusing Korea 3 to be more of an image editor than it is an image generator. There definitely does appear to be plans for generation coming down. We’ll take a look at that in a little bit. But for the most part, they are, you know, hyping this is like the fastest at 2K edits. And you know, it’s actually pretty good. So, again, if you’re looking at it as just a straight image generator, I mean, whatever. It It gets the job done. You know, as we see here

[06:14] are four images of our man in the blue business suit walking down a busy city street. What’s kind of funny is that even Korea kind of seems to know that, considering that if you try to generate an image in Korea 3, it’s like, “Are you sure you want to do that?” And I think that is because a lot of the bells and whistles of like say Korea 2 aren’t here yet. So, like if you try to generate with a Laura, that is coming soon. There’s a waitlist that you can join up there. And then if you want to do style transfers, which is actually a very strong part of Korea 2, it’s once again coming soon. So, again,

[06:44] as a generator, maybe not so much. As an editor, I do think it does some very nice stuff. For example, we we all know that grain pattern in GPT images. So, handing that image over to Korea 3, and just giving it the prompt to like remove the grain and improve the skin texture, we end up with this, which is significantly better. It’s cleaned up. For something that’s a little more me specific, and well, I mean, specific to fans of flamethrower girl. So, one issue that I do keep running into from her original outfit, kind of like the Mad Max apocalypse thing, is that anytime

[07:16] that I try to do like any kind of image editing on it, a lot of times between like Nano Banana and GPT, like I I end up getting pushed back for inappropriate content. As a quick side rant on that, look, I get it. Yeah, she’s, you know, fairly cheesecakey in this, but I’ve always considered her like pretty much a superhero, and like to be honest, there are iterations of Wonder Woman that are wearing less clothes than she is. Thankfully, K3 is like, “You want an outfit change?” Sure. Let’s Let’s do an outfit change. I mean, I know I know Claude doesn’t do images, but if I tried to do this in Claude, I’m 90% sure I’d

[07:46] be getting a lecture. So, yes, it is nice to have an image at model that will actually do the job. Uh otherwise, we’d basically be stuck with this as her new outfit. So, the way that this works is you have this precise edit mode where you can basically paint boxes on what you want to change. Uh in this case, let’s go uh change her to business attire. And there you go, business shark flamethrower girl. If you ask her for those TPS reports, she’s going to burn down the office. Now, where I think that this comes in really handy is uh you know, if you’re using any first frame last frame stuff. Uh for example, taking our FBI agent drinking coffee in a

[08:16] Pacific Northwest diner, and then we generate an edit of the waitress delivering the pie and use that as a last frame. Well, we end up with this. This is a damn fine cup of Joe. But how’s the pie? >> It’s really good. It’s an old recipe from the log lady who got it from the owls. >> So, yeah, overall, a pretty solid

[08:47] result, and it actually solves a few problems that we’ve run into a number of times in the past. Like, sometimes this water or cup would disappear, and for sure, we’ve definitely seen some insanely sized slices of pie. So, for sure, something to play around with. I think this offers you a lot more control. Now, that said, if you’re trying to take multiple elements and kind of combine them together, especially for cinematic work, um you know, I I don’t think this is necessarily the model, at least right now. I mean, it gets the idea and it gets the job done. You know, that said, you know, GPT image 2 ends up giving us

[09:19] this, which, you know, despite the grain, does I mean, it does look a lot more dynamic. Now, that said, when you take all of those elements and bring them into an Omni model, it kind of like yeah, I don’t know, like like soups them all together anyhow. So, uh for example, a Planet Hell work in progress, >> The other thing I should notice that yes, it is very fast. Um so yeah,

[09:49] overall I would say again, not going to be your primary image generator, but I do think that this is going to find its way into my pocket as my primary image editor. Moving on, uh Sora is coming back. I know that’s something that a lot of you have been hoping for. Like I to be honest, I never expected it to happen. Uh but first a quick word and you’re definitely going to want to check this out because uh our friends at LTX have some new open-source tools for us. So, we have definitely come a long way and AI video and images, I mean, they look great now. I mean, really great. But, one thing that we Well, we don’t

[10:20] talk about too often is that they’re always in lossy formats. They’re like JPEGs and MP4s. They’re generally 8-bit and baked in. And those are formats that don’t really work in a professional context. So, yes, you can post it, but I mean, you can’t really grade it, key it, or blow it up. Well, good news on that front. LTX 2.5, the open weight model that, you know, you can run locally, just shipped post-production tools. As a quick FYI, LTX was kind enough to sponsor today’s video. And hey, look,

[10:51] this one is relevant to your interests. Taking a quick tour, we have Alpha Gen. Uh to note, this one is in beta. So, yeah, I mean, beta, but you hand it a shot, be it AI generated or not, uh and it hands you back the matte. Frame accurate, like hair, smoke, fire, motion blur, glass, it all comes through, soft edges and all. it’s kind of a big deal. Some of you might remember the old days of rotoing in After Effects. So, yeah, this is a bit of a dream. On the color side, there’s actually two updates here.

[11:22] Uh SER to HDR takes your 8-bit footage and expands it to 16-bit EXR, uh scene linear. So, you’ll get real color range in the shadows and highlights and less color drift and fewer artifacts. And then there’s native HDR for footage that’s well, it’s already HDR. So, 16-bit in, 16-bit out. And basically the edit here ends up happening without flattening it. So, this is great for like day-to-night in-painting or clean plates. As for blowing it up, I mean normally you’d upscale and watch it go

[11:52] soft. LTX actually does the opposite. So, native resolution processes the footage at the size you’re actually delivering. So, 4K or 8K. Then refine rebuilds with fine detail on top. So, you end up with a bigger frame that’s actually sharper, not blurrier. Now, in terms of where this all lives, well, there are a couple of different places. The open weights of course are on hugging face. There are comfy UI workflows. And I mean, if you if you’re a node hater, which I know I know you’re out there, the LTX desktop, which just

[12:22] got a big update that bundles Alpha Gen, Restore, Clean Plate, and Layout to Render. And that’s all with no comfy setup at all. Like not even the API. This all runs on your machine. The weights, the workflows, and LTX desktop are all linked down below. And hey, tag LTX if you make something. I can tell you for sure they do look at them. My thanks as always to LTX for sponsoring today’s video. So, Sora, which I don’t think needs any introduction. Interestingly actually the site itself actually still exists. You can still

[12:53] download like all of your assets here. And then like you can see all of the icons. It just doesn’t do anything anymore. So, yeah, pretty sad. So, yeah, Sora, which had its plug pulled earlier this year when it was decided that OpenAI was done with SideQuest and instead moving on to much more serious projects like dots. I’m kidding. I love dots. I love my dot. Dot is great. Well, in the wake of all of that, Bill Peebles, who was the Sora research lead, ended up leaving OpenAI. You might not have known about that because he didn’t

[13:23] post a manifesto declaring that this was Armageddon. Boy, I’m a little saucy today. Well, interestingly, according to a report from The Information, it does look like OpenAI is in talks with an unnamed stealth startup to give it access to the Sora-like technology, the the weights in the model. And in exchange for that, OpenAI would take equity stake. Now, what’s interesting is that this stealth startup, which I guess apparently isn’t so stealthy, because we do know that Bill Peebles is part of this stealth startup. Additionally, Jeffrey

[13:54] Katzenberg, the former head of DreamWorks Animation, is also a co-founder. Also in there is Sergey Yashin, who is the former Dropbox CFO. So, I like I don’t know again, I don’t know how stealthy I think you’re being about as stealthy as the guy that got caught putting microphones in the OpenAI conference room. Which is to say, not very stealthy. By the way, do you know if this guy actually used ChatGPT to help him build the device to spy on OpenAI? Look, I am not an international spy, but I like apparently this guy isn’t either. Anyhow, back to Sora. It

[14:25] doesn’t look like this is like set for eminent release or anything like that, and it does look like this is probably is not going to be consumer-facing this time around. The information also reports that this probably is going to be more of a narrower professional film industry, you know, type audience as opposed to you know, general wide release. So, yeah, I mean we’ll see how it plays out. So, I will definitely keep an eye on this. I I would love to see Sora back in action. Rounding out with just like kind of a cool little open-source thing that I discovered from Sharp Maker. So, what

[14:56] this does is it it’s a it generates fictional city maps and then builds cities, and then you can like wander around in them. I mean, overall, I just think that this one is really neat. It is all in Japanese, so if your browser supports translation, if you so I mean, I I’m terrible at reading kanji, hiragana, and katakana. But, you know, you can kind of move around, zoom in with your mouse, or if you’re on mobile, you can pinch in. There are some other, you know, choices in terms of like how you want to render your city. And there are actually a

[15:26] number of other, um, cities that basically you can randomly generate as well. Um, so yeah, I mean it’s it’s pretty cool. I mean, and you can get down to street level with this as well. So, um, let’s actually go back into the color for this one. Um, so this might like create some interesting opportunities, uh, depending on, you know, use cases, um, for, you know, essentially generating a city and then populating it out for references. The other interesting and cool part about this, too, is that you can actually down I haven’t tried this yet, um, but you

[15:57] can actually download, um, uh, GLBs on this, uh, FBXs and, uh, OBJs. So, you potentially, uh, I don’t know how big it is, but like you can, you know, generate probably a section out and then import it into Blender and then do all of your, you know, Claude, uh, GPT, um, you know, Blender MCP stuff with it as well. So, definitely worth a bookmark and if anything else, just like worth like 5 minutes of your time just like just wandering around and zooming in and zooming out on a city cuz that that’s that’s what I that’s what I’ve

[16:28] been doing for the last 5 minutes. I guess that’s it for today. As always, I thank you for watching. My name is Tim.