Esta ferramenta gratuita de previz com IA é incrível — e um modelo de vídeo secreto!

Autoria: Theoretically Media · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: This FREE AI Previz Tool is Awesome & a Secret Video Model! · Canal: Theoretically Media · 17:30 · Assistir no YouTube

Tópicos: Ferramentas de desenvolvimento com IA, Geração de conteúdo com IA, Modelos locais e open source

Resumo

Tim apresenta o modelo de vídeo misterioso Iron Goddess, que demonstra boa consistência e movimento dinâmico, embora tenha problemas de física e alguns trechos incoerentes. Em seguida, mostra o Recraft V4.1 Flash para geração rápida de imagens e criação de estilos. O destaque final é o Cozy Clay 3.0, uma ferramenta gratuita e open source de pré-visualização 3D que pode ser usada com o Pinocchio e agentes de IA. O vídeo também comenta novidades de Ideogram, SeaArt Dream e Kling.

Pontos-chave

Iron Goddess apareceu brevemente no Arena.ai e foi apresentado como um possível modelo de vídeo em teste.
O modelo consegue gerar cenas com movimento intenso e manter partes do cenário consistentes, mas pode apresentar física estranha, borrões e incoerência entre quadros.
O apresentador especula que o modelo possa estar relacionado à Alibaba, mas ressalta que sua origem não foi confirmada.
Recraft V4.1 Flash gera imagens em cerca de 1,3 segundo; a função de aprimoramento produz versões ampliadas e mais limpas.
O Recraft permite criar estilos a partir de imagens de referência, testar o resultado e compartilhar estilos.
Cozy Clay 3.0 é uma ferramenta gratuita e open source de pré-visualização 3D criada para preparar cenas para vídeos com IA.
Com Pinocchio, Cozy Clay pode ser executado localmente no navegador e permite manipular objetos, personagens, câmera e animações.
Um fluxo de storyboard feito com capturas da pré-visualização pode ajudar a evitar resultados rígidos ao converter cenas 3D em vídeo com IA.
Ideogram lançou seu primeiro modelo vetorial, e SeaArt Dream 5.5 foi anunciado como uma próxima versão do modelo de imagem da ByteDance.

Capítulos

Início	Capítulo	Resumo
00:00	O modelo de vídeo misterioso Iron Goddess	O apresentador examina exemplos do Iron Goddess, destacando seus movimentos dinâmicos e a consistência visual, mas também apontando problemas de física e coerência.
06:41	Recraft V4.1 Flash e criação de estilos	O vídeo demonstra a geração rápida de imagens no Recraft, o aprimoramento de resultados e a criação e compartilhamento de estilos visuais.
10:16	Cozy Clay 3.0 para pré-visualização 3D	Tim apresenta o Cozy Clay 3.0 e o Pinocchio, mostrando como montar cenas e controlar personagens e câmeras com ferramentas manuais ou agentes de IA.
14:26	Do 3D ao storyboard e ao vídeo com IA	O apresentador discute como capturas da pré-visualização podem virar um storyboard e ajudar a obter planos e composições mais específicos.
15:57	Novidades rápidas e encerramento	O vídeo conclui recomendando o Cozy Clay para certos planos e comenta os anúncios do modelo vetorial do Ideogram, do SeaArt Dream 5.5 e da próxima análise de Kling 4.

Citações

A velocidade traz bastante incoerência e cortes bruscos entre os quadros. — 03:05

É uma ferramenta de pré-visualização 3D gratuita e open source, criada especificamente para montar cenas 3D e convertê-las em vídeo com IA. — 11:19

Você pode escolher os planos exatos e a composição que quer. — 15:27

Não acho que sirva para todos os planos. Definitivamente, não substitui o Blender. — 15:57

Conceitos e entidades

Iron Goddess (modelo): Codinome de um modelo de vídeo misterioso que apareceu brevemente no Arena.ai.
Arena.ai (ferramenta): Plataforma mencionada como local de testes em que usuários podem comparar gerações de modelos de vídeo.
Recraft V4.1 Flash (modelo): Modelo de imagem da Recraft apresentado como capaz de gerar imagens rapidamente.
Recraft Studio (ferramenta): Plataforma da Recraft usada no vídeo para gerar imagens, aprimorá-las e criar estilos.
Cozy Clay 3.0 (ferramenta): Ferramenta gratuita e open source de pré-visualização 3D voltada à criação de cenas para vídeos com IA.
Pinocchio (ferramenta): Aplicativo apresentado como uma forma simples de instalar e executar ferramentas e modelos open source.
Blender (ferramenta): Software de criação 3D usado como comparação para fluxos de pré-visualização e renderização.
Ideogram (empresa): Empresa que, segundo o vídeo, lançou seu primeiro modelo vetorial.
SeaArt Dream 5.5 (modelo): Próxima versão de um modelo de imagem da ByteDance, descrita como capaz de decompor imagens em camadas.
Kling 4 (modelo): Modelo de vídeo sobre o qual o apresentador anuncia que fará uma análise aprofundada.
Alibaba (empresa): Empresa que o apresentador sugere, sem confirmação, como possível responsável pelo Iron Goddess.
ByteDance (empresa): Empresa identificada no vídeo como responsável pelo modelo de imagem SeaArt Dream.

Tradução completa (pt-BR)

00:00 Algumas coisas bem legais esta semana no lado da IA criativa, incluindo um novo modelo secreto de vídeo, além de workflows 3D gratuitos que, sabe, meio que fazem aquela coisa de pré-visualização e simplificam bastante o processo para conseguir a cena que você quer. Também tenho uma dica útil sobre isso. Para começar, temos um novo modelo misterioso de vídeo, o que é sempre empolgante. O codinome deste é Iron Goddess, o que provavelmente, pelo menos para mim, indica que deve ser um modelo chinês. Agora, reconheço que não temos muito

00:30 em que nos basear. Iron Goddess apareceu brevemente no arena.ai, que, caso você não conheça, é, bem, a arena. Dá para fazer algumas gerações de vídeo por dia. Nunca se sabe o que vai sair. É só garantir que você esteja no modo de batalha, mudar para vídeo e, então, digitar um prompt para receber alguns resultados. Às vezes, esses resultados são de modelos secretos em fase de testes. Enfim, no início desta semana, um modelo misterioso começou a aparecer por lá com o codinome Iron Goddess. Ele certamente parece muito bom. Synthesia nos mostra um teste de dinâmica de fluidos. Vamos dar uma olhada rápida. >> [música] >> É verdade que se trata de um teste de dinâmica de fluidos, então tem aquele aspecto meio de protetor de tela, mas acho que isso mostra muito bem a capacidade do modelo de manter uma estrutura consistente e, bem, de lidar com a dinâmica dos fluidos, eu acho. Para algo um pouco mais centrado em personagens, Leo acabou obtendo um resultado impressionante, eu diria. Então

01:02 este aqui está sem som. Iron Goddess é capaz de gerar som, então talvez Leo só não tenha enviado o áudio aqui, mas, no geral, acho que ficou realmente fantástico. Claro que há alguns probleminhas aqui e ali, mas não vou ficar procurando pelo em ovo. No geral, acho que essa geração ficou ótima. Passando para alguns testes mais dinâmicos, Brent Lynch, amigo do canal, nos dá a melhor amostra de como Iron Goddess lida com ação. Brent conseguiu duas gerações. Este é o prompt de uma delas. Você pode pausar e ler, se quiser. Enquanto isso, vamos conferir a geração. >> [música] >> No geral, acho que ficou muito interessante. Não está livre de problemas, e vamos falar deles daqui a pouco, mas é bom ver um modelo realmente se esforçando ao máximo com todo esse movimento. Isso me lembra um pouco o SeaDance 2.0, algo que meio que se perdeu no 2.5. Vamos

01:32 entrar em alguns problemas do modelo, mas, antes, Brent conseguiu gerar uma segunda versão com o mesmo prompt. Vamos dar uma olhada rápida nela. DE NOVO, UMA GERAÇÃO MUITO DIVERTIDA. HÁ ALGUNS problemas com a física, mas tudo está sendo cortado e se movendo tão rápido que acho que a ideia é que talvez você nem perceba. O problema é que essa velocidade gera muita falta de coerência e cortes entre os

02:02 quadros. Se você olhar com atenção, fica tudo bem borrado e quase totalmente incoerente quando você avança quadro a quadro. E, como isso se move tão rápido, muitas vezes você simplesmente não tem tempo — seus olhos não têm tempo de registrar qualquer tipo de problema estranho assim. Vale notar que há mais cortes aqui, obviamente, mas acho que este é um modelo muito inteligente. Em particular, temos uma cena como esta, em que nossa corredora continua, mais uma vez, razoavelmente coerente. O que me impressiona é que todo o fundo

02:34 permanece muito consistente. Então, de novo, há um pouco daquela ideia de “atenção é tudo de que você precisa” acontecendo aqui. E o modelo parece saber quando desacelerar, como na sequência final, quando ela está entrando no elevador. Não vemos muitos cortes nem perda de coerência aqui. E, caso você esteja se perguntando, sim, Brent teve a gentileza de usar o mesmo prompt no Stable Diffusion 2.5 para comparar. >> [música]

03:05 [música] >> Olha, sem dúvida, é um resultado muito sólido. E, ao percorrer a saída do Stable Diffusion 2.5, dá para ver claramente que nossa personagem corredora continua muito mais coerente ao longo de toda a cena. Dito isso, eu diria que isso vem ao custo de um movimento um pouco menos dinâmico, eu acho. Passando para uma saída que obtive no Iron Princess, este é o nosso homem de terno azul caminhando por uma rua movimentada e fugindo de uma multa por atravessar fora da faixa. Este é de texto para vídeo. >> [música] >> Olha, há alguns problemas aqui. É de texto para vídeo, e o prompt de texto usado foi bem minimalista. Mas também há coisas de que gosto bastante. Acho que a cidade ficou muito boa. E, quando a perseguição começa, embora

03:36 sim, também tenhamos alguns problemas — um dos policiais acaba correndo mais rápido que a pessoa que está perseguindo e depois decide se jogar contra um monte de caixas. Tanto o movimento da corrida quanto a câmera da perseguição estão, na verdade, bem sólidos. Quanto a quem está por trás do Iron Princess, não sabemos. Dito isso, se eu tivesse que especular, apostaria na Alibaba, considerando que, na conferência App Sarah algumas semanas atrás, eles apresentaram um novo modelo de vídeo

04:07 que será lançado em algum momento de novembro. Não está muito claro se este é um modelo de vídeo sucessor da linha Wan ou se vem do happy horse. Então vou ficar de olho nisso. Obviamente, considerando a data de lançamento em novembro, provavelmente ligada ao lançamento do Kuaishou 4, faz sentido que estejam testando o modelo agora. Então, talvez o que estamos vendo nem seja a versão final do Iron Princess. Aliás, falando da Kling — e, sim, vou fazer uma análise aprofundada da Kling 4 na próxima semana. Isso é um pouco de bastidor, mas achei bem interessante. A Kling vai abrir o capital em Hong Kong no ano que vem. Está avaliada em aproximadamente 18 bilhões. Mas, curiosamente, entre os investidores da Kling estão Alibaba, Tencent e Baidu. É importante observar que a Kuaishou, empresa controladora da Kling, detém 68%. Portanto, são participações minoritárias, mas, sim,

04:39 é interessante que essas três, junto com a Kling, estejam, essencialmente, formando uma espécie de Voltron dos modelos de vídeo com IA para competir com a ByteDance. Passando para o lado do 3D. Olha, eu sei que isso sempre faz muita gente desistir, mas, sinceramente, continue assistindo. Há algumas ferramentas gratuitas boas e fáceis de usar. Mas, antes disso, e já que tem a ver com o que interessa a vocês, vamos conferir o pessoal da Recraft e conhecer o novo modelo rápido de imagem deles. É interessante que

05:10 tenhamos chegado a velocidades quase em tempo real para vídeo, mas, muitas vezes, as imagens são as lentas. A Recraft acabou de resolver isso com o V4.1 flash, que é rápido: cerca de 1,3 segundo por imagem. Pode parecer lento para o obturador de uma câmera de verdade, mas, para geração de imagens com IA, é rápido. Para mostrar rapidamente, temos, é claro, nosso homem de terno azul caminhando por uma rua movimentada. Vou gerar com o Recraft fast e, sim, a imagem já começa a aparecer. É bem rápido mesmo. Agora, devo dizer

05:40 modelo que será lançado em algum momento de novembro. Agora, não está muito claro se este é um modelo de vídeo sucessor da linha Wan ou se é algo vindo da Happy Horse. Então, vou ficar de olho nisso. Quer dizer, obviamente, considerando a data de lançamento em novembro, provavelmente ligada ao lançamento do Kuaishou 4, faz sentido que eles já estejam lançando e testando isso agora. Então, sabe, talvez o que estamos vendo nem seja a versão final de Iron Princess. Sabe, falando nisso, do lado da Kling — e sim, vou fazer

06:10 um mergulho aprofundado na Kling 4 na semana que vem. Isso é um pouco de informação de bastidores, mas achei bem interessante. Na verdade, a Kling vai abrir capital em Hong Kong no ano que vem. Ela está avaliada em aproximadamente 18 bilhões. Mas, curiosamente, entre os investidores da Kling estão Alibaba, Tencent e Baidu. Agora, é importante observar que a Kuaishou, empresa controladora da Kling, detém 68%. Então, são investimentos minoritários, mas, sim,

06:41 curiosamente, esses três, junto com a Kling, considerando que, essencialmente, estão meio que formando um Voltron de modelos de vídeo com IA para competir com a ByteDance. Passando para o lado do 3D. Olha, sei que isso sempre faz muita gente desistir, mas, sinceramente, continue assistindo. Tem algumas coisas gratuitas e fáceis de usar aqui. Mas, antes disso, e pensando no que interessa a você, vamos conferir com nossos amigos da Recraft o novo modelo rápido de imagens deles. É interessante que já

07:11 chegamos a velocidades quase em tempo real para vídeo, mas, muitas vezes, as imagens são as mais lentas. Então, a Recraft acabou de resolver isso com o V4.1 flash, que é rápido: cerca de 1,3 segundo por imagem. Isso pode ser lento para o obturador de uma câmera de verdade, mas, para geração de imagens com IA, quer dizer, é rápido. Para mostrar rapidamente, claro, temos nosso homem de terno azul caminhando por uma movimentada rua da cidade. Vou gerar no modo rápido da Recraft e, sim, as imagens começam a aparecer. Quer dizer, é bem rápido. Agora, devo dizer

07:42 que o motivo de estar se movendo tão rápido é que estas são imagens de baixa resolução. Mas, se você encontrar algo de que goste, pode, é claro, vir até o recurso de aprimoramento aqui, e eu até gosto dele no modo sutil. E mandamos ver, e de fato, embora não tão rápido quanto o modelo flash, obviamente. Quer dizer, ainda é bem rápido, mas obtemos uma versão ampliada e aprimorada dessa imagem. Agora, as coisas ficam realmente interessantes, exploratórias e divertidas quando você começa a adicionar estilos, algo que, na minha opinião, sempre foi um dos poderes secretos da Recraft. Então, de novo, este

08:13 é exatamente o mesmo prompt, com vários estilos aplicados. Para ilustrar isso, estou brincando com o 4.1 flash e, na verdade, com um dos prompts mais antigos que eu costumava usar o tempo todo aqui no Recraft: nossa mulher cyberpunk de cabelos brancos longos. Sabe, acabamos com algumas imagens que estão começando a ficar bem interessantes. Então, a partir daí, comecei a adicionar alguns estilos. Neste caso, era o estilo futurismo V4, e acabei com estas imagens, que começaram a me agradar. Depois, continuei iterando um pouco mais, combinando algumas outras

08:45 imagens antigas para chegar a visuais como estes. Vamos falar disso daqui a 1 segundo. Mas, a partir daqui, depois que consegui estas imagens, pude combinar aquele visual de contraste marcante com o visual mais colorido e ilustrado para chegar a imagens como estas. Em particular, acabei gostando muito desta. Criar estilos no Recraft sempre foi divertido e, sabe, continua sendo na versão 4.1. É só vir até aqui e criar um estilo. E, a partir daqui, você pode adicionar referências. Agora, na minha opinião, a parte divertida de fazer isso é pegar imagens que você não pensaria necessariamente

09:15 que combinariam. Quer dizer, obviamente, dá para fazer combinações que se complementam, mas, sim, é sempre divertido criar variações diferentes e interessantes. A novidade aqui é que eles também fornecem alguns prompts. Assim, você também pode testar seu estilo. Isso nos dá uma boa ideia de como nosso novo estilo vai ficar. É só clicar em salvar e, como você pode ver, quando voltamos ao nosso homem de terno azul andando por uma rua movimentada da cidade, usando o estilo de traço delicado com tinta que acabamos de criar, bem, há uma diferença bem grande. Outra

09:45 coisa legal é que agora você também pode compartilhar seus estilos. Então, vou deixar abaixo o link para este estilo, se quiser conferir. Tudo isso já está disponível no Recraft Studio. E, se você acompanha o canal há algum tempo, sabe que sou um grande fã do Recraft. Além dos modelos próprios deles, quero avisar que praticamente todos os modelos de imagem e vídeo também estão disponíveis aqui. Além disso, eles são uma das poucas plataformas que ainda oferecem um plano gratuito para você experimentar. Então, com certeza, pelo menos faça o cadastro para isso. Quer dizer, o Recraft é uma ótima ferramenta para ter à disposição em qualquer dia da semana.

10:16 O link está na descrição, assim como o estilo de traço delicado com tinta. Como sempre, agradeço à Recraft por patrocinar o vídeo de hoje. Continuando. Sei que todo esse workflow de Blender para Cascade e depois Mini Max parece ser a última moda em workflows de OP. E olha, devo dizer que, embora dê para conseguir resultados muito bons com isso e até ir mais longe conforme avançamos — aparentemente, agora as pessoas estão experimentando o Cinema 4D com uma técnica bem parecida. E, sim, isso parece mesmo impressionante. Mas, voltando ao

10:47 Blender, sabe, isso pode levar muito tempo, especialmente na renderização. E talvez não dê exatamente os resultados que você procura, sobretudo se não estiver muito familiarizado com o Blender. Por exemplo, este foi um experimento que fiz há pouco tempo: peguei a abertura original de A Touch of Evil e renderizei de novo no Blender, mantendo exatamente o mesmo movimento de câmera. Chegou perto. Não ficou exatamente 100% igual. Como você pode ver, há até um desvio na sincronização. Mas, no geral, definitivamente

11:19 captou a ideia. Também levou uma eternidade para renderizar. Para isso, temos o Cozy Clay, uma ferramenta gratuita e open source de pré-visualização 3D. E ela foi especificamente criada para fazer cenas 3D que serão convertidas em vídeo com IA. Há algumas maneiras diferentes de usar o Cozy Clay 3.0. Na minha opinião, a melhor é acessar o Pinocchio. Já falei do Pinocchio várias vezes no canal. Mais uma vez, o Pinocchio também é gratuito.

11:51 Então, é só baixar. Essencialmente, ele funciona como uma maneira muito fácil de baixar modelos open source e começar a usá-los, seja para vídeo, áudio ou imagem. Na verdade, eles até têm aqui o God’s eye view no negócio do Wall, o que também é muito legal, caso você ainda não tenha conferido. Agora, preciso dizer que isso demora um pouco para baixar, então só tenha isso em mente. Mas, sim, depois que você instala e põe para funcionar, ele fica rodando no navegador, localmente na sua máquina. E o que é meio

12:22 legal neste aqui, além do fato de que, essencialmente, você tem seus personagens de argila aqui, é que pode movê-los se quiser. Sabe, qualquer objeto aqui é 3D, então dá para brincar com ele. Mas, se você não sabe o que está fazendo, há uma automação com agent aqui embaixo, na qual você pode conectar, por exemplo, seu OpenAI Codex. Se você tiver uma chave da Anthropic, acho que também pode usar seus modelos Claude aqui.

12:53 Mas, se você só tiver sua assinatura normal do OpenAI ChatGPT, também pode conectá-la aqui. Então, essencialmente, você conversa com o Codex através do Cozy. Sim, é bem legal. E há bastante coisa que você também pode fazer manualmente aqui. Temos um personagem totalmente… bem, não totalmente equipado, mas um personagem com rig aqui. Então, podemos mover nosso personagem se quisermos assumir o controle manual. Ou, obviamente, podemos simplesmente… Sim. Sim.

13:24 Sim, dá para assumir o controle manual. Bem, para onde foi a cabeça dele? Sim, então… mas, obviamente, se você não quiser ter o trabalho de mexer no Pinocchio, pode simplesmente pedir ao seu agent que faça isso. E, além disso, é bem rápido. Aqui, pedi para ele montar um pequeno cenário de detetive particular para mim. Sabe, a vantagem é que tudo funciona essencialmente no navegador. Então, você não precisa se preocupar

13:54 com GPUs nem nada do tipo. Vai funcionar basicamente em qualquer coisa. Um detalhe que quero mencionar aqui, porque levei um tempinho para descobrir, é que você precisa clicar com o botão direito do mouse para mover a câmera, ou usar W, S, D e A para se movimentar também. E, de novo, você também pode animar aqui. Então, se encontrarmos um ângulo, sabe, pedi ao ChatGPT para fazer isto, mas temos um ciclo de caminhada vindo até o quadro de investigação do assassinato e, quando nos viramos, nosso detetive está atrás do

14:26 a mesa se levanta e caminha até a janela. Então, a partir daqui, eu poderia fazer com que ele saísse e, sabe, cortasse os ângulos para mim na timeline, para que, essencialmente, tivéssemos todos os nossos planos aqui e depois, sabe, juntássemos tudo em uma coisa só. Dito isso, um dos problemas que você pode encontrar, e algo sobre o qual conversei com o amigo do canal PJ Ace, é que, sabe, quando você segue esse caminho, muitas vezes as suas saídas, sabe, quando você as passa por algo como

14:56 Cines ou Mini Max, acabam parecendo um pouco rígidas. Então, PJ se deparou com esse problema no seu curta-metragem de IA mais recente, e a solução é meio engraçada. Depois de fazer a previz do curta inteiro no Blender, a solução foi tirar capturas de tela dessa previz e organizá-las em um storyboard. Então, de certa forma, sabe, demos a volta completa e voltamos à conversão de imagem em vídeo. Dito isso, é claro,

15:27 o benefício de seguir nessa direção é que você pode escolher, essencialmente, os planos, os planos exatos e a composição que quiser. E, se estiver usando algo como o Cozy Clay aqui, pode até mudar coisas como a distância focal e a proporção da imagem, além de tudo isso. Então, quero dizer, há definitivamente muito mais flexibilidade para alcançar o que você está tentando fazer, em vez de simplesmente depender de algo como Nano Banana ou GPT image 2. Então, sabe, quero dizer, de qualquer jeito

15:57 que você queira usar, acho que vale mesmo a pena baixar o Cozy Clay. De novo, totalmente grátis. E o Pinocchio também, caso você ainda não tenha. No geral, de novo, não acho que seja para todos os planos. Definitivamente, não substitui o Blender, mas acho que, se você tem um plano muito específico em mente ou simplesmente quer trabalhar e iterar com bastante rapidez, vale muito a pena usar o Cozy Clay. Para fechar, algumas notícias rápidas: a Ideogram acabou de lançar seu primeiro modelo vetorial. Então, quem trabalha com SVGs no Illustrator agora pode

16:29 gerar imagens na Ideogram e, sabe, fazer todas aquelas coisas de Illustrator. Ainda não tive a chance de testar isso. Sempre fico mal em relação à Ideogram. Fico sempre tipo: “Ei, eles acabaram de lançar uma novidade. Ainda não tive a chance de testar.” Em outras notícias, parece que o SeaArt Dream 5.5 está chegando. Esse é o modelo de imagem da ByteDance. Essa informação vem da Emily, que sempre foi muito boa e confiável na hora de divulgar informações. Então, parece que ele terá decomposição de cena em até 100 camadas, em vez das 10 da versão anterior. Isso é

16:59 aquela coisa que permite, sabe, separar em camadas os objetos em primeiro plano e no fundo. 80 rodadas, mais de 80 rodadas de edição local resistente a desvios. 4K. É, quero dizer, vamos ver. Quer dizer, os modelos de imagem SeaArt Dream sempre foram meio medianos, mas, sabe, estou sempre disposto a dar uma olhada e torcendo para que seja um grande sucesso. Então, é isso por esta semana. Volto na semana que vem com a análise de Kling 4, que já está atrasada. Além disso, nos bastidores, continuo trabalhando sem parar em

17:30 Planet Hell. Então, espero trazer isso para vocês na semana que vem. Como sempre, agradeço por assistirem. Meu nome é Tim.

Transcrição original

[00:00] Some pretty cool stuff this week on the creative AI side of things, including a new secret video model, plus free 3D workflows that I you know kind of do that pre-vis thing, very much simplify the process getting you the shot that you want. Uh plus I’ve got a bit of a helpful tip on that front as well. Kicking off we have a new mystery AI video model, which is always exciting. This one is code named Iron Goddess, uh which probably I mean to me at least indicates that it’s likely a Chinese model. Now admittedly we don’t have a

[00:30] lot to go off of. Uh Iron Goddess briefly appeared over on arena.ai, which if you’re not aware of is well I mean it’s the arena. You can run a couple of video generations per day. Uh you never know what you’re going to get. Just make sure you’re in battle mode and then uh turn it on to video and then uh yeah, type in a prompt and you’ll get a couple of results. Uh sometimes those results will be like secret models that are being tested. Anyhow, earlier this week a mystery model began appearing there code named Iron Goddess. Uh it certainly does look pretty good. Synthesia gives

[01:02] us a fluid dynamic test. Let’s take a quick look. >> [music] >> Now granted it is a fluid dynamic test, so it kind of has that like screensaver-ish look to it, but I do think that this very much showcases the model’s ability to like hold consistent structure and well I mean well how it handles fluid dynamics I guess. For something that’s a little more character driven, uh Leo ended up getting I don’t know kind of a stunning result here. So

[01:32] no sound on this one. Uh Iron Goddess is capable of generating sound, so maybe Leo just didn’t uh upload it here, but you know overall I think that this looks really fantastic. Now for sure there are some minor issues here and there, but I’m not necessarily going to nitpick here. I mean it’s overall I think this is a great generation. Sliding over to some more like well dynamic tests, uh friend of the channel Brent Lynch gives us our best look at Iron Goddess in terms of how it handles action. Uh Brent got two generations off. Uh this is the prompt for one of them. Uh you know, you

[02:02] can pause it and read it if you want to. In the meantime, uh well, let’s go check out the generation. >> [music] >> I mean, overall, I think that this looks really interesting. It is not without its problems, so we’re going to go over that in just a minute, but you know, it’s actually it’s nice to see a model like really swinging for the fences in terms of like all of this motion and movement. Uh it is something that kind of reminds me a little bit of SeaDance 2.0 that 2.5 kind of lost. We’ll move

[02:34] into some issues with the model, but first uh Brent actually managed to get a second version of that same prompt off, so let’s take a quick LOOK AT THAT. AGAIN, A VERY FUN GENERATION. THERE ARE SOME issues with some of the physics in there, but everything is kind of like, you know, being cut and moving so quickly that, you know, I think the idea is that you might not notice. The problem is that speed does buy us is a lot of like decoherence and chop in the

[03:05] frames. Like I mean, if you kind of look it’s very like smudgy and on the verge of full decoherence uh when you go frame by frame. And because this is moving so quickly, a lot of times like you’re just not going to have time like your eyes are just not going to have time to register like uh you know, any kind of like weird issues like this. You have to know that while we see some chop in more here, obviously, I do think this is a very smart model. Namely, as we have a shot like this where our runner stays, you know, again, fairly coherent. Uh what I’m impressed with is that all of the background there, that

[03:36] all stays uh very uh solidly consistent. So again, this is, you know, there’s like a little bit of that attention is all you need uh going on with this thing. And the model does seem to know when to slow down when we’re coming into like the ending sequence here where she’s getting on the elevator. Like we’re not seeing a lot of like chop and de-coherence here. And in case you were wondering, yes, Brent was nice enough to run the same prompt in Stable Diffusion 2.5 for comparison. >> [music]

[04:07] [music] >> So, look, absolutely, that is a very solid output. And when you scrub through, you know, the Stable Diffusion 2.5 output, you can clearly see that like our runner character here, like, you know, I mean, she she definitely stays much more coherent um all the way through. That said, I mean, I will say that that does come at the cost of, you know, sort of the movement being a little less dynamic, I guess. Moving over to an output that I got in Iron Princess, uh this is our man in a blue business suit uh walking down a busy city street and running away from a jaywalking ticket. Uh this one is

[04:39] text-to-video. >> [music] >> So, look, there are some issues here. Uh it is text-to-video, and it was a fairly minimal text prompt on top of it. But, there’s stuff that I really like in here, as well. I think the city actually looks really good in here. Um and when the chase sequence begins, although

[05:10] again, yes, we do have some some issues like the one police officer is actually outrunning the person that he’s chasing before, you know, deciding to slam into a a bunch of boxes. Both the movement of the running and the chase camera, I I mean, that that actually is really pretty solid. Now, as to who is behind Iron Princess, well, I mean, we we don’t know. Um that said, if I had to speculate, like, if I had to guess, I’d put money down on Alibaba, considering that at their App Sarah conference a few weeks ago, they did showcase a new video

[05:40] model that will be released sometime in November. Now, it’s not really clear if this is a video model that is uh a successor to the Wan line or if this is something coming from happy horse. So, I’ll be keeping an eye on this. I mean, obviously given the November release date, likely tied to the release of Kuaishou 4, it does make sense that they would be out and testing this right now. So, you know, possibly what we’re looking at isn’t even like the final version of Iron Princess. You know, on a side note, on the Kling side of things and yes, I will have like

[06:10] a full deep dive into Kling 4 next week. Um, you know, this is a bit inside baseball, but I I I thought it was pretty interesting. So, Kling will actually be moving into a Hong Kong IPO next year. They’re valued approximately at 18 billion. But interestingly, investors into Kling include Alibaba, Tencent, and Baidu. Now, it is important to note that Kuaishou, Kling’s you know, parent company does hold 68%. So, they are minority investments, but yeah,

[06:41] interestingly, those three along with Kling considering that you know, essentially they kind of like forming a Voltron AI video models to compete against ByteDance. Sliding over to the 3D side. Look, I know this always loses a bunch of you, but honestly, stick with it. There’s some good free and not hard to use stuff here. But before we do that and relevant to your interest, let’s go check in with our friends at Recraft to check out their new fast image model. You know, it’s interesting that we’ve

[07:11] hit near real-time speeds for video, but a lot of times images, they’re the slow ones. So, Recraft just solved that with their V4.1 flash and it is fast, about 1.3 seconds per image. Now, that might be slow for a real camera shutter, but for AI image generation, I mean, that’s quick. As a quick showcase here, of course, is our man in the blue business suit walking down a busy city street. I’ll generate in Recraft fast and yeah, I mean, there starts popping in. I mean, it is pretty quick. Now, I should say

[07:42] that the reason that it is moving so fast is that these are, you know, low-res images. But, if you do find something that you like, you can, of course, come over to the enhanced feature here, and I actually like it on subtle. And we slammed that off, and indeed, although not as fast as the flash model, obviously. I mean, it is still pretty quick, but we get an upscaled, cleaned-up version of that image. Now, where things get really interesting, exploratory, and fun is when you start adding in styles, which has always been of a Recraft secret power, in my opinion. Um so, again, this

[08:13] is just the exact same prompt with a number of styles applied to them. To illustrate that, playing around with 4.1 flash, and actually one of the older prompts that I used to run here on Recraft all the time, which is our cyberpunk woman with long white hair. You know, we end up with some images that you know, are starting to look pretty interesting. So, from there, I began adding some styles to it. In this case, it was the V4 futurism style, and ended up with these images, which started to tickle my fancy. From there, I ended up iterating a bit more by combining a few other

[08:45] older images to come up with looks like these. We’re going to go over that in just 1 second. But, from here, once I once I had these, I was able to combine that stark contrast look with the more colorful, illustrated look to come up with images like these. In particular, I actually really ended up liking this one. Creating styles in Recraft has always been fun, and you know, continues on with version 4.1. You know, you just come over here and create a style. And from here, you can add in references. Now, the fun of doing this, in my opinion, is actually grabbing images that you wouldn’t necessarily think

[09:15] would work together. I mean, obviously, you can do some complimentary stuff, but yeah, it’s always sort of fun to kind of come up with some interesting, different variations. The new thing here is that they actually provide some prompts in here, as well. So, you can sort of test out your style, as well. So, this gives us a good idea of how our new style is going to look. We just simply hit save, and as you can see, when we return back to our man in the blue business suit walking down a busy city street utilizing quiet ink work, the style that we just created, well, I mean, there is a pretty big difference. An additional

[09:45] cool thing is that you can now share your styles as well. So, I’m I will have the link to this style down below if you want to check it out. So, all of this is available in Recraft Studio right now. And if you’ve been watching the channel for a while, you’ll know that I’m I’m I’m pretty big Recraft fan. In addition to their own models, I do want to let you know that practically every image and video model is available here as well. Plus, they are one of the few platforms to still offer a free plan just to try them out. So, for sure, at at least sign up for that. I mean, Recraft is a great tool to have in your

[10:16] back pocket any day of the week. The link is in the description as is the quiet ink work style. As always, my thanks to Recraft for sponsoring today’s video. Moving on. So, I know the whole like Blender to Cascade and like Mini Max workflow seems to be the latest in like OP workflows. And look, I should say, while you can get some really great stuff out of this and even like as we’re moving along, taking it even further, apparently people are now messing around with Cinema 4D with a very similar technique. And like yeah, I mean, this looks kind of it looks really remarkable. But, going back to the

[10:47] Blender side of things, you know, it can be very time-consuming, especially in the renders. And might not, especially if you’re not overly familiar with Blender, get you with the exact results that you’re looking for. For example, this was a this was a experiment that I was playing around with a little while ago taking the original the opening to a Touch of Evil and having it re-rendered out in in Blender. So, for the you know, the exact same camera move. It got close. Like it wasn’t quite 100% there. As you can see, even there’s some drift in the sync as well. But, definitely did over overall,

[11:19] it got the idea here. It also just took forever to render. Well, to that, we have Cozy Clay, which is again free and open source 3D pre-visualization tool. And legitimately specifically built for the purpose of creating 3D scenes to translate into AI video. Now, there are a few different ways to go about using uh Cozy Clay 3.0. To me, uh in my opinion, the best way is to hop over to Pinocchio. Now, I have covered Pinocchio a number of times on the channel in the past. Uh once again, Pinocchio is free

[11:51] as well. So, you just download Essentially, what this acts as is a very easy way to uh you know, download and get up and running on open-source models, uh anything on the video, audio, or image front. Um actually, they even have like God’s eye view over here at the wall’s um thing, which is very cool as well if you haven’t checked that out. Now, I do have to say that this does take a hot minute to download, so you know, just make sure that you’re aware of that. But yeah, I mean, once you uh get it up and running, this is now just running in a web browser, like locally on your machine. Uh and what’s kind of

[12:22] cool about this one, uh besides the fact that, you know, essentially, you have like your clay characters over here, uh you can uh move them around if you want to. Um you know, any object in here, obviously, is a is 3D, so you can just kind of play around with it. Uh but, you don’t know what you’re doing, there’s actually an uh agent automation down here in which you can uh hook in your uh OpenAI Codex, for example. Um if you have uh an Anthropic key, I guess you can um you can use your Claude models

[12:53] here as well. But uh if you just have, you know, your regular OpenAI ChatGPT subscription, you can actually hook that up uh here. So, essentially, you’re chatting through, you know, Codex through uh um through Cozy. Um so, yeah, it’s pretty cool. And there’s definitely a lot that you can do manually in here as well. So, we have like fully Well, not fully rigged character, but a rigged character here. So, we can move uh our character around if we want to, if we want to take manual control. Or, obviously, um we can just like Yes. Yes.

[13:24] Yes, you can take manual control. Um Well, where did his head go? Um, yeah, so um um, but obviously if if you don’t want to go through the hassle of, you know, uh, Pinocchioing in Pinocchio, uh, you can uh, you can just ask your agent to do so. And you know, it’s pretty fast on top of it. Uh, here I had it build me out a little private investigator set. Um, you know, the plus side here is that, uh, you know, it’s it’s all browser-based essentially. So, um, there’s no you don’t have to worry

[13:54] about GPUs or anything like that. It’ll run basically on anything. Um, one little thing that I do want to note here is that, um, just cuz it took me a minute is that you have to, uh, right click on your mouse, uh, in order to move the camera around or WSD AD around as well. Um, and then again, you can, um, you can animate in here as well. So, if we find an angle here, um, you know, I just had, uh, ChatGPT do this, but we get a walk cycle coming up to the murder board here and then when we turn around our detective behind the

[14:26] desk stands up and walks over to the window. So, from here, I could have it go out and, you know, cut angles, uh, for me onto the timeline so that we essentially, you know, get all of our, um, our shots in here and then, you know, comp them together all into one thing. That said, one of the issues that you might run into and something that I was talking to friend of the channel PJ Ace about, um, is that, you know, when you go this route that a lot of times your, um, your outputs, you know, when you run them through something like

[14:56] Cines or Mini Max are going to kind of look a little bit on the stiff side. So, PJ actually ran into this issue with his latest, uh, short AI film and, um, the solution, uh, is kind of amusing. So, after pre-vizing the entire, you know, uh, short film in Blender, the solution was to take screenshots of that pre-viz and then lay it out into a storyboard. So, in in some ways, you know, what we’ve kind of gone all the way around the circle uh, to is uh, is we’re back to image to video. Now, that said, of

[15:27] course, you know, the bonus in going this direction is that you can then choose, you know, essentially the you know, the shots, the exact shots and composition that you want. And if you’re using something like like Cozy Clay over here, you can even change out things like you know, essentially the the lens length and the aspect ratio and all of that stuff as well. So, I mean, definitely a lot more flexibility in terms of what you’re trying to accomplish as opposed to just relying on say like Nano Banana or GPT image 2. So, you know, I mean, any way

[15:57] that you want to use it, I do think that Cozy Clay is definitely worth a download. Again, totally free. Pinocchio as well, if you don’t have that already as well. You know, overall, I again, I don’t think it’s for every shot. It’s definitely not a Blender replacement, but I think that if you have a very specific shot that you’re looking for or if you just want to work and iterate very quickly, Cozy Clay definitely worth it. Rounding out with some quick hits, Ideogram just released their first vector model. So, those of you who work in SVGs in Illustrator, you can now

[16:29] generate on Ideogram and you know, do all of your Illustrator-y stuff. Have not gotten a chance to play with this. I always feel bad with Ideogram. I’m always like, “Hey, they just released a thing. I haven’t gotten a chance to play with it yet.” In other news, it looks like SeaArt Dream 5.5 is coming out. This is ByteDance’s image model. This information coming via Emily, who has always been really good about you know, and reliable about info drops. So, it looks like this will come up to 100 layer seeing decomposition. So, up from 10 that was in the last version. That’s

[16:59] that thing where you can, you know, sort of layer foreground and background objects. 80 rounds, 80-plus rounds of drift resistant local editing. 4K. Yeah, I mean, we’ll see. I mean, like always been a bit mid when it comes to the SeaArt Dream models, the image models, but you know, always willing to take a look Uh and you know, hoping for a home run. So, that’s it for this week. I will be back next week again with the overdue look at Kling 4. Plus in the background, I am still cranking away on

[17:30] Planet Hell. So, hopefully have that for you guys next week. As always, I thank you for watching. My name is Tim.