Este modelo open source gera vídeo E som. Diz superar o LTX 2.5. Eu testei.

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: This Open Model Makes Video AND Sound. It Claims To Beat LTX 2.5. I Tested It. · Canal: Prompt Engineer 48 · 07:23 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Geração de conteúdo com IA, Modelos locais e open source

Resumo

O vídeo apresenta o Kandinsky 6.0, um modelo open source que gera vídeo e áudio juntos, e compara seus resultados com os do LTX 2.5 em sete prompts. Nos testes do apresentador, o LTX venceu quatro comparações, o Kandinsky venceu uma e duas ficaram próximas; o LTX também foi mais de cinco vezes mais rápido. O autor ressalta que a amostra é pequena e que a comparação publicada pela equipe do Kandinsky não usa configurações equivalentes. Apesar dos resultados, o Kandinsky se destaca pela licença MIT, enquanto a licença comunitária do LTX tem uma restrição de receita.

Pontos-chave

O Kandinsky 6.0 gera vídeo e áudio em conjunto, incluindo sincronização labial, em clipes de cinco segundos.
A família tem uma versão light de 3 bilhões de parâmetros e uma versão pro de 29 bilhões; o teste usa a versão pro destilada.
No teste do apresentador, o LTX 2.5 venceu quatro prompts, o Kandinsky venceu um e dois foram considerados próximos.
O tempo mediano de geração foi de 289 segundos para o Kandinsky e 54 segundos para o LTX.
O reescritor de prompts integrado ao Kandinsky alterou o pedido do apresentador e acrescentou uma flauta não solicitada; ele foi desativado nos testes.
A avaliação usa apenas sete prompts e uma seed por prompt, e mede a fala por transcrição, não por um teste de audição.
O artigo do Kandinsky compara configurações de resolução diferentes, portanto os resultados não representam uma comparação totalmente equivalente.
O Kandinsky tem licença MIT; o LTX usa uma licença comunitária que é gratuita apenas para empresas com menos de US$ 10 milhões em receita.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do Kandinsky 6.0	O apresentador introduz o modelo, descreve suas versões e explica como os fluxos de vídeo e áudio são combinados.
02:06	Preparação e comparação com o LTX 2.5	O autor relata alterações feitas pelo reescritor de prompts e define as condições da comparação entre os modelos.
02:37	Resultados nos sete prompts	Os modelos são avaliados em tarefas de ação, emoção, zoom, movimentos de câmera, texto, explicação de uma fórmula e fala.
05:18	Pontuação, velocidade e ressalvas	O LTX vence a maior parte dos testes e é mais rápido, mas o apresentador destaca as limitações da amostra e da comparação do artigo.
06:21	Comparação com outros modelos e conclusão	O vídeo comenta os limites dos clipes, as licenças dos modelos, onde obter os pesos e qual opção o autor recomenda.

Citações

O artigo diz que ele supera o LTX 2.5. — 00:00

Ele mudou minhas palavras. — 02:06

O LTX foi exato. — 05:50

Se você quer velocidade ou o melhor resultado visual dos meus sete testes, eu escolheria o LTX. — 06:52

Conceitos e entidades

Kandinsky 6.0 (modelo): Modelo open source apresentado no vídeo, capaz de gerar vídeo e áudio em conjunto.
LTX 2.5 (modelo): Modelo de 22 bilhões de parâmetros usado como comparação e capaz de gerar áudio nativamente.
RunPod (ferramenta): Serviço usado pelo apresentador para alugar uma H100 e executar os testes.
Hugging Face (empresa): Plataforma onde os pesos do Kandinsky estão disponíveis e de onde é possível baixar o LTX após aceitar os termos.
Litrix (empresa): Empresa associada ao LTX 2.5 na transcrição.
Whisper (modelo): Sistema usado para transcrever a fala gerada e comparar as palavras pronunciadas pelos modelos.
MIT License (conceito): Licença indicada no vídeo para os pesos do Kandinsky.
community license (conceito): Licença do LTX descrita como gratuita apenas para empresas com menos de US$ 10 milhões em receita.
MiniMax H3 (modelo): Modelo citado pelo artigo como mais forte que o Kandinsky em qualidade visual.
Seedance 2.0 (modelo): Modelo citado pelo artigo como mais forte que o Kandinsky em qualidade visual.

Tradução completa (pt-BR)

00:00 Certo. Neste vídeo, vamos conhecer o Kandinsky 6.0, que gera vídeo e som juntos em um único modelo open source. Agora, vale lembrar que o artigo diz que ele supera o LTX 2.5. Então, aluguei uma H100 e testei essa afirmação por conta própria. Nos meus sete prompts, os resultados não corresponderam. Vamos ouvir este primeiro. >> Bom dia. Este vídeo e seu som foram gerados juntos por um único modelo open source. >> Então, esse era o Kandinsky falando, e os lábios se movem junto com as palavras. Tudo isso é feito por um único modelo, em uma única passada. Então, o que é? É uma família de dois modelos: um leve,

00:31 com 3 bilhões de parâmetros, e um Pro, com 29 bilhões de parâmetros. Ambos geram clipes de 5 segundos com áudio de 44 kHz, incluindo sincronização labial. Você pode partir de texto ou de uma imagem. O funcionamento é o seguinte: há dois fluxos, um para o vídeo e outro para o áudio, que se comunicam por meio de atenção cruzada, para manter o som e a imagem sincronizados. Primeiro, o vídeo é gerado em um tamanho menor; depois, um modelo separado de super-resolução o leva a Full HD. E há versões destiladas que precisam de apenas 10 etapas. Na comparação feita pela própria equipe, o Pro destilado

01:02 praticamente empata com o Pro completo: 51 a 49. Então, é esse que vou usar. Agora, a grande pergunta: dá para rodar isso na sua própria GPU? Eles oferecem três predefinições para placas de 32, 24 e 16 GB, e só mantêm dois blocos do modelo na GPU de cada vez. Vale lembrar que, na predefinição de 16 GB, o modelo Pro precisa de cerca de 58 GB de RAM do sistema. Então, esse é o requisito real. E o que pesa é a velocidade. Para um clipe de 5 segundos em Full HD com o Pro, a tabela deles indica cerca de 1.247 segundos em uma 4090 e cerca de 402 segundos

01:35 em uma H100. São quase 21 minutos em uma 4090 para gerar 5 segundos de vídeo. Então, para isso, aluguei uma H100 na RunPod por US$ 3,49 por hora. A configuração é só UV: basta rodar o setup, baixar o Pro destilado e gerar com seu prompt. Muito simples. Agora, houve um problema: o driver do pod era antigo demais para a versão do PyTorch com CUDA 13. Ele instala, mas informa que o driver é antigo demais. A solução é instalar o pacote CUDA combat e apontar o caminho da biblioteca para ele; aí

02:06 funciona. E aqui vai outra coisa que você precisa saber: ele tem um reescritor de prompt integrado. Pedi uma mulher dizendo: “Bom dia. Este vídeo e seu som foram gerados juntos por um único modelo open source.” E o que ele escreveu foi apenas “bom dia”, além de acrescentar uma flauta tocando ao fundo, que eu não tinha pedido. Então, dá para ver que ele alterou minhas palavras. Para o teste de verdade, desativei esse recurso. Do outro lado, temos o LTX 2.5, da Litrix. É um modelo de 22 bilhões de parâmetros que também gera áudio nativamente. Você precisa aceitar os termos no Hugging Face para baixá-lo.

02:37 Os mesmos prompts, a mesma seed, e ambos geram 5 segundos. O Kandinsky sai em 864 por 480, e o LTX, em 960 por 512. Então, esta é uma comparação bastante equilibrada. Primeiro prompt: uma briga. Câmera tremida, um homem chuta o outro contra uma parede. À esquerda está o Kandinsky; à direita, o LTX. >> [gemendo] >> Então, o Kandinsky nos mostra dois homens discutindo

03:09 e se empurrando, mas não há chute nenhum. O LTX realmente mostra o golpe e o empurra contra a parede. Este ponto vai para o LTX. Segundo: uma mulher abre uma carta e uma única lágrima escorre. Os dois mostram a lágrima. O rosto no Kandinsky é mais nítido e limpo. O LTX é mais suave, mas um pouco mais intenso. Eu chamaria isso de empate. Terceiro:

03:39 zoom contínuo. Terra, depois Nova York, depois um escritório, depois uma pessoa ao telefone. O Kandinsky vai da Terra direto para um escritório e pula Nova York completamente. O LTX tenta cada etapa, mas a Terra vira uma estranha massa de prédios. Nenhum dos dois acerta, mas o LTX fez uma tentativa de verdade, então dou o ponto a ele. Quarto: controle de câmera, um travelling para baixo por um corredor escuro, depois um movimento orbital, depois

04:11 um plano de grua. Nos quadros que conferi, o Kandinsky faz um travelling limpo, mas não vejo o movimento orbital nem o plano de grua. O LTX é mais escuro, e o final do plano fica inclinado. Então, este ponto vai para o Kandinsky, por ser mais limpo. Quinto: texto. Um casal se beija na praia e o céu diz: “E viveram felizes para sempre.”

04:46 >> [música] >> O Kandinsky mostra um beijo bonito, mas não há texto. O LTX tem o texto, mas está escrito “h a p i y”, e não consigo ver um beijo nítido. Então, o LTX consegue incluir o texto, mas com um erro de digitação. Sexto, meu favorito: um professor explicando o teorema de Pitágoras em um quadro branco e dizendo a explicação em voz alta. >> Então, o quadrado da hipotenusa é igual à soma dos quadrados dos outros dois lados. >> Então, o quadrado da hipotenusa é igual à soma dos quadrados dos outros dois lados. >> Então, o quadro branco do Kandinsky está cheio de

05:18 rabiscos sem sentido. O LTX mostra um professor convincente, e a fórmula está quase certa, mas não está correta. E os dois disseram a frase palavra por palavra. Conferi com o Whisper. Então, este ponto vai para o LTX. E, por último, a afirmação em que o Kandinsky seria mais forte: fala. Uma mulher em uma cozinha dizendo a mesma frase. Passei os dois pelo Whisper. >> Bom dia. Este vídeo e seu som foram gerados juntos por um único modelo open source. >> Bom dia. Este vídeo e seu som foram gerados juntos por um único modelo open source. >> O Kandinsky diz “um som” em vez de “o som”

05:50 . O LTX acerta exatamente. É uma palavra em um clipe. Então, não dê importância demais a isso, mas não foi o resultado arrasador que o artigo sugere. No placar dos meus sete prompts, o LTX venceu quatro, o Kandinsky venceu um, e dois ficaram próximos. Quanto à velocidade, a mediana foi de 289 segundos para o Kandinsky e 54 segundos para o LTX. Ou seja, mais de cinco vezes mais rápido. Agora, eis o ponto: tudo o que está no artigo foi relatado pela própria equipe do Kandinsky. Eles dizem que o Pro é preferido ao LTX em qualidade visual e qualidade da fala, e que essas diferenças são

06:21 significativas. Também dizem que o LTX está um pouco à frente na sincronização de áudio e no áudio em geral, além de ser melhor na taxa de erro de palavras. E compararam o Kandinsky em 512 por 768 com o LTX em sua configuração Full HD. Portanto, não é uma comparação equilibrada. Para ser justo, são sete prompts e uma seed para cada um. Então, é um teste pequeno, e só medi a fala comparando-a com uma transcrição, não fiz um teste de audição. Em comparação com os modelos fechados, o próprio artigo diz que os resultados são mistos. O Minimax H3 e o Seed ends 2.0 ainda são melhores em termos visuais, e os clipes são

06:52 limitados a 5 segundos. Então, qual eu usaria? Se você quer velocidade ou o melhor visual entre os meus sete testes, eu escolheria o LTX. Mas o Kandinsky é o que tem licença MIT, e o LTX está sob uma licença comunitária que só é gratuita para quem tem receita abaixo de US$ 10 milhões. E os pesos do Kandinsky já estão disponíveis no Hugging Face, junto com as instruções na página do GitHub. A configuração inteira do teste — os dois modelos e 14 clipes — custou cerca de US$ 3 na RunPod. Se tiver interesse, pode experimentar no seu próprio sistema e me contar como foi. Vejo você

07:23 no próximo vídeo.

Transcrição original

[00:00] All right. In this video, we will see Kandinsky 6.0, which makes the video and the sound together in one open model. Now, mind you, the paper says it beats LTX 2.5. So, I rented one H100 and tested that claim myself, and on my seven prompts, the results did not match. Let’s go ahead and listen to this first. >> Good morning. This video and its sound were generated together by one open model. >> So, that was Kandinsky speaking, and the lips are moving with the words. This is all one model in one pass. So, what is it? It’s a family of two models, a light

[00:31] one with 3 billion parameters, and a pro one with 29 billion parameters. Both make 5-second clips with 44 kHz audio, and that includes lip sync. You can go from text or from an image. Now, the way it works is there are two streams, one for the video, and one for the audio, and they talk to each other with cross-attention, so the sound and the picture stay lined up. The video is made at a smaller size first, and then a separate super-resolution model takes it to full HD. And there are distilled versions that need only 10 steps. In their own comparison, the distilled pro

[01:02] is basically tied with the full pro 51 to 49, so that is the one I’m using. Now, the big question, can you run this on your own GPU? They give three presets for 32, 24, and 16 GB cards, and it keeps only two blocks of the model on the GPU at a time. Mind you, on the 16 GB preset, the pro model needs about 58 GB of system RAM. So, that is the real requirement. And speed is where it hurts. For a 5-second full HD clip with pro, their table says about 1,247 seconds on a 4090, and about 402 seconds

[01:35] on an H100. That is almost 21 minutes on a 4090 for 5 seconds of video. So, for this, I rented one H100 on RunPod at $3.49 an hour. The setup is just UV, and just you run just setup, then just download pro distill, and then just generate with your prompt. Really simple. Now, there was one thing, the pod driver was too old for the CUDA 13 build of PyTorch. It installs and it said driver too old. The way out is to install the CUDA combat package and point the library path to it and then it

[02:06] works. And here’s another thing you need to know. It has a built-in prompt rewriter. I asked for a woman saying, “Good morning. This video and its sound were generated together by one open model.” And what it wrote was just good morning and it added a flute playing in the background that I never asked for. So, you can see that it changed my words. For the real test, I turned this off. Now, on the other side we have LTX 2.5 from Litrix. This is a 22 billion parameter model and it also makes audio natively. You do need to accept the terms on Hugging Face to download it.

[02:37] Same prompts, same seed and both get 5 seconds. Kandinsky comes out at 864 by 480 and LTX at 960 by 512. So, this is close to an equal comparison. First prompt, a fight. Shaky camera, one man kicks the other into a wall. On the left is Kandinsky and on the right is LTX. >> [groaning] >> So, Kandinsky gives us two men arguing

[03:09] and shoving and there is no kick at all. LTX actually has the hit and pushes him into the wall. This one goes to LTX. Second, a woman opens a letter and a single tear slips free. Now, both of them get the tear. Kandinsky’s face is sharper and cleaner. LTX is softer, but a bit more intense. I would call this a tie. Third one,

[03:39] continuous zoom. Earth, then New York, then an office, then a person on a phone. So, Kandinsky goes from Earth straight to an office and skips New York completely. LTX tries every step, but the Earth turns into a strange blob of buildings. Neither is right, but LTX made the real attempt, so I give it to LTX. Fourth, camera control, a dolly down a dark hallway, then an orbit, then

[04:11] a crane shot. In the frames I checked, Kandinsky gives a clean dolly, but I do not see the orbit or the crane. LTX is darker and the end of the shot is tilted. So, this one goes to Kandinsky for being cleaner. Fifth, text, a couple kisses on a beach and the sky says, “And they lived happily ever after.”

[04:46] >> [music] >> Kandinsky gives a nice kiss, but there is no text. LTX has the text, but it is spelled h a p i y and I can’t see a clear kiss. So, LTX gets the text with a typo. Sixth, my favorite, a professor explaining the Pythagorean theorem on a whiteboard and saying it out loud. >> So, the square of the hypotenuse equals the sum of the squares of the other two sides. >> So, the square of the hypotenuse equals the sum of the squares of the other two sides. >> So, Kandinsky’s whiteboard is complete

[05:18] gibberish. LTX has a believable teacher and the formula is close, but not right. And both of them said the sentence word for word. I checked with Whisper. So, this one goes to LTX. And last, the claim that Kandinsky is strongest at, which is speech, a woman in a kitchen saying the same sentence. I ran both through Whisper. >> Good morning. This video and its sound were generated together by one open model. >> Good morning. This video and its sound were generated together by one open model. >> Kandinsky says a sound instead of it

[05:50] sound. LTX is exact. It is one word in one clip. So, do not over read it, but it was not the wind the paper suggests. So, the score on my seven prompts, LTX took four, Kandinsky took one, and two were close. And on speed, the median was 289 seconds for Kandinsky and 54 seconds for LTX. That is more than five times faster. Now, here’s the thing. Everything in the paper is self-reported by the Kandinsky team. They say Pro is preferred over LTX on visual quality and speech quality, and those are

[06:21] significant. They also say LTX is slightly ahead on audio sync and overall audio, and better on word error rate. And they compared Kandinsky at 512 by 768 against LTX in its full HD setup. So, it is not an equal comparison. To be fair, this is seven prompts and one seed each. So, it is a small test, and I only measured speech with a transcript, not a listening test. Against the closed models, the paper itself says it is mixed. Minimax H3 and Seed ends 2.0 are still stronger on visuals, and clips are

[06:52] limited to 5 seconds. So, what would I use? If you want speed or the best look from my seven, I would go with LTX. But Kandinsky is the one with the MIT license, and LTX is under a community license that is free only under $10 million of revenue. And the Kandinsky weights are already out on Hugging Face with the instructions on the GitHub page. And the whole test setup both models 14 clips cost me about $3 on RunPod. If you’re interested, you can go ahead and try this on your own system, and let me know how it goes. I’ll see

[07:23] you in another one.