ByteDance fez um modelo de vídeo e áudio de 33B gerar em 4 etapas (DMAD)

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: ByteDance Just Made a 33B Video + Audio Model Run in 4 Steps (DMAD) · Canal: Prompt Engineer 48 · 05:12 · Assistir no YouTube

Tópicos: Inferência e otimização de modelos, Modelos de IA, Modelos locais e open source, Modelos multimodais

Resumo

O vídeo apresenta o DMAD, método de destilação desenvolvido em uma pesquisa da ByteDance e da Texas A&M para gerar vídeo e áudio com um modelo de 33 bilhões de parâmetros em apenas quatro etapas. Em vez de usar um segundo modelo crítico, o método treina um discriminador que distingue amostras do estudante das do professor e fornece um sinal de aprendizado equivalente. O DMAD também combina dados reais e amostras do professor, com técnicas adicionais para melhorar a qualidade. Segundo os resultados apresentados, o método reduz o tempo de geração e, em algumas avaliações, supera o modelo professor; porém, exige hardware robusto para execução.

Pontos-chave

O modelo professor MiniMax H3 requer 50 etapas de denoising, enquanto o DMAD busca gerar resultados em quatro.
O DMD tradicional usa um modelo auxiliar como crítico; o DMAD substitui esse componente por um discriminador que classifica resultados como reais ou falsos.
O discriminador fornece um sinal de treinamento equivalente ao estimado pelo segundo modelo do DMD, com menos atualizações e custo computacional.
O DMAD usa duas cabeças em uma base compartilhada: uma compara com amostras do professor e outra com vídeos reais.
A técnica de gap-based re-weighting dá mais peso às amostras do professor nos níveis de ruído em que elas estão mais próximas dos dados reais.
O vídeo relata reduções no tempo de atualização do gerador em diferentes configurações e resultados de qualidade competitivos.
O treinamento descrito foi realizado por 800 iterações em oito GPUs H200, usando LoRA de rank 128.
A execução requer uma GPU com 180 GB de memória, e o download do modelo-base tem cerca de 170 GB.

Capítulos

Início	Capítulo	Resumo
00:00	O problema da geração em poucas etapas	O vídeo apresenta o DMAD e explica que reduzir a geração de 50 etapas para quatro pode comprometer a qualidade.
01:03	Como o DMAD substitui o crítico	O método usa um discriminador para fornecer o sinal de treinamento sem precisar de um segundo modelo auxiliar atualizado continuamente.
02:35	Dados reais e reponderação	Duas cabeças comparam as gerações com amostras do professor e vídeos reais, enquanto a reponderação ajusta a contribuição do professor.
03:38	Resultados e requisitos para executar	O vídeo compara tempos e métricas de qualidade, descreve o treinamento e informa os requisitos de hardware e download.
04:41	Disponibilidade e conclusão	O apresentador ressalta que não executou o modelo, menciona a licença comunitária e recomenda consultar o paper e o repo.

Citações

um modelo de áudio e vídeo de 33 bilhões de parâmetros gerar em apenas quatro etapas. — 00:00

Este resultado vem do aprendiz ou da coisa real? — 01:34

Mesmo sinal de treinamento, sem um segundo modelo. — 02:04

Isto não vai rodar no meu laptop de 8 GB. — 04:41

Conceitos e entidades

DMAD (conceito): Método apresentado para destilar um modelo de geração de vídeo e áudio e produzir resultados em poucas etapas.
DMD (conceito): Distribution Matching Distillation, método de destilação que usa um modelo auxiliar para estimar o sinal de treinamento.
DMD 2 (conceito): Variante do DMD descrita no vídeo que atualiza o crítico cinco vezes para cada atualização do estudante.
MiniMax H3 (modelo): Modelo professor citado na transcrição, usado para gerar amostras de vídeo e áudio.
ByteDance (empresa): Empresa que, junto com a Texas A&M, é associada à pesquisa apresentada.
Texas A&M (empresa): Instituição citada como colaboradora da pesquisa sobre DMAD.
H200 (ferramenta): GPU usada no treinamento e nas medições de desempenho descritas no vídeo.
LoRA (conceito): Técnica de ajuste mencionada como parte da configuração de treinamento do modelo.

Tradução completa (pt-BR)

00:00 Certo, neste vídeo vamos conhecer o DMAD, uma maneira de fazer um modelo de áudio e vídeo com 33 bilhões de parâmetros gerar conteúdo em apenas quatro etapas. E vocês podem ver que os clipes também saem com som real. Vale lembrar que este é um lançamento de pesquisa da ByteDance e da Texas A&M, e o código e os pesos são open source. Vamos ver como funciona. O problema é que esses modelos de vídeo são lentos. O modelo teacher usado aqui, MiniMax H3, leva 50 etapas de remoção de ruído para cada clipe. Então, você digita um prompt e espera quatro etapas em vez de 50. Parece ótimo, mas o porém

00:31 é que a qualidade geralmente desmorona. Então, vou explicar assim: pensem em um mestre pintor. Ele pinta um quadro com 50 pinceladas cuidadosas. Agora, queremos um aprendiz que consiga pintar o mesmo quadro com apenas quatro pinceladas. O mestre é o teacher, e o aprendiz é o student. A questão é: como treinar o aprendiz? A resposta popular é algo chamado DMD, destilação por correspondência de distribuição. O que ela faz é contratar uma segunda pessoa, um crítico, que observa tudo o que o aprendiz pinta e continua anotando como o estilo dele difere do estilo do mestre, em termos de IA.

01:03 Esse crítico é um modelo de difusão auxiliar, um segundo modelo inteiro treinado junto com o student. O problema é que o aprendiz continua mudando, então o crítico está sempre um pouco desatualizado. E, se o crítico está desatualizado, suas anotações estão erradas, e o treinamento fica instável. A solução no DMD 2 foi permitir que o crítico fosse atualizado cinco vezes para cada atualização do student. Além disso, o mestre também precisa pintar ao vivo durante o treinamento. Então, tudo isso custa memória e tempo. É exatamente isso que o DMAD resolve. Em vez de contratar um crítico para escrever anotações detalhadas, você contrata

01:34 um juiz que responde a uma pergunta: esta pintura é do aprendiz ou do original? É só isso: real ou falsa? Agora, se formos um pouco mais a fundo, é assim que funciona em termos técnicos. Um discriminador observa um vídeo ruidoso e produz um único número, um logit. Os autores provam que, quando esse discriminador é bem treinado, o gradiente desse logit é exatamente o sinal que o DMD estimava com seu segundo modelo. O artigo chama isso de razão logarítmica de densidade. É técnico demais para este vídeo, mas, basicamente, a pontuação do juiz

02:04 já contém as anotações do crítico. O mesmo sinal de treinamento, sem um segundo modelo. Isso significa apenas uma atualização do discriminador para cada atualização do student, não cinco. E, como o mestre só precisa fornecer pinturas, eles geram as amostras do teacher uma vez, armazenam-nas em cache, e o mestre nunca mais precisa pintar ao vivo durante o treinamento. Agora, talvez você esteja pensando: se o aprendiz apenas copia o mestre, o máximo que ele pode alcançar é ser tão bom quanto o mestre. Na verdade, é por isso que o DMAD tem duas cabeças em um único backbone compartilhado. Uma cabeça compara o aprendiz com

02:35 as amostras do teacher, e a outra o compara com vídeos reais. Assim, o aprendiz pode acabar sendo melhor que o mestre. E dá para ver isso nos estudos de ablação. Se você remover a cabeça de dados reais, o FID de quatro etapas no COCO sobe de 14,47 para 21,37. E, se remover o teacher, a pontuação semântica no benchmark de vídeo cai de 79,55 para 75,36. Há mais um truque chamado reponderação baseada na diferença. A cabeça de dados reais também pontua as amostras do teacher, então ela sabe

03:06 o quanto o teacher está distante dos dados reais em cada nível de ruído. Quando essa diferença é pequena, o teacher já está próximo dos dados reais, então o DMAD dá mais peso ao teacher nessa situação. Desative isso, e o resultado total no benchmark de vídeo cai 1,14 ponto. Agora, vamos ver os números, porque é aqui que fica interessante. Uma atualização do gerador no modelo MiniMax de 33 bilhões, incluindo as atualizações do crítico do DMD 2, leva 818 segundos; com o DMAD, são 233 segundos. Em um modelo de 2,14 bilhões, cai de 162,9 segundos para 38,5. E, no ImageNet,

03:38 cai de 2,321 segundos para 0,496. Isso foi em GPUs H200. Quanto à qualidade, com uma única etapa no ImageNet 64, o DMAD alcança um FID de 1,04 com um discriminador projetado. No SDXL, com quatro etapas, o FID é 14,47. No COCO, supera o próprio teacher SDXL. E, para vídeo, um modelo de 14 bilhões com quatro etapas alcança um total de 85,15 no V Bench, enquanto o teacher de 50 etapas obtém 83,59. Para o MiniMax H3, eles fizeram um estudo com pessoas.

04:09 Com 387 prompts e três anotadores para cada um, as pessoas preferiram o DMAD ao DMD 79,1% das vezes e ao RCM 84,6% das vezes, desconsiderando os empates. E vale lembrar que houve vários empates: um terço das comparações com o DMD 2. Acreditem se quiserem: o próprio treinamento teve apenas 800 iterações em oito H200, usando uma LoRA de rank 128. Agora, se quiserem experimentar, o repo tem o inference.py: quatro etapas, 1344 por 768, 124 quadros, cerca de 5,2 segundos a 24 quadros por segundo, com

04:41 áudio estéreo. Mas vale lembrar que vocês precisam de uma GPU com 180 GB, e o download do modelo base tem cerca de 170 GB. Então, não, isso não vai rodar no meu laptop com 8 GB. Eu mesmo não executei o modelo neste vídeo, então tudo o que apresento aqui vem do artigo e do repo. Também é preciso aceitar primeiro a licença comunitária do MiniMax H3 no Hugging Face. Mesmo assim, a ideia é muito boa, e os pesos têm apenas 1,4 GB cada. Neste vídeo, vimos como o DMAD troca o crítico por um simples juiz que decide entre real ou falso. Podem ir em frente e

05:12 conferir o artigo e o repo e me contar como foi. Vejo vocês em outro vídeo.

Transcrição original

[00:00] All right, in this video we’ll see D-Mat, a way to make a 33 billion parameter audio and video model generate in just four steps. And you can see that the clips come out with real sound as well. Now, mind you, this is a research release from ByteDance and Texas [music] A&M, and the code and the weights are open. Let’s go ahead and see how it works. Now, the problem is these video models are slow. The teacher model here, MiniMax H3, takes 50 denoising steps for every single clip. So, you type a prompt and then you wait four steps instead of 50. Sounds really great, but the catch

[00:31] is the quality usually falls apart. So, here’s how I’m going to explain this. Think of a master painter. He paints a picture in 50 careful brushstrokes. Now, we want an apprentice who can paint the same picture in just four strokes. The master is the teacher, the apprentice is the student. The question is, how do you train the apprentice? The popular answer is something called DMD, distribution matching distillation. What it does is it hires a second person, a critic, who watches everything the apprentice paints and keeps writing notes on how his style differs from the master’s in AI terms.

[01:03] That critic is an auxiliary diffusion model, a whole second model trained alongside the student. Now, the trouble is the apprentice keeps changing, so the critic is always a little out of date. And if the critic is out of date, his notes are wrong, and training becomes unstable. The fix in DMD 2 was to let the critic update five times for every single update of the student. And on top of that, the master has to paint live during training, too. So, you pay for all of it in memory and in time. This is exactly what D-Mat fixes. Instead of a critic writing detailed notes, you hire

[01:34] a judge who answers one question: Is this painting from the apprentice or from the real thing? That is it, real or fake? Now, if we go a bit deeper, here is how it works in technical terms. A discriminator looks at a noisy video and outputs a single number, a logit. The authors prove that when this discriminator is trained well, the gradient of that logit is exactly the signal DMD was estimating with its second model. The paper calls it the log density ratio. Too technical for this video, but basically the judges score

[02:04] already contains the critics notes. Same teaching signal, no second model. That means just one discriminator update for every student update, not five. And since the master only needs to supply paintings, they generate the teacher samples once, cache them, and the master never has to paint life during training again. Now, you might be thinking if the apprentice only copies the master, the best he can ever be is as good as the master. Well, actually, that is why DMAD has two heads on one shared backbone. One head compares the apprentice against

[02:35] the teacher samples, the other compares him against real videos. So, the apprentice can actually end up better than the master. And you can see that in the ablations. If you remove the real data head, the four-step FID on COCO goes from 14.47 up to 21.37. And if you remove the teacher, the semantic score on the video benchmark drops from 79.55 to 75.36. There is one more trick called gap-based re-weighting. The real data head also scores the teacher samples, so it knows

[03:06] how far the teacher is from real at each noise level. Where the gap is small, the teacher is already close to real, so DMAD gives the teacher more weight there. Turn this off and the video benchmark total drops by 1.14. Now, let’s look at the numbers because this is where it gets good. One generator update on the 33 million minimax model, including the critic updates for DMD 2, takes 818 seconds with DMAD 233 seconds. On one 2.14 billion, it goes from 162.9 seconds down to 38.5, and on ImageNet

[03:38] 2.321 seconds down to 0.496. That is on H200 GPUs. On quality, with a single step on ImageNet 64, DMAD reaches an FID of 1.04 with a projected discriminator. On SDXL with four steps, 14.47. On COCO, which beats the SDXL teacher itself and for video four step one 14B hits a V bench total of 85.15 while the 50 step teacher gets 83.59. For Minimax H3 they ran a human study.

[04:09] 387 prompts three annotators each people preferred D Mad over DMD 279.1% of the time and over RCM 84.6% with ties excluded. And mind you there were quite a few ties a third of comparisons against DMD 2. Get this the training itself was only 800 iterations on eight H200s using a rank 128 Laura. Now if you want to try it the repo has inference.py four steps 1344 by 768 124 frames about 5.2 seconds at 24 frames per second with

[04:41] stereo audio. But mind you you need 180 gigabyte GPU and the base model download is about 170 gigabytes. So no this is not running on my 8 gigabyte laptop. I have not run it myself in this video so everything here comes from the paper and the repo. You also have to accept the Minimax H3 community license on hugging face first. Still the idea is really good and the weights are only 1.4 GB gigabytes each. So in this video we have seen how D Mad swaps the critic for a simple real or fake judge. Go ahead and

[05:12] check out the paper and the repo and let me know how it goes. I will see you in another one.