Fish Audio Drama 3: é minha voz ou a voz clonada? Executando localmente

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Fish Audio Drama 3: Is This Me or My Cloned Voice? Run Locally · Canal: Fahd Mirza · 08:16 · Assistir no YouTube

Tópicos: Modelos locais e open source, Modelos multimodais

Resumo

Fahad Mirza apresenta o Drama 3, modelo de voz da Fish Audio, e mostra como instalá-lo e executá-lo localmente. O vídeo demonstra clonagem de voz após uma etapa de consentimento, além de geração com vários personagens, tags de emoção e controle de ritmo. Os resultados variam: algumas amostras funcionam bem, enquanto outras exigem regeneração ou ainda soam pouco naturais. O apresentador considera que o modelo ainda não está pronto para muitos usos em produção e destaca a alta exigência de hardware.

Pontos-chave

Drama 3 tem 35 bilhões de parâmetros, com 3 bilhões ativos por token, segundo a apresentação do vídeo.
O modelo oferece clonagem de voz, geração com vários interlocutores e controle por linguagem natural.
Uma única entrada de texto pode incluir até 16 personagens com tags de interlocutor.
O fluxo demonstrado inclui uma etapa de consentimento explícito antes de clonar uma voz.
As tags podem modificar a interpretação de trechos específicos, incluindo sussurros, ênfase e pausas.
O apresentador executa o modelo localmente em uma GPU H100 com 80 GB de VRAM e observa que o requisito de hardware é alto.
A qualidade varia entre gerações, e pode ser necessário gerar novamente o áudio.
O vídeo compara exemplos gerados ao vivo com clipes selecionados do Hugging Face e considera estes últimos melhores.

Capítulos

Início	Capítulo	Resumo
00:02	Apresentação do Drama 3 e requisitos	O apresentador descreve as capacidades do modelo, seu desempenho informado e a alta necessidade de VRAM.
02:07	Instalação local e clonagem com consentimento	Ele mostra o fluxo de consentimento para clonagem de voz e testa tags que alteram a interpretação.
04:10	Testes de interpretação e limitações	O vídeo testa cenas de suspense e emoção e ressalta que os resultados podem falhar ou precisar de novas gerações.
06:43	Comparação com demos e avaliação final	O apresentador compara os resultados ao vivo com clipes selecionados e conclui que o modelo ainda tem limitações para produção.

Citações

A primeira etapa aqui é uma barreira de consentimento de voz. — 02:07

Tudo na minha voz clonada e em uma única geração. — 03:08

Eu diria que acertou em 60% e ainda precisa melhorar em 40%. — 05:41

Este não é, de forma alguma, um modelo perfeito. — 06:13

Conceitos e entidades

Drama 3 (modelo): Modelo de geração de áudio da Fish Audio demonstrado para clonagem de voz e síntese com múltiplos interlocutores.
Fish Audio (empresa): Empresa associada ao modelo Drama 3 apresentado no vídeo.
Hugging Face (empresa): Plataforma mencionada para a etapa de consentimento de voz e para exemplos de demonstração do modelo.
Vast Compute (empresa): Serviço citado pelo apresentador como opção para alugar uma GPU.
H100 (modelo): GPU com 80 GB de VRAM usada pelo apresentador para executar o modelo localmente.
Fahad Mirza (pessoa): Apresentador do vídeo e responsável pelos testes demonstrados.

Tradução completa (pt-BR)

00:02 Hoje, vou contar como ficar rico usando IA em um dia. Ah, vamos lá: se eu soubesse disso, estaria fazendo vídeos todos os dias como um louco? Certo. Agora que tenho sua atenção, tenho uma pergunta para você. A voz que você acabou de ouvir era minha ou era minha voz clonada? Deixe seu palpite nos comentários. Aqui é Fahad Mirza, e dou as boas-vindas ao canal. O modelo em questão hoje é este novo

00:34 Drama 3, da Fish Audio. O Drama 3 tem 35 bilhões de parâmetros, mas apenas 3 bilhões ficam ativos por token, porque o backbone de texto é um modelo de mistura de especialistas. Ele oferece clonagem de voz, geração com vários falantes e controle em linguagem natural. Um texto pode incluir até 16 personagens diferentes usando tags de falante. Você também pode inserir tags como risadas e suspiros exatamente onde quiser que aconteçam, como

01:05 vocês acabaram de ver no meu primeiro exemplo. Em termos de velocidade, o cartão do modelo informa que o primeiro áudio sai em menos de 100 ms em um único fluxo. Além disso, deixe-me mostrar rapidamente o consumo de VRAM, que é este, e garantir que, se você estiver executando o modelo localmente, tenha uma GPU Hopper ou Ada, como podem ver, estou usando esta H100 com 80 GB de VRAM. Sim, consome muita VRAM. Mas, se estiver procurando alugar uma GPU por

01:35 um preço muito bom, você encontra o link para a Vast Compute na descrição do vídeo. Também se torne membro do canal para ajudar a manter as luzes acesas. E esta é uma newsletter na qual você precisa se inscrever. Ela é semanal, em fahadmirza.substack.com. Então, como instalei o modelo? Usei apenas estas três instruções. Clonei o repo, instalei todos os pré-requisitos e, depois, estou executando-o apenas com HTL

02:07 no meu sistema local. Então, se estiver acompanhando, basta seguir estas etapas e tudo deve dar certo. Vamos fazer mais alguns exemplos. Este é o demo que estou executando. Agora, dá para ver que a primeira etapa é uma verificação de consentimento de voz. É uma medida de proteção do Hugging Face que só permite clonar uma voz depois que o falante dá seu consentimento explícito. Então, gerei esta frase de consentimento e a falei assim: “Concordo com o uso da minha voz gravada

02:37 para geração de áudio com o…” Depois que isso foi feito, verifiquei e apareceu que a correspondência era de 93%. Isso varia de modelo para modelo. Depois disso, ele fez o reconhecimento de fala e, quando terminou, gravei meu próprio áudio e ele me deu a voz clonada. Certo, vamos fazer outro. Certo, agora vejam este próximo exemplo.

03:08 Este é um teste das tags em pares do Drama 3, que alteram a entonação apenas das palavras dentro delas. Por exemplo, vejam isto. Aqui, é um sussurro em “vá em frente sem mim”, certo? E há uma ênfase extra na parte mais importante e um ritmo mais lento em “não pule”, tudo na minha voz clonada e em uma única geração. Vou reproduzir. “Estou bem. De verdade. Vá em frente sem mim. Agora, escute. Esta é a parte mais importante do vídeo.”

03:39 Então, não pule. Muito bom, não é? Muito, muito bom. Certo, a seguir temos uma cena em que estou testando o nervosismo de uma pessoa de verdade na minha voz clonada. Vou reproduzi-la primeiro. “Hoje é a noite e, sinceramente, minhas mãos não param de tremer. Estou sorrindo há 12 horas seguidas e agora está tudo quieto, e estamos só nós dois.” >> [suspiros e ofegos] >> “E se eu disser alguma bobagem? Nunca fiquei tão nervoso na vida.”

04:10 Mas, quando olho para ela, tudo fica mais lento. Certo, respire fundo. Acho que vai dar tudo certo. O que vocês acham? Me contem nos comentários. Agora, neste próximo teste, vou ver se o Drama 3 consegue criar a empolgação de um dia de jogo de verdade: uma narração rápida e sem fôlego, um grito vigoroso ao anunciar o wicket, um sussurro durante a pausa tensa antes da última bola e uma risada de alívio no

04:40 final. Vamos ouvir. “Último over, são necessários 10 runs e o estádio inteiro está de pé. Ele corre, lança, a bola está no ar e, nossa, que captura! Está eliminado. Está completamente eliminado. Agora, é a última bola. Todos estão prendendo a respiração. Ele rebate e é um seis. Vencemos. Não acredito. Nós realmente

05:10 vencemos.” Eu diria que ficou bem sem graça. Vamos fazer outro teste. Agora, estou testando um pouco de suspense e medo. Vamos ver. “Já passava da meia-noite e a casa estava completamente silenciosa. Então, ouvi passos no andar de cima de novo. Mas moro sozinho.”

05:41 Peguei meu telefone e corri para a porta, mas ela não abria. Não abria. Quem está aí? Responda! E uma voz atrás de mim disse: “Estou esperando por você.” Eu diria que ficou 60/40. Em 60% dos casos, acertou, e, nos outros 40%, acho que ainda precisa melhorar. Agora, deixe-me testar um adeus rápido e lento. Bem, é isso.

06:13 E pronto. Então, eu queria mostrar em tempo real, sem edição, que este não é de forma alguma um modelo perfeito. Ele vai falhar. Talvez você tenha que gerar de novo. Então, esteja preparado para isso. Ele também oferece streaming e, de acordo com o cartão do modelo, usando a API e algum código, você também pode fazer a geração com vários falantes, mas acho que ainda falta muito, muito para este modelo ser

06:43 adequado a qualquer caso de uso em produção. Deixe-me também reproduzir rapidamente alguns clipes de demonstração do cartão deles no Hugging Face. O motivo de eu mostrar isso é só para vocês notarem a enorme diferença entre o que gerei em tempo real diante de vocês e o clipe selecionado. Vou reproduzir este primeiro. >> Perguntamos a mais de 20 pessoas diferentes, e todas disseram que era dele. >> E vejam este outro. Este é o mais… que eu queria mostrar a vocês.

07:14 >> você >> [risada] >> Vou reproduzir desde o início. >> Ah, [suspiro] tudo bem. Se a gente errar, a culpa é sua. Bem, talvez seja justo. >> Então, veem? Sim, ele fez um trabalho razoável quando gerei o áudio, mas acho que este ficou muito, muito melhor. Então, esse é o Drama 3. Acho que a voz clonada soou bem

07:45 razoável para mim, e a etapa de consentimento é um detalhe bem pensado. Mas, como eu disse, não é perfeito de jeito nenhum. A exigência de hardware é bem alta. O modelo também é relativamente grande para baixar. Então, testem. Vale a pena experimentar as tags e as instruções se quiserem instalá-lo localmente. Mas acho que os resultados vão variar de um dia para o outro. Eles também têm algum tipo de edição contínua, que, pelo que entendi, não está disponível nesta versão gratuita. É isso. De novo, se quiserem

08:16 ajudar o canal, tornem-se membros. Obrigado por todo o apoio.

Transcrição original

[00:02] Today, I will tell you how to get rich by using AI in a day. Come on, if I knew that, would I be making videos every single day like crazy? Fine. Now that I have your attention, I have a question for you. The voice you just heard, was that me or was that my cloned voice? Drop your guess in the comments. This is Fahad Mirza and I welcome you to the channel. The model in question today is this new

[00:34] Drama 3 from Fish Audio. Drama 3 has 35 billion parameters, but only 3 billions are active per token because the text backbone is a mixture of expert model. It supports voice cloning, multi-speaker generation and natural language control. One text can carry up to 16 different characters using speaker tags. You can also drop in tags like laughs, sighs, right where you want them to happen as

[01:05] you just saw in my first example. On speed, the model card reports first audio in under 100 ms on a single stream. Not only that, let me quickly show you that the VRAM consumption is this and make sure that if you’re running it locally, you have Hopper or Ada GPU card as you can see that I’m using this H100 with 80GB of VRAM. Yes, it takes a lot of VRAM. But if you’re looking to rent a GPU on

[01:35] very good price, you can find the link to Vast Compute in video’s description. Please also become a member of the channel to keep the lights on and this is a newsletter which you need to subscribe to. This is weekly at fahadmirza.substack.com. So, how did I get it installed? I just used these three statements. I cloned the repo and then I have installed all the prerequisites and then I am serving it with HTL only

[02:07] on my local system. So, if you’re following along, just follow these and you should be good to go. Let’s do few more examples. So, this is the demo which I’m running. Now, you can see that the first step here is a voice consent gate. It is a safeguard from Hugging Face that only lets a voice be cloned after the speaker explicitly agrees. So, I just generated this consent sentence and then I spoke it like this. I agree to the use of my recorded voice

[02:37] for audio generation with the So, once that was done, I verified it and then it said that okay, it is 93% match. And this varies from model to model and then from there it just uh do the speech recognition and once that’s done, I just recorded my own audio and then it has uh given me the cloned voice. Okay, so let me do another one. Okay, now look at this next example.

[03:08] This is testing Drama 3’s paired tags which changed the delivery of only the words inside them. For example, look at this. This is a whisper on go on without me, right? And then there is extra emphasis on the most important part and a slower pace on do not skip it, all in my cloned voice and in a single generation. Let me play this. I’m fine. Really. Go on without me. Now, listen. This is the most important part of the video.

[03:39] So, do not skip it. How good is that? Really really good one. Okay, next is a scene where I’m testing real human nerves in my cloned voice. So, let me play this first. Tonight is the night and honestly, my hands will not stop shaking. I have been smiling for 12 hours straight and now it is quiet and it is just the two of us. >> [sighs and gasps] >> What if I say something silly? I have never been this nervous in my whole

[04:10] life. But when I look at her, everything slows down. Okay, deep breath. I think we are going to be fine. What do you think? Let me know in the comments. Now for this next test, I’m testing if Drama 3 can build real match day excitement. A fast breathless commentary run, a forceful shout on the wicket, a whisper for the tense pause before the last ball, and a laugh of relief at the

[04:40] finish. Let’s play this. Last over, 10 runs needed and the whole stadium is on its feet. He runs in, he bowls, it is in the air and oh my goodness, what a catch. That is out. That is absolutely out. Now, it is the final ball. Everyone is holding their breath. He swings and it is a six. We won. I cannot believe it. We actually

[05:10] won. That was pretty lame, I would say. Uh let’s do another test. And now I am testing some suspense and fear. So, let’s test it. It was past midnight and the house was completely silent. Then I heard again footsteps upstairs. But I live alone.

[05:41] I grabbed my phone and ran for the door but it would not open. It would not open. Who is there? Answer me. And a voice behind me said, “I have been waiting for you.” So, I would say 60/40 percent. 60% it got it right and 40% I think still needs improvement. And now let me check a fast slow goodbye. Well, this is it.

[06:13] And that’s it. So, this is, you know, I wanted to show you in real time without editing that this is not a perfect model by any stretch of imagination. It is going to break. You might have to regenerate it. So, be ready for that. And it also supports streaming and as per their model card with the API and some of the coding you can also do the multi-speaker, but I think there is a long, long way to go before this model would be

[06:43] suitable for any production use case. Let me also quickly play a couple of demo clips from their hugging face card. And the reason why I am showing you this is just notice a market difference between what I generated in real time in front of you and the curated clip. So, let me play this first one. >> We asked over 20 different people and they all said it was his. >> And look at this point that one. This is the most one uh which I wanted to show you.

[07:14] >> you >> [laughter] >> Let me play it from start. >> Ah, [sighs] fine. If we miss it, it’s on you. Well, maybe that’s fair. >> So, you see, um yes, it did a decent job when I generated, but I think this one is way, way better. So, that is a drama three for you. I think the cloned voice sounded quite

[07:45] decent to me and the consent step is a thoughtful touch. But as I said, it is not perfect at all. The hardware bar is quite high. The model is also a roughly quite big in terms of download. So check it out. Tags and directions are worth experimenting with if you want to install it locally. But I think results are going to vary from day to day. They also have some continuous editing which I’m I don’t think so is available on this free version. That’s it. Again, if you

[08:16] want to help out the channel, please become a member. Thank you for all the support.