Fish Audio Drama 3: Dá para executar por conta própria?

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Fish Audio Drama 3: Can You Run It Yourself? · Canal: Prompt Engineer 48 · 07:43 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Governança e regulação de IA, Infraestrutura e hardware de IA, Modelos locais e open source, Modelos multimodais

Resumo

O vídeo testa a execução local do modelo de texto para fala Drama 3, da Fish Audio, usando uma GPU A40 alugada por US$ 0,59 por hora e uma amostra de voz de 30 segundos. A configuração exigiu quatro correções, incluindo ajustar dependências, limite de tokens e tempo limite de inicialização. O modelo clonou a voz do apresentador sem fine-tuning e gerou cerca de 430 segundos de áudio em aproximadamente 165 segundos. Embora o custo estimado de geração seja inferior ao da API, o apresentador alerta que inicialização, tempo ocioso, licença e otimização ainda precisam ser considerados.

Pontos-chave

Drama 3 tem cerca de 35 bilhões de parâmetros no total, com aproximadamente 3 bilhões ativos por token por ser um mixture of experts.
A GPU RTX 4060 do apresentador, com 8 GB de VRAM, não é suficiente; ele usa uma A40 de 48 GB na RunPod.
A instalação exigiu quatro ajustes: criar um ambiente virtual, corrigir a versão do Hugging Face Hub, reduzir o limite de tokens e aumentar o tempo limite do servidor.
Para clonagem de voz, o modelo precisa de um áudio de referência de até 60 segundos e da transcrição exata; o teste usou uma amostra de 30,2 segundos.
O modelo gerou áudio com a voz do apresentador sem fine-tuning, mas a interpretação de emoções e estilos, como risadas e sussurros, nem sempre foi precisa.
Na A40, 46 trechos totalizando cerca de 7.500 caracteres renderizaram aproximadamente 430 segundos de áudio em 165 segundos, incluindo novas tentativas.
O custo estimado de geração é US$ 3,60 por milhão de caracteres, mas esse cálculo não inclui a inicialização demorada nem o tempo ocioso da GPU.
A licença permite certos usos comerciais abaixo do limite de receita indicado, mas usos acima dele ou serviços de clonagem para terceiros exigem licença da Fish Audio.
O teste foi feito apenas em inglês; o apresentador não testou os 83 idiomas listados nem cenas com 16 speakers.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do Drama 3 e dos benchmarks	O apresentador apresenta o modelo, suas capacidades, os resultados reportados e a diferença entre a GPU dos benchmarks e a usada no teste.
02:02	Escolha da GPU e ajustes de instalação	Ele descarta a execução no laptop, aluga uma A40 e resolve quatro problemas de configuração e inicialização.
04:05	Teste de clonagem de voz	Com uma amostra e sua transcrição exata, o apresentador testa fala simples, risada e mudanças de estilo na própria voz.
05:39	Velocidade e custo da geração	O vídeo compara o desempenho observado com o benchmark e estima o custo por milhão de caracteres, ressalvando despesas não incluídas.
07:12	Limitações e conclusão	O apresentador comenta as ressalvas de otimização, licença e testes não realizados, e resume o que é necessário para usar o modelo.

Citações

Este áudio não sou eu falando. — 00:00

Então reserve um pouco de paciência para a primeira inicialização. — 03:34

E então ele falou com a minha própria voz. — 04:36

Seu custo real é maior. — 06:12

Eu só testei em inglês. — 07:12

Conceitos e entidades

Drama 3 (modelo): Modelo de texto para fala da Fish Audio com cerca de 35 bilhões de parâmetros totais e suporte a clonagem de voz.
Fish Audio (empresa): Empresa responsável pelo Drama 3 e pela API de geração de voz mencionada no vídeo.
RunPod (ferramenta): Serviço usado para alugar uma GPU A40 e executar o modelo.
A40 (modelo): GPU de 48 GB usada para executar o Drama 3 no teste.
RTX 4060 (modelo): GPU do laptop do apresentador, com 8 GB de memória, insuficiente para os pesos do modelo.
H200 (modelo): GPU usada como referência de desempenho no relatório técnico citado.
Hugging Face (empresa): Plataforma onde está a página do Drama 3 e seus arquivos de modelo.
Hugging Face Hub (ferramenta): Biblioteca cuja versão precisou ser fixada para evitar incompatibilidade com Transformers.
Transformers (ferramenta): Biblioteca que, segundo o vídeo, exigia uma versão do Hugging Face Hub abaixo da versão 2.
int4 (conceito): Build quantizada de quatro bits usada no teste para reduzir os requisitos de memória.
FP8 (conceito): Formato de precisão usado como comparação de desempenho com a build int4.
S2.1 Pro (modelo): Modelo anterior da Fish Audio, usado como comparação de pontuação no benchmark de pronúncia.
Qwen3 (modelo): Modelo citado no encerramento como referência para uma comparação futura de clonagem de voz.

Tradução completa (pt-BR)

00:00 Esta voz não sou eu falando. É um modelo de 35 bilhões de parâmetros chamado Drama 3, que aprendeu minha voz a partir de 30 segundos de áudio. Aluguei uma GPU por US$ 0,59 por hora e vou mostrar o que deu errado antes de funcionar. Vale lembrar que a amostra é da minha própria voz, então ninguém está sendo clonado sem consentimento. Fique até o número de velocidade no final, porque ele é mais lento do que o benchmark indica, e vou explicar o motivo. Então, esta é a página do Drama 3 no Hugging Face, da

00:30 Fish Audio. É um modelo de conversão de texto em fala com cerca de 35 bilhões de parâmetros no total, mas é uma mistura de especialistas, então apenas cerca de 3 bilhões ficam ativos para cada token. Aqui você pode ver as tags de speaker, de 0 a speaker 15. Assim, um trecho de texto pode conter 16 personagens. Você escreve as instruções entre colchetes, como sussurrando, e pode mudar a instrução no meio de uma fala. E o cartão do modelo lista 83 idiomas. Para clonagem, você fornece um clipe de referência e a transcrição exata desse clipe, e foi isso que fiz com minha própria amostra de 30 segundos. Agora vamos conferir o que a Fish Audio diz no próprio blog. Eles dizem que o modelo obteve 93,2% no benchmark de pronúncia da Artificial Analysis, contra 88,1 do modelo anterior, S2.1 Pro. Esse é um ranking externo, mas o número vem do blog deles e eu não o verifiquei por conta própria, então considere-o como divulgado, não confirmado. O relatório técnico no arXiv diz que um único fluxo decodifica a 271

01:00 quadros por segundo em uma H200, em comparação com 177 para o modelo S2 anterior, embora este seja mais de sete vezes maior. E essa é uma H200, que custa vários dólares por hora. Lembre-se disso, porque estou usando uma placa bem menor. De volta à página do Hub: o modelo tem cerca de 490 curtidas, 4.040 downloads no mês passado e 27 versões quantizadas, e não há nenhum provedor de inference hospedado no momento. Então, ou você executa por conta própria, ou paga à Fish Audio. A API deles custa US$ 50 por milhão de caracteres, ou US$ 10 até 12 de novembro. Lembre-se desses dois preços, porque vou compará-los com o meu custo. A primeira pergunta é se consigo executar isso localmente. Meu laptop tem uma RTX 4060 com 8 GB de memória. O SDLang Omni Cookbook diz que os pesos padrão ocupam 37 GB e a versão N4 ocupa 20. Então, até a versão menor exige mais de duas vezes e meia a minha memória. Não dá, então fui para o RunPod. Então, qual placa? Não uma 4090, e aqui está a conta. O servidor disponibiliza 70% da placa para o mecanismo e, em uma 4090 de 24 GB, isso dá 16,8 GB, menos do que os 20,8 GB necessários para os pesos. A A40 tem 48 GB, e 70% disso dá cerca de 32. A versão de quatro bits, chamada int4, também exige compute capability 8.0 ou mais recente, e a A40 é 8.6. Custou 59 centavos por hora. Agora, foi aí que a coisa ficou real. A instalação falhou em menos de um segundo porque o Python do pod é bloqueado pelo sistema, então criei um ambiente virtual. Depois, o servidor travou com um erro de importação porque eu tinha atualizado o Hugging Face Hub para a versão dois, e a biblioteca Transformers exige uma versão abaixo da dois. Fixei a versão anterior. Na terceira tentativa, o servidor se recusou a iniciar porque o vocoder só tinha 4,4 GB, o que comporta 1.239 quadros, enquanto o padrão pede 2.048. Reduzi o limite de novos tokens para 1.024, o que dá cerca de 47 segundos de áudio por solicitação, e dividi o roteiro em trechos curtos por conta própria. E a quarta falha foi um timeout. O carregamento dos pesos a partir de um disco de rede leva cerca de 76 segundos na primeira de 12 tentativas, e o servidor desiste depois de 600 segundos. Há uma variável de ambiente para isso. Defini o valor como 2.400 e, na inicialização seguinte, o servidor ficou pronto. Então, reserve um pouco de paciência na primeira inicialização. Aqui está a solicitação. Envio o texto junto com uma referência, indicando o caminho para meu arquivo WAV e a transcrição do que digo nele. Duas regras do cookbook. Cada referência é limitada a 60 segundos. Qualquer coisa mais longa retorna um erro HTTP 400, e a minha tem 30,2 segundos. E a transcrição precisa corresponder palavra por palavra ao que é falado, então colei meu próprio arquivo de texto. Primeira linha: texto simples sobre o lançamento do modelo. A Fish Audio acabou de lançar o Drama 3, um modelo de conversão de texto em fala com 35 bilhões de parâmetros que você pode realmente executar por conta própria. Segunda linha, adicionei uma tag de riso no meio da frase. Achei que não havia como isso funcionar em uma única A40. E então ele falou com a minha própria voz. Terceira linha: mudei de calmo para sussurrando e depois para sério, tudo de uma vez. Aqui está a afirmação, mas espere. É aí que fica estranho. Os números não mentem. Dá para ouvir que é minha voz, com o mesmo sotaque e o mesmo ritmo, e eu não treinei nada, nenhum fine-tuning. É só aquele clipe de 30 segundos. E agora, sobre o que não é perfeito: o modelo decide como cada texto soa. Então, o riso não é como eu rio, e eu ainda geraria a fala de novo se o sussurro saísse alto demais. Mas, para uma primeira tentativa sem nenhuma configuração da minha parte, já dá para usar em um vídeo, e toda esta narração foi feita da mesma maneira. Agora, os números. O cookbook diz que int4 é cerca de 8% mais lento do que fp8: 1,234 segundos contra 1,235, e a taxa de erro de palavras é de 1,63% contra 1,99%, o que, segundo eles, está dentro da

01:32 variação entre execuções. Na minha A40, a primeira linha levou 11,7 segundos para gerar 9 segundos de áudio, porque o sistema estava aquecendo. As duas seguintes levaram 2,7 e 2,6 segundos para cerca de 6 segundos de áudio cada. Depois, gerei toda esta narração: 46 trechos, cerca de 7.500 caracteres, que produziram cerca de 430 segundos de áudio em aproximadamente 165 segundos, incluindo as tentativas repetidas. Isso dá cerca de 0,38 em tempo real. O benchmark indica 0,13 em uma H200, então este é o número mais lento que prometi mostrar. Agora, o dinheiro. Nesse ritmo, 1 milhão de caracteres leva cerca de 6 horas de GPU, o que dá aproximadamente US$ 3,60 a US$ 0,59 por hora, contra US$ 50 pela API ou US$ 10 com o desconto. Mas isso conta apenas o tempo em que o modelo estava gerando. Não inclui a longa primeira inicialização nem as horas em que o pod fica ocioso. Então, o custo real é maior. Três limitações. Primeiro, a licença. É gratuita para pesquisa e uso não comercial, e para uso comercial se você e suas afiliadas faturarem menos de US$ 500.000 por ano. Acima disso, ou se você oferecer o serviço de clonagem para outras pessoas, precisa de uma licença da Fish Audio, e não é permitido clonar a voz de alguém sem consentimento. Um alerta: a tag de licença no topo do cartão do modelo diz Fish Audio Research license, enquanto o blog e a própria seção de licença do cartão dizem community license. Então, leia o arquivo de licença antes de lançar qualquer coisa. Segundo, o próprio registro do servidor diz que a versão int4 ainda não está totalmente otimizada. Terceiro, só testei em inglês, embora o modelo liste 83 idiomas, e também não testei as cenas com 16 speakers. E o recurso de edição que corrige uma palavra em uma gravação, segundo o blog, está em testes apenas por convite, e uma API de edição está planejada, então não pude experimentar esse recurso. Então, dá para usar isso na sua própria narração? Sim, se você tiver uma placa de 48 GB, uma amostra limpa de 30 segundos com a transcrição exata e um pouco de paciência na primeira inicialização. Levei quatro correções em uma A40 a US$ 0,59 por hora. Se você está procurando GPUs baratas e confiáveis, eu uso o RunPod, e o link está na descrição. Em seguida, vou comparar este modelo com meu antigo clone Queen 3, com o mesmo roteiro e a mesma voz, e vamos ver qual vence. Diga nos comentários qual fala você quer que eu teste e, se quiser os comandos exatos e as quatro correções, eles estão na descrição.

02:02 A API deles custa US$ 50 por milhão de caracteres, e US$ 10 até 12 de novembro. Lembre-se desses dois preços, porque vou compará-los com o meu próprio custo. A primeira pergunta é se consigo rodar isso localmente. Meu laptop tem uma RTX 4060 com 8 GB de memória. O SDLang Omni Cookbook diz que os pesos padrão ocupam 37 GB, e a versão N4 ocupa 20 pontos. Então, até mesmo a versão pequena precisa de mais de duas vezes e meia a minha memória. A resposta é não, então fui para o RunPod. Então, qual placa? Não uma 4090

02:32 e aqui está a conta. O servidor disponibiliza 70% da placa para o mecanismo e, numa 4090 de 24 GB, isso dá 16,8 GB, menos do que os 20,8 GB necessários para os pesos. A A40 tem 48 GB, e 70% disso dá cerca de 32. A versão de quatro bits chamada int4 também precisa de compute capability 8.0 ou mais recente, e a A40 é 8.6. Custou 59 centavos por hora. Agora, foi aqui que as coisas ficaram sérias. A instalação falhou em menos de um segundo porque

03:03 o Python do pod está bloqueado pelo sistema, então criei um ambiente virtual. Depois, o servidor travou com um erro de importação porque eu tinha atualizado o Hugging Face Hub para a versão dois, e a biblioteca Transformers exige uma versão abaixo de dois. Fixei a versão anterior. Na terceira tentativa, o servidor se recusou a iniciar porque o vocoder só tinha 4,4 GB, o que comporta 1.239 quadros, e o padrão pede 2.048. Reduzi o limite de novos tokens para 1.024,

03:34 o que dá cerca de 47 segundos de áudio por solicitação, e dividi o roteiro em trechos curtos por conta própria. A quarta tentativa foi um tempo limite excedido. O carregamento dos pesos a partir de um disco de rede leva cerca de 76 segundos na primeira execução, entre 12, e o servidor desiste após 600 segundos. Há uma variável de ambiente para isso. Defini o valor como 2.400 e, na inicialização seguinte, o servidor ficou operacional. Então, reserve um pouco de paciência para a primeira inicialização. Aqui está a solicitação. Envio o texto, junto com uma referência que inclui o caminho para meu arquivo wave e a

04:05 transcrição do que digo nele. Duas regras do cookbook. Cada referência é limitada a 60 segundos. Qualquer coisa mais longa retorna um erro HTTP 400, e a minha tem 30,2 segundos. E a transcrição precisa corresponder palavra por palavra ao que é falado, então colei meu próprio arquivo de texto. Primeira linha: texto simples sobre o lançamento do modelo. A Fish Audio acabou de lançar o Drama 3, um modelo de síntese de fala com 35 bilhões de parâmetros que você pode, de fato, rodar por conta própria. Segunda linha, eu

04:36 adicionei uma tag de risada no meio da frase. Achei que não havia como isso funcionar numa única A40. E então ele falou com a minha própria voz. Terceira linha: mudei de calmo para sussurrado e depois para sério, tudo de uma vez. Aqui está a afirmação, mas espere. É aqui que fica estranho. Os números não mentem. Dá para ouvir que é a minha voz, com o mesmo sotaque e o mesmo ritmo, e eu não treinei nada, sem fine-tuning. É só aquele clipe de 30 segundos. E agora, sobre o que não ficou perfeito,

05:07 o modelo decide como cada texto soa. Então, a risada não é igual à minha, e eu ainda geraria de novo uma fala se o sussurro saísse alto demais. Mas, para uma primeira tentativa sem nenhuma configuração da minha parte, já dá para usar em um vídeo, e toda esta locução foi feita do mesmo jeito. Agora, os números. O cookbook diz que int4 é cerca de 8% mais lento que fp8: 1,234 segundos contra 1,235; e a taxa de erro de palavras é de 1,63% contra 1,99%, o que, segundo eles, está dentro da

05:39 variação entre execuções. Na minha A40, a primeira fala levou 11,7 segundos para gerar 9 segundos de áudio porque o sistema estava aquecendo. As duas seguintes levaram 2,7 e 2,6 segundos para gerar cerca de 6 segundos de áudio cada. Depois, gerei toda esta locução: 46 trechos, cerca de 7.500 caracteres, que produziram cerca de 430 segundos de áudio em aproximadamente 165 segundos, incluindo as novas tentativas. Isso equivale a cerca de 0,38 do tempo real. O benchmark indica 0,13 numa H200, então este é o

06:12 número mais lento que prometi mostrar. Agora, o dinheiro. Nessa velocidade, 1 milhão de caracteres consome cerca de 6 horas de GPU, o que dá aproximadamente US$ 3,60 a US$ 0,59 por hora, contra US$ 50 na API ou US$ 10 com o desconto. Mas isso só conta o tempo em que estava gerando. Não inclui a longa primeira inicialização nem as horas em que o pod fica ocioso. Então, seu custo real é maior. Três limitações. Uma: a licença. É gratuita para pesquisa e uso não comercial, e gratuita para uso comercial se você e seus

06:42 afiliados faturarem menos de US$ 500.000 por ano. Acima disso, ou se você oferecer o serviço de clonagem para outras pessoas, precisa de uma licença da Fish Audio, e não é permitido clonar a voz de alguém sem consentimento. Um alerta: a tag da licença no topo do cartão do modelo diz Fish Audio Research license, enquanto o blog e a própria seção de licença do cartão dizem community license. Então, leia o arquivo de licença antes de lançar qualquer coisa. Dois: o próprio registro do servidor diz que a versão int4

07:12 ainda não está totalmente otimizada. Três: só testei inglês, embora o modelo liste 83 idiomas, e também não testei as cenas com 16 falantes. E o recurso de edição que corrige uma palavra numa gravação: o blog diz que está em testes apenas por convite e que uma API de edição está planejada, então não pude testar esse recurso. Então, dá para usar isso na sua própria locução? Sim, se você tiver uma placa de 48 GB, uma amostra limpa de 30 segundos com a transcrição exata e um pouco de paciência na

07:43 primeira inicialização. Precisei fazer quatro correções numa A40 a US$ 0,59 por hora. Se você procura GPUs baratas e confiáveis, eu uso o RunPod; o link está na descrição. A seguir, vou comparar este modelo com meu antigo clone Queen 3, usando o mesmo roteiro e a mesma voz, e veremos qual vence. Conte nos comentários qual fala você quer que eu teste e, se quiser os comandos exatos e as quatro correções, eles estão na descrição.

Transcrição original

[00:00] This voice is not me talking. It is a 35 billion parameter model called Drama 3 and it learned my voice from 30 seconds of audio. I rented one GPU for $0.59 an hour and I’m going to show you what broke before it worked. Mind you, the sample is my own voice so there is nobody being cloned without consent. Stay for the speed number at the end because it is slower than the benchmark says and I’ll explain why. So this is the Drama 3 page on Hugging Face from

[00:30] Fish Audio. It is a text-to-speech model with about 35 billion parameters in total but is a mixture of experts so only about 3 billion are active for each token. You can see the speaker tags here from to speaker 15. So one piece of text can hold 16 characters. You write directions in square brackets like whispering and you can change the direction in the middle of a line. And the model card lists 83 languages. For cloning, you give it a reference clip and the exact

[01:00] transcript of that clip and that’s what I did with my own 30-second sample. Now let’s check what Fish Audio says on their own blog. They say it scores 93.2% on the artificial analysis pronunciation benchmark against 88.1 for their previous model S2.1 Pro. That is an outside leaderboard but the number comes from their blog and I did not run it myself so take it as reported not verified. The technical report on archive says a single stream decodes at 271

[01:32] frames per second on one H200 compared to 177 for the older S2 model even though this one is more than seven times bigger. And that is an H200 which costs several dollars an hour. Keep that in mind because I’m on a much smaller card. Back on the hub page, it has about 490 likes, 4,040 downloads last month and 27 quantized versions and no inference provider hosted right now. So you either run it yourself or you pay Fish Audio.

[02:02] Their API is $50 per million characters and $10 until November 12th. Remember those two prices because I’ll compare them to my own cost. First question is whether I can run this locally. My laptop has an RTX 4060 with 8 GB of memory. The SDLang Omni Cookbook says the default weights take 37 GB and the N4 version takes 20 point. So, even the small one is more than two and a half times my memory. That is a no, so I went to RunPod. So, which card? Not a 4090

[02:32] and here is the math. The server gives the engine 70% of the card and on a 24 GB 4090, that is 16.8 GB less than the 20.8 the weights need. The A40 has 48 GB and 70% of that is about 32. The four-bit build called int4 also needs compute capability 8.0 or newer and the A40 is 8.6. It cost 59 cents an hour. Now, here’s where it got honest. The install failed in under a second because

[03:03] the pod’s Python is locked by the system, so I made a virtual environment. Then the server crashed with an import error because I had upgraded Hugging Face Hub to version two and the Transformers library wants version below two. I pinned it back. The third one, the server refused to start because the vocoder only had 4.4 GB which fits 1,239 frames and the default asks for 2,048. I cut the new token limit to 1,024,

[03:34] which is about 47 seconds of audio per request and I split my script into short pieces myself. And the fourth one was a timeout. The weights load from a network disk about 76 seconds for the first shot of 12 and the server gives up after 600 seconds. There is an environment variable for that. I set it to 2,400 and on the next start, it came up healthy. So, budget some patience on a first start. Here’s the request. I send the text plus a reference with the path to my wave file and the

[04:05] transcript of what I say in it. Two rules from the cookbook. Each reference is kept at 60 seconds. Anything longer comes back as an HTTP 400 error, and mine is 30.2 seconds. And the transcript has to match what is spoken word for word, so I pasted my own text file. First line, plain text about the model release. Fish audio just released Drama 3, and it is a 35 billion parameter text-to-speech model that you can actually run yourself. Second line, I

[04:36] added a laughing tag in the middle of the sentence. I thought there was no way this would work on a single A40. And then it spoke in my own voice. Third line, I switched from calm to whispering to serious in one go. Here is the claim, but hold on. This is where it gets strange. The numbers do not lie. You can hear it is my voice, same accent, same pace, and I did not train anything, no fine-tuning. It is just that 30-second clip. And now, where it is not perfect,

[05:07] the model decides how each text sounds. So, the laughing is not how I laugh, and I would still regenerate a line if the whisper came out too loud. But for a first try with no setup on my side, it is already usable for a video, and this whole voice-over is made the same way. Now, the numbers. The cookbook says int4 is about 8% slower than fp8, 1.234 seconds against 1.235, and the word error rate is 1.63% against 1.99, which they say is within

[05:39] run-to-run noise. On my A40, the first line took 11.7 seconds for 9 seconds of audio because it was warming up. The next two took 2.7 and 2.6 seconds for about 6 seconds of audio each. Then I generated this whole voice-over, 46 pieces, about 7,500 characters, and it made about 430 seconds of audio in about 165 seconds, retries included. That is about 0.38 of real time. The benchmark says 0.13 on an H200, so this is the

[06:12] slower number I promised you. Now, the money. At that speed, 1 million characters takes about 6 hours of GPU time, which is about $3.60 at $0.59 an hour against $50 on the API or 10 with the discount, but that only counts the time it was generating. It does not count the long first start or the hours the pod sits idle. So, your real cost is higher. Three limits. One, the license. It is free for research and non-commercial use and free for commercial use if you and your

[06:42] affiliates make under $500,000 a year. Above that or if you offer it as a cloning service to other people, you need a license from Fish Audio and cloning someone’s voice without consent is not allowed. One flag, the license tag at the top of the model card says Fish Audio Research license, while the blog and the card’s own license section say community license. So, read the license file before you ship anything. Two, the server log itself says the int4

[07:12] build is not fully optimized yet. Three, I only tested English even though the model list 83 languages and I did not test the 16 speaker scenes either. And the editing feature that fixes one word in a take, the blog says it is in invite-only testing and an editing API is planned, so I could not try that one. So, can you use this for your own voice-over? Yes, if you have a 48 GB card, a 30-second clean sample with its exact transcript and some patience on

[07:43] the first start. It took me four fixes in an A40 at $0.59 an hour. If you are looking for cheap and reliable GPUs, I use RunPod and the link is in the description. Next, I’ll put this model against my old Queen 3 clone, same script, same voice, and we’ll see which one wins. Let me know in the comments which line you want me to test and if you want the exact commands and the four fixes, they are in the description.