VoiceStudio: IA de voz local que não supera a ElevenLabs

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: VoiceStudio: Local Voice AI That Doesn’t Beat ElevenLabs · Canal: Fahd Mirza · 12:35 · Assistir no YouTube

Tópicos: Modelos locais e open source, Modelos multimodais, Open source e ecossistemas de software

Resumo

O vídeo apresenta o Voice Studio, uma ferramenta open source que roda localmente e reúne recursos de clonagem e design de voz, dublagem, transcrição, ditado e criação de audiolivros. O apresentador instala o aplicativo com Docker e GPU e demonstra a configuração inicial e o catálogo de modelos. Ele recomenda substituir os modelos padrão por opções melhores, mostrando a instalação do VoxCPM 2 para clonagem de voz. Ao final, conclui que a ferramenta ainda é pouco refinada e não substitui a ElevenLabs.

Pontos-chave

O Voice Studio é um toolkit de voz local, disponível como aplicativo de desktop ou via Docker, com API local e suporte a MCP.
O projeto declara suporte a 646 idiomas, mas o idioma disponível depende do modelo selecionado.
O apresentador alerta que os modelos padrão não têm boa qualidade e recomenda explorar outros engines no catálogo.
A instalação do VoxCPM 2 exige seguir etapas adicionais dentro do container e reiniciá-lo.
O aplicativo oferece clonagem e design de voz, conversão, dublagem, ditado, transcrição, narração e criação de audiolivros.
Para processar vídeo, muitos modelos exigem cerca de 80 GB de VRAM.
O uso comercial depende das licenças dos modelos, e a clonagem de vozes deve ser feita apenas com permissão.
Na avaliação do apresentador, o Voice Studio ainda é pouco refinado e não substitui a ElevenLabs.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação e instalação do Voice Studio	O vídeo apresenta os recursos, requisitos e opções de execução do Voice Studio e começa a instalação com Docker.
03:38	Configuração inicial e catálogo de modelos	O apresentador conclui a configuração e explica que os modelos padrão podem ter qualidade inferior às alternativas do catálogo.
06:16	Instalação do VoxCPM 2 e clonagem de voz	Após instalar e ativar o VoxCPM 2, o apresentador demonstra a clonagem de uma voz e comenta que os resultados dependem do modelo.
08:55	Dublagem, narração e transcrição	O vídeo percorre os recursos para dublagem, histórias com personagens, audiolivros, galeria de vozes e ditado.
11:01	Geração de audiolivro e avaliação final	O apresentador gera e reproduz um audiolivro e conclui que o Voice Studio ainda não substitui a ElevenLabs.

Citações

É um toolkit de voz que roda localmente no seu próprio hardware. — 00:01

Eu recomendaria muito que, para qualquer tarefa, você usasse modelos melhores. — 04:09

Para vídeo, a maioria dos modelos precisa de cerca de 80 GB de VRAM. — 08:55

A ferramenta ainda é bastante pouco refinada. — 12:04

Isto não é, de forma alguma, um substituto direto para a ElevenLabs. — 12:04

Conceitos e entidades

Voice Studio (ferramenta): Toolkit local de voz que reúne recursos como clonagem, dublagem, transcrição e criação de audiolivros.
AGPL-3 (conceito): Licença indicada pelo vídeo para o projeto Voice Studio.
Docker (ferramenta): Opção usada no vídeo para instalar e executar o Voice Studio em um container.
MCP (conceito): Protocolo com suporte no Voice Studio que permite que agents chamem seus recursos.
OmniVoice (modelo): Engine padrão do Voice Studio, que o apresentador considera fraco em qualidade.
K2FSA (empresa): Nome associado no vídeo ao OmniVoice, usado como engine padrão do Voice Studio.
VoxCPM 2 (modelo): Modelo de síntese de voz instalado no container e usado na demonstração de clonagem.
Whisper tiny (modelo): Modelo escolhido pelo apresentador para a configuração de transcrição.
ElevenLabs (empresa): Serviço de voz usado como referência para comparar a qualidade e a maturidade do Voice Studio.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável pelo canal.

Tradução completa (pt-BR)

00:01 Hoje, vamos conhecer o Voice Studio, um projeto open source no GitHub sob a licença AGPL 3. É um kit de ferramentas de voz que roda localmente no seu próprio hardware. Ele oferece clonagem de voz, criação de voz, dublagem de vídeo, ditado, transcrição e criação de audiolivros. O README diz que ele oferece suporte a 646 idiomas. Por padrão, usa o OmniVoice, da K2FSA, como mecanismo, e você pode

00:32 trocar para outros mecanismos do catálogo. Ele também tem uma API local e suporte a MCP, então os agents podem chamá-lo. Você pode executá-lo como um aplicativo para desktop ou com Docker. Observe que os modelos têm suas próprias licenças, então confira essas licenças antes de usar os modelos comercialmente e clone vozes somente com permissão. Como você pode ver, estou usando meu sistema Ubuntu. Tenho uma placa de GPU, uma Nvidia RTX com 48 GB de VRAM. Se você está procurando alugar uma GPU por um preço muito bom, pode encontrar o link na descrição dos meus vídeos da Mask

01:02 Computer, e você pode assinar minha newsletter semanal sobre IA em wahabmirza.substack.com. E, se quiser ajudar o canal, torne-se membro. Sabe de uma coisa? Vamos direto ao terminal e instalar isso. Vou usar o jeito mais fácil: Docker. Antes disso, vou criar rapidamente este token local. É só uma chave de API aleatória que protege a interface web, e vou usá-la

01:33 uma vez só, então não se preocupe. Mas, se estiver usando isso em produção, guarde-a em um lugar seguro. Em seguida, vamos iniciar o contêiner do Voice Studio com acesso à GPU, salvando os dados e o cache do modelo na VM. Ele vai baixá-lo e, depois, iniciá-lo no nosso sistema local. Vamos esperar o download terminar. Tudo foi baixado. Você também pode fazer rapidamente uma verificação de integridade. O resultado foi positivo, então está

02:03 tudo certo. Vamos abri-lo no navegador. Na primeira vez que você executa isso, ele pede a chave de API. É o mesmo token aleatório que geramos. Acabei de usá-lo. Então, vou clicar em conectar. Pronto. Está conectado. E está me perguntando que tipo de interface quero. Por enquanto, vou usar a opção sugerida. Vamos usar 80%.

02:35 Está carregando. Verificando o sistema. Vamos esperar. Como você pode ver, está tudo certo: espaço em disco, GPU, rede, ambiente de execução. Ele também está me dizendo que está tudo certo e que posso continuar. Então, vamos clicar neste botão rosa. Em seguida, ele pergunta qual modelo eu gostaria de usar. Você pode simplesmente percorrer as opções. Há muitos modelos disponíveis. Vou usar o padrão, mas dá para

03:06 usar o Pocket, o Index e vários outros bons modelos. Você também pode inserir aqui o token do Hugging Face. Vou colar meu token. Depois, vou clicar em modelos necessários. Feito isso — porque o primeiro, Studio TTS, é necessário —, vamos clicar em baixar. Se você descer um pouco, verá outro que já está ativo. Então, está pronto. Vamos continuar.

03:38 E, por enquanto, não vamos fazer isso. Já estou fazendo isso aqui. Então, o feedback é este vídeo. Certo, agora acho que vou usar o Whisper Tiny. Embora eu goste muito do Parakeet, vou usar o Whisper por enquanto. Em seguida, ele também está verificando que tipo de vocabulário eu quero. Vou escolher Entrar no Studio.

04:09 Certo, vamos testar. Esta é a tela inicial desta ferramenta de voz, o Voice Studio. Uma coisa que precisa ficar bem clara é que isso é apenas uma ferramenta, um contêiner, onde eles incluíram seus modelos padrão e vários outros mecanismos. Eu recomendaria muito que, para qualquer tarefa, como clonagem de voz, criação de voz, dublagem de voz e até ditado, você use modelos melhores, em vez dos que eles definiram como padrão, porque eles não são bons. E vou mostrar isso. Então, na

04:42 parte inferior do lado esquerdo, você vê o catálogo. Clique nele. Este é um catálogo de modelos. Em fala, há o Kitten TTS; se você mudar a opção aqui, vai encontrar o modelo Omni Voice do Voice Studio, que não é nada bom. Para transcrição, há novamente o Fast Whisper e o Whisper Tiny. Então, minha sugestão é usar mecanismos melhores do que esses. Já cobrimos todos eles. Por exemplo, se eu clicar em Vox CPM, este é bem bom. Ele tem

05:13 cerca de 30 idiomas e criação de voz. Infelizmente, não dá para simplesmente instalá-lo por aqui. Os pesos não estão disponíveis. Então, vou removê-lo daqui, porque tentei instalá-lo e não funciona por aqui. Caso contrário, bastaria clicar em instalar e seguir. Para este, você precisa seguir este guia. Se você ler o guia, vai ver que ele foi mal escrito, porque é muito difícil instalá-lo desse jeito. Então, deixe-me

05:45 voltar ao terminal e mostrar como instalar isso, o Vox CPM. Meu contêiner Docker já está em execução, então vou instalar o pacote Vox CPM, como você pode ver, dentro deste contêiner. Isso vai levar alguns minutos, mas será instalado. A instalação foi concluída com sucesso. Depois, basta reiniciar o contêiner. Pronto. Vamos voltar ao catálogo

06:16 de modelos. Vamos até aqui; você precisa recarregar a página e inserir sua chave de API. Deixe-me fazer isso. Agora, se você rolar para baixo, verá os mecanismos que estão prontos para uso. O Vox CPM 2 é um deles, então vou clicar em usar aqui. Agora, troquei meu TTS para Vox CPM 2, que tem 30 idiomas. No lado esquerdo, há várias opções. Tem esta opção de voz. Vou clicar aqui.

06:48 É aqui que você pode fazer a clonagem de voz. Se quiser ver a qualidade deste modelo, dá para perceber que o Omni Voice, o modelo padrão, é muito ruim. Vou reproduzi-lo. >> Privado, local e pronto sempre que você estiver. [trecho ininteligível] >> Mas este é o modelo, não a ferramenta, e este é o Omni Voice. Por isso, recomendo muito usar este TTS. Enfim, o que vou

07:21 fazer: ele está perguntando sobre clonagem de voz. Na parte superior, basta clicar em áudio. Você pode cloná-la a partir de um áudio. Também pode criar uma voz e convertê-la. Vou voltar ao áudio. Vou enviar um áudio, talvez uma voz. Vou usar a minha própria voz, porque é o que costumo testar. Este é um parágrafo. Esta é uma voz. Vamos clicar em sintetizar áudio. Vou reproduzir aqui minha voz original.

07:52 A alegria está nos simples momentos de gratidão, e a verdadeira satisfação chega quando valorizamos de verdade as pequenas coisas. Este é o áudio. Vamos ver o que ele faz. Vou reproduzi-lo. Mas, de novo, como eu disse, não vamos nos concentrar demais nos modelos. Só quero demonstrar esta ferramenta, como ela funciona exatamente, quais são seus recursos de destaque e como instalá-la, para que você tenha um ponto de partida e possa ir além e explorar por conta própria. A clonagem foi concluída. Vou reproduzi-la

08:24 para você. Oi, aqui é Fahad. Assine minha newsletter em fahadmirza.substack.com. Ela é semanal. É sobre IA. É gratuita e não tem spam. Vou continuar dizendo isso em todos os vídeos até você assinar. Amanhã, vou dizer de novo. Oi, na semana que vem vou dizer mais alto. Daqui a um mês, meu… Então, como você vê, depende de o modelo oferecer suporte a emoções ou não. Você pode inserir várias emoções e outras coisas por aqui.

08:55 Certo, e como eu disse antes, você também pode fazer por design e por convert. Vamos para o próximo. À esquerda, você pode fazer a dublagem, mas pode soltar um arquivo de áudio ou vídeo. A única coisa que você precisa ter em mente é que, para vídeo, a maioria dos modelos precisa de cerca de 80 GB de VRAM. Então, o próximo recurso é que você também pode usar o editor de histórias. Isso é bem interessante: você vê que eles têm esse narrador e, então, pode simplesmente selecionar qualquer modelo.

09:28 Eu diria novamente para escolher o, sabe, modelo CPU ou algum outro melhor. Aí você pode criar essa narração. Também pode incluir mais personagens, como, por exemplo, pode remover um personagem. Então, por exemplo, você pode simplesmente chamá-lo de Alice ou qualquer outro nome e, para o padrão, escolher qualquer opção da galeria que preferir. E o mesmo vale para os outros.

09:58 Depois, é só continuar escrevendo o roteiro. Você pode adicionar falas ou capítulos. Também pode criar audiolivros. Então, este é um roteiro, com vozes, e este aqui é um livro inteiro que você pode ler. Agora, vou mostrar rapidamente a galeria. Esta é uma galeria com diferentes vozes e outras coisas. Como você pode ver, há muitas opções. A comunidade também está adicionando termos. Se você tem interesse em vários idiomas, pode conferir. E o idioma, por

10:29 sinal, também depende do modelo que você está selecionando. E aqui temos uma transcrição, na qual você pode iniciar o ditado. Por exemplo, não sei se meu microfone está conectado. Vou clicar em ditado. Vou permitir o acesso ao meu microfone. Este é Fahad Mirza, e dou as boas-vindas a você ao canal. Então, como você vê, também dá para ditar, e depois você pode reproduzir

11:01 o áudio. Então, vou parar. De novo, não se preocupe com a qualidade do ditado porque, como eu disse antes, isso depende do modelo. Agora, para criar um audiolivro, tudo o que você precisa fazer é escrever um roteiro como este, com um título de capítulo, uma pausa ou o nome da voz de cada personagem, e o Voice Studio transforma isso em uma narração de audiolivro com vozes diferentes, todas geradas localmente nesta máquina. Então, cliquei em gerar audiolivro, na parte de cima, e ele está começando

11:32 a processar o capítulo e vai criar o livro para nós. Vamos esperar a geração terminar e depois vamos conferir. A história está pronta. Agora vou reproduzi-la. >> A tempestade vinha se formando havia 3 dias, e Mara sabia, como se sabe o próprio coração bater, que naquela noite a velha lâmpada seria posta à prova. >> Ela subiu a escada em espiral, contando cada degrau por hábito. >> 101, 102 >> No alto, o vento a encontrou.

12:04 >> Você tremeluziu por 40 anos e vai aguentar mais um. >> A lâmpada respondeu com uma tossida de luz e depois se estabilizou. >> Então, como você vê, já dá para perceber que a ferramenta ainda é bem desajeitada. A propósito, ela não é tão boa quanto a 11 Labs. Porque, se você olhar nas redes sociais, há muito entusiasmo em torno dela, mas, sabe, acho que ela não substitui a 11 Labs de forma alguma. Mas me diga o que você

12:35 acha nos comentários. Como sempre, quero muito saber o que você pensa. De novo, se quiser ajudar o canal, torne-se membro. Obrigado por todo o apoio.

Transcrição original

[00:01] Today, we are looking at Voice Studio, an open-source project on GitHub under the AGPL 3 license. It is a voice toolkit that runs locally on your own hardware. It covers voice cloning, voice design, video dubbing, dictation, transcription, and audiobook creation. The readme says it supports 646 languages. By default, it uses OmniVoice from K2FSA as its engine, and you can

[00:32] switch to other engines from the catalog. It also has got a local API and MCP support, so agents can call it. You can run it as a desktop app or with Docker. Note that models have their own licenses, so check them before commercial use, and clone voices only with permission. As you can see that I’m using my Ubuntu system. I have one GPU card, which is Nvidia RTX with 48 GB of VRAM. If you’re looking to rent a GPU on very good price, you can find the link to my Mask

[01:02] Computer videos description, and you can subscribe to my weekly AI newsletter at wahabmirza.substack.com. And if you want to help out the channel, please become a member. You know what? Let’s go straight to terminal and get this thing installed. I’m going to use the easiest way of Docker. Before that, let me quickly create this local token. So, this is just a random API key that protects the web UI, and I’m just going to use it

[01:33] once, so don’t worry about it. But, if you’re using it in production, make sure to store it somewhere safe. Next up, let’s start the Voice Studio container with GPU access, saving data and model cache on the VM. So, it is going to download it, and then going to launch on our local system. So, let’s wait for it to get downloaded. Everything is downloaded. You can also quickly do the health check. And it has returned okay, so we are

[02:03] good. Let’s now open it in the browser. And first time when you run this, it asks you for the API key. That is the same random token which we generated. So, I have just um used it. So, let me click click on connect. And there you go. So, uh it is connected. And it is asking me, you know, what sort of UI I want. I’ll just go with the suggested one for now. So, let’s use 80%.

[02:35] It is loading. Probing the system. Let’s wait. So, you see everything checks out. My disk space, my GPU, network, runtime. So, and it is also telling me all good continue. So, let’s click on this pink button. Next, it is asking me which model would I like. So, you can just scroll through it. There are heaps of models available. I’m just going to go with a default, but you can see that you can

[03:06] uh go with pocket, uh index, and lot of other good ones. And then you can also, you know, put up the hugging face token here. So, let me paste my token. And then click on um required models. Once that’s done, uh because the first one was Studio TTS is required. Let’s click on download. And then if you come just down here, so this is another one which is already active. So, it is ready. So, let’s continue.

[03:38] And then let’s not do it for now. I’m already doing it here. So, the feedback is this video. Okay, um now again, I think I’ll just go with uh you know, whisper tiny. Though, I really like the parakeet one, but I’m just going to go with Whisper for now. And then it is also, you know, checking out um you know, what sort of vocabulary do I want? I’ll just go and go with Enter Studio.

[04:09] Okay, now let’s test it out. This is the launchpad of this voice studio tool. Now, one thing which you need to make a very clear is that this is just a tool, a container, where they have their uh sort of default models plus lot of other engines. I would highly, highly recommend that for any task like voice clone, voice design, voice dubbing, even dictation, you go with a better models instead of the models they have put in as default because they are not good at all. And I will show you. So, at uh the

[04:42] on the left-hand side at the bottom, you see there is catalog. Click on it. This is a model catalog, where speech is this Kitten TTS or if you change it here, they come in come uh with their voice studio uh Omni Voice model, which is not good at all. Transcription is again Fast Whisper and Whisper Tiny. So, what I would suggest that these are all the engines, you go with a better ones. We have covered each and every one of them. So, for instance, if I click on Vox CPM, this one is quite good. It has got

[05:13] around 30 languages, voice design is there. Now, unfortunately, you cannot just go and install it from here. So, the weights are not there. So, what I’m going to do, I’m just going to delete it from here because I tried installing it, it doesn’t work from here. Otherwise, I could just click install and go from there. So, for this, you would need to go and follow this guide. Now, if you read through this guide, it is quite poorly written because it will be very hard uh to get it installed this way. So, let me

[05:45] take you back to my terminal and show you how to get this thing installed, the Vox C PM. My Docker container is already running, so I’m just going to install that Vox C PM package, as you can see, inside this container. And it is going to take a couple of minutes, but will get installed. It is successfully installed, and then you just need to restart your container. That is done. Let’s go back to our model

[06:16] catalog, and from there, let’s go here and just um you need to reload and then put in your API key. Let’s Let me do that. And now, if you scroll down, you will see that these are engines which are ready to use. And Vox C PM 2 is one of them, so I’m just going to click on use here. And now, I have switched my TTS to Vox C PM 2 with 30 languages. On the left-hand side, you see there are a lot of options. So, there is this one voice. I’ll click here.

[06:48] This is where you can do the voice cloning. Uh if you want to see um what I you know, what is the quality of this one, you see um the Omni voice, the default one, it’s very poor. So, I’m just going to play it. >> Private, local, and ready whenever you are. Height my and yet it he when phone pre it come new >> But this is model, not the tool, and this is the Omni voice one. That is why I would highly recommend you go with this TTS. Anyway, so what I’m going to

[07:21] do, this is asking about voice clone. At the top, just click on audio. You can clone it from audio. You can design a voice, and you can convert it. I’m just going to go back to the audio. I am going to upload again, maybe a voice. I’ll just go with my own voice, because that is what I normally test on. So, this is a paragraph. This is a voice. Let’s click on synthesize audio. I’ll play my original voice here.

[07:52] Joy is found in simple moments of gratitude, and true contentment comes when we truly value the small black So, this is audio. Let’s see what it does here. I’ll play it out. But again, as I said, let’s not focus on models too much. I just want to demo this tool, how exactly this works, what are the selling features, and how to get it installed so that you have starting point, and then you can go further and explore explore yourself. The cloning is done. Let me play it out

[08:24] for you. Hi, it’s Fahad. Subscribe to my newsletter at fahadmirza.substack.com. It is weekly. It is about AI. It is free, and there is no spam. I will keep saying this in every video until you subscribe. Tomorrow, I will say it again. Hi, next week I will say it louder. In a month, my So, you see, it depends on if the model supports the emotions or not. You can insert various emotions and other things from here.

[08:55] Okay, and as I said earlier, you can also do by design and by convert. Let’s go to the next one. On the left, you can do the dubbing, but you can drop audio or video. The only thing you need to be aware of is that for video, most of the models would need around 80 GB of VRAM. So, next one is that you can also go with some of the stories editor. This is actually quite interesting, where you see they have this narrator, and then you can just select any model. Um

[09:28] I would again say just go with the you know, walk CPU or any better one. And then you can just build this narration. You can also include more characters like, you know, for example, you can subs- uh subtract the character. So, for example, you can just uh call it Alice or whatever, and then default just you know, from the gallery, just select anything of your choice, and same with the other ones.

[09:58] And then you can just keep writing your script. You can add lines or you can add chapters. Then you can also create audiobooks. So, this is a script, voices, and then this is a whole book which you can read through. And now, let me quickly show you the gallery. So, this is a gallery where they have different voices and stuff. So, you see a lot of things are there. Community is also adding terms if you’re interested in various languages, you can also check it out. And the language, by

[10:29] the way, is also depends on the model you are selecting. And then this is a transcription, which you can start the dictation. So, for example, I’m not sure if my mic is connected. I just click on dictation. I will allow my mic. This is Fahad Mirza, and I welcome you to the channel. So, you see, you can also do the dictation, and then you can play it

[11:01] back. So, I just stop it. Again, don’t worry about the quality of the dictation because, as I said earlier, it depends on the model. Now, in order to create an audiobook, all you need to do is to write a script just like this one, uh like a chapter heading, a pause, or a voice name for each character, and Voice Studio turns it into uh a narration audiobook with different voices all generated locally on this machine. So, I just clicked on the top generate audiobook, and it is just going

[11:32] through the chapter and it is going to create that book for us. So, let’s wait for it to get generated and then we will check it out. And the story is created. Let me now run this. >> The storm had been building for 3 days and Mara knew, the way you know your own heartbeat, that tonight the old lamp would be tested. >> She climbed the spiral stair, counting each step out of habit. >> 101 102 >> At the top, the wind found her.

[12:04] >> You flickered for 40 years and you’ll hold for one more. >> The lamp answered with a cough of light, then steadied. >> So, you see, um and you can already feel that the tool is still quite clunky. Uh it is not as good as 11 Labs, by the way. Because if you look go to the social media, there is a lot of hype around it, but you know, I feel that this is not a drop in replacement to 11 Labs by any stretch of imagination. But, let me know your

[12:35] thoughts in the comments. As always keen to know your thoughts. Again, if you want to help out the channel, please become a member. Thank you for all the support.