Voice of Reason da Kyutai sobre GLM: execução local

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Voice of Reason from Kyutai on Top of GLM: Run Locally · Canal: Fahd Mirza · 07:53 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Modelos de IA, Modelos locais e open source, Modelos multimodais

Resumo

O vídeo apresenta o Voice of Reason, um modelo de fala com 9 bilhões de parâmetros da Kyutai, capaz de resolver problemas matemáticos por meio de raciocínio no próprio domínio da fala. O apresentador instala e testa o modelo em um servidor Ubuntu com uma NVIDIA H100, usando perguntas de áudio geradas pelo eSpeak e também a própria voz. O modelo responde corretamente a alguns testes, mas erra um problema com várias etapas por interpretar incorretamente a pergunta. O vídeo também explica o treinamento: fine-tuning em perguntas matemáticas faladas seguido de reinforcement learning com um sinal de recompensa verificável, que elevou o resultado no GSM8K de 27% para 74,8%.

Pontos-chave

O Voice of Reason processa perguntas faladas e raciocina no domínio da fala, sem converter primeiro a entrada em texto para pensar.
Segundo a model card, o modelo alcança 74,8% no GSM8K, um resultado apresentado como estado da arte entre modelos nativos de fala.
O teste é feito localmente em um servidor Ubuntu com uma NVIDIA H100 de 80 GB de VRAM.
As perguntas de teste são fornecidas como áudio; algumas são geradas com eSpeak e outras são gravadas na voz do apresentador.
Nos testes mostrados, o consumo de VRAM fica em torno de 20 GB.
O método de treinamento inclui fine-tuning em 150 mil pares de perguntas e respostas matemáticas faladas e, depois, reinforcement learning.
Durante o reinforcement learning, um LLM as a judge avalia várias tentativas do modelo como certas ou erradas.
Em um problema de trabalho paralelo, o modelo combina as taxas como se os cães trabalhassem juntos em uma tarefa; o apresentador aponta que a resposta correta seria 19, não 18.
O modelo é construído sobre GLM-4, em vez de partir do zero; a pontuação-base em matemática era 27%, antes de chegar a 74,8% após o treinamento.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação do Voice of Reason	O vídeo introduz o modelo nativo de fala e seu resultado de 74,8% no GSM8K.
01:06	Instalação e explicação do treinamento	O apresentador prepara o ambiente e descreve como o modelo aprende matemática falada com reinforcement learning.
03:11	Testes de matemática com áudio	O modelo é executado com perguntas faladas, e o vídeo mostra respostas e consumo de VRAM.
05:18	Teste com a voz do apresentador e caso difícil	O modelo resolve uma equação e depois erra um problema de várias etapas ao interpretar incorretamente a pergunta.
07:22	Como o modelo foi treinado	O apresentador resume o fine-tuning e o reinforcement learning que elevaram o resultado de 27% para 74,8%.

Citações

O que o torna especial é que ele raciocina inteiramente no domínio da fala. — 00:01

Sem rótulos humanos, sem regras feitas à mão, apenas tentativa, erro e um sinal de recompensa. — 02:38

Está usando cerca de 20 GB de VRAM. — 04:15

A resposta correta é 19, não 18. — 06:21

A pontuação salta para 74,8%. É assim que deve ser feito um bom pós-treinamento. — 07:53

Conceitos e entidades

Voice of Reason (modelo): Modelo nativo de fala com 9 bilhões de parâmetros, apresentado no vídeo como capaz de raciocinar sobre problemas matemáticos falados.
Kyutai (empresa): Organização responsável pelo Voice of Reason, conforme descrito no vídeo.
GLM-4 (modelo): Modelo-base sobre o qual o Voice of Reason foi construído e posteriormente treinado.
GSM8K (conceito): Benchmark de problemas matemáticos usado para avaliar o desempenho do modelo.
reinforcement learning (conceito): Método de treinamento que usa recompensas para favorecer as respostas que o avaliador considera corretas.
LLM as a judge (conceito): Avaliador usado no treinamento para classificar as tentativas do modelo como certas ou erradas.
NVIDIA H100 (ferramenta): GPU com 80 GB de VRAM usada para executar os testes locais.
eSpeak (ferramenta): Ferramenta de síntese de fala usada para gerar as perguntas de áudio com voz robótica.
Ubuntu (ferramenta): Sistema operacional do servidor usado para instalar e testar o modelo.
Mass Compute (empresa): Serviço mencionado pelo apresentador como opção para alugar uma GPU.
Fahad Mirza (pessoa): Apresentador do vídeo e responsável pelo canal.

Tradução completa (pt-BR)

00:01 Este é o Voice of Reason, um modelo de fala nativo com 9 bilhões de parâmetros da Kyutai, capaz de fazer matemática de verdade. O que o torna especial é que ele raciocina inteiramente no domínio da fala. Nada de trapacear convertendo primeiro para texto, pensando e depois convertendo de volta. Ele usa aprendizado por reforço com um sinal de recompensa verificável, exatamente como o DeepSeek R1 fez com texto, mas aplicado a um modelo que fala e escuta de forma nativa.

00:34 O resultado é 74,8% no GSM8K, conforme divulgado no model card, um novo estado da arte para modelos de fala nativos. Então, hoje vamos baixar esse modelo, configurá-lo em um servidor Ubuntu recém-instalado, fazer algumas perguntas de matemática em voz alta e ouvi-lo raciocinar sobre as respostas com a própria voz. Eu sou Fahad Mirza, e dou as boas-vindas ao canal. Também vou explicar a arquitetura, mas, por enquanto, vamos instalá-lo

01:06 neste Ubuntu, onde tenho uma GPU Nvidia H100 com 80 GB de VRAM. Você não precisa comprá-la. Basta acessar a descrição do vídeo, pegar um link da Mass Compute e alugar essa GPU por um preço bem acessível. Além disso, recentemente comecei esta newsletter semanal gratuita sobre IA, na qual você pode se inscrever em fahadmirza.substack.com. Voltando a este modelo, deixe-me clonar rapidamente o

01:37 repo; vou deixar o link na descrição do vídeo. Também vou instalar esta versão do torch com transformer. Se estiver acompanhando, instale exatamente estas versões. Enquanto a instalação acontece, deixe-me explicar a arquitetura, ou o que realmente ocorre por baixo dos panos. Você pega uma pergunta de matemática, algo como: quanto é 4 * 7? Em vez de digitá-la, você a fala. Esse áudio é convertido em tokens,

02:07 que são basicamente pequenos pedaços que o modelo consegue entender. Então, o modelo gera um grupo de respostas, não apenas uma, mas várias tentativas. Um LLM as a judge analisa todas essas tentativas e simplesmente pergunta: está certo ou errado? As respostas certas recebem um sinal positivo. As erradas recebem um sinal negativo. Esse feedback é então usado para atualizar o modelo, basicamente dizendo para ele fazer mais do que funcionou. Ao longo de milhares de exemplos, o modelo fica cada vez melhor

02:38 em raciocinar sobre problemas de matemática falados. Sem rótulos humanos, sem regras feitas à mão: apenas tentativa, erro e um sinal de recompensa. Em poucas palavras, isso é aprendizado por reforço, e é o que este modelo usa, mas na modalidade de voz. Então, é isso que este modelo faz. Deixe-me voltar ao terminal. A propósito, se quiser ajudar o canal, torne-se membro. O link está na página inicial do canal ou no primeiro comentário fixado.

03:11 Tudo está instalado. Agora, vamos fazer os testes. Este é um script que vou usar para testar. Ele recebe uma pergunta em áudio falado, converte-a em tokens que o modelo entende, envia esses tokens para o modelo Voice of Reason e imprime o raciocínio e as respostas do modelo como texto. Então, é um tutor de matemática com entrada de voz e saída de texto. Você fala a pergunta, ele pensa em voz alta e dá a resposta. Na primeira vez que executar isso, ele vai baixar este modelo da Kyutai. Então,

03:43 deixe-me voltar e executar o script. O modelo está sendo baixado, e o tamanho passa um pouco de 19 GB. Enquanto isso, vou reproduzir o áudio, que é apenas uma voz robótica. >> Quanto é 15 multiplicado por oito? Quanto é 15 multiplicado por oito? >> Pronto, ele nos deu a resposta. Acabei de gerar esse áudio com o eSpeak, e dá para ver que funcionou bem. Deixe-me executar isso de novo.

04:15 E vou mostrar o consumo de VRAM. Dá para ver que ele está subindo. Chega a cerca de 20 GB de VRAM. É isso. Esse é o consumo de VRAM necessário para obter essa resposta. Vamos fazer mais alguns testes. E, se você está se perguntando exatamente como estou gerando essas vozes robóticas, é só com o eSpeak. Veja, acabei de gerar esta pergunta: quanto é 12 multiplicado

04:47 por 12, no arquivo question.wav. Vou reproduzi-la também e executar o script de novo. Vou tocar o áudio rapidinho. Só um segundo. Estou procurando onde exatamente está esse arquivo. >> Quanto é 12 multiplicado por 12? >> Pronto. Vamos executar o script. Repare também na velocidade. É bem rápido. Vou deixá-lo rodar para que você também veja quanto tempo leva.

05:18 Então, esta é a resposta, e está correta. Certo, vamos fazer outra pergunta com a minha própria voz. Resolva esta equação matemática. x + y é igual a x - y. Vamos esperar o modelo responder. Pronto. Acho que o modelo se saiu bem. Ele nos deu todos os passos que seriam usados para resolver essa questão de matemática. Muito bom. Bem direto, bem

05:49 sutil. Acho que eles também têm outra versão que permite usar bastante raciocínio. De qualquer forma, vamos fazer outra pergunta bem difícil. Basicamente, vai ser uma espécie de teste de estresse. Dá para ver que estou gerando o áudio com este prompt, que descreve uma situação do mundo real, com várias etapas e fluxos de trabalho paralelos. Então, acho que este é um bom teste de estresse para o modelo. Vamos ver como ele se sai com este novo áudio, que estou salvando no arquivo question.wav

06:21 Pela resposta, dá para ver que o modelo raciocinou corretamente, passo a passo, separando as taxas individuais, encontrando um denominador comum e convertendo 3 horas em 180 minutos. Mas acho que ele interpretou mal a pergunta. Se você voltar ao início e olhar a pergunta, os cães trabalham de forma independente em trabalhos separados, não juntos em um só. Então, a resposta correta é 19 trabalhos, não 18.

06:51 Mas a abordagem do modelo, que combina as taxas, é um erro clássico que as pessoas também cometem exatamente neste problema, o que na verdade torna o desafio bem difícil para o modelo. Então, eu diria que, apesar de usar o GLM por baixo dos panos, ele falhou neste teste. Antes de encerrar, uma coisa que achei muito interessante no artigo deles é como foi inteligente construir sobre o GLM-4, em vez de começar do zero. Eles pegaram o modelo existente de 9 bilhões de

07:22 parâmetros, primeiro fizeram fine-tuning com 150.000 pares de perguntas e respostas de matemática faladas, para deixá-lo familiarizado com o domínio, e depois aplicaram aprendizado por reforço. Durante o RL, o modelo gera várias tentativas para cada pergunta falada. Um modelo avaliador simplesmente classifica cada uma como certa ou errada, e o modelo aprende a fazer mais do que funciona. Então, como eu disse antes, sem rotulagem humana, sem regras feitas à mão. O GLM base de voz marcou apenas 27% no benchmark de matemática

07:53 Depois do pipeline deles, o resultado saltou para 74,8%. É assim que se faz um bom pós-treinamento. Então, é um ótimo exemplo de pós-treinamento, se você tem interesse nessa área. Confira. Diga o que achou. Mais uma vez, se quiser apoiar o canal, torne-se membro e assine esta newsletter. Obrigado por todo o apoio.

Transcrição original

[00:01] This is Voice of Reason, a 9 billion parameter speech native model from Kyoto AI that can actually do math. What makes it special is that it reasons entirely in the spoken domain. No cheating by converting to text first, thinking, then converting back. It uses reinforcement learning with a verifiable reward signal exactly like Deep Sea Car One did for text, but applied very to a model that speaks and listens natively.

[00:34] The result, 74.8% on GSM8K as they have shared on their model card, which is a new state-of-the-art for speech native models. So, today we are going to pull this model down, set it up on a fresh Ubuntu server, and ask it some math questions out loud and hear it reason through the answers in its own voice. This is Fahad Mirza, and I welcome you to the channel. I will also unpack its architecture, but for now, let’s get it

[01:06] installed on this Ubuntu where I have one GPU card, Nvidia H100 with 80GB of VRAM. Now, you don’t need to buy it. All you need to do is to just go to the video’s description, get a link of Mass Compute, and you can rent this GPU on a very affordable price. Also, recently I have started this free weekly AI newsletter, which you can subscribe at fahadmirza.substack.com. Coming back to this model, let me quickly get clone the

[01:37] repo, and I will drop the link to it in video’s description. Also, I’m going to install this version of torch with transformer. Make sure if you are following along, you install exactly these versions. While it gets installed, let me unpack the architecture or what is actually happening under the hood. You take a math question, something like what is 4 * 7? And instead of typing it, you speak it. That audio gets converted into tokens,

[02:07] which are basically little chunks the model can understand. The model then generates a group of answers, not just one, but several attempts. An LLM judge then looks at all those attempts and simply asks, is this right or wrong? The ones that got it right get a thumbs up. The ones that got it wrong get a thumbs down. That feedback is then used to update the model, basically telling it do more of what worked. Over thousands of examples, the model gets better and

[02:38] better at reasoning through spoken math problems. No human labels, no hand-crafted rules, just trial, error, and a reward signal. That is reinforcement learning in a nutshell, and that is what is being used by this model, but in the modality of voice. So, this is what this model is doing. Let me take you back to the terminal, and by the way, if you want to help out the channel, please become a member. The link is on the home page of the channel or in the first pinned comment.

[03:11] Everything is installed. Now, let’s do the testing. This is a script which I’m going to use for testing. It takes a spoken audio question, converts it into tokens the model understands, feeds the to this voice of reason model, and prints out the model reasoning and answers as text. So, this is voice-in, text-out math tutor. So, you speak the question, it thinks out loud, and gives you the answer. First time when you run this, it is going to download this Q time model. So,

[03:43] let me go back and run the script. The model is being downloaded, and the size is just touch over 19 gig. And while it runs, let me play that audio, which is just a robotic voice. >> What is 15 multiplied by eight? What is 15 multiplied by eight? >> There you go, and it has given us the answer. Um and I just generated that from eSpeak, and you can see that it worked fine. Let me run this again.

[04:15] And I’m going to show you the VRAM consumption. So, you see the jumping up. And going up at just around 20 gig of VRAM. That’s it. So, that is a VRAM consumption in order to get this answer. Let’s do a few more tests. And if you’re wondering how exactly I’m generating those robotic voices, it is just with eSpeak. You see, I just generated it this what is 12 multiplied

[04:47] by 12 in the question.wav. Let me also play that, and we will run that script again. So, I’m going to just play it now quickly. Just give me a sec. I’m finding where exactly that file is. >> What is 12 multiplied by 12? >> There you go. So, let’s run this. And look at the speed, too. It is quite quick. I will just let it run so that you could also see how long does it take.

[05:18] So, this is our answer, which is correct. Okay, let’s do another one in my own voice. Solve this math equation. x + y is equal to x - y. Let’s wait for the model to come back. And there you go. I think the model has done well. It has given us all the steps which would be used in order to solve this math equation question. Uh pretty good. Very targeted, very

[05:49] nuanced. I think they also have another flavor where you can use it with lot of reasoning. Anyway, let’s do another quite a hard one. Basically, it would be a sort of stress test. So, you can see that I’m just generating that um audio with this prompt where this is real-world, multi-step, involves parallel work streams. So, I think this is a good stress test for this model. So, let’s see how it goes with this new audio which I’m saving in question.wave

[06:21] file. So, from the response, you can see that the model reasoned through it step by step correctly, breaking down individual rates, finding a common denominator, and converting 3 hours to 180 minutes. But, I think it misread the question. If you go at the top and look at the question, the dogs work independently on separate drugs, not together on one. So, the correct answer is 19 drugs, not 18.

[06:51] But, the model’s combined rate approach is a classic mistake humans make on this exact problem, too, which actually makes it uh quite challenging for the model. So, I would say despite of being um it using the GLM underneath, it failed this test. Before I wrap up, one thing I found really interesting from their paper um because that was quite clever how they built on top of GLM-4 uh rather than starting from scratch. They took the existing 9 billion

[07:22] parameter model, first fine-tuned it on 150,000 spoken math questions, answer pairs to get it comfortable with the domain, and then unleashed reinforcement learning on top. During RL, the model generates multiple attempts at each spoken question. A judge model simply scores each one right or wrong, and the model learns to do more of what works. So, as I said earlier, no human labeling, no handcrafted rules. The base GLM for voice scored just 27% on math

[07:53] benchmark. After their pipeline, it jumps to 74.8%. That is what good post training looks like. So, a very good exercise in post training if you’re interested in that field. Check it out. Let me know what do you think. Again, if you want to support the channel, please become a member and subscribe to this newsletter. Thank you for all the support.