Este modelo de fala de 164 MB afirma superar o Whisper... Eu verifiquei

Autoria: Better Stack · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: This 164MB Speech Model Claims to Beat Whisper… I Checked · Canal: Better Stack · 09:18 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Ferramentas de desenvolvimento com IA, Modelos locais e open source, Modelos multimodais

Resumo

Phonon 2 é um modelo de transcrição de fala de 164 MB, voltado para inglês e executado localmente em Macs com Apple Silicon. O vídeo apresenta as alegações de velocidade e precisão da Fermion Research, mas questiona a comparação de desempenho com o Parakeet Redux por causa do runtime usado nos testes. Resultados independentes mostram que Phonon 2 supera o Whisper Turbo na média, embora perca em alguns conjuntos de teste. O modelo também oferece legendas ao vivo, palavras-chave personalizadas e um servidor local compatível com a API de transcrição da OpenAI; o vídeo recomenda experimentá-lo, sem substituir imediatamente outras opções.

Pontos-chave

Phonon 2 tem um download de 164 MB e é focado em transcrição de áudio em inglês.
A Fermion Research afirma que o modelo alcança 174 vezes o tempo real com o fast path decoder em um MacBook Air M5 de 16 GB.
A velocidade cai para cerca de 109 vezes o tempo real com decodificação exata e 40 vezes usando apenas a CPU.
Nos testes da Fermion, Phonon 2 teve word error rate médio de 5,21, contra 5,69 do Parakeet Redux e 6,58 do Whisper Turbo.
A comparação de velocidade com o Parakeet Redux é questionável, pois os modelos foram executados em runtimes diferentes e o port usado pode afetar o desempenho.
Na avaliação independente do Open ASR leaderboard, Phonon 2 superou o Whisper Turbo na média, mas perdeu em três conjuntos de teste.
O modelo oferece transcrição pelo microfone, suporte a hot words e um servidor local com endpoint compatível com a API da OpenAI.
O código e a CLI usam Apache 2.0; os pesos do modelo usam CC BY 4.0, licença herdada da Nvidia.
O vídeo sugere experimentar Phonon 2, mas não substituir imediatamente outras ferramentas.

Capítulos

Início	Capítulo	Resumo
00:00	Phonon 2 e as alegações iniciais	O vídeo apresenta o modelo compacto, suas alegações de velocidade e precisão e a dúvida sobre como os benchmarks foram conduzidos.
01:36	Execução local e desempenho	O apresentador demonstra como executar Phonon 2 e explica as diferenças de velocidade conforme o modo de decodificação e o hardware.
03:11	Precisão e limites dos benchmarks	Os resultados de precisão são comparados, e o vídeo questiona a comparação de velocidade com Parakeet Redux e apresenta dados independentes.
05:24	Recursos para desenvolvimento	O vídeo mostra legendas ao vivo, hot words e um servidor local com endpoint de transcrição compatível com a API da OpenAI.
07:07	Licença e conclusão	O apresentador comenta as licenças, a novidade do projeto e recomenda experimentar Phonon 2 sem substituir imediatamente outras opções.

Citações

Uma hora de áudio transcrita em 21 segundos em um MacBook Air, sem internet. — 00:00

Um download de 164 MB chega a cerca de um quarto de ponto de um modelo aproximadamente 15 vezes maior. — 03:43

Phonon 2 parece rápido, mas essa comparação de seis vezes não prova que ele seja seis vezes mais rápido que uma implementação do Redux devidamente otimizada. — 05:24

Não mude ainda; apenas experimente. — 08:45

Conceitos e entidades

Phonon 2 (modelo): Modelo compacto de transcrição de fala em inglês desenvolvido pela Fermion Research.
Fermion Research (empresa): Pequeno laboratório responsável pelo Phonon 2 e pelos benchmarks apresentados no vídeo.
Parakeet Redux (modelo): Versão comprimida do modelo Parakeet da Nvidia, usada como referência de tamanho, velocidade e precisão.
Whisper Turbo (modelo): Modelo de reconhecimento de fala comparado com Phonon 2 em tamanho, velocidade e precisão.
MLX (ferramenta): Framework usado para executar Phonon 2 na GPU de Macs com Apple Silicon.
Fluid Audio (ferramenta): Port de Core ML usado nos testes da Fermion para executar o Parakeet Redux.
Open ASR leaderboard (repo): Leaderboard cujos testes independentes incluíram Phonon 2, o modelo original da Nvidia e Whisper Turbo.
Data (ferramenta): Aplicativo de ditado para Mac da Fermion Research, citado como principal uso real do Phonon 2 até então.

Tradução completa (pt-BR)

00:00 Uma hora de áudio transcrita em 21 segundos em um MacBook Air sem internet. E o modelo que faz isso é um download de 164 megabytes. O Whisper Turbo, modelo que a maioria escolheria, tem 10 vezes esse tamanho. Ele vem de um laboratório que mal completou 6 semanas, e afirma ser mais preciso que o Whisper e seis vezes mais rápido que seu concorrente mais próximo. Mas, quando fui conferir quem executou esses benchmarks e como eles foram feitos, algo não batia. >> [música]

00:31 >> Em outro vídeo, testamos o Parakeet Redux. Ele pegou o modelo Parakeet de 2,5 gigabytes da Nvidia e o comprimiu para apenas 178 megabytes usando pesos de 1,58 bit. Agora há outro modelo chamado Phonon 2, de um pequeno laboratório chamado Fermion Research. Ele começa com exatamente o mesmo modelo da Nvidia, mas, em vez de usar a abordagem do Redux, a Fermion treinou novamente o encoder para que cada peso use apenas um entre cinco valores aprendidos. Isso dá cerca de 2,1 bits por peso, com

01:02 todo o resto armazenado em tabelas de seis bits. Você esperaria que isso deixasse o Phonon 2 maior, mas não deixa. É um download de 164 megabytes que ocupa cerca de 178 megabytes depois de descompactado, exatamente o mesmo tamanho do Redux. A diferença está no objetivo de cada modelo. O Redux distribui sua capacidade por 25 idiomas; o Phonon 2 concentra tudo no inglês. E, segundo a Fermion, essa troca faz uma diferença considerável. Se você gosta de ferramentas de programação para acelerar seu workflow, não deixe de se inscrever. Publicamos vídeos o

01:36 tempo todo. Então, qual é a velocidade? Deixe-me mostrar. Colocá-lo para funcionar é bem simples. Sim, você precisa do Python 3.10 ou mais recente. O macOS ainda vem com o 3.9, então é melhor criar um novo ambiente virtual. Depois, instale o Fermion Research com o extra MLX. Tudo o que vamos fazer é executar o Phonon transcribe em um arquivo de áudio, que vou executar aqui mesmo. A Fermion afirma que o Phonon 2 consegue transcrever áudio a 174 vezes a velocidade de tempo real

02:07 em um MacBook Air M5 com 16 GB. Isso significa, na prática, uma hora inteira de áudio em cerca de 21 segundos. E lembre-se: tudo isso é executado localmente. Nada de enviar arquivos para a nuvem nem pagar por minuto, um dos motivos pelos quais gostamos dessas ferramentas. Para comparar, o download do Whisper Large V3 Turbo tem cerca de 1,6 GB. O Phonon 2 tem uma fração desse tamanho, mas há algo importante por trás da velocidade dele. O Phonon 2 usa MLX para rodar na

02:37 GPU do Mac, mas também tem algo chamado decodificador de caminho rápido, ativado por padrão. E isso faz uma enorme diferença. A Fermion relata 174 vezes a velocidade de tempo real com o caminho rápido. Ao mudar para a decodificação exata, esse número cai para cerca de 109 vezes. Usando apenas a CPU, fica em cerca de 40 vezes. No benchmark deles, o Whisper Turbo rodando pelo Whisper CPP com Metal chega a apenas 17 vezes. Então, no papel, o Phonon 2 parece ridiculamente rápido, mas velocidade não significa muito se a transcrição estiver simplesmente errada. E é aqui que as coisas

03:11 começam a ficar um pouco mais interessantes em relação à precisão. A Fermion testou o Phonon 2 contra o Whisper Turbo do Redux e o modelo original da Nvidia. Eles mediram a taxa de erro de palavras, que basicamente indica quantos erros de transcrição um modelo comete. Obviamente, quanto menor, melhor. Nos sete conjuntos de teste, o Phonon 2 marcou 5,21. O Redux marcou 5,69. O Whisper Turbo ficou em 6,58. E o modelo original de 2,5 GB da Nvidia marcou 4,96.

03:43 Pense nisso por um momento. Um download de 164 MB chega a cerca de um quarto de ponto de um modelo aproximadamente 15 vezes maior. A Fermion chega a chamá-lo de modelo de fala em inglês open source mais preciso com menos de 900 megabytes, o que parece impressionante. Mas é preciso fazer muitos testes para confirmar isso. Mas por que especificamente 900 megabytes? E, mais importante, quem realmente executou esses benchmarks? Certo. Todos os números que mostrei até agora vieram da Fermion, inclusive os números do Redux. E o próprio cartão de modelo do Redux informava uma média de

04:15 6,55, que é diferente. Isso não significa automaticamente que haja algo errado. Eles estão usando métodos de teste diferentes. Portanto, não dá para comparar diretamente os dois cartões de modelo. E, mesmo nos resultados da própria Fermion, o Redux supera o Phonon 2 no AMI, o benchmark de áudio de reuniões: 9,16 contra 9,37. Então, o Phonon 2 não vence em tudo. Mas lembre-se daquela afirmação de que ele é seis vezes mais rápido. Foi aí que comecei a questionar a comparação inteira. A Fermion não testou o Redux usando o runtime próprio do Moonshine. Usou um port de Core ML de terceiros

04:49 chamado Fluid Audio. E essa versão do Redux chegou a apenas 27,8 vezes a velocidade de tempo real. Mas veja só: na mesma tabela, o modelo original da Nvidia, que é cerca de 14 vezes maior, chegou a 105 vezes usando esse mesmo port. Então, de alguma forma, o modelo muito maior foi quase quatro vezes mais rápido. Isso é um forte indício de que o port está afetando o desempenho, não necessariamente de que o próprio Redux seja lento. E o Moonshine relata de 38 a 43 vezes a velocidade de tempo real em um MacBook Air M2 mais antigo. Então, o Phonon 2 parece rápido, mas essa comparação de seis

05:24 vezes não prova que ele seja seis vezes mais rápido que uma implementação do Redux devidamente otimizada. E há mais um benchmark que vale a pena analisar. A equipe do placar Open ASR testou o Phonon 2 de forma independente e o adicionou ao placar em 2 de outubro. E os resultados deles contam uma história um pouco diferente. O Phonon 2 teve média de 7,23. O modelo original da Nvidia marcou 6,51 e o Whisper Turbo marcou 8,39. Então, em média, o Phonon 2 ainda supera o Whisper, mas o Whisper vence em três conjuntos de teste individuais. O maior deles é

05:58 fala com ruído. No Urgent 2024, o Whisper marcou 13,69, contra 14,90 do Phonon 2. Ele também venceu em SPGI speech e Voice Arena Monsoon. E há outra limitação: o Redux nem sequer está no placar. Então, não temos uma comparação independente direta entre os dois modelos menores. Benchmarks são uma coisa, mas há alguns recursos que tornam o Phonon 2 interessante para nós, devs. Primeiro, legendas ao vivo. Basta executar phonon listen e ele começa a transcrever o áudio diretamente do microfone.

06:33 Aqui estou falando ao microfone e executando um teste. Isso é bem útil. Mas aqui vai outro recurso de que gosto: hot words. Você pode dar ao Phonon 2 uma lista de nomes ou palavras específicas que quer que ele reconheça, o que é especialmente útil ao transcrever conversas técnicas, ou qualquer coisa que você fique repetindo o tempo todo. Deixe-me mostrar a diferença. Primeiro, sem hot words; depois, com hot words. Uma coisa que ainda não verifiquei é qual é a latência real do streaming.

07:07 Esses são dois exemplos: um sem hot words e outro com hot words. O modelo subjacente é offline. Então, se você estiver criando algo que dependa de transcrição em tempo real, eu mediria primeiro essa latência. Mas há outro recurso ainda mais útil para nós. O Phonon 2 vem com um servidor local próprio. Basta executar phonon serve e ele inicia um servidor na porta 8000, com um endpoint de transcrição compatível com OpenAI e um fluxo por websocket. Isso já é útil. Vamos dar um passo além. Se sua aplicação já usa a API de transcrição da OpenAI,

07:38 você pode apontar a URL base para localhost. Assim, você executa a conversão de fala em texto localmente, por meio de uma API que seu código já conhece. Basta enviar uma requisição como esta e ela será executada. Mas, antes de começar a criar algo com isso, vamos falar de uma coisa, porque ainda precisamos analisar mais um ponto. Com os pequenos modelos de fala open source que estão surgindo hoje em dia, a licença acaba sendo o maior obstáculo para muitos deles, como aprendemos antes. Desta vez, porém, a boa notícia é que é bem simples. O código do Phonon 2

08:12 e a CLI estão sob a licença Apache 2.0, e os pesos do modelo usam CC BY 4.0, herdada da Nvidia. Portanto, o uso comercial é permitido. E, desde que você dê os créditos exigidos à Nvidia e à Fermion, tudo certo. Pode usar. Mas o projeto ainda é muito novo. Como eu disse, tem cerca de 6 semanas e vem de um pequeno laboratório que, bem, ganhou muita visibilidade na última semana ou algo assim. Então, está claro que as pessoas se interessaram, mas a publicação no Hacker News teve apenas alguns pontos e nenhum comentário. A publicação no Twitter foi o grande estouro. Até agora, o principal usuário no mundo real é a própria

08:45 O aplicativo de ditado para Mac, Data, o que nos leva à pergunta de verdade: você deveria usar o Phonon 2 em vez do Redax ou do Whisper? Bem, vou deixar você decidir. Provavelmente não. É legal testar esses modelos para ver para onde eles realmente vão, o que vai se destacar e o que não vai. Então, usar o Phonon 2 e experimentar com ele talvez seja a escolha certa aqui. Se você trabalha com áudio em inglês no Apple Silicon ou quer transcrição local rápida com uma API, esta parece ser uma ótima opção. Não mude nada ainda, apenas experimente. Eu sou Josh, da Better Stack. Se você gosta de

09:18 dicas e truques de programação como este, não deixe de se inscrever. A gente se vê em outro vídeo.

Transcrição original

[00:00] An hour of audio transcribed in 21 seconds on a MacBook Air with no internet. And the model doing it is a 164 megabyte download. Whisper Turbo, the model most people would reach for, is 10 times that size. It comes from a lab that’s barely 6 weeks old, and it claims to be more accurate than Whisper, and six times faster than its closest rival. But when I looked at who ran those benchmarks, and how they ran them, something didn’t add up. >> [music]

[00:31] >> So in another video, we tested Parakeet Redux. It took Nvidia’s 2 and 1/2 gigabyte Parakeet model and compressed it down to just 178 megabytes using 1.58 bit weights. Now there’s another model called Phonon 2 from a small lab called Fermion Research, and it starts with the exact same Nvidia model, but instead of using Redux’s approach, Fermion retrained the encoder so every weight uses just one of five learned values. That’s about 2.1 bits per weight, with

[01:02] everything else stored in six-bit tables. Now you’d expect that to make Phonon 2 bigger, but it doesn’t. It’s a 164 megabyte download that expands to about 178 megabytes, exactly the same size of Redux. The difference is what each model is trying to do. Redux spreads its capacity across 25 languages, Phonon 2 focuses everything on English. And according to Fermion, that tradeoff makes a pretty big difference. If you enjoy coding tools to speed up your workflow, be sure to subscribe. We have videos coming out all

[01:36] the time. So, how fast is this? Well, let me show you. Getting it running is pretty darn simple. Yeah, you need Python 3.10 or newer. macOS still ships with 3.9, so you’ll want a fresh virtual environment. Then install Fermion Research with the MLX extra. All we’re going to do is run Phonon transcribe on an audio file that I’m going to execute right here. Now, Fermion claims Phonon 2 can transcribe audio at 174 times real-time

[02:07] speed on a 16 GB M5 MacBook Air. That really means an entire hour of audio in about 21 seconds. And remember, this is all running locally. No uploading anything to a cloud and no paying by minute, which is a reason why we love these tools. Now, for comparison, Whisper Large V3 Turbo is about 1.6 GB in download. Phonon 2 is a fraction of that size, but there’s something important about how it gets that speed. Now, Phonon 2 uses MLX to run on the

[02:37] Mac’s GPU, but it also has something called a fast path decoder, which is enabled by default. And that makes a huge difference. Fermion reports 174 times real-time with the fast path. Switch to exact decoding and that number drops to about 109 times. CPU only, about 40 times. Their benchmark also puts Whisper Turbo running through Whisper CPP with Metal at just 17 times. So, on paper, Phonon 2 looks ridiculously fast, but speed doesn’t mean much if the transcription is just plain wrong. And this is where things

[03:11] start to get a little more interesting on the accuracy. Fermion tested Phonon 2 against Reducts Whisper Turbo and the original Nvidia model. They measured word error rate, which is basically how many transcription mistakes a model makes. Obviously, the lower, the better. Across seven test sets, Phonon 2 scored 5.21. Reducts scored 5.69. Whisper Turbo came in at 6.58. And the original 2.5 GB Nvidia model scored 4.96.

[03:43] Think about that for a moment. A 164 MB download gets within about a quarter point of a model roughly 15 times its size. Fermion even calls it the most accurate open English speech model under 900 megabytes, which sounds impressive. A lot of testing needs to go into this though. But why specifically 900 megabytes? And more importantly, who actually ran these benchmarks? All right. Now, every single number I’ve shown you so far came from Fermion, including the numbers from Reducts. And Reducts’ own model card reported a

[04:15] different average of 6.55. Now, that doesn’t automatically mean anything is wrong. They’re using different testing methods. So, you can’t directly compare the two model cards. And even in Fermion’s own results, Reducts actually beats Phonon 2 on AMI, the meeting audio benchmark. 9.16 versus 9.37. So, Phonon 2 isn’t winning everything. But remember that claim about being six times faster. This is where I started questioning the whole comparison. Fermion didn’t test Reducts using Moon Dream’s own runtime. They used a third-party Core ML port

[04:49] called Fluid Audio. And that version of Reducts only reached 27.8 times real speed. But look at this. In the exact same table, the original Nvidia model, which is about 14 times bigger, reached 105 times through that same port. So, somehow, the much larger model was nearly four times faster. That’s a pretty strong sign that the port is affecting performance. Not necessarily that Reducts itself is slow. And Moon Dream reports 38 to 43 times real speed on an older M2 MacBook Air. So, Phonon 2 looks fast, but that six

[05:24] times comparison doesn’t prove it’s six times faster than a properly optimized Reducts implementation. And there’s one more benchmark worth looking at. The Open ASR leaderboard team independently tested Phonon 2 and added it to their leaderboard on October 2nd. And their results tell more of a different variety here. Phonon 2 averaged 7.23. The original Nvidia model scored 6.51 and Whisper Turbo scored 8.39. So, Phonon 2 still beats Whisper on average, but Whisper actually wins on three individual test sets. The biggest one is

[05:58] noisy speech. On urgent 2024, Whisper scored 13.69 compared to Phonon 2’s 14.90. It also won on SPGI speech and voice arena monsoon. And there’s another limitation. Redux isn’t even on the leaderboard. So, we don’t have an independent head-to-head between the two smallest models. Now, benchmarks are one thing, but there are a few features that make Phonon 2 interesting for us devs. First up here is live captions. Just run phonon listen and it starts transcribing audio directly from your microphone.

[06:33] Here I am just talking to my microphone running a test. Now, that’s pretty useful. But, here’s another feature that I like, hot words. You can give Phonon 2 a list of names or specific words that you want to actually recognize, which is especially helpful when you’re transcribing any type of technical conversations, really anything you’re constantly repeating. Let me show you the difference. The first one is without hot words, then with hot words. Now, one thing I haven’t verified is how long the actual streaming latency is.

[07:07] Those are two, one without hot words, one with hot words. The underlying model is an offline model. So, if you’re building something that depends on real-time transcription, I’d measure that latency first. But, there’s another feature that’s even more useful for us. Phonon 2 comes with its own local server. Just run phonon serve and that starts a server on port 8000 with an OpenAI compatible transcription endpoint and a web socket stream. And that’s already useful. Let’s build on that. If your application already uses OpenAI’s

[07:38] transcription API, you can point the base URL at localhost instead. So, you’re running a speech-to-text locally through an API your code and you already actually understand. You can just fire up a request just like this and it’s going to execute. But, before you start building around this, let’s touch on something cuz there’s one more thing we need to look at. Because with small open-source speech models that are popping up these days, the license is going to be the biggest catch on a lot of these as we learned before. And this time though, good news, it’s actually pretty straightforward. Phonon 2’s code

[08:12] and CLI are Apache 2.0 and the model weights use CC BY 4.0 inherited from Nvidia. So, commercial use is allowed. And as long as you give the required credit to Nvidia and Fermion, that’s nice. Go ahead. But, the project is still really new. As I said, it’s about 6 weeks old and it comes from a small lab that, well, kind of blew up in the last week or so. So, clearly people are interested, but the Hacker News post got only a few points and no comments. That Twitter post was the big bang. The main real-world user so far is Fermion’s own

[08:45] Mac dictation app, Data, which brings us to the actual question. Should you use Phonon 2 instead of Redax or Whisper? Well, I’ll let you be the judge of that. Probably not. It’s just cool to test these models to see where they’re actually going to go, what’s going to come out on top, and what’s not. So, using Phonon 2 and experimenting with it might just be the right play here. If you’re working with English audio on Apple Silicon or you want fast local transcription with an API, this looks like a really great option. Don’t change anything yet, just experiment with it. I’m Josh from Better Stack. If you enjoy

[09:18] coding tips and tricks like this, be sure to subscribe. We’ll see you in another video.