Ser bom em programação não significa ser bom em voz: conheça o Voice Standard Bench

Autoria: AssemblyAI · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Great at coding isn’t always great at voice! Meet Voice Standard Bench. · Canal: AssemblyAI · 03:55 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Inferência e otimização de modelos, Modelos multimodais, Open source e ecossistemas de software

Resumo

A AssemblyAI apresenta o Voice Standard Benchmark, criado para comparar modelos em tarefas de saída de voz, como resumir transcrições e extrair tarefas de reuniões. A demonstração compara modelos no LLM gateway e mostra diferenças de velocidade, precisão e custo. O benchmark avalia tarefas e durações de áudio variadas, pois o desempenho pode mudar conforme o tamanho do áudio. Como as necessidades e os dados de cada pessoa diferem, a AssemblyAI recomenda testar áudios próprios; o benchmark e o repositório são open source.

Pontos-chave

Modelos que se destacam em programação não necessariamente são os melhores para tarefas de voz.
O LLM gateway permite comparar e usar 50 LLMs.
A demonstração compara modelos para resumir transcrições e extrair tarefas de uma gravação.
O benchmark mede desempenho, custo e velocidade em diferentes tarefas.
Os resultados podem mudar conforme a duração do áudio; modelos maiores podem ter melhor desempenho em áudios longos.
O benchmark inclui tarefas como resumo, correção de texto e limpeza de ditado.
A AssemblyAI recomenda avaliar áudios próprios, considerando sotaque, vocabulário e necessidades específicas.
O benchmark e seu repositório no GitHub são open source.

Capítulos

Início	Capítulo	Resumo
00:00	Por que avaliar modelos para tarefas de voz	A apresentação introduz o benchmark e exemplifica tarefas como resumir uma reunião ou extrair ações.
00:32	Comparação de modelos no LLM gateway	A demonstração compara modelos ao resumir uma transcrição e identificar tarefas em uma gravação.
01:36	Métricas e resultados do benchmark	O benchmark mede desempenho, custo e velocidade, e os resultados variam conforme a tarefa e a duração do áudio.
02:45	Teste com áudios próprios e acesso aos modelos	A AssemblyAI recomenda testar dados próprios e explica como o LLM gateway pode facilitar o acesso direto a modelos.
03:19	Encerramento e convite para testar	A apresentação destaca possíveis ganhos de tempo e latência e convida o público a compartilhar os resultados.

Citações

Modelos que são ótimos para programação não são necessariamente ótimos para gerar saídas de voz. — 00:00

Nosso benchmark é exclusivamente voltado para saídas de voz. — 01:36

Recomendamos usar seu próprio áudio para testar no nosso benchmark. — 02:45

Assim, você economiza tempo e reduz a latência. — 03:19

Conceitos e entidades

Voice Standard Benchmark (ferramenta): Benchmark apresentado pela AssemblyAI para avaliar modelos em tarefas de saída de voz.
AssemblyAI (empresa): Empresa que apresenta o benchmark e oferece o LLM gateway em sua plataforma para desenvolvedores.
LLM gateway (ferramenta): Serviço da AssemblyAI que dá acesso a 50 LLMs e permite comparar modelos.
Qwen3.5 4B (modelo): Modelo usado na demonstração, descrito como rápido em algumas tarefas.
Gemini 2.5 Flashlight (modelo): Modelo comparado na demonstração e apresentado como preciso para resumir uma transcrição.
open source (conceito): Característica atribuída ao benchmark e ao repositório para permitir que usuários analisem os resultados e testem seus próprios áudios.

Tradução completa (pt-BR)

00:00 Olá, modelos que são ótimos para programação não são necessariamente ótimos para gerar voz. Deixe-me dar um exemplo. Digamos que você acabou de terminar uma reunião de uma hora. Agora, quer extrair algumas tarefas e talvez alterar a grafia para o padrão britânico, ou talvez simplesmente resumir. Como descobrir qual modelo é melhor para esse tipo de saída de voz? Hoje, temos uma resposta. Para isso, estamos apresentando hoje nosso benchmark padrão de voz. Para começar, vamos acessar o painel da AssemblyAI e, em seguida, o gateway de LLM

00:32 E aqui você pode comparar 50 LLMs e usar nossos 50 LLMs diretamente. Digamos que eu selecione uma transcrição. Aqui, você pode enviar uma transcrição, se necessário. Eu já enviei uma. Vamos escolher esta. Ela é sobre o lançamento do nosso Universal 3.6 Pro. Nesta transcrição, vou clicar em continuar e, então, posso escolher Qwen 3.5 4B fast de um lado e Gemini 2.5 Flashlight do outro. E, digamos, resumir a transcrição. E você

01:04 percebe aqui que o Qwen 3.5 4B é extremamente rápido, mas o Gemini 2.5 Flashlight é muito preciso. Você pode fazer uma pergunta do tipo que quiser. Digamos: “Liste as tarefas para mim a partir desse clipe de áudio”. E, então, você vê novamente que o Qwen é extremamente rápido, [música] mas talvez a resposta que você queira seja melhor com o Gemini. Ele listou sete tarefas. Agora, deixe-me explicar por que nosso benchmark é importante: pense bem, os benchmarks típicos medem programação,

01:36 matemática ou raciocínio, mas nosso benchmark é exclusivamente voltado para saídas de voz e para algo de que você realmente precisa nos seus agentes de voz, na conversão de fala em texto e em todos os outros casos de uso. Para cada tarefa, medimos o desempenho, o custo e também a velocidade. Por exemplo, se você tem, sabe, uma instrução com informações, vamos acessar uma dessas tarefas. Digamos que seu áudio tivesse 2 minutos ou 30 segundos. Nesse caso, o melhor desempenho é do GPT 5.6. O menor custo é do Nemo Tron e o mais rápido,

02:12 mais uma vez, como mostrei, é o Gwen 3.5 4B. Mas as coisas mudam quando você aumenta a duração do áudio para uma hora: modelos maiores têm um desempenho muito melhor. Por exemplo, o GPT 6.1 teria um desempenho muito melhor. O menor custo ainda era do Nemo Tron, mas a maior velocidade foi do Gemini 3.5 flash. Da mesma forma, você pode conferir os resultados para resumo, correção de texto, limpeza de ditado e todos os seus casos de uso. Mas nossas transcrições não são as suas. Você pode ter um sotaque diferente, necessidades diferentes para o inglês. Seu vocabulário pode ser diferente. Suas

02:45 necessidades podem ser diferentes. Por isso, recomendamos usar seu áudio para testar no nosso benchmark, porque ele é open source. E você pode analisar — pode analisar diretamente no nosso gateway de LLM ou diretamente pelo nosso repo no GitHub, que também é open source. E, o mais importante, por que usar o gateway de LLM? Pense nos 50 modelos aos quais damos acesso diretamente no nosso portal, permitindo que você obtenha resultados mais rapidamente. Digamos que você tenha uma saída. Em um cenário típico, você transferiria esses dados para

03:19 seu servidor propriamente dito e, então, os encaminharia para um LLM específico. Por que não economizar esse custo e direcionar diretamente ao LLM no nosso endpoint, pelo nosso gateway de LLM, para economizar tempo e reduzir a latência, além de ter acesso direto a 50 modelos poderosos, ideais para gerar voz, na plataforma para desenvolvedores da AssemblyAI e também pelas nossas APIs? Estamos ansiosos para ver os resultados que você obtém com seus próprios dados de voz no nosso gateway de LLM. Conte para nós quais modelos são melhores para o seu caso de uso. Obrigado. >> [música]

03:55 >> Uhum.

Transcrição original

[00:00] Hi, models that are great for coding aren’t necessarily great for voice outputs. Let me give you an example. Let’s say you just got done with your 1 hour meeting. Now, you want to take out some tasks and then you want to maybe change it to British spellings or maybe you want to just summarize. How do you figure out which model is best for that voice output? Today, we have an answer. For that, we are today introducing our voice standard benchmark. To get started, let’s go to our AssemblyAI dashboard and then LLM

[00:32] gateway. And here, you can compare 50 LLMs and use our 50 LLMs directly. So, let’s say I select a transcript. Here, you could upload a transcript if needed. I have uploaded one already. Let’s pick this one. This is all about our Universal 3.6 Pro launch. And this transcript, I’m going to click continue and then I could choose on one side Qwen 3.5 4B fast and on the other hand, Gemini 2.5 Flashlight. And then, let’s say summarize the transcript. And you

[01:04] notice right here, Qwen 3.5 4B is extremely fast, but Gemini 2.5 Flashlight is very precise. You could ask a question of your type. Let’s say, “Give me task for me from that audio clip.” And then, you see again that Qwen is extremely fast, [music] but the output maybe you want is better from Gemini. It gave you seven tasks. Now, let me tell you why our benchmark is important because think about it, typical benchmarks measure coding,

[01:36] mathematics, or reasoning, but our benchmark is solely on voice outputs and something you really need out of your voice agents or speech-to-text and all other use cases. Every task, we actually measured the performance, the cost, as well as the speed. So, for example, if you have like, you know, information instruction, let’s go to one of this task. And let’s say the length of your audio was 2 minutes or 30 seconds. And in this case, the best performance comes out to be from GPT 5.6. Lowest cost from Nemo Tron and fastest,

[02:12] again, what I showed you, Gwen 3.5 4B. But things change when you increase the length of audio to an hour, then bigger models perform way better. For example, GPT 6.1 sold perform way better. And the lowest cost was still Nemo Tron, but fastest speed came out of from Gemini 3.5 flash. And similarly, you can check the results for summarization, text correction, dictation cleanup, and all your use cases. But our transcriptions are not yours. You might have different accent, different English needs. Your vocabulary might be different. Your

[02:45] needs might be different. So we recommend using your audio to test on our benchmark because our benchmark is open source. And you can analyze You can analyze directly on our LLM gateway or directly through our GitHub repo, which is open source as well. And most importantly, why LLM gateway? Think about 50 models that we give access to you on our portal directly because of which you can actually get results faster. Think about, let’s say you have an output. You would On a typical scenario, you will transfer that data to

[03:19] your actual server, then route to a particular LLM. Why don’t you save that cost and direct to LLM on our endpoint through our LLM gateway directly so you save time and latency and get access to 50 powerful models that are best for voice outputs directly on AssemblyAI’s developer platform as well as through our APIs. So we can’t wait to see what results you get with your own voice data on our LLM gateway. Let us know what models are best for your use case. Thank you. >> [music]

[03:55] >> Mhm.