Voice Standard Bench: qual LLM é melhor para transcrições?
Autoria: AssemblyAI · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: Voice Standard Bench - which LLM is best for transcripts? · Canal: AssemblyAI · 01:03 · Assistir no YouTube
Tópicos: Avaliação e benchmarks de IA, Modelos de IA, Modelos multimodais, Open source e ecossistemas de software
O vídeo apresenta o Voice Standard Bench, criado para avaliar LLMs em tarefas de produtos de voz, como transcrição de reuniões e ditado. Os modelos recebem as mesmas transcrições e são comparados em extração de informações, sumarização e limpeza de texto, considerando qualidade, velocidade e custo. Um dos resultados destacados é que GPT-6 Luna, com raciocínio desativado, quase iguala os melhores modelos open source em diferentes durações por cerca de um centavo por hora de áudio. O benchmark é open source e pode ser executado com áudio próprio, além de permitir a troca de modelos no LLM Gateway com uma alteração de linha.
Pontos-chave
Seção intitulada “Pontos-chave”- Benchmarks de programação, matemática e conhecimentos gerais não avaliam necessariamente o desempenho de LLMs em produtos de voz.
- O Voice Standard Bench testa modelos com transcrições que vão de mensagens de voz de 30 segundos a reuniões de uma hora.
- As tarefas avaliadas incluem extração de informações, sumarização e limpeza geral de texto.
- Um LLM independente pontua as respostas, e os resultados são comparados por qualidade, velocidade e custo.
- GPT-6 Luna, com raciocínio desativado, quase iguala os melhores modelos open source em diferentes durações.
- O custo destacado para GPT-6 Luna é de cerca de um centavo por hora de áudio.
- O benchmark é open source e pode ser executado com áudio próprio; os modelos podem ser trocados no LLM Gateway alterando uma linha.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:00 | Por que criar um benchmark para produtos de voz | O vídeo apresenta a lacuna nos benchmarks existentes e explica como o Voice Standard Bench testa modelos em diferentes tarefas com transcrições. |
| 00:33 | Pontuação e resultados de custo e qualidade | Um LLM independente avalia as respostas, e o vídeo destaca o desempenho e o custo de GPT-6 Luna com raciocínio desativado. |
| 01:03 | Como testar o benchmark | O benchmark é open source e pode ser executado com áudio próprio, com a opção de trocar modelos no LLM Gateway. |
Citações
Seção intitulada “Citações”Qual LLM você deve escolher para processar suas transcrições? — 00:00
Colocamos qualidade, velocidade e custo lado a lado. — 00:33
Você pode estar gastando demais com seus LLMs. — 00:33
O benchmark é open source, então você pode executá-lo com seu próprio áudio. — 01:03
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- Voice Standard Benchmark (conceito): Benchmark criado para avaliar LLMs em tarefas relacionadas a produtos de voz.
- LLM gateway (ferramenta): Plataforma mencionada para executar testes com diferentes modelos por meio de uma alteração de linha.
- GPT-6 Luna (modelo): Modelo que, com o raciocínio desativado, quase iguala os melhores modelos open source nos testes descritos.
- AssemblyAI (empresa): Empresa responsável pelo canal que publicou o vídeo sobre o benchmark.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:00 Qual LLM você deve escolher para processar suas transcrições? Temos classificações para programação, matemática e conhecimentos gerais, mas nenhuma delas realmente testa o que um LLM deve fazer em um produto de voz, como um transcritor de reuniões ou um app de ditado. Foi por isso que criamos o Voice Standard Bench. Pegamos todos os modelos do LLM Gateway e fornecemos a eles as mesmas transcrições, de um recado de voz de 30 segundos a uma reunião de uma hora. E os testamos em várias tarefas diferentes, como extração de informações, resumo e limpeza geral de texto. O que fizemos então
00:33 foi pedir a um LLM independente que avaliasse cada resposta e comparar lado a lado a qualidade, a velocidade e o custo. Minha descoberta favorita foi que o GPT-6 Luna, com o raciocínio desativado, quase se equipara aos melhores modelos open source em todas as durações, por cerca de um centavo por hora de áudio. Isso significa que, se você estiver usando um desses modelos de ponta em todas as chamadas, talvez esteja gastando demais com seus LLMs. Mas não acredite apenas na nossa palavra.
01:03 O benchmark é open source, então você pode executá-lo no seu próprio áudio e até trocar de modelo no LLM Gateway mudando apenas uma linha. O link está na descrição. Boa sorte com os testes e conte para a gente o que você descobrir.
Transcrição original
[00:00] Which LLM should you choose to run your transcripts on? We have leaderboards for coding, math, and general trivia, but none of them really test for what an LLM should do in a voice product, like a meeting transcriber or dictation app. That’s why we built Voice Standard Bench. We took every model on LLM Gateway and gave them the same transcripts, from a 30-second voicemail to an hour-long meeting, And we tested it on various different jobs like information extraction, summarization, and general text cleanup. What we then did
[00:33] was had an independent LLM score every answer, and we put quality, speed, and cost side by side. My favorite finding was that GPT-6 Luna with reasoning turned off nearly matches the best open models at every length for about a cent per hour of audio. That means if you’re running one of these frontier models on every call, you might be overspending on your LLMs. But don’t just take our word for it.
[01:03] The bench is open source, so you can run it on your own audio and even switch models on LLM Gateway by just changing one line. The link is down in the description. So good luck with your tests and let us know what you find.