Gastei US$ 10.000 em tokens. Deveria ter custado US$ 100!
Autoria: AssemblyAI · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: I spent $10,000 on tokens. It should’ve cost $100!! · Canal: AssemblyAI · 01:02 · Assistir no YouTube
Tópicos: Avaliação e benchmarks de IA, Inferência e otimização de modelos, Modelos multimodais
O vídeo apresenta um experimento com mais de 10.000 chamadas, de 15 minutos cada, para comparar custos e desempenho de modelos. Segundo os resultados, uma conta de US$ 10.000 poderia ter custado US$ 100, e uma cobrança de US$ 339 no Claude Sonnet poderia cair para US$ 7 usando Gemma 4 31 B. Para chamadas mais longas, o vídeo afirma que modelos menores deixam de ser uma opção adequada e que GPT-6 ou modelos Claude oferecem mais precisão. A AssemblyAI disponibiliza o Voice Standard Benchmark e recomenda usá-lo para escolher modelos e reduzir custos com tokens.
Pontos-chave
Seção intitulada “Pontos-chave”- A AssemblyAI afirma ter realizado mais de 10.000 chamadas de 15 minutos para comparar modelos.
- No experimento, um gasto de US$ 10.000 poderia ter sido reduzido para US$ 100.
- Uma cobrança de US$ 339 no Claude Sonnet poderia cair para US$ 7 com Gemma 4 31 B.
- Chamadas mais longas mudam a escolha de modelo: para uma chamada de uma hora, modelos menores podem não ser adequados.
- O vídeo atribui maior precisão ao GPT-6 e a modelos Claude como Sonnet e Opus.
- O Voice Standard Benchmark da AssemblyAI pode ajudar a escolher automaticamente qual modelo usar.
- A empresa afirma que o roteamento pode reduzir em até 10 vezes o custo com tokens.
- O vídeo também recomenda o LLM gateway da AssemblyAI para obter modelos mais baratos e roteamento de áudio.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:00 | O custo das chamadas e o experimento | O apresentador descreve o experimento com mais de 10.000 chamadas e compara os custos de diferentes modelos. |
| 00:30 | Duração, precisão e escolha de modelos | O vídeo explica que chamadas mais longas podem exigir modelos maiores e apresenta o Voice Standard Benchmark para orientar a seleção. |
| 01:02 | Teste do benchmark e LLM gateway | O apresentador recomenda testar modelos com áudio de diferentes durações e usar o LLM gateway para reduzir custos e rotear o áudio. |
Citações
Seção intitulada “Citações”Os US$ 10.000 que gastei poderiam ter sido US$ 100. — 00:00
Sua conta de US$ 339 no Claude Sonnet poderia ter sido de apenas US$ 7 no Gemma 4 31 B. — 00:00
Se uma chamada dura uma hora, você não pode mais usar modelos menores. — 00:30
Ele vai descobrir automaticamente qual modelo usar, economizando 10 vezes o custo em tokens. — 00:30
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- AssemblyAI (empresa): Empresa responsável pelo vídeo e pelos recursos apresentados para avaliar e rotear modelos de voz.
- Voice Standard Benchmark (conceito): Benchmark apresentado pela AssemblyAI para comparar modelos em tarefas de voz.
- Claude Sonnet (modelo): Modelo citado como referência de custo em uma comparação com Gemma 4 31 B.
- Gemma 4 31B (modelo): Modelo citado como alternativa de menor custo ao Claude Sonnet no exemplo do vídeo.
- GPT-6 (modelo): Modelo citado como opção de maior precisão para chamadas mais longas.
- Claude (modelo): Família de modelos mencionada, incluindo Sonnet e Opus.
- Opus (modelo): Modelo Claude citado como opção de maior precisão em chamadas mais longas.
- LLM gateway (ferramenta): Recurso recomendado no vídeo para acessar modelos mais baratos e rotear saídas de voz.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:00 Então, gastei US$ 10.300 na semana passada. >> Sentiram minha falta? Sentiram minha falta? >> Tudo bem se meu diretor financeiro ficou bravo hoje, mas a verdade é que a maioria dos engenheiros do mundo não sabe como economizar tokens. Mas agora você sabe, porque fizemos um experimento com nosso benchmark e nossas evals, realizando mais de 10.000 chamadas, com 15 minutos cada. E adivinhe qual foi a diferença de custo? Os US$ 10.000 que gastei poderiam ter sido US$ 100. Sua conta de US$ 339 no Claude Sonnet poderia ter sido de apenas US$ 7 no Gemma 4 31 B.
00:30 As coisas realmente mudam quando as chamadas são mais longas. Se uma chamada dura 1 hora, você não pode mais usar modelos menores. A precisão é muito melhor com GPT-6 ou modelos Claude, como Sonnet e Opus. Por isso estamos ajudando você ao disponibilizar nossas evals como open source. Chamamos isso de voice standard benchmark. E, lá, você pode simplesmente passar isso para seu mecanismo de roteamento no Claude. Ele vai descobrir automaticamente qual modelo usar, economizando 10 vezes o custo em tokens. Você pode testar por conta própria, fornecendo
01:02 horas de áudio ou segundos de áudio, para descobrir qual modelo é melhor para você. E use nosso gateway de LLM para ter custos menores com modelos e também fazer o roteamento diretamente a partir das suas saídas de voz. Vá conferir
Transcrição original
[00:00] So, I spent $10,300 last week. >> Did you miss me? Did you miss me? >> It’s okay if my CFO got mad today, but the truth is most engineers in the world do not know how to save tokens. But, now you do because we ran an experiment with our benchmark and evals is by doing 10,000 plus calls, 15 minutes each. And guess how much was the cost difference? The $10,000 I spent could have been $100. Your $339 bill on Claude Sonnet could have been just $7 on Gemma 4 31 B.
[00:30] Things really change when the duration of calls are longer. If a call is 1 hour long, you cannot use smaller models anymore. Accuracy is way better with GPT-6 or Claude models like Sonnet and Opus. So, that’s why we are helping you by open-sourcing our evals. We call it voice standard benchmark. And over there, you can just give it to your routing engine on Claude. It’ll automatically figure out which model to use, saving you 10x the cost in tokens. You can test out yourself by giving
[01:02] hours of audio or seconds of audio which model is best for you. And use our LLM gateway for cheaper model cost as well as routing it directly from your voice outputs. Go check