A primeira API criada para ditado: Dictation API da AssemblyAI

Ver no idioma original →

Autoria: AssemblyAI · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: The first API built for Dictation: AssemblyAI’s Dictation API · Canal: AssemblyAI · 03:16 · Assistir no YouTube

Tópicos: Engenharia de prompts e contexto, Ferramentas de desenvolvimento com IA, Modelos multimodais

Resumo

A AssemblyAI apresenta sua Dictation API, criada para transformar áudio em texto pronto para uso, em vez de apenas transcrever cada palavra literalmente. A API retorna tanto o resultado original quanto uma versão revisada, e prioriza velocidade e consistência em diferentes situações de uso. Ela é baseada no modelo Universal 3.5 Pro, oferece suporte a 19 idiomas e permite personalizar instruções e fornecer contexto para melhorar o reconhecimento.

Pontos-chave

• A API foi desenvolvida especificamente para ditado, que exige texto útil e não apenas uma transcrição literal.
• O resultado inclui o texto original e uma versão revisada, para que o produto escolha qual exibir.
• A velocidade e a consistência são apresentadas como requisitos centrais para uma experiência de ditado.
• A API é baseada no modelo Universal 3.5 Pro, também usado nas APIs assíncrona e em tempo real da AssemblyAI.
• O suporte abrange 19 idiomas e inclui diferentes contextos de uso, como ruas barulhentas e escritórios.
• É possível personalizar as instruções que orientam a limpeza do texto recebido.
• Fornecer contexto da conversa ou termos esperados pode melhorar o reconhecimento antes da revisão do texto.

Capítulos

Início	Capítulo	Resumo
00:00	Por que criar uma API de ditado	A AssemblyAI explica que a transcrição literal nem sempre gera o texto adequado para ditado e apresenta sua API, com suporte a 19 idiomas.
00:31	Resultados revisados e exemplos de uso	A API oferece tanto o resultado original quanto o texto revisado, com exemplos de tarefas, notas e listas.
01:38	Velocidade, consistência e modelo	O vídeo destaca a rapidez e a consistência necessárias ao ditado e identifica o Universal 3.5 Pro como o modelo usado.
02:11	Idiomas, ambientes e personalização	A API é apresentada em diferentes idiomas e ambientes, e permite ajustar as instruções para moldar o texto recebido.
03:16	Contexto para melhorar o reconhecimento	O vídeo explica que contexto e termos esperados podem melhorar o reconhecimento e conclui com a disponibilidade da API.

Citações

Os modelos de transcrição são literais. — 00:00

A Dictation API fornece o original e também os resultados revisados. — 00:31

O segundo ponto é a consistência: o usuário precisa ter a mesma experiência todas as vezes. — 01:38

Você pode passar o contexto da conversa ou os termos-chave esperados. — 03:16

Conceitos e entidades

• Dictation API (ferramenta): API da AssemblyAI criada para converter fala em texto revisado e pronto para uso em produtos.
• AssemblyAI (empresa): Empresa que apresenta a Dictation API e o modelo usado por ela.
• Universal 3.5 Pro (modelo): Modelo da AssemblyAI que, segundo o vídeo, alimenta a Dictation API e também as APIs assíncrona e em tempo real.
• ditado (conceito): Conversão de fala em texto destinado ao uso direto, com possibilidade de revisão e adaptação ao produto.
• transcrição (conceito): Registro da fala que busca capturar literalmente os sons e as palavras pronunciadas.
• prompt (conceito): Instrução que pode orientar o reconhecimento da fala, especialmente quando inclui contexto ou termos esperados.

Tradução completa (pt-BR)

00:00 Você provavelmente já viu aquele pequeno ícone de microfone em todos os aplicativos que usa. A ditation está aparecendo em todos os lugares agora. E todo mundo que está desenvolvendo isso esbarra no mesmo obstáculo: os modelos de transcrição são literais. Eles são treinados para capturar cada som que sai da sua boca. Isso funciona para uma transcrição, mas não para ditation. Foi por isso que criamos nossa primeira API de ditation. Você envia o áudio e recebe de volta um texto que realmente vai usar, em 19 idiomas, formatado da maneira que seu produto precisa.

00:31 Vamos dar uma olhada. Acho que, para a lógica de novas tentativas, devemos aumentar o intervalo exponencialmente e limitá-lo a 30 segundos. Aqui está o que eu disse e aqui está o que meu aplicativo recebe. A API de ditation fornece o original, além dos resultados revisados, e você decide qual deles seu produto exibe. E o número no canto aqui não é um dado de marketing. É, de fato, quanto tempo levou para fornecer a resposta. Agora, vou fazer mais algumas tentativas de propósito, em diferentes domínios. Você pode mudar nossa reunião individual para quinta-feira à tarde?

01:03 Qualquer horário depois das duas funciona. Observação para o ticket: a falha só acontece após uma inicialização a frio, então corrija isso apenas para iOS. Lembre-me de enviar a Priya a apresentação de preços atualizada logo antes de sexta-feira. Precisamos de leite de amêndoas, filtro de café e pão bom, se tiverem.

01:38 Há duas coisas. A primeira é a velocidade. O objetivo da ditation é digitar três vezes mais rápido do que com um teclado. A segunda é a consistência. O usuário precisa ter a mesma experiência todas as vezes. Certo, então a correção está em Lip Sodium. Você pode entrar em contato com Anjali, da equipe de SDK? Uma parte essencial da ditation é capturar as palavras com precisão. Por isso, ela funciona com nosso modelo principal, o Universal 3.5 Pro, o mesmo que está por trás de nossas APIs assíncronas e em tempo real.

02:11 APIs. Isso também significa que a API de ditation oferece suporte a mais idiomas além do inglês. Quer dizer, a água tenta alcançar 30 segundos maio e o fracasso vai trancar tenta alcançar. E ela funciona bem com a maneira como as pessoas realmente falam. >> Lembre-me de perguntar sobre minha carta de oferta logo antes das quatro. >> E isso porque queremos que funcione onde quer que você esteja, numa rua barulhenta ou em um escritório. Então, homem de 45 anos, dor na região lombar,

02:44 descendo pela perna esquerda. Isso já dura cerca de duas semanas. Vamos colocá-lo em fisioterapia duas vezes por semana e revê-lo daqui a um mês. Pronta para usar, ela limpa a bagunça, mas, se quiser algo diferente, você também pode personalizar as instruções. >> Então, a instrução limpa o resultado que você recebe, mas o prompt molda a maneira como o modelo ouve. A ditation funciona com o Universal 3.5 Pro. Assim, o prompt funciona da mesma forma que em qualquer outro lugar da nossa API.

03:16 Você pode passar o contexto da conversa ou os termos-chave que espera encontrar, e o reconhecimento melhora antes mesmo de a limpeza ser executada. Com o prompt certo, você consegue ver os termos e as entidades corretos capturados com precisão. É isso. Com uma única chamada, você pode criar rapidamente ditation para qualquer produto: rápida, personalizável e confiável. Nossa API de ditation está disponível hoje, e mal podemos esperar para ver o que você vai criar com ela. >>

Transcrição original

[00:00] You’ve probably seen that little microphone icon at this point on every app you use. That’s dictation showing up everywhere right now. And everyone building it hits the same wall, which is transcription models are verbatim. They are trained to capture every sound that comes out of your mouth. That’s okay for a transcript, but not okay for dictation. So that’s why we built our first dictation API. You send audio, you get back text that you’ll actually use in 19 [music] languages and shape the way your product needs it.

[00:31] Let’s take a look. Um so so I think for the retry logic we should we should back off exponentially and cap it at 30 [music] seconds. Here’s what I said and here’s what my app gets. The dictation API gives you the original [music] as well as the cleaned up results and you decide which one your product shows. And the number on the corner right here is not [music] a marketing figure. It’s actually how long it took to give you the response. Now let me take a few more takes on different domains on purpose. Can you make our one-on-one move it to [music] Thursday afternoon?

[01:03] Anything after two works. Note for the ticket, the crash only happens after cold start, so just fix it only for the iOS. Remind me to send Priya the updated pricing deck right before [music] Friday. We need almond milk, coffee filter, and good bread if they have it.

[01:38] There are two things. The first is speed. The whole point of dictation is to type three x faster than a keyboard. Second is consistency. The user needs to have same [music] experience every single time. Okay, so fix [music] is in Lip Sodium. Can you can you ping Anjali on the SDK team. A key part of dictation is capturing words accurately. So, this runs on our flagship Universal 3.5 Pro model. The same one behind our async and real-time

[02:11] APIs. This also means the dictation API supports more than just English. I mean the water try going to achieve 30 second may and failure go lock going to achieve. And it holds up on how people actually speak. >> Remind me to ask about my offer letter right before my 4:00. >> And that’s because we want it to work no matter where you are on a noisy street or in an office. Um so, 45-year-old guy, lower back pain,

[02:44] um going down the left leg. It’s been about 2 weeks. We’re going to uh put him on a physio twice a week and see him in a month. Out of the box, it cleans up the mess, but if you want something different, you can customize the instructions as well. >> [music] >> So, the instruction cleans up the output you receive, but prompting shapes how the model hears it. Dictation runs on Universal 3.5 Pro. So, the prompt runs the same way like anywhere else on our API. [music]

[03:16] You can pass context about the conversation or the key terms you expect, and the recognition improves before the cleanup ever runs. With the right prompt, you can see the right terms and entities [music] captured correctly. So, that’s it. With one call, you can quickly build dictation to any [music] product fast, customizable, and reliable. Our dictation API is available today, [music] and we can’t wait to see what you build with it. >> [music]