Agentes de voz ao vivo são burros #Shorts

Autoria: Rodrigo Celoto · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: português

Vídeo original: Agentes de voz ao vivo são burros #Shorts · Canal: Rodrigo Celoto · 01:02 · Assistir no YouTube

Tópicos: Agentes de IA, Modelos multimodais

Resumo

O vídeo explica como um agente de IA pode conversar por voz ao vivo sem que o modelo de voz seja responsável por consultar informações. A voz responde imediatamente para manter a conversa fluindo e, ao mesmo tempo, envia a pergunta transcrita ao harness. O harness usa o mesmo modelo, instruções e ferramentas do agente de chat para consultar a agenda e retornar os horários exatos. A voz fala a resposta e pode parar quando a pessoa a interrompe.

Pontos-chave

Uma conversa por ligação exige respostas imediatas, ao contrário de uma mensagem de voz.
O modelo de voz conversa ao vivo, mas pode não ter acesso a dados como a agenda da clínica.
A pergunta é transcrita e encaminhada ao harness enquanto a voz mantém a conversa.
O harness executa um turno normal com o mesmo modelo, as mesmas instruções e ferramentas do agente de chat.
O agente consulta a agenda e devolve a resposta em texto para a voz.
A voz comunica os horários exatos e interrompe a fala quando a pessoa a interrompe.

Capítulos

Início	Capítulo	Resumo
00:00	Como funciona uma conversa de voz ao vivo	O vídeo apresenta a diferença entre o agente de chat, o harness e o modelo de voz.
00:31	A pergunta passa pelo harness	A voz mantém a conversa enquanto o harness recebe a pergunta transcrita e consulta a agenda.
01:02	A voz responde e lida com interrupções	A voz fala os horários retornados pelo agente e para quando Ana a interrompe.

Citações

Uma mensagem de voz pode esperar, uma ligação não. — 00:00

Conversa bem, mas não sabe nada da clínica. — 00:00

Quem fala não é quem pensa. — 01:02

Conceitos e entidades

AI agent (conceito): Sistema que processa a pergunta, consulta informações e produz uma resposta.
Harness (conceito): Software em volta do modelo que coordena instruções, ferramentas e a execução de um turno.
live voice model (conceito): Modelo que ouve e fala ao vivo para sustentar uma conversa por voz.
speech transcription (conceito): Conversão da pergunta falada em texto para que o harness a processe.
Ana (pessoa): Pessoa que liga para perguntar sobre horários disponíveis na quinta-feira.

Tradução completa (pt-BR)

00:00 Como um agente de IA conversa ao vivo? Uma mensagem de voz pode esperar; uma ligação, não. Você liga para um agente de IA. Será que quem fala com você é quem pensa? Veja quem faz o quê. Embaixo está o agente do chat: o harness, o software em volta do modelo. Em cima, a novidade: a voz, um modelo que ouve e fala ao vivo. Conversa bem, mas não sabe nada da clínica.

00:31 Ana liga e pergunta se tem horário na quinta. O áudio vai direto para a voz. A voz não sabe a agenda, mas responde na hora, para a conversa não parar. Ao mesmo tempo, ela passa a pergunta para o harness, já transcrita. O harness roda um turno normal: o mesmo modelo, as mesmas instruções e ferramentas. O modelo consulta a agenda e responde em texto, como faria no chat. O harness devolve a resposta para a voz,

01:02 com os horários exatos. A voz fala a resposta com as próprias palavras, sem mudar os horários. Ana interrompe no meio da frase, e a voz para na hora. Ninguém espera a vez. Isso é um agente de voz ao vivo. A voz conversa, e cada resposta vem do mesmo agente de texto. Quem fala não é quem pensa.

Transcrição original

[00:00] Como um agente de IA conversa ao vivo? Uma mensagem de voz pode esperar, uma ligação não. Você liga para um agente de IA. Será que quem fala com você é quem pensa? Veja quem faz o quê. Embaixo está o agente do chat, o harness, o software em volta do modelo. Em cima, a novidade, a voz, um modelo que ouve e fala ao vivo. Conversa bem, mas não sabe nada da clínica.

[00:31] Ana liga e pergunta se tem horário na quinta. O áudio vai direto para a voz. A voz não sabe a agenda, mas responde na hora, para a conversa não parar. Ao mesmo tempo, ela passa a pergunta para o harness, já transcrita. O harness roda um turno normal, o mesmo modelo, as mesmas instruções e ferramentas. O modelo consulta a agenda e responde em texto, como faria no chat. O harness devolve a resposta para a voz,

[01:02] com os horários exatos. A voz fala a resposta com as próprias palavras, sem mudar os horários. Ana interrompe no meio da frase e a voz para na hora. Ninguém espera a vez. Isso é um agente de voz ao vivo. A voz conversa e cada resposta vem do mesmo agente de texto. Quem fala não é quem pensa.