Agentes de voz podem simplesmente fazer coisas — Charlie Guo, OpenAI

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Voice Agents Can Just Do Things — Charlie Guo, OpenAI · Canal: AI Engineer · 15:46 · Assistir no YouTube

Tópicos: Agentes de IA, Aplicações empresariais de IA, Modelos multimodais

Resumo

Charlie Guo argumenta que agentes de voz não precisam responder sempre falando: podem agir em softwares, comunicar-se por elementos visuais ou avisar o usuário quando necessário. Ele descreve três modos — speech-to-speech, speech-to-action e event-to-speech — que podem ser combinados em experiências como preenchimento de formulários, ferramentas criativas e assistentes proativos. A palestra também apresenta a abordagem de áudio nativo da OpenAI e os recursos do GPT realtime 2, como raciocínio e tool calling. A recomendação final é começar pensando no papel da voz em cada interação, considerando contexto, ferramentas, segurança e o momento adequado para se comunicar.

Pontos-chave

A fala não é a única forma de um modelo de voz responder: ele também pode executar ações ou comunicar-se por mudanças visuais na interface.
Os modos speech-to-speech, speech-to-action e event-to-speech não são excludentes e podem ser combinados.
Agentes de voz podem facilitar tarefas como preencher formulários, usar ferramentas criativas e controlar softwares por meio de ferramentas.
Notificações por voz podem ser usadas de forma escalonada, depois de sinais visuais, para chamar a atenção do usuário.
Experiências sem as mãos ou sem a tela e recursos de acessibilidade são aplicações importantes da voz.
Modelos que recebem áudio nativamente podem preservar tom, cadência, emoção e outros sinais que se perdem na transcrição.
O GPT realtime 2 pode raciocinar antes de falar e fazer tool calling, embora essas capacidades possam aumentar a latência.
Ao criar um agente de voz, é melhor definir primeiro o papel da voz na interação do que escolher um tipo de agente de voz.

Capítulos

Início	Capítulo	Resumo
00:01	A voz não precisa responder falando	Charlie Guo apresenta a ideia de que modelos de voz podem responder de outras formas além da fala e introduz três modos de interação.
03:53	Voz para executar ações	A palestra explora o uso da fala para preencher formulários, operar ferramentas criativas e controlar softwares, além de apontar possibilidades de comunicação sem palavras.
07:41	Eventos, acessibilidade e experiências combinadas	Guo aborda alertas por voz, interações sem as mãos, acessibilidade e exemplos que combinam diferentes modos de agentes de voz.
10:50	Áudio nativo e GPT realtime 2	O palestrante compara sistemas encadeados com modelos treinados diretamente em áudio e apresenta os recursos do GPT realtime 2.
14:31	Como projetar interações com voz	Guo recomenda definir o papel da voz na interação e considerar percepção, contexto, ferramentas, segurança e o momento de se comunicar.

Citações

A fala não é a única forma de um modelo de voz responder. — 00:35

Por que estou falando com um app? Por que não estou simplesmente falando com o computador inteiro? — 06:02

Qual é o papel da voz e do áudio nesta interação? — 14:31

Acredito que a AGI será falada, não digitada. — 15:04

Conceitos e entidades

Charlie Guo (pessoa): Profissional da equipe de experiência para desenvolvedores da OpenAI que apresenta a palestra sobre agentes de voz.
OpenAI (empresa): Empresa em que Charlie Guo trabalha e que desenvolve a família de modelos realtime mencionada na palestra.
speech-to-speech (conceito): Modo de interação em que o usuário fala e o modelo responde falando.
speech-to-action (conceito): Modo em que o usuário fala e o modelo usa ferramentas para executar ações.
event-to-speech (conceito): Modo em que o modelo recebe um evento e comunica algo ao usuário por voz.
GPT realtime 2 (modelo): Modelo da família realtime apresentado na palestra, com raciocínio em áudio e suporte a tool calling.
Codex (ferramenta): Ferramenta citada como exemplo de uso de voz para orientar a criação de software.
CarPlay (ferramenta): Sistema citado como parte de um exemplo de assistente veicular que pode combinar comandos e informações por voz.
Spotify (ferramenta): Serviço de música mencionado no exemplo de um assistente veicular controlado por voz.
Google Maps (ferramenta): Serviço de mapas mencionado no exemplo de um assistente que informa sobre o trânsito e altera rotas.

Tradução completa (pt-BR)

00:01 [música] Então, meu nome é Charlie e trabalho na equipe de experiência para desenvolvedores da OpenAI. Parte do meu trabalho é conversar com desenvolvedores para entender e ver o que e como eles estão criando com nossos modelos, seja texto, imagem ou áudio. E, ultimamente, tenho pensado em um equívoco que

00:35 tenho visto — ou talvez seja apenas um mal-entendido —, a ideia de que agentes de voz precisam responder falando. >> E isso talvez pareça absurdo para alguns de vocês. É um agente de voz. Como assim não deveria falar? Mas acho que, se houver uma coisa que vocês levem desta apresentação, gostaria que fosse a ideia de que a fala não é a única forma de um modelo de voz responder.

01:12 E acho que os modelos estão ficando inteligentes e capazes o suficiente para começar a abrir espaço para novos modos de design. Na verdade, vejo três modos que estão surgindo atualmente: fala para fala, fala para ação e evento para fala. E há algumas coisas que acho que vale a pena destacar sobre essas três categorias. A primeira é que elas não são novas, certo? Acho que, como vimos em palestras anteriores, inclusive hoje,

01:43 há uma longa história de criação de sistemas desse tipo em torno da voz. Se você olhar de certo modo, dá para argumentar que a linha telefônica de informações sobre filmes, para a qual você ligava a fim de saber os horários das sessões, era um exemplo de sistema de fala para fala. E acho que também dá para argumentar razoavelmente que a navegação por GPS no carro, que existe desde que eu era criança, é um exemplo de sistema de evento para fala. Então, não é que sejam totalmente novos, mas acho que agora podemos fazer coisas muito mais interessantes

02:14 com eles, nesta era. E acho que outra coisa que vale mencionar é que eles podem ser combinados. Não foram feitos para serem mutuamente exclusivos. E acho que veremos daqui a pouco que os melhores produtos combinam todos esses modos. Fala para fala: todo mundo conhece. Espero que todo mundo goste. O usuário fala e o modelo responde falando. Acho que posso dar alguns exemplos desse tipo de caso de uso. Temos

02:46 coisas como prática e orientação ao vivo, especialmente no aprendizado de idiomas. Acho que a capacidade de ouvir bastante ênfase ou emoção e dar esse retorno às pessoas é muito poderosa. Também podemos ter o que estou chamando, meio brincando, de experiências de atendimento personalizado, que acho que é apenas outra forma de dizer suporte ao cliente. O primeiro tutorial de voz que a maioria das pessoas tenta criar quando tem acesso a essa tecnologia é algum tipo de chatbot de suporte ao cliente, e por bons motivos. Mas acho que, com a riqueza e a profundidade que os modelos de voz vêm adquirindo

03:19 nos últimos meses e anos, podemos criar algo muito mais agradável de usar do que percorrer uma árvore telefônica falando. E espero que em breve, se é que já não podemos, sejamos capazes de criar experiências de suporte com agents que sejam muito mais agradáveis de conversar do que, possivelmente, o agente de suporte humano mediano. E, como acabamos de ver, se vocês ouviram a última palestra, há a tradução ao vivo. Os modelos ficaram bons e rápidos o suficiente para traduzir conteúdo dinamicamente, na hora, com

03:53 pouquíssima ou nenhuma latência. Eu não ficaria surpreso se, na palestra principal do ano que vem, transmitissem ao vivo do palco principal e também dublassem em tempo real em vários idiomas. A segunda categoria é fala para ação. São interações em que o usuário fala e o modelo usa ferramentas. Acho que essa é uma das áreas menos exploradas. Na verdade, quase intitulei esta palestra “a voz é a próxima capacidade subaproveitada”, porque acho que há uma quantidade enorme de coisas que poderíamos estar

04:24 fazendo nessa categoria e que ainda não estamos fazendo. Por exemplo, há um amplo espectro de possibilidades; há exemplos demais para caber neste slide, mas três categorias me parecem particularmente interessantes. A primeira é o preenchimento de formulários. Grande parte da internet consiste apenas em preencher formulários. E hoje não há motivo para não podermos simplesmente falar. Eu adoraria que, em vez de passar uma hora preenchendo um documento do governo, pudesse falar por cinco minutos, e ele fosse preenchido em 90% para mim. Depois, eu faria uma rápida conferência para garantir

04:56 que tudo estivesse certo. Essa é uma experiência muito superior a ter que digitar cada nome e endereço em que morei nos últimos cinco anos e todas as minhas identidades anteriores. E acho que, embora possa parecer algo entediante, isso representa uma parcela significativa do PIB da internet. A próxima categoria são as ferramentas criativas, nas quais tenho o privilégio de saber falar a linguagem do software. Então posso dizer ao Codex exatamente o que quero que ele crie e explicar de uma forma que me dá muito mais poder do que simplesmente tentar iterar, meio desajeitadamente, uma coisa de cada vez. Mas não consigo fazer isso quando se trata de usar ferramentas para fazer música ou pintar,

05:28 e, se não consigo expressar exatamente a estética que procuro, e não sei usar Photoshop ou Ableton, fico numa situação em que meu gosto supera minha capacidade. Por isso, estou muito animado para integrar voz às ferramentas criativas, para poder simplesmente ir avançando de forma meio desajeitada e criar, compor e pintar no estilo vibe, fazendo algo que seja realmente bonito para mim. E acho que a categoria mais geral aqui

06:02 simplesmente passa a ser o uso do computador. Já vimos algumas empresas começarem a fazer isso. Isso levanta a questão: se os modelos estão ficando bons o suficiente para fazer tudo o que um humano pode fazer em um computador, por que estou conversando com um aplicativo? Por que estou conversando com um terminal? Por que não estou simplesmente conversando com o computador inteiro? Acho que essa é uma forma muito interessante de começar a explorar o assunto. Mas, se você é desenvolvedor hoje — opa —, o que isso significa para a criação do seu próprio software? Acho que é muito mais fácil do que você imagina começar a adicionar áudio como uma camada de inteligência

06:36 às aplicações que você já tem. Se você está criando uma aplicação web moderna, já expõe boa parte dela como ações, na forma de substantivos e verbos. Se pensar em todos os verbos que tem, há endpoints de API e hooks do React. Cada uma dessas coisas pode ser convertida com relativa facilidade em uma ferramenta que você expõe a um modelo. Assim, você pode dar ao usuário a possibilidade de controlar o software que já usa apenas com a voz. E sim, ainda são necessárias proteções e verificações de segurança. Muitas das palestras de hoje vão falar sobre como proteger e transformar isso em um produto,

07:08 Mas, para isso, quero apenas que você pense no que significaria pegar o software que já existe e simplesmente conversar com ele. E, voltando àquela ideia equivocada, certo? Acho que há muitas pessoas que pensam: se você conversa com o software, talvez ele possa responder. Mas há décadas desenvolvemos outras formas de nos comunicar com o usuário, certo? Conhecemos essas coisas: sabemos que podemos mostrar notificações e janelas pop-up, mudar o estado — como a cor de um botão ou uma sombra projetada — e destacar texto. Se você já usou o recurso de uso do computador no app Codex, sabe que há uma animação incrível de um pequeno cursor fantasma que se move e clica nas coisas por você. Então…

07:41 não precisamos usar palavras para mostrar ao usuário o que está acontecendo na tela do software. E o último grupo aqui é evento para fala, certo? O modelo recebe um evento e fala com o usuário. E, de certa forma, isso é o contraponto de fala para ação. Acho que essa área ainda está em fase muito, muito exploratória, certo? Se você assistiu à palestra do Quinn, acho que há bastante espaço aqui para coisas que podemos fazer. Para mim, ainda não vimos exatamente como a IA nativa realmente se parece nesse sentido. Mas, entre as coisas que vi, acho que há alguns temas recorrentes que costumo notar, certo? O primeiro é…

08:15 experiências sem usar as mãos ou sem olhar para a tela. Pode haver momentos em que preciso interagir com um software, interagir com objetos, e não posso usar as mãos ou, mais importante, minha atenção está voltada para outra coisa. Isso pode ser algo como um app de receitas. Talvez eu esteja cozinhando e precise simplesmente perguntar o que está acontecendo e fazer com que outra coisa aconteça. A outra categoria é o contato proativo, certo? O modelo precisa conseguir contar algo a você ou chamar sua atenção de uma forma que não dependa de você estar olhando para a tela, certo? Acho que todo desenvolvedor tem uma quantidade interminável de…

08:46 notificações e eventos acontecendo no software. Mas nenhum desenvolvedor sensato diria que deveria exibir todos esses registros. Nem diria que deveria ler em voz alta todos esses registros. Mas podemos começar a pensar na voz como um nível mais alto nesse caminho de escalada: talvez você anime alguma coisa, depois exiba algo e, se isso não funcionar, fale com o usuário para chamar a atenção dele. E, por trás dessas duas categorias, está esse tema mais amplo de acessibilidade, que, acho, atravessa toda esta apresentação. Em uma nota pessoal, conheço vários desenvolvedores que, ao longo de suas…

09:18 carreiras, perderam a mobilidade das mãos e a destreza dos dedos. Muitos deles acharam que sua carreira como programadores estava mais ou menos acabada. E então chegaram os LLMs, certo? Depois vieram os agentes de programação e os agentes de voz, e agora eles geram ordens de grandeza mais código do que geravam antes em um determinado dia ou mês. Então, acho que também podemos desbloquear muita coisa para o mundo em geral. Voltando ao que eu disse: acho que, quando se trata dessas três modalidades, podemos combiná-las de diferentes maneiras…

09:49 e já estamos vendo algumas formas rudimentares de fazer isso. Acho que existem coisas como todos esses componentes de assistentes automotivos, embora ninguém ainda os tenha combinado de uma forma tão integrada. Você pode falar com o painel do CarPlay. Pode dizer: “Ei, coloque uma música no Spotify para mim.” E então ele pode responder. O Google Maps pode responder: “Ei, há trânsito neste trajeto. Vamos redirecionar você.” Mas agora podemos começar a pensar no que significa combinar isso em um único agente de voz que opere em vários modos. De forma semelhante, há muita…

10:20 experimentação com multimodalidade no espaço dos jogos. Você pode imaginar um personagem do mundo real com quem conversa para obter informações sobre o jogo, sobre o mundo. Pode conversar com ele para executar ações em seu nome, e então ele pode reagir aos eventos do mundo que estão acontecendo e transmitir essas informações a você, em vez de simplesmente mostrar uma notificação. E acho que a pergunta por trás da pergunta aqui é: como mencionei, já temos todas essas coisas há algum tempo, e as pessoas vêm criando protótipos delas há algum tempo. Por que se concentrar nelas agora? Por que pensar em desenvolver com elas agora?

10:50 E acho que isso me leva a um pouco de contexto. Como espero que a maioria de vocês saiba, tradicionalmente os agentes de voz são criados com um modelo em cadeia, certo? Você fala, sua fala é transcrita, e isso é enviado a um modelo de linguagem. Ele chama ferramentas. Tomara que não demore muito para responder. Depois, gera uma saída de texto, que é convertida em áudio e reproduzida para o usuário. Há algum tempo, a OpenAI decidiu seguir uma abordagem diferente, certo? A família de modelos em tempo real não faz nenhuma transcrição nos bastidores. Ela é treinada com áudio nativo como tokens.

11:23 Então, você envia áudio e recebe áudio de volta. E acho que, de modo geral, o setor tem caminhado nessa direção. Não apenas tornando o áudio nativo, mas também abandonando a abstração baseada em turnos que tínhamos, certo? A ideia é que o áudio seja transmitido continuamente, para dentro e para fora. E a razão para a OpenAI ter feito isso foi que, como se descobriu, há muita coisa que se perde ao transcrever a fala e o áudio, certo? Há um velho ditado segundo o qual, quando as pessoas se comunicam cara a cara, 55% das informações estão na linguagem corporal…

11:55 outros 38% estão no tom de voz, e os 7% restantes estão nas palavras que você diz. Ao transcrever, você perde o tom, a cadência e o impacto emocional; perde a percepção de que a pessoa está tentando interromper você; perde o ruído de fundo. Tudo isso é um contexto muito importante para o modelo entender. Uma razão muito mais quantitativa para fazer isso é que os dois primeiros modos de voz do ChatGPT foram criados com essa abordagem em cadeia. E, como você pode ver, tinham latência significativamente maior do que a abordagem nativa do modo de voz avançado.

12:25 E isso me leva ao GPT realtime 2. Esta será a parte da palestra em que faço meu merchan descarado. O realtime 2 é o modelo mais recente da família em tempo real. Nós o lançamos há alguns meses. E o mais legal desse modelo é que ele traz raciocínio para o meio de áudio. Assim, como nossos modelos de texto, agora ele pode pensar antes de falar. Tenho certeza de que muitos de nós já vimos demonstrações de modelos de voz dizendo coisas um pouco…

12:56 menos inteligentes. Agora, você pode tentar garantir que ele tenha mais orçamento de raciocínio para chegar a uma boa resposta. Isso também é útil porque introduzimos tool calling há algum tempo. Além de pensar, o modelo também pode delegar chamadas a ferramentas em paralelo. Podemos começar a combinar essas coisas. Embora, é claro, isso aumente a latência, certo? Por isso também adicionamos preâmbulos. Os preâmbulos são uma forma de orientar o modelo com um prompt para que ele avise o usuário caso vá pensar ou chamar ferramentas. Se você…

13:27 Pense no cenário de um agente de viagens, certo? Se eu ligasse para o agente de viagens, você gostaria que ele dissesse: “Olha, vou verificar os preços dos voos. Me dê alguns segundos para fazer isso.” E agora, com um agente de viagens de IA e preâmbulos, você pode fazer com que ele comunique isso ao usuário enquanto executa ações em segundo plano. Há algumas outras coisas aqui, certo? Ele tem um contexto mais longo, melhor compreensão do domínio, vozes mais naturais e é muito mais ajustável. Há alguns recursos muito legais que ele pode usar com palavras de ativação e simplesmente ficar esperando você dizer algo. Você…

14:01 pode dar um nome para ele. Você pode dizer, por exemplo: “Ei, Marin, quer dar oi para o pessoal?” E, se você tiver incluído isso no prompt do modelo, ele vai responder, certo? E, claro, temos o slide obrigatório de benchmark: ele também se sai muito bem nos benchmarks de áudio mais recentes. Então, resumindo, é um modelo muito bom. Mas acho que a última coisa que quero deixar com vocês é que, ao criar agentes de voz…

14:31 não comecem pela pergunta: “Que tipo de agente de voz estou tentando criar?”, certo? O que quero deixar com vocês é que comecem pela pergunta: “Qual é o papel da voz e do áudio nessa interação?” E, então, como sigo em frente a partir daí, certo? E, muitas vezes, quando faço essa pergunta, ela leva a várias outras. Coisas como: o que o modelo consegue perceber? Que contexto ele tem? Certo? Que ferramentas estão disponíveis para ele e quais dessas ferramentas ele deve executar com segurança e corretamente?

15:04 Ele deve se comunicar agora? Deve esperar? Como deve se comunicar? Deve enviar notificações visuais ou usar áudio? E, juntando tudo isso, espero que todos aqui possam começar a criar experiências muito mais ricas com voz. Porque, como outras pessoas disseram, acredito que a AGI será falada, não digitada. Muito obrigado. Estarei no estande da OpenAI para responder a perguntas depois. Tenham um bom evento.

15:46 >> [música]

Transcrição original

[00:01] [music] So, my name is Charlie uh and I work on the developer experience team at OpenAI. And part of my job is talking to developers to understand and see, you know, what and how they’re building with our models. um whether that’s text, image or audio. And lately I’ve been thinking about a misconception that I

[00:35] have seen or maybe it’s just a misunderstanding and it’s the idea that voice agents have to talk back. >> And to some of you that might sound, you know, absurd. It’s a voice agent. What do you mean it’s not supposed to talk? Uh, but I think if there’s one thing that you take away from this presentation, I would like it to be the idea that speech is not the only way that a voice model has to respond.

[01:12] And I think models are getting intelligent enough and capable enough that they’re starting to open up some uh new modes of design. I mean there’s actually three kind of modes that that you know I kind of see emerging these days right uh speech to speech speech to action and event to speech and there’s a couple of things I think worth pointing out about um these three categories. The first is that they’re not new, right? I think as we’ve seen from from previous

[01:43] talks, even just today, um there’s a long history of building these types of systems in and around voice. Um if you squint, you could make the argument that the movie phone hotline where you called in to get showtimes was an example of a speech-to-pech system. Uh and I think you could pretty reasonably make the argument that you know GPS navigation in your car which has existed since I was a kid is an example of an event to speech system. So, it’s not that they are brand new, but I think it is that we are able to do some some much more interesting

[02:14] things with them uh now that uh we’re in this era, right? And I think, you know, the other thing I would mention here is that um they’re they’re remixable, right? They’re not meant to be mutually exclusive. Um and I think as we’ll see in a little bit, the best products uh exist in a way that combines all of these modes. So, speechto um everybody knows it. Hopefully, everybody loves it. the user talks uh and then the model talks back and I think there are a few examples that that I can give um for this type of use case right you’ve got

[02:46] things like live practice and coaching especially around language learning right I think the ability to um hear a lot of emphasis or emotion and give people that feedback is really powerful um I think you can have you know what I am sort of cheekily calling concierge experiences which I think is just another way to say customer support plus+ Um the first voice tutorial that most people you know try to build when they have access to this technology is some sort of customer support chatbot for very good reasons. But I think with you know when we add a richness and a depth to the voice models as has been

[03:19] happening in recent months in recent years um we can build something that is like much more enjoyable to use than like talking your way through a phone tree. Um, and so, you know, I have the hope that like soon, if not like, you know, now, we’re capable of building support experiences with agents that actually feel much more enjoyable to talk to than like arguably like the median human support agent. Um, and as we just saw if you hear the last talk, uh, live translation, right? The models have gotten good enough and fast enough that we can just dynamically translate content on the fly, um, with

[03:53] like little to no latency. It wouldn’t shock me if at next year’s keynote um you know they live streamed it from the main stage but also uh dubbed it in real time across multiple languages. The second category is speech to action. Uh these are talks and the model uses tools and I think this is one of the most underexplored areas that we have. Um I actually almost titled this talk uh voice is the next capability overhang because I think there is just a vast vast amount of stuff um that we could be

[04:24] doing in this category that we are not currently doing. Uh for example um there’s a broad spectrum I don’t have you know there’s way too many examples even fit on this slide but three categories that that I find particularly interesting. Uh first is form filling right um so much of the internet is just filling out forms. Um, and there is, you know, today no reason why you shouldn’t be able to just talk. You know, I would love it if instead of spending an hour filling out a government document, I could just talk for five minutes and it would get 90% of it for me and I would do a quick check, you know, just to make

[04:56] sure that everything looked good, right? That is a vastly superior experience than like having to type in every single name and address that I’ve lived in the last 5 years and, you know, all of my previous identities. Um and so I think I think that one is though it may seem boring you know affects a a significant GDP of the internet right the next category is creative tools uh where I am privileged enough that I can speak the language of software and so I can tell codeex you know here’s exactly what I want you to build and I can articulate it in a way that um I get much more leverage than sort of just like cludily

[05:28] trying to iterate one thing at a time but I can’t do that when it comes to you know using making music or painting um and so if I don’t have the ability to articulate um the exact aesthetic that I’m looking for. Um and if I don’t know how to use Photoshop or Ableton, I’m left in this state where, you know, my my taste exceeds my capability. Um and so I’m really looking forward to integrating voice into creative tools so that I can just sort of cludgy go along and, you know, vibe create, vibe compose, vibe paint, um and make something that that’s really beautiful to me. And I think the generalizable um

[06:02] category here, right, then just starts to become computer use. And we’ve already seen some companies start to do this. Um, you know, it raises the question of like, look, if the models are just getting good enough to do everything on a computer that a human can do, like why am I talking to an app? Why am I talking to a terminal? Why am I not just talking to the entire computer? Uh, and so I think that’s sort of a really interesting uh way to start exploring. But if you’re a developer today, right? Whoops. If you’re a developer today, um, what does that mean for building your own software, right? And I think it is like much easier than you think to start adding audio as an

[06:36] intelligence layer to the intelligence layer to the apps that you already have. Um, if you’re building a modern web application, you already expose so much of it as like action as nouns and verbs, right? And if you think about all the verbs that you have, you have uh API endpoints, you have, you know, React hooks. Each of those things can like pretty relatively easily be converted into a tool that you expose to a model and then you can give the user the ability to just drive your existing software um with their voice, right? And yes, you still need guardrails, you still need safety checks. Like many of the talks today are going to talk about securing and you know productizing this,

[07:08] but um for this I just want you to think about you know what would it mean to take your existing software and just talk to it. Um and to go back to that misconception, right? I think there are a lot of um you know like if you’re talking to the software maybe it can talk back but we’ve been developing other ways of communicating with the user for decades right we know these things we know we can show notifications and popups we can change state like the color of a button or a drop shadow we can highlight text um if you’ve used computer use in the codeex app you know there’s this amazing like little ghost cursor animation that goes around and clicks things for you so

[07:41] we don’t have to use words to actually tell the user what is happening on screen with their software Uh and then the last bucket here is event to speech, right? Um the model receives an event and talks to the user. Um and sort of the counterpoint from speech to action. I think this one is still very very exploratory, right? Um you know, if you saw Quinn’s talk, I think there’s a lot of uh space here of like things we can do. Um and to me, we haven’t quite seen what AI native really looks like in this vein yet. But um of the things that I’ve seen, I think there’s a couple of through lines that I tend to notice, right? The first is

[08:15] hands-free or screen-free experiences. There might be times where uh I need to interact with software, interact with objects and I can’t use my hands or more importantly my attention is diverted elsewhere. Um that might be something you know like uh a recipe app. Maybe I’m cooking and I need to just say like what’s going on and and have something else have something happen. Um the other category is proactive outreach, right? Where you the model needs to be able to tell you something or get your attention in a way um that you might not be looking at, right? I think every developer um has uh an endless amount of

[08:46] notifications and events happening in their software. But um no developer in their right mind would sort of say I should show all of these logs. Nor you know would they say I should speak all of these logs. But we can start to conceive of voice as this like upper level in this escalatory path of like okay maybe you animate something and then maybe you pop something up and then if that doesn’t work maybe you talk to the user to get their attention. And underlying both of these categories and I think this this you know this whole presentation is this broader theme of accessibility. Um on a personal personal note, I know like multiple developers who um over the course of

[09:18] their careers lost mobility in their hands, lost dexterity in their fingers and for many of them, they thought their career as a programmer was more or less over. Um and then came large language models, right? Then came coding agents and voice agents and now they generate orders of magnitude more code than they like previously did um you know on a given given day or month. Um, and so I think there’s there’s a lot that we can unlock here uh for the broader world as well. Um, to go back to like I said, you know, I think like when it comes to these three modalities, you can mix and match

[09:49] them and we already have some, you know, rudimentary ways that we’re seeing this. I think there’s things like, you know, all of these pieces for in-car assistants exist, though nothing has quite like combined them into this seamless way. You can talk to like the CarPlay dashboard. Um, you can tell it, “Hey, go play some Spotify music for me.” Um, and then it can come back and tell you, Google Maps can come back and tell you, hey, like, you know, there’s traffic on this route. We’re going to reroute you. But like we can now start to think about what does it mean to combine that into like a single voice agent across multiple modes. [snorts] Um, similarly, you know, there’s a lot

[10:20] of experimentation in the game space with multimodality. Um, you can think about a real life character where you’re talking to it to, you know, mine information about the game, about the world. um you can talk to it to execute actions on your behalf and then it can react to like world events right that are happening and then give that information to you rather than just like a simple notification um and I think the question you know behind the question here right is like I mentioned we’ve had all these things for a while people have been prototyping them for a while why focus on them now why think about building with them now

[10:50] um and I think that brings me to uh a little bit of context here right as as I’m hopefully most of you know traditionally voice agents are built in this chain Ed model, right? You uh talk, you transcribe, you send that to a language model. It calls tools. Hopefully, it doesn’t take too long to respond. Um it then generates text output. You make that into audio and then you play that back to the user. And some time ago, um OpenAI, you know, decided on a different approach, right? The real-time model family does not do any transcription behind the scenes. It is trained on native audio as tokens.

[11:23] So, you send audio in and you get audio back out. And the industry I think in general has been, you know, trending more in this direction. Um, and not just making it native audio, but even just letting go of the turnbased abstraction that we’ve had, right? Um, and so making it that it’s just continuous streaming audio in and out. And the reason that opening I did this was, you know, turns out there’s a lot of stuff that you lose when you transcribe speech and when you transcribe audio, right? Um there’s the old saying that when humans communicate face to face, 55% of the information is

[11:55] in body language, another 38% is in your tone of voice and the last like 7% is the actual words you are saying. Um and so when you transcribe, you lose tone and cadence and emotional uh you know impact, you lose like whether they’re trying to interrupt you, you lose background noise, all of this stuff which is really important context for the model to understand. Um a much more quantitative reason to do it is that you know the first two uh voice modes in chat GBT were built with this chained approach. Um and as you can see had you know significantly higher latency than using uh the native

[12:25] approach with advanced voice mode. And that brings me to GPT realtime 2. Um and this is going to be the one part of the talk where you know I make my shameless plug. Um real time 2 is the the latest model in the real time family. We released it a couple of months ago. Um, and the the really cool thing about this model is that it brings reasoning to the audio medium. Um, and so much like our text models, it can now think before it speaks. Um, I’m sure many of us have seen some demos of voice models saying things that are a little

[12:56] bit less than intelligent. Um, and so you can now, you know, try to ensure that you give it more reasoning budget uh to come up with a good answer. Part of why that’s also useful is that we introduced tool calling a little while ago. And so the model in addition to thinking it can also delegate parallel tool calls. Um you can start to bring these together. Um though of course that adds latency, right? And you know that’s why we also added preamles. Um preamles are a way that you can prompt the model to uh give the user a heads up if it’s going to be thinking or if it’s going to be calling tools. Um you know if you

[13:27] think about the scenario of a travel agent, right? If I called the travel agent on the phone, uh you would want the travel agent to say to say, “Hey, like I’m going to go check flight prices, right? give me a couple seconds to do that. Um, and now with an AI travel agent, um, and preamles, you can actually have it communicate that to the user while it’s performing actions in the background. Uh, there’s a few other things here, right? It’s got longer context, better domain understanding, um, more natural voices, and it’s much more steerable. Um, there’s some really cool features, uh, that it can do when it comes to like wake words and just waiting for you to to tell it. You you

[14:01] can give it a name. Uh, you can say like, you know, hey, Marin, do you want to say hi to the room? Um, and if you’ve like prompted that into the model, then it’ll, you know, go ahead and and respond to you, right? Uh, and of course, you know, uh, obligatory benchmark slide, uh, it does pretty well on the the latest audio benchmarks, too. So, TLDDR, uh, is a pretty good model. Um, but I think the the kind of final thing that you know I want to leave you with here is um when building voice agents uh

[14:31] not to start with the question of like what kind of voice agent am I trying to build, right? I think the thing I want to leave you with is start with the question of like what is the role of voice and audio in this interaction? Um and then how do I move forward from there, right? Right? And often when I ask that question, it leads to a bunch more questions after that. Things like what can the model perceive? What context does it have? Right? Um what tools are available to it and which of those tools should it be, you know, uh executing safely and correctly? Um

[15:04] should it communicate now? Should it wait? Uh you know, how should it communicate? Should it be sending visual notifications or using audio? Um, and so taken together, yeah, I hope everybody in here can can start to build some much richer experiences with voice. Um, because like others have said, uh, I do believe that AGI will be spoken, not typed. Thank you very much. I’ll be at the OpenAI booth, uh, for any Q&A after. Um, yeah, have a good event.

[15:46] >> [music]