Apresentando a Decisions API

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Introducing the Decisions API · Canal: OpenAI · 05:13 · Assistir no YouTube

Tópicos: Agentes de IA, Ferramentas de desenvolvimento com IA, Modelos multimodais, Robótica e sistemas autônomos

Resumo

A Decisions API permite que modelos tomem decisões rápidas entre opções predefinidas a partir de texto ou imagens, com respostas em uma fração de segundo. O vídeo demonstra usos para classificar solicitações, controlar um carro em um jogo e escolher expressões para um personagem animado durante uma conversa por voz. Também mostra um robô que usa a API para identificar objetos e direcionar o olhar. A OpenAI espera que a API possibilite novas formas de interação com IA.

Pontos-chave

A Decisions API recebe texto ou imagem, uma pergunta e um conjunto de respostas possíveis.
Segundo a demonstração, focar o modelo em poucas opções pode torná-lo quase 10 vezes mais rápido.
A API pode extrair campos de texto e encaminhar solicitações de suporte ou vendas para as equipes certas.
Em um jogo, a API analisa imagens da estrada e escolhe para qual lado o carro deve ir.
Com GPT-Live-1, a API seleciona expressões para um personagem animado durante uma interação por voz.
O robô Microduck usa a API para escolher onde olhar com base nas imagens de sua câmera.
A API pode interpretar pedidos ambíguos, como identificar uma fruta ou escolher qual objeto parece mais divertido para brincar.
O vídeo ressalta que cenários sofisticados de uso de computador ou navegador ainda podem exigir recursos do Astra.

Capítulos

Início	Capítulo	Resumo
00:00	Visão geral da Decisions API	A OpenAI apresenta a API, explica seu funcionamento e destaca a rapidez das decisões entre opções predefinidas.
01:34	Demonstrações com imagens e voz	A API controla um carro em um jogo e escolhe expressões para um personagem durante uma conversa por voz.
03:08	Robô guiado por visão e linguagem	O robô Lavender usa a câmera e a Decisions API para seguir objetos a partir de pedidos simples ou ambíguos.
04:42	Encerramento e possibilidades	A demonstração termina com o robô acompanhando um gamepad e um convite para criar novas aplicações com a API.

Citações

A API permite que o modelo responda em uma fração de segundo. — 00:00

Podemos torná-lo quase 10 vezes mais rápido. — 00:31

A Decisions API respondeu no servidor em menos de 100 milissegundos. — 01:02

Mal podemos esperar para ver o que vocês vão criar com ela. — 05:13

Conceitos e entidades

Decisions API (ferramenta): API que escolhe rapidamente entre opções definidas com base em entradas de texto ou imagem.
GPT-6 Luna (modelo): Modelo que, segundo o vídeo, executa a Decisions API.
GPT Live 1 (modelo): Modelo usado para lidar com a voz na demonstração do personagem animado e do robô.
Astra (ferramenta): Recurso citado para cenários sofisticados de uso de computador ou navegador.
Hugging Face (empresa): Empresa que emprestou uma unidade de prévia do robô programável Microduck para a demonstração.
Microduck (ferramenta): Robô programável usado na demonstração de controle por voz e visão.
Lavender (ferramenta): Nome do robô Microduck que identifica objetos e direciona o olhar com a Decisions API.

Tradução completa (pt-BR)

00:00 Às vezes, seu app precisa tomar uma decisão inteligente muito, muito rápido. Direcionar uma solicitação, classificar uma imagem ou decidir o que um agent deve fazer em seguida. Hoje, estamos apresentando a Decisions API. Ela permite que o modelo responda em uma fração de segundo, fazendo com que a interação pareça praticamente instantânea. A Decisions API é executada no GPT-6 Luna. É muito simples. Você fornece um texto ou uma imagem, define a pergunta e as respostas possíveis e usa o resultado no seu app. Ao concentrar o modelo em apenas algumas opções, podemos deixá-lo

00:31 quase 10 vezes mais rápido, mantendo recursos como compreensão de imagens, amplo suporte a idiomas e proteção de segurança. Mas vamos ver isso em ação com Charlie, começando com uma entrada de texto. Obrigado, Romain. Já estamos encontrando uma grande variedade de aplicações que podem se beneficiar da Decisions API. Digamos que você queira trabalhar com um texto não estruturado. Uma coisa simples que você poderia fazer seria extrair automaticamente campos de formulário de um parágrafo longo, mas podemos ir além. Podemos usar essas entradas para encaminhar chamados de suporte ou solicitações de vendas recebidas às equipes certas.

01:02 Aqui, podemos ver vários exemplos de entradas informais de usuários sendo rapidamente classificadas como leads de vendas. Isso é incrível. E, aliás, isso não está acelerado. No lado do servidor, a Decisions API respondeu aqui em menos de 100 milissegundos. Muito impressionante. Agora, o que acho ainda mais empolgante na Decisions API é que você também pode usar imagens como entrada para executar uma ação rápida com base na compreensão visual. Então, confira este exemplo simples. Tenho um jogo rápido, e a Decisions API está analisando quadros da estrada e dos obstáculos,

01:34 escolhendo rapidamente se o carro deve permanecer na faixa ou ir para a esquerda ou para a direita. Agora, se aumentarmos a velocidade ali, a Decisions API ainda consegue conduzir o carro para a faixa correta em uma fração do tempo que um modelo de raciocínio levaria. Que legal. Dá para imaginar mesmo combinar essa API com algumas tarefas básicas de uso do computador, fazendo capturas de tela e enviando ações de volta rapidamente. Claro, você ainda vai querer os recursos do Astra se tiver um cenário muito sofisticado de uso do computador ou do navegador.

02:04 Mas, Charlie, você também tem usado a Decisions API junto com voz como modalidade. Como isso funciona em conjunto? Sim, descobri que usar a Decisions API pode fazer as interações ao vivo parecerem ainda mais responsivas. Aqui, combinei o GPT-Live-1 com um personagem animado. O GPT-Live-1 cuida da voz, enquanto a Decisions API escolhe qual expressão o personagem deve usar enquanto converso. Vamos experimentar. Oi, como vai? Estou bem. Estou levando numa boa, mantendo a calma e o aconchego. E você, como está? Esta semana foi uma loucura.

02:37 Nossa. Parece exaustivo. Quer conversar sobre o que aconteceu? Ah, não. Foi uma loucura no bom sentido. Estamos lançando a Decisions API hoje, e muita gente está muito animada para poder usá-la. Que empolgante. Sei que muitos desenvolvedores estavam ansiosos para criar coisas com ela. Com certeza. O app escolhe entre um conjunto de expressões que fornecemos, e essas pequenas reações podem fazer parte da conversa junto com o que o assistente está realmente dizendo. Mas, Romain, você tem criado uma experiência interativa que envolve

03:08 robótica, certo? Sim, é verdade. Como podem ver, nossos amigos da Hugging Face gentilmente nos emprestaram uma unidade de prévia do próximo robô programável Microduck. E o nome deste é Lavender. Também integrei o GPT-Live para dar a ele inteligência de voz, além da Decisions API para ajudar o robô a escolher para onde olhar com base na câmera. Nesta demonstração, as opções são simples. Trata-se de mover a cabeça do robô para qualquer um dos lados, para que ele olhe para o objeto certo, enviando o comando ao robô.

03:38 Lavender, siga a maçã. O que vocês estão percebendo aqui é que, a cada poucos quadros, a câmera é analisada pela Decisions API, que então pode decidir para onde o robô deve olhar. E é a Decisions API que está decidindo o que é a maçã. Com certeza. Na verdade, se quiser experimentar com outra solicitação um pouco mais ambígua, fique à vontade. Claro.

04:11 Lavender, você pode seguir a fruta? Exatamente. Incrível. Agora você vai seguir o que está por trás do conceito. É bem legal, né? E se colocarmos um segundo objeto na cena com uma pergunta ainda mais ambígua? Lavender, com o que é mais divertido brincar? Aí está. Agora, Lavender vai seguir o controle.

04:42 Porque, naturalmente, é mais divertido brincar com seu controle. E se eu trocar os objetos de lugar? Muito bem, Lavender. E, de fato, Lavender está definitivamente mais interessada no meu controle do que na minha maçã, com certeza. Certo? Se eu for um pouco para a esquerda, ela vai seguir. E vamos continuar rastreando o controle. Incrível. Bem legal, né? Essas foram apenas algumas demonstrações rápidas da Decisions API com entradas de texto e de visão, controladas pelo teclado ou por interações de voz como esta.

05:13 Acreditamos que a Decisions API vai abrir uma maneira totalmente nova de interagir com a IA, e mal podemos esperar para ver o que vocês vão criar com ela. Bom trabalho. Lavender, você está animada com a Decisions API? [Lavender chilreia]

Transcrição original

[00:00] Sometimes your app needs to make a smart decision really, really fast. Routing a request, classifying an image, or deciding what an agent should do next. Today, we’re introducing the Decisions API. It lets the model respond in a fraction of a second, so interacting with it feels pretty much instant. The Decisions API runs on GPT-6 Luna. It’s very simple. You give it a text or an image, you define the question and the possible answers, and you use the result in your app. By focusing the model on just a few choices, we can make it

[00:31] nearly 10 times faster while keeping capabilities like image understanding, broad language support, and safety protection. But let’s see that in action with Charlie, starting with text input. Thanks, Romain. We’re already finding a wide variety of applications that can benefit from the Decisions API. Let’s say you want to work with some unstructured text. A simple thing you could do would be to automatically extract form fields from a long paragraph, but we can expand on that. We can take those inputs and use them to route support tickets or inbound sales requests to the right teams.

[01:02] Here, we can see multiple examples of loose user input being quickly classified into sales leads. That’s awesome. And this is not sped up, by the way. On the server side, the Decisions API here responded in less than 100 milliseconds. Very impressive. Now, what I find even more exciting about the Decisions API is how you can also use image inputs to take a fast action based on visual understanding. So check out this simple example here. I have a quick game and the Decisions API is taking frames of the road and obstacles,

[01:34] quickly choosing if the car should stay in its lane or go left or right. Now, if we turn up the speed right there, the Decisions API is still able to steer the car to the correct lane at the fraction of the time a reasoning model would take. That’s so cool. So you can really imagine pairing this API with some basic computer use tasks, taking screenshots and quickly sending actions back. Of course, you’ll still want Astra capabilities if you have a very sophisticated computer use or browser use scenario.

[02:04] But Charlie, you’ve also been using Decisions API together with voice as a modality. How does that pair together? Yeah, I found that using the Decisions API can make live interactions feel even more responsive. Here I’ve paired GPT-Live-1 with an animated character. GPT-Live-1 handles the voice while the Decisions API is choosing which expression the character should use as I talk. Let’s try it out. Hey, how’s it going? Pretty good. I’m hanging in there, keeping it calm and cozy. How are you doing? It has been a crazy week.

[02:37] Oh, wow. That sounds exhausting. Want to talk about what’s been going on? Oh, no. It’s been crazy in a good way. We’re launching the Decisions API today and a ton of people are so excited to have it. That’s so exciting. I know a lot of developers have been looking forward to building with it. Absolutely. The app is choosing from a set of expressions we’ve given it and those little reactions can become part of the conversation alongside what the assistant is actually saying. But, Romain, you’ve been building an interactive experience that touches

[03:08] on robotics, right? I have indeed. As you can see, our friends at Hugging Face kindly lended us a preview unit of the upcoming programmable robot Microduck. And this one’s name is Lavender. So, I also integrated GPT-Live to give it voice intelligence as well as the Decisions API to help the robot choose where to look based on its camera. So, for this demo, the choices are simple. It’s about moving the robot’s head in either direction to look at the right object by sending the command to the robot.

[03:38] Lavender, follow the apple. Now, what you’re noticing here is that every few frames from the camera is being analyzed by the Decisions API, which in turn can take the decision as to where the robot should look. And it’s the Decisions API that’s deciding what’s the apple. Absolutely. In fact, if you want to try with a different request that’s a bit more ambiguous, feel free. Sure.

[04:11] Lavender, can you follow the fruit? Exactly. Amazing. You will now follow what is behind the concept. It’s pretty cool, right? Now, what if we bring a second object into the picture with a question that’s even more ambiguous. Lavender, what’s more fun to play with? There you go. Now, Lavender will follow the gamepad.

[04:42] Because naturally, your gamepad is more fun to play with. What if I flip them? Good job, Lavender. And really, Lavender is definitely more interested about my gamepad than about my apple, for sure. Right? If I go to the left a little bit, it will follow. And we’ll just keep on tracking the gamepad instead. Incredible. Pretty cool, right? These were just a few quick demos of the Decisions API across text and vision inputs, driven either by keyboard or voice interactions like this one.

[05:13] We think the Decisions API will unlock a brand new way to interact with AI, and we can’t wait to see what you all will build with it. Happy building. Lavender, are you excited about the Decisions API? [Lavender chirps]