OpenAI DevDay — O que realmente importa para quem desenvolve

Autoria: Sam Witteveen · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: OpenAI DevDay - What Actually Matters for Builders · Canal: Sam Witteveen · 18:42 · Assistir no YouTube

Tópicos: Agentes de IA, Ferramentas de desenvolvimento com IA, Inferência e otimização de modelos, Mercados e economia

Resumo

Sam Witteveen analisa os anúncios do OpenAI DevDay e avalia o que pode ter impacto real para usuários e desenvolvedores. Entre os destaques estão o agente pessoal dots, a Agents API gerenciada, a Decisions API e o modelo GPT 6.1 Soul, além de novidades para o Codex e uma opção de inference ultrarrápida. O vídeo também discute os novos planos pagos e as iniciativas para conectar aplicativos e clientes dentro do ChatGPT. Na avaliação do apresentador, o evento oferece um retrato útil de como a OpenAI e o setor estão pensando sobre agentes, custos e formas de monetizar produtos de IA.

Pontos-chave

O dots é apresentado como um agente pessoal sempre ativo, capaz de monitorar tarefas e assumir responsabilidades, não apenas executar pedidos pontuais.
Conversar com o dots não consumiria o uso do plano, mas o trabalho que ele realizar em nome do usuário contaria para o consumo.
A Agents API oferece um runtime gerenciado com harness, hospedagem, memória, controles multiagente e recursos de uso do computador.
A Decisions API usa um modelo para selecionar opções predefinidas e inclui suporte a imagens.
Segundo o apresentador, o GPT 6.1 Soul pode oferecer desempenho próximo ao Astra por uma fração do custo, com descontos expressivos para caching.
As novidades do Codex incluem uso na nuvem, voz, uso do computador e recursos para identificar vulnerabilidades e preparar correções.
A opção ultrarrápida promete cerca de 300 tokens por segundo, mas custa mais; pode ser vantajosa em experiências interativas que dependem de baixa latência.
Os planos Pro mais caros ampliam o uso disponível, mas a redução do limite do plano de US$ 200 pode levar alguns usuários a reconsiderar suas opções.
O login com ChatGPT pode facilitar a criação de aplicativos freemium, mas levanta dúvidas sobre dependência de várias plataformas e sobre quem paga pela inference.
O evento também evidencia a busca por aplicativos de IA que possam justificar preços premium, além da venda de tokens.

Capítulos

Início	Capítulo	Resumo
00:00	dots e agentes pessoais	O apresentador explica o funcionamento do dots, seus possíveis usos proativos e o modelo de consumo associado.
05:08	APIs para agentes e decisões	A análise passa pela Agents API gerenciada e pela Decisions API, incluindo seus usos e posicionamento diante de concorrentes.
07:46	GPT 6.1 Soul e novidades do Codex	O vídeo compara custo e desempenho do Soul com o Astra e destaca recursos de nuvem, voz, uso do computador e segurança no Codex.
10:55	Inference ultrarrápida e planos Pro	O apresentador avalia o custo da opção ultrarrápida e as mudanças nos limites e preços dos planos Pro.
13:29	Aplicativos, login e marketplace	A seção final examina as tentativas da OpenAI de atrair clientes para aplicativos integrados, o login com ChatGPT e o marketplace.
17:08	Avaliação geral do evento	O apresentador resume o potencial dos anúncios e reflete sobre agentes, custos crescentes e a busca por aplicativos de IA rentáveis.

Citações

Você dá a ele uma responsabilidade. — 02:04

Conversar com ele é de graça, mas o trabalho que ele faz por você não é. — 03:05

Faz sentido quando a latência é o produto. — 11:57

O buffet de tokens à vontade não pode durar para sempre à medida que os custos aumentam. — 18:10

Conceitos e entidades

Dots (ferramenta): Agente pessoal sempre ativo apresentado pela OpenAI, integrado ao ChatGPT e ao Codex.
Agents API (ferramenta): API com runtime gerenciado para criar agentes, incluindo hospedagem, memória, controles multiagente e uso do computador.
Decisions API (ferramenta): API que usa um modelo para escolher entre opções predefinidas e que, segundo o vídeo, também oferece suporte a imagens.
GPT-6.1 Soul (modelo): Modelo anunciado como uma opção mais barata, com desempenho que se aproximaria do Astra em algumas tarefas.
Astra (modelo): Modelo de ponta da OpenAI, citado como base do dots e referência de desempenho e custo.
Luna (modelo): Modelo que, segundo o apresentador, alimenta a Decisions API.
Codex (ferramenta): Produto de programação da OpenAI que recebeu novidades de uso na nuvem, voz, uso do computador e segurança.
OpenAI (empresa): Empresa responsável pelo DevDay e pelos produtos e modelos discutidos no vídeo.
Anthropic (empresa): Empresa mencionada como concorrente que já oferecia agentes gerenciados.
Sam Witteveen (pessoa): Apresentador que comenta os anúncios do OpenAI DevDay no vídeo.

Tradução completa (pt-BR)

00:00 Certo, então a OpenAI teve o Dev Day ontem, e houve vários pontos realmente interessantes. O que quero fazer neste vídeo é passar pelo que anunciaram e dar minha opinião sincera sobre algumas das diferentes coisas que foram apresentadas. Na verdade, acho que houve anúncios realmente interessantes, não só para a própria OpenAI, mas também sobre como as pessoas estão pensando nos próprios laboratórios de modelos de fronteira. Certo, vamos começar pelo Dots. Então, o que é um Dot, afinal? Basicamente, é um agent sempre ativo que fica

00:31 dentro do seu ChatGPT, ou pelo menos do ChatGPT e do Codex, por enquanto. Mas houve algumas coisas realmente interessantes: você pode mandar mensagens para ele, chamá-lo e coisas assim. Eles dizem que ele tem seu próprio computador na nuvem, seu próprio navegador. Ele pode escrever e testar código para você. Ele usa os mesmos plugins que você já conectou à sua conta. E há milhares desses plugins, apps e conectores. Uma das coisas legais aqui é que você pode adicioná-lo ao

01:01 Slack. Então, em muitos aspectos, dá para pensar que a OpenAI está basicamente cobrindo o que todo mundo já fez no espaço dos agents pessoais. Acho que o principal aqui é que essa é a primeira incursão deles — ou pelo menos a mais substancial — em agents pessoais. A ideia é que ele possa fazer coisas por você e provavelmente ser muito mais proativo do que apenas reativo. Agora, vai ser interessante ver como essa

01:33 proatividade se manifesta na prática. É só um monte de cron jobs rodando nos bastidores ou há algo um pouco além disso? Obviamente, muitas das ideias por trás disso vieram de coisas como Muse, Grokbot e Instinct, uma startup que está muito em alta no momento em San Francisco. Ela acabou de levantar cerca de um bilhão de dólares, com uma avaliação de US$ 10 bilhões, em sua primeira rodada. E, claro, os outros dois agents pessoais aqui seriam Open Claw e Hermes.

02:04 E não se esqueça: embora a OpenAI não tenha comprado diretamente a Open Claw, contratou o criador dela. Dá para imaginar que ele tenha contribuído bastante para a direção que o Dots está tomando e para como ele deve funcionar. Então, o interessante aqui é que parece haver uma proposta de que este seja seu agent pessoal, mas talvez também algo além disso. Eles falam em dar responsabilidades a ele. Ou seja, em vez de simplesmente pedir que ele execute uma tarefa para mim, como reservar um voo ou algo assim, ele vai ficar por cima das coisas e gerenciá-las

02:34 e monitorá-las, sejam relatórios de bugs recebidos, testes de correções ou várias outras coisas. O interessante é que ele é, na verdade, alimentado pelo Astra. Ou seja, pelo modelo de nível mais alto que eles têm. E parece que, de uma forma bem ao estilo Open Claw / Hermes, espera-se que você o trate como seu chefe de gabinete. O modelo de uso dele também é bem interessante e vale a pena entender. A OpenAI disse que seu Dot está

03:05 incluído no seu plano. Então, conversar com ele não consome seu uso de tokens nem nada do tipo. Mas tudo o que ele fizer em seu nome, sim. Um Dot opera sobre as conversas do ChatGPT e do Codex, mas as conversas que ele inicia para você nesses aplicativos específicos, no computador próprio dele, parecem contar para o seu uso de tokens. Então, basicamente, conversar com ele é grátis, mas o trabalho que ele faz para você não

03:35 vai ser grátis. Ainda acho que isso será uma grande vantagem para quem talvez nunca tenha experimentado o Open Claw nem o Hermes. E, em muitos aspectos, o Google tentou fazer isso com o Gemini Spark depois do Google I/O, mas me parece que não teve tanta adesão quanto eles gostariam, talvez em grande parte por causa dos modelos que estavam rodando nele e do que ele realmente podia acessar. Também dá para imaginar que os próprios Dots, ou o Dot que trabalha para você, vão

04:06 ser uma parte importante do hardware da OpenAI que, segundo dizem, será lançado como produto no fim deste ano ou em algum momento do ano que vem. Então, se esse produto for como as pessoas imaginaram — algum tipo de disco, sabe, ou algo assim, com o qual você possa conversar e interagir —, dá para imaginar que as pessoas vão basicamente colocá-lo na mesa, deixá-lo ligado o tempo todo e poder conversar com seu Dot. E, se acharem que o uso é grátis nas conversas em si, mas

04:37 só serão cobradas sempre que esse dispositivo entrar em ação e fizer algo por elas, consigo ver isso sendo atraente para muita gente que atualmente não tem uma conta Plus, Teams ou Pro. E, como já disse em vários vídeos, se você está assistindo aos meus vídeos, com certeza é um dos primeiros a adotar essas tecnologias. Acho que parte do enorme crescimento que vamos ver nos próximos anos, tanto nessas empresas quanto na própria IA, virá das pessoas comuns, das massas, que vão começar a usar essas coisas no dia a dia. Tudo

05:08 bem, vamos ver algumas das ferramentas para desenvolvedores que eles lançaram. Isso nos leva à Agents API. Ela é basicamente o runtime gerenciado de agents deles. Assim como temos os agents gerenciados da Claude, há várias empresas fazendo isso, e já fiz vídeos sobre essas coisas específicas. Basicamente, você recebe um harness, hospedagem, memória e controles para vários agents; agora, eles também adicionaram o uso do computador. Fico pensando até que ponto este é um produto do tipo “nós também”, basicamente porque eles não querem perder participação de mercado para a Anthropic,

05:39 que oferece os agents gerenciados da Claude desde bem antes deste ano. E é interessante que essa parece ser a mesma stack que alimenta o Codex e o Dots. Assim como os agents gerenciados da Claude usam boa parte da mesma stack que alimenta o Claude Code e o Co-work. Então, penso nisso da seguinte forma: há muitas empresas por aí usando os modelos da OpenAI, seja diretamente, seja por meio da AWS ou da Microsoft. Isso lhes dá uma maneira de criar harnesses verticais, como um agent para sinistros de seguros,

06:12 um agent para análise de contratos e todas essas coisas. E ele vai basicamente funcionar em um runtime que a OpenAI endossou como a melhor maneira de executar os próprios agents. A segunda grande novidade para desenvolvedores foi a Decisions API. E, para mim, essa não foi nenhuma surpresa. Já comentei antes que provavelmente a maioria dos laboratórios de modelos de fronteira tem modelos Jev em desenvolvimento, depois de ver as reações à ideia de um

06:44 decision model. E, mais uma vez, como já disse em alguns dos meus vídeos, parece que essas pessoas estão adotando o nome decision models, com a OpenAI chamando o dela de Decisions API. A ideia é que este seja um modelo Luna. Então, mais uma vez, você não precisa de um modelo enorme para fazer isso. É algo que analisamos nos meus vídeos sobre os modelos open source e coisas do tipo. Certamente, o Luna é maior do que muitos dos modelos open source que mostrei. E, basicamente, a ideia aqui é muito parecida com a do Jev. Você tem um modelo, fornece a ele um conjunto predefinido de opções, e ele

07:15 basicamente escolhe uma. Curiosamente, estão lançando com suporte a imagens. E acho que isso é uma escolha óbvia aqui. Você não precisa de um modelo grande para fazer isso, nem de uma quantidade enorme de treinamento. A Open AI nem tentou esconder isso. Disseram no palco que é o modelo Luna. E acho que, para muitas organizações que não vão querer adicionar outra empresa nova, nem executar algo assim localmente, usar a versão da Open AI acaba sendo uma escolha óbvia. Agora, outro grande anúncio para desenvolvedores que fizeram foi o

07:46 novo modelo. Quase todo ano recebemos um modelo novo e coisas do tipo. E, de início, minha reação instintiva foi: “Certo, GPT 6.1 Soul.” Lembrem-se: Astra é o modelo realmente grande. Soul é a versão deles que seria mais ou menos como Opus. Minha primeira reação foi: “Certo, e daí? Isso realmente importa?” Mas foi interessante que, assim como Opus 5.5 parece ter melhorado muito em relação a Fable, eles estão dizendo que GPT 6.1 Soul está chegando ao nível de Astra. E a outra

08:18 coisa é que ele custa cerca de um quinto do preço de Astra. São US$ 2 por milhão de tokens de entrada, US$ 10 por milhão de tokens de saída e, surpreendentemente, apenas 10 centavos para armazenar em cache esses dados de entrada. Então, comparado a Astra, que custa US$ 10 para entrada e US$ 50 para saída, isso representa uma economia de 80% para um modelo que supostamente está no mesmo nível de Astra. Agora, parece que, assim como com Fable, há certos tipos de tarefas em que, se você estiver levando o

08:49 raciocínio de Astra ou Fable ao limite, a segunda categoria de modelos será um pouco inferior. Outra coisa que achei fascinante foi o preço para armazenar em cache. O desconto é de 95%. E sabemos que os agents leem o mesmo contexto várias vezes, os arquivos do system prompt, a conversa até aquele momento. Então, para cargas de trabalho de agents, o preço do cache vai ser o preço real aqui. E, falando por experiência própria, percebi isso ontem em algo em que estava trabalhando,

09:20 em que usei 250 milhões de tokens do modelo Opus 5.5, mas cerca de 96% de todos os tokens já estavam em cache. Então, o preço ficou muito longe do que você imaginaria ao falar de 250 milhões de tokens. Por isso, acho que, se você estiver executando agents na OpenAI, Soul 6.1 provavelmente vai se tornar seu novo modelo padrão. Certo, o próximo tópico é Codex. E há algumas coisas que as pessoas vêm pedindo: Codex no Linux, várias

09:51 pastas em um projeto, Codex no celular. Sam Altman anunciou tudo isso bem rapidamente, antes mesmo de chegarem a algumas das coisas mais interessantes. Para mim, o grande destaque é essa ideia de Codex na nuvem. Isso definitivamente permite começar uma tarefa no celular, retomá-la no navegador e continuar trabalhando nela em várias interfaces. E foi engraçado: na demonstração de Romaine, ele literalmente disse: “Certo, reescreva todo o backend em Rust”, e depois simplesmente deixou aquilo e foi embora. Curiosamente, eles

10:23 também adicionaram voz ao app e à CLI. É o áudio bidirecional deles, com tecnologia do GPT Live. Então, não é só ditado. Infelizmente, tiveram alguns problemas com isso no palco. Mas acho que, se você for como eu ou como a maioria das pessoas que usam esses agents hoje em dia, de qualquer forma, você fala com eles em vez de digitar na maior parte do tempo. Também mostraram alguns recursos interessantes de uso do computador, permitindo que Codex use esse recurso, seja para obter capturas de tela do app enquanto está criando algo para você, e

10:55 alguns recursos interessantes de segurança, em que ele pode procurar vulnerabilidades e preparar correções para você revisar enquanto percorre sua base de código. Certo, o próximo anúncio foi algo que acho realmente interessante: o ultrafast. É Astra a oito vezes a velocidade da API normal, por seis vezes o preço. Eles afirmam que isso consegue gerar cerca de 300 tokens por segundo. Imagino que seja basicamente a versão desses modelos executada em Cerebras. E, à medida que

11:26 todos começamos a perceber ao executar esses agents, eles podem levar horas. Então, imagino que, se você tiver orçamento para pagar por isso, conseguir concluir algo em um ritmo muito rápido talvez valha a pena. Mas não estou totalmente convencido de que as pessoas realmente pagarão seis vezes o preço pela API. Eles mencionaram que isso já está disponível em Astra e chegará a Soul muito em breve. Imagino que, se Soul 6.1 custar seis vezes mais, ficará apenas um pouco mais caro do que Astra na velocidade normal

11:57 custava antes. Então, talvez seja um bom negócio. Contem nos comentários. Certamente consigo imaginar que algumas pessoas terão prazer em pagar esse adicional para receber os tokens muito mais rápido e coisas do tipo. E provavelmente vai fazer sentido quando a latência for o produto. Então, para qualquer coisa que você esteja fazendo, como edição ao vivo ou demonstrações interativas, ou quando há um usuário esperando que algo aconteça, provavelmente vai valer a pena ter tokens muito mais rápidos. E isso nos leva a uma das

12:28 coisas que acho que provavelmente vão gerar controvérsia entre os anúncios: um novo plano Pro 500. Enquanto assistia, só fui entender o que era quando começaram a apresentar também os planos Pro 200 e Pro 100. Então, este é o plano de US$ 500 por mês. Ele terá 25 vezes o uso do Plus. Também dará acesso ao ultrafast no ChatGPT e no Codex. E, curiosamente,

12:58 esse uso também será válido em apps de parceiros. Vai ser interessante acompanhar isso. Agora, reabriram o plano Pro 200. O plano de US$ 200 tinha sido fechado depois de Astra por um tempo. Acho que eles só não queriam que as pessoas abusassem dele e coisas do tipo. E a parte triste, que talvez vá irritar muita gente, é que o limite caiu de 20 vezes o Plus para 10 vezes o Plus. Sabemos que os limites de uso acabam oscilando de qualquer forma, então vai

13:29 ser interessante ver como isso se desenrola. Isso vai levar muita gente que pagava pelo plano de US$ 200 a migrar para o de US$ 500, ou vai ter o efeito contrário e levar mais pessoas ao plano da Anthropic? Neste momento, parece que os preços estão direcionando você e, na prática, se quiser usar os modelos de ponta, vai ter que pagar bastante por isso. Certo, a terceira parte da apresentação foi sobre ajudar você a encontrar clientes. E aqui

14:01 Sam Altman foi bem sincero ao dizer que já tentaram diferentes versões desse tipo de coisa antes, com resultados variados. Para recapitular, já vimos várias dessas iniciativas. Primeiro, lançaram os plugins do ChatGPT em março de 2023. Por um tempo, a partir de mais ou menos novembro de 2023, houve os GPTs. Depois, lançaram a GPT Store. Em seguida, desativaram todos os plugins originais. Mais ou menos nessa época, no ano passado, anunciaram apps no ChatGPT e todo o SDK de apps. E não sei se

14:33 vocês também acham, mas não vi os apps decolarem de verdade. Então, para mim, parece que isso ainda está definitivamente em andamento. E dizer, como Sam Altman disse, que os lançamentos tiveram resultados variados é, em muitos aspectos, um eufemismo. Então, o que há de novo? Eu diria que o principal e mais interessante é a opção de entrar com ChatGPT: os usuários podem entrar no seu app e usar os tokens incluídos no plano do ChatGPT deles dentro do seu app. E acho que a

15:05 O argumento aqui é que isso permite, basicamente, lançar um aplicativo principal gratuito. Como você não precisa mais pagar pela inference dos tokens, pode dar às pessoas uma amostra e depois oferecer outros recursos, sem que isso custe uma fortuna. Então, acho que isso realmente abre caminho para vários novos produtos freemium que veremos usando esse tipo de coisa. Mas o desafio será: será que em breve veremos uma opção “Entrar com Claude”? E os sites

15:35 vão basicamente ter que permitir que as pessoas entrem com Claude, ChatGPT ou Gemini? Todas essas ideias tentam fazer o que o botão de login do Facebook fazia há mais de 15 anos. Mas não temos apenas um grande participante aqui. Na verdade, temos alguns. Também não está claro o que você está oferecendo quando alguém acessa seu site e só tem um plugin gratuito do ChatGPT. Aí você interrompe a inference no meio de uma pergunta ou de uma tarefa específica e

16:06 precisa dizer à pessoa: “Ei, você deveria pagar pelo ChatGPT”, em vez de dizer que ela deveria pagar pelo seu produto no seu site. Certo, o próximo item é uma extensão de plugin. Basicamente, são aplicativos completos que rodam dentro do ChatGPT e do Codex. Figma e Adobe mostraram versões de seus produtos rodando ali. E, supostamente, o ChatGPT vai sugerir seu plugin no meio de uma conversa. Acho que ainda estamos na mesma situação do ano passado: não sabemos como ele vai sugerir que eu use o Adobe Photoshop em vez de algum outro

16:38 editor de imagens muito mais legal que também esteja no diretório deles. Isso vai depender de qual desenvolvedor paga mais à OpenAI? Não sei. Acho que veremos com o tempo. Também lançaram um marketplace da OpenAI com vários parceiros, incluindo Code Rabbit, Notion e outros. E achei meio engraçado que Sam Altman tenha destacado que, como a Baseten, que fornece inference, é uma dessas parceiras no marketplace, será possível acessar modelos open source no

17:08 marketplace. Aposto que não veremos isso no Claude tão cedo, de jeito nenhum. No geral, eu diria que o evento foi realmente muito interessante. Houve várias apresentações de ideias sobre para onde as coisas estão caminhando. Acho que coisas como a API de agents serão usadas por muita gente em organizações para criar seus agents hospedados, caso já sejam clientes da OpenAI. Acho que vai ser muito interessante ver como o dots se sai. Daqui a três meses, haverá 10 milhões de pessoas usando isso

17:39 todos os dias? Ou será algo que as pessoas simplesmente acrescentaram de lado? Também pode ser que o dots vire uma nova parte do co-pilot ou de algum tipo de aplicativo corporativo — algo sobre o qual eles também falaram, fazer versões para o trabalho desses tipos de assistentes. Enfim, contem nos comentários o que vocês acharam interessante. Sei que muita gente vai criticar a OpenAI e tudo o que ela fez. E, se você chegou até o fim, muito obrigado, porque provavelmente este vídeo não vai ter um desempenho muito bom. Mas acho muito importante ver o que eles estão pensando

18:10 sobre como as coisas vão se desenrolar. Sabemos que o buffet livre de tokens não pode durar para sempre, à medida que os custos aumentam. Sabemos que muita gente está tentando encontrar o aplicativo matador para IA, para poder cobrar um valor premium e não se concentrar apenas em vender tokens o tempo todo. E acho que o DevDay da OpenAI é sempre interessante para ter uma visão geral de onde as coisas realmente estão, tanto para os consumidores quanto para nós, desenvolvedores. Enfim, como sempre, se você gostou do vídeo, por favor

18:42 clique em gostei e inscreva-se. A gente se fala no próximo vídeo. Até mais.

Transcrição original

[00:00] Okay, so open AI had their Dev Day yesterday and there are a number of sort of really interesting points in there. What I want to do in this video is go through what they announced and give you my honest take on some of the different things that are there. I actually think there were some really interesting announcements not only for open AI themselves but also about how people are thinking at the frontier model labs themselves. All right, so first up is dots. So what actually is a dot? It’s basically an always-on agent that lives

[00:31] inside your chat GPT or at least chat GPT and Codex for now. There were some really interesting things though where you can sort of text it, you can call it and stuff like that. They talk about that it has its own computer in the cloud, its own browser. It can write and test code for you. It uses the same plugins that you’ve already connected to your account. And all those sort of plugins and apps and connectors, there are thousands of them there. One of the cool things here is you can add it to

[01:01] Slack. So in many ways you could kind of think of open AI basically covering off what anyone else has done in the personal agent space. So I think the big thing here is that this is their first or at least their more substantial foray into personal agents. So the idea here of where it can basically do things for you, it can be probably a lot more proactive than just reactive. Now it’s going to be interesting to see how that

[01:33] proactiveness actually plays out. Is this just a bunch of sort of cron jobs going on underneath or is there something a bit more to it? Obviously a lot of the ideas for this have come from things like Muse, like Grokbot, like Instinct, which is a startup that is very hot at the moment in San Francisco. It’s just raised about a billion dollars on a $10 billion valuation for their first round. And of course, the other two personal ones here would be Open Claw and Hermes.

[02:04] And don’t forget, while OpenAI didn’t buy Open Claw directly, they did hire the creator of that. And you can imagine he’s had a lot of input on where dots is actually going and how that should actually work. So, the interesting thing here is that this seems both be a pitch that this is your personal agent, but also perhaps more than your personal agent. They talk about the you give it responsibility. So, rather than just sort of go and do a task for me, like book a flight or something, this is going to sit on top of things and manage

[02:34] and monitor things, whether that’s like incoming bug reports, whether that’s testing fixes, whether that’s doing a whole bunch of different things. Now, the interesting thing is that this is actually powered by Astra. So, it’s powered by the top-level model that they’ve got there. And it does seem, in a very sort of Open Claw / Hermes kind of way, that you’re kind of expected to treat this as your chief of staff. Now, the usage model for this is really kind of interesting and worth understanding as well. OpenAI said that your dot is

[03:05] included in your plan. So, talking to it doesn’t consume your token usage sort of stuff. But, anything that it kind of does on your behalf does. So, a dot operates on top of your ChatGPT and your Codex threads, but the threads that it drives for you in those particular apps, so in its own computer, it looks like they’re going to be threads that do count to your token usage. So, basically, talking to it is free, but the work that it does for you is not

[03:35] going to be free. I can still see that this is going to be a huge win for people who perhaps have never tried out Open Claw, never tried Hermes. And in many ways, Google tried to do this with Gemini Spark after Google I/O, but it seems to me that that hasn’t taken off as much as they would have liked, perhaps in large degree because of the models that were actually running it and what it actually had access to. You could imagine, too, that the actual dots or the dot that works for you is going

[04:06] to be a large part of the OpenAI hardware that supposedly they’re bringing out a product either late this year or next year sometime. And so, if that product is like people have pictured where it’s some kind of, you know, hockey puck or something like that that you can then talk to, that you can then interact with, you could imagine that that is something then that people are going to basically put on their desk, have it sitting there on all the time, being able to talk to their dot. And if they feel the usage for that is free for the actual conversations, but

[04:37] they’re just getting billed for anytime this thing goes off and does something for you, I can see that being appealing to a lot of people who don’t have a plus account, don’t have a Teams account, don’t have a pro account currently. And like I’ve said in a number of videos, if you’re watching my videos, you’re definitely one of the earlier adopters. I think some of the real huge growth that we’re going to see over the next couple of years with these particular companies and with AI itself is just the normies or the sort of masses are going to come along and start using these things in their day-to-day life. All

[05:08] right, so let’s look at some of the developer stuff that they launched. So, that brings us to sort of agents API. And this is basically their managed agent runtime. So, just like we’ve got Claude managed agents, we’ve got a number of companies that are doing this and I’ve made videos about these specific things. You basically get a harness, hosting, memory, sort of multi-agent controls, and now they’ve added computer use to that as well. I do wonder how much is this a me-too product, basically where they just don’t want to lose market share to Anthropic

[05:39] who’s been offering their Claude managed agents since much earlier this year. And And interesting that this does seem to be the same stack that powers Codex and dots. Just like the Claude managed agents is using a lot of the same stack that powers Claude code and co-work. So, the way I think about this one is that there are a lot of companies out there that are using the open AI models, whether that’s directly, whether that’s through AWS or Microsoft. This gives them a way to build vertical harnesses so that an agent for insurance claims,

[06:12] an agent for sort of contract reviews, all of those things are going to be possible. And it’s basically going to be running on a runtime that’s kind of been rubber stamped by open AI as to what they’re saying is the best way for running their own agents. The second big developer news here was the whole decisions API. And I kind of feel this one really wasn’t a surprise. I’ve made comments before that probably most of the frontier labs have Jev models in development after seeing just the reactions to the whole idea of a

[06:44] decision model. And yet again, like I’ve said in a couple of my videos, it does seem that these people are settling on the name of decision models with open AI actually calling their one the decisions API. The idea here is that this is a Luna model. So, again, you don’t need a huge model to do this. This is something that we’ve looked at in my videos with the open models, etc. Certainly, Luna is actually a bigger size than a lot of the open models that I’ve shown. And pretty much the idea here is very similar to Jev. You’ve got a model, you give it a predefined set of options, and it

[07:15] basically sort of picks one out. Interestingly, they are launching with image support. And I kind of feel this is a no-brainer here. You don’t need a big model to do it, and you don’t need a huge amount of training. Open AI didn’t really even hide that. They said on stage, it’s the Luna model. And I think for a lot of organizations that aren’t going to want to add another new company, aren’t going to want to run something like this on prem, this just becomes a no-brainer for them to basically use the open AI version of this. Now, another big developer announcement that they had there was the

[07:46] new model. Now, almost every year we get a new model and stuff like that. And at first, my gut reaction was like, “Okay, GPT 6.1 Soul.” Remember, Astra is the really big one. Soul is their version of sort of Opus. My first reaction was like, “Okay, so what? Does this really kind of matter here?” But, it was interesting that just like Opus 5.5 seems to have improved massively on Fable. They’re saying that GPT 6.1 Soul is actually getting up there on par with the Astra level here. And the other

[08:18] thing here is that this is like a fifth of the actual Astra costs. So, it’s $2 per million input tokens, $10 per million output tokens, and then amazingly, only 10 cents for caching that input. So, when you compare that to Astra, which is $10 in, $50 out, this is an 80% saving for a model that’s supposed to be on par with that Astra model. Now, it does seem that just like with Fable, there are certain kinds of things where if you’re maxing out the

[08:49] thinking on Astra or on Fable, the second tier of models is going to be just slightly not as good there. The other thing that I thought was fascinating here was the actual price for caching. So, it’s a 95% discount. And we know that sort of agents reread the same context over and over again, the system prompt files, the conversation so far. So, for agent workloads, the cash price is going to be the real price in here. And on a personal note, I noticed this yesterday with something that I was working on,

[09:20] where I’d done 250 million tokens of using the Opus 5.5 model, yet about 96% of all the tokens were actually already cached. So, the price wasn’t anywhere near what you would think it would be if you were talking about 250 million tokens there. So, out of this, I think if you’re running agents on OpenAI, Soul 6.1 is probably going to become your new default model there. All right, next up that brings us to Codex. And there are a few things that people have been asking here for. So, Codex on Linux, multiple

[09:51] folders in one project, Codex on your phone. Sam Altman basically announced those very quickly even before they got to probably some of the interesting things in here. Big one for me here is that whole idea of Codex in the cloud. So, this definitely enables you to basically start a task on your phone, pick it up in your browser, run with it over a lot of different surfaces. And it was kind of funny in Romaine’s demo for that being literally like, “Okay, rewrite the entire back end in Rust.” and then just sort of leaving it and walking away. Interestingly, they’ve

[10:23] also brought voice into the app and to the CLI. So, this is their bidirectional audio powered by GPT Live. So, it’s not just doing sort of dictation. Unfortunately, they had some hiccups with that on stage. But, I guess if you’re like myself or most people who are using these agents nowadays, you’re talking to them and not typing to them most of the time anyway. There are also some nice things that they showed around computer use and allowing Codex to actually use that, whether that’s for sort of getting app shots as it’s actually making something for you, and

[10:55] some nice stuff around security of where it can basically scan for vulnerabilities and prepare fixes for you to review as it’s actually going through your code base. All right, so next up was one that I think is really kind of interesting and this was ultrafast. So, this is Astra at eight times the speed of the normal API for six times the price. Now, they’re claiming that this can do around 300 tokens per second. I’m guessing this is basically the running on Cerebras version of these models. And as we’re

[11:26] all starting to see with running these agents, these agents can take hours. So, I guess if you’ve got the budget to pay for this, being able to get something done at a really fast pace may be worth it. I’m not totally convinced though how much people will actually pay for the the six times the price API. They mentioned that this is out on Astra and coming to Soul very soon. I guess if you were to take the Soul 6.1 at six times the price, it’s only slightly more expensive than the normal speed Astra

[11:57] was before. So, like that, maybe it is a good deal. Let me know in the comments. I can certainly see that maybe there are people that are quite happy to pay that premium to get the tokens a lot faster, etc. And it is probably going to make sense where latency is the product. So, for anything that you’re doing sort of live editing or interactive demos or where there’s actually a user sitting there waiting for something to happen, then those tokens being that much faster probably is going to be worth it. And this kind of ties us into one of the

[12:28] things that I think is probably controversial that they announced, that there’s a new Pro 500 plan. And as I was watching this, I only kind of twigged what it was as they were sort of rolling out that there were Pro 200, Pro 100 plans as well. So, this is a 500 being $500 per month here. And this is going to have 25 times the usage of Plus. It’s also going to have access to ultra-fast in ChatGPT and Codex. And interestingly,

[12:58] that usage is going to carry over into partner apps. So, that’s something that’s going to be interesting to see. Now, they reopened the Pro 200 plan. So, the $200 plan, they actually closed that after Astra for a while. I think they just didn’t want people just hammering it and stuff like that. And the sad thing here is and the thing that perhaps is going to anger a lot of people is that this has gone from being 20 times Plus down to 10 times Plus here. Now, we know that usage limits are something that kind of fluctuates anyway, so it’s

[13:29] going to be interesting to see how this actually plays out. And does that drive a lot of people who were paying for the 200 to move to the $500 plan, or does it have the opposite effect and drive more people to go over to Anthropic’s plan? It does seem at this point that the pricing is kind of steering you, and that really now if you’re going to go for the sort of top-tier models, you’re going to have to be paying quite a lot of money to do that. All right, so the third part of the keynote was about helping you to find customers. And here

[14:01] basically Sam Altman was pretty candid that they’ve tried different versions of these kind of things before with mixed results. And just to recap those, we’ve seen a bunch of these things. They first started out with ChatGPT plugins back in March ’23. They had GPTs for a while from sort of November ’23. They had the GPT store. They then went and sort of switched off all the original plugins. Around this time last year they announced apps in ChatGPT and the whole sort of apps SDK. And I don’t know about

[14:33] for you, but I haven’t really seen apps take off here at all. So it does seem to me that this is something that’s still definitely a work in progress. And I think Sam Altman’s statement of saying that they’d had mixed results with what they’ve launched is in many ways an understatement here. So what have they got new? So I would say the big and most interesting piece here is the whole sign-in with ChatGPT, where users can sign in to your app and use the tokens that come with their ChatGPT plan on your particular app. And I think the

[15:05] argument here is that that allows you to basically ship sort of like a free core app. That because you’re no longer having to pay for the inference of tokens, you can sort of give people a taste, and then you can upsell to other parts of it without it costing you a fortune. So I think this really opens up the door to a bunch of new freemium products that we’ll see that use this kind of thing. The challenge is going to be, though, do we very soon see a sign-in with Claude? And then are sites

[15:35] going to basically have to allow people to sign in with Claude or to sign in with ChatGPT or to sign in with Gemini? All these ideas are trying to do what the Facebook login button did sort of back 15-plus years ago. But, we don’t just have one major player here. We’ve actually got a few different players. It’s also not clear what are you actually offering if someone comes to your site and they’ve only got a free ChatGPT plugin. Uh you then sort of stopping their inference halfway through a question or halfway through some particular task and

[16:06] having to tell them, “Hey, you should go and pay for ChatGPT as opposed to you should pay for my product on my site.” All right, next up a plugin extension. So, these are basically full apps that run inside ChatGPT and Code X. Figma and Adobe both showing versions of their products running in there. And supposedly ChatGPT is going to suggest your plugin in the middle of a conversation. I think we’re still in the same place as last year where we don’t know how it’s going to suggest that I use Adobe Photoshop over some other

[16:38] hyper cooler image editor that happens to be in their directory as well. Is that going to come down to whichever developer pays OpenAI the most? I don’t know. I guess we’ll see with time. They also launched an OpenAI marketplace with a bunch of different partners including people like Code Rabbit, Notion, etc. And I thought it was kind of funny that Sam Altman actually made the point that because Base Ten, who’s an inference provider, is one of these partners in the marketplace, you will be able to access open-source models in the

[17:08] marketplace. My bet is that’s something that you’re not going to see on Claude anytime soon in any way, shape, or form. So, overall I would say that the event was actually very interesting. There were lots of things showing sort of ideas of where things are going. I do think that things like the agents API is going to be something that a lot of people are going to use in organizations to make their hosted agents, if they’re already an open AI customer. I do think it’s going to be really interesting to see how dots plays out. And 3 months from now, are 10 million people using it

[17:39] every day? Or is it something that people have just basically added onto the side? And it could be that dots becomes a new part of co-pilot or of some kind of enterprise apps, which is something that they actually talked about making sort of work versions of these kind of helpers as well. Anyway, let me know in the comments what you thought was interesting there. I know a lot of people are going to bag on open AI and criticize everything that they did. And if you’ve listened to the end here, thank you very much cuz I know this video is probably not going to do very well. But I do feel it is very important to see what they’re thinking

[18:10] about how things are going to play out. We know that the all you can eat buffet of tokens cannot go on forever as costs go up. We know that lots of people are trying to find the killer app for AI so that you can charge a premium and not just focus on selling tokens all the time. And I think open AI’s dev day is always interesting to get a sort of state of play of where things actually are both for consumers, but for us as developers as well. So, anyway, as always, if you like the video, please

[18:42] click like and subscribe and I will talk to you in the next video. Bye for now.