GPT-6.1 Sol (testado por completo) + explicação de todos os lançamentos do DevDay: ele supera o Opus 5.5!?

Ver no idioma original →

Autoria: AICodeKing · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: GPT-6.1 Sol (Fully Tested) + Dots & All DevDay Launches Explained: IT BEATS OPUS 5.5!? · Canal: AICodeKing · 20:14 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Modelos de IA, Modelos locais e open source

Resumo

O vídeo apresenta os anúncios do DevDay da OpenAI e testa o GPT-6.1 Soul em oito tarefas de programação no Codex. O modelo conclui os testes com 78 de 80 pontos, com bons resultados em demonstrações interativas, jogos, cálculos e fine-tuning local. A avaliação também identifica problemas específicos na lógica de despacho dos elevadores e na geometria da mesa dobrável. O apresentador ressalta que a amostra é pequena e que os resultados gerados ainda precisam ser revisados.

Pontos-chave

• O vídeo informa que o GPT-6.1 Soul custa US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída na API, nas condições descritas.
• Os anúncios do DevDay incluem Dots, Codex Cloud com ambientes reutilizáveis, ferramentas de revisão de código e agentes com uso de navegador.
• O teste foi feito no Codex com esforço de raciocínio médio, em oito tarefas independentes de até 10 pontos cada.
• O GPT-6.1 Soul obteve notas máximas na caixa para lentes de contato, no SVG de panda, no jogo de arco e flecha, no problema matemático, no fine-tuning local e no relógio 3D.
• A simulação de elevadores recebeu 9,5 pontos por uma decisão de despacho que pode causar espera desnecessária.
• A mesa dobrável recebeu 8,5 pontos porque partes da estrutura atravessam umas às outras durante o movimento.
• O resultado final foi 78 de 80 pontos, ou 97,5%; o vídeo compara esse resultado com avaliações anteriores, mas ressalva que ferramentas e configurações diferem.
• O apresentador recomenda inspecionar o trabalho gerado antes de confiar nele, apesar da qualidade geral dos resultados.

Capítulos

Início	Capítulo	Resumo
00:02	GPT-6.1 Soul e anúncios do DevDay	O apresentador descreve o modelo, os preços e as especificações da API, antes de resumir os principais anúncios do DevDay.
03:07	Novidades para Codex, agentes e desenvolvedores	A seção aborda os planos ultrarrápidos, ambientes do Codex Cloud, revisão de código, segurança e recursos de agentes na API.
06:17	Novos recursos de ChatGPT e colaboração	O vídeo apresenta extensões, MCP events, espaços compartilhados, tarefas em equipe e integrações com Slack, Teams e outros serviços.
10:25	Método e início dos testes no KingBench 3	O apresentador explica as condições do teste no Codex e começa a avaliação das oito tarefas, incluindo a simulação de elevadores.
11:26	Avaliação das demonstrações interativas	São examinados os resultados da simulação de elevadores, da caixa para lentes de contato, da mesa dobrável, do SVG de panda e do jogo de arco e flecha.
15:33	Problema matemático e fine-tuning local	O modelo resolve um problema de contagem e executa um fluxo local de criação de dados, treinamento de um adaptador e geração de fatos sobre pandas.
18:40	Pontuação final e conclusão	O relógio 3D recebe nota máxima e o apresentador conclui que o modelo fez 78 de 80 pontos, destacando acertos e defeitos a corrigir.

Citações

Cada tarefa recebe uma pasta nova com o mesmo pedido do KingBench 3 usado naquele teste. — 10:25

A resposta, o argumento e o cálculo executável estão de acordo. — 16:37

GPT-6.1 Soul termina com 78 pontos de 80 no KingBench 3. — 18:40

Eu ainda revisaria o trabalho gerado antes de confiar nele. — 19:43

Conceitos e entidades

• GPT-6.1 Soul (modelo): Modelo da OpenAI avaliado em oito tarefas de programação no Codex.
• Codex (ferramenta): Ambiente usado no vídeo para executar as tarefas e inspecionar os resultados do modelo.
• KingBench 3 (conceito): Conjunto de oito tarefas usado no vídeo para avaliar resultados de programação.
• Dots (ferramenta): Agentes apresentados no DevDay como assistentes contínuos com computador e navegador na nuvem.
• Codex Cloud (ferramenta): Serviço do Codex que passa a oferecer ambientes de desenvolvimento reutilizáveis.
• OpenAI (empresa): Empresa responsável pelos anúncios do DevDay e pelo modelo testado.
• Opus 5.5 (modelo): Modelo citado como referência de comparação com resultados de avaliações anteriores.
• Gemma 2B (modelo): Modelo usado localmente na tarefa de fine-tuning e geração de fatos sobre pandas.
• LoRA (conceito): Método de treinamento usado para criar e salvar um adaptador para o Gemma 2B.
• MCP events (conceito): Especificação mencionada no vídeo para permitir que serviços conectados notifiquem o ChatGPT sobre mudanças.

Tradução completa (pt-BR)

00:02 [música] >> Oi. Bem-vindos a mais um vídeo. A OpenAI lançou o GPT-6.1 Soul. E a proposta aqui é bem interessante. Ele chegou em 29 de setembro, com a OpenAI posicionando-o como um modelo que chega perto do desempenho do Astra, mas custa menos. Agora, quero ver o que isso significa quando você realmente passa a ele uma tarefa de programação e abre o resultado. O foco é programação complexa, uso do computador e trabalho profissional. Pense em tarefas em que o modelo precisa

00:33 seguir vários requisitos, trabalhar em um projeto e conferir o que criou. A comparação da OpenAI com o Astra nos dá algo para investigar, mas quero que os exemplos concluídos sejam convincentes por si só. Para a API, o preço-base padrão é de US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída. A entrada em cache custa 10 centavos por milhão. Essas tarifas se aplicam a solicitações com até 272.000 tokens de entrada. Solicitações mais longas e outras opções de processamento têm tarifas diferentes. Então, se você está desenvolvendo

01:03 algo usando a API, a quantidade de contexto enviada ainda importa. A API também lista uma context window de pouco mais de 1 milhão de tokens e um máximo de saída de 128.000 tokens. Essas são as especificações do modelo na API. Neste vídeo, estou testando-o pelo Codex nativo, e o Codex tem seu próprio gerenciamento de contexto e regras de uso. Se você entrar com o ChatGPT, o limite do seu plano e os créditos determinam a cobrança, então o preço da API não é o preço de cada tarefa no Codex. Agora, o Soul foi apenas uma parte do Dev Day.

01:34 A OpenAI também anunciou mudanças nos agents, no Codex, no ChatGPT e na plataforma para desenvolvedores. Então, antes de falarmos do KingBench, vamos ver o que mais foi anunciado e por que isso pode ser importante para você. O maior destaque são os Dots. São agents sempre ativos, com tecnologia do GPT-6 Astra, que têm seu próprio computador e navegador na nuvem. Você atribui a um Dot uma responsabilidade contínua, conecta as ferramentas de que ele precisa e ele pode continuar trabalhando em vários projetos, aprendendo suas preferências com base no feedback. Para um desenvolvedor, isso poderia significar acompanhar

02:04 o feedback dos clientes, investigar bugs e preparar alterações para revisão. Para um criador, poderia significar manter organizados os materiais de pesquisa e produção conforme o projeto muda. Você pode acessar seu Dot pelo ChatGPT, Slack ou Teams, inclusive por conversas de voz no ChatGPT. Você pode inspecionar o trabalho dele e definir regras sobre o que precisa de aprovação. Os Dots estão sendo disponibilizados para usuários dos planos Pro e Business Premium nos mercados elegíveis, com uma versão beta habilitada por administradores para Enterprise, EDU e saúde. A OpenAI também apresentou Dots especializados

02:35 para responsabilidades específicas nas empresas e trabalho com o Microsoft Agent 365. Essas implantações especializadas estão começando com projetos-piloto empresariais. Depois, há o ultrarrápido. A OpenAI diz que esse nível premium pode gerar tokens até oito vezes mais rápido no Codex e até seis vezes mais rápido na API. O Astra ultrarrápido já está disponível, enquanto o GPT-6.1 Soul ultrarrápido será lançado em breve. Isso poderia fazer as iterações repetidas de programação parecerem muito mais rápidas, embora a velocidade de geração de tokens não seja a mesma coisa que concluir um projeto inteiro nessa mesma proporção. Acesso e custo importam aqui.

03:07 O novo plano Pro 500 custa US$ 500 por mês, oferece 25 vezes o limite de uso do Plus e dá acesso ao ultrarrápido. Clientes empresariais elegíveis também têm uma opção ultrarrápida. Na API, há um preço premium separado. Pessoalmente, eu avaliaria essa atualização pelo quanto de espera ela elimina do meu trabalho real. O Codex Cloud está recebendo ambientes de desenvolvimento reutilizáveis. Você pode pedir ao Codex para preparar os repositórios, as dependências e as ferramentas, revisar a configuração e publicar um ambiente para tarefas futuras. Cada tarefa tem seu próprio

03:38 estado de trabalho. Gosto disso porque repetir a mesma configuração para cada tarefa é uma das partes menos interessantes de trabalhar com agents de programação. Você também pode acessar o Codex remotamente e acompanhar o trabalho de outros dispositivos. O Codex CLI atualizado adiciona controle por voz, uma visualização de agents por barra, além de melhorias na edição de prompt, na retomada de sessões, nas árvores de trabalho e na interface do terminal. Essas mudanças são úteis quando você passa uma sessão inteira alternando entre várias tarefas de programação. A revisão de código também ganhou uma experiência mais completa no desktop.

04:08 Você pode inspecionar resumos, diffs, comentários e verificações e, depois, pedir ao Code X que investigue um possível problema. O suporte ao GitHub está disponível de forma geral, enquanto o suporte a merge requests do GitLab está em prévia. Quando configuradas, as revisões automáticas na nuvem podem fazer uma primeira análise, para que você tenha descobertas a inspecionar quando voltar. O Code X Security Cloud vai além, cuidando da segurança dos repositórios. Ele pode verificar repositórios do GitHub conectados, conferir novos commits, investigar descobertas e preparar correções na nuvem. O produto está em prévia de pesquisa, e

04:39 a Open AI diz que ele inclui acesso a modelos da Daybreak Blue sem precisar de um aplicativo separado da Daybreak. O lado útil é ter evidências e uma correção proposta para revisar, enquanto o trabalho continua mesmo com o notebook fechado. No lado da API, a Agents API existente agora oferece suporte ao uso do computador por meio de um navegador hospedado pela Open AI. Isso dá aos desenvolvedores uma forma de criar agents que navegam em sites e interagem com softwares, além de ferramentas, gerenciamento de contexto e delegação. Seu aplicativo cuida das aprovações de sites e das solicitações de login. O GPT-6.1 Soul também

05:13 recebe suporte beta a vários agents na Responses API, permitindo que um aplicativo o deixe dividir tarefas adequadas entre subagents. Também há uma prévia de agents gerenciados pelo Bedrock, desenvolvidos com a Amazon. Isso leva os principais recursos de agents para a AWS, com integração aos recursos da AWS. Se seu aplicativo e sua infraestrutura já estão lá, a principal vantagem é poder executar os agents inteiramente dentro da AWS. Outro anúncio é a API de decisões. Ela se concentra no Luna para responder a perguntas com um conjunto fixo de respostas possíveis,

05:45 usando contexto de texto ou imagem. Pense em classificar solicitações recebidas ou decidir qual ação um agent deve executar em seguida. Está em prévia limitada, com lançamento mais amplo previsto para os próximos dias. Para empresas que lidam com informações confidenciais, a OpenAI introduziu a inteligência privada. Para clientes aprovados com retenção zero de dados, o processamento de segurança privado realiza verificações automatizadas de segurança sem dar ao pessoal da OpenAI acesso ao conteúdo subjacente. A inferência privada é uma prévia separada, prevista para este outono, que combina computação confidencial com controles verificáveis. Essas são opções específicas

06:17 de implantação que uma empresa avaliaria de acordo com seus requisitos. Agora, o próprio ChatGPT está ficando mais personalizável. As extensões de plugins permitem que desenvolvedores criem aplicativos na barra lateral, painéis ao lado de uma conversa e seus próprios visualizadores e editores de arquivos. Assim, um plugin pode oferecer uma interface de verdade para trabalhar com seus dados. As menções do Composer estão disponíveis apenas no desktop, e as extensões para a web nos planos Free e Go chegarão em breve. A OpenAI também anunciou melhorias no criador de plugins, no feedback sobre o envio de plugins e na descoberta por meio de classificações e recomendações.

06:48 Os perfis compartilháveis oferecem às pessoas um lugar para mostrar sites e sua atividade com plugins. Para quem cria ferramentas, isso facilita mostrar o que criou e ajudar outras pessoas a encontrar essas ferramentas. Os sites agora podem usar plugins compatíveis nos espaços de trabalho elegíveis. Imagine um painel de projeto compartilhado em que você vê as issues atribuídas a você e um colega vê as dele. Cada visitante usa sua própria conta conectada e suas próprias permissões. A OpenAI também destacou automações de sites mais simples para ajudar a manter atualizadas as informações compartilhadas. Os eventos MCP acrescentam outro recurso útil. Um serviço conectado pode avisar o ChatGPT quando

07:20 algo muda. Você escolhe o que acompanhar e como ele deve reagir. Por exemplo, uma nova issue poderia disparar uma tarefa para investigá-la e preparar um plano. Isso usa o suporte à especificação proposta de eventos MCP e oferece aos desenvolvedores uma maneira de criar workflows em torno de eventos recebidos. Há também uma atualização para quem desenvolve interfaces de navegador. A extensibilidade de anotações permite que um site forneça contexto mais rico e controles personalizados quando você seleciona algo e pede uma alteração. Uma ferramenta de design poderia permitir selecionar um objeto específico da tela ou visualizar uma variação de

07:52 componente antes de enviar a solicitação. Isso ajuda a tornar o feedback visual mais preciso no navegador integrado aos aplicativos para desktop. Para colaboração, a OpenAI apresentou o ChatGPT Space e o Pages. O Space reúne arquivos e conhecimento compartilhados, enquanto o Pages oferece documentos nos quais pessoas e agents podem trabalhar juntos. Você pode escrever, pesquisar, adicionar gráficos ou imagens, deixar comentários e mencionar o ChatGPT ou seu Dot para fazer alterações. Para uma equipe, vejo o apelo de ter o documento de trabalho, seu contexto e a assistência da IA no mesmo lugar.

08:23 Os slides colaborativos chegarão nas próximas semanas. A experiência anunciada permite que colegas de equipe e agents editem uma apresentação juntos, começando por uma conversa ou um modelo, e depois a apresentem ou exportem para o PowerPoint ou o Google Slides. O Space está disponível nos planos Pro, Business e Enterprise. A criação e edição de páginas começa no desktop e na web, e a edição em dispositivos móveis virá depois. Teams e tarefas compartilhadas pela equipe atendem ao trabalho recorrente. Uma equipe pode manter instruções para uma atualização semanal ou um workflow acionado por eventos, usando as conexões configuradas.

08:54 Essas tarefas usam créditos do workspace. A OpenAI também expandiu o ChatGPT para o Slack e o Microsoft Teams, onde colegas de trabalho podem contribuir com contexto e refinar juntos o mesmo resultado. Nos canais habilitados, não é necessário que cada colega de equipe tenha uma licença individual do ChatGPT para participar. O plugin de reuniões também se conecta a esse fluxo de trabalho. Ele cria anotações personalizadas e itens de ação no espaço, e você pode pedir ao ChatGPT que os transforme em tarefas de acompanhamento. Está em beta no macOS para usuários Pro e

09:24 Business, com suporte ao Enterprise e a uma plataforma mais ampla chegando posteriormente. O áudio é excluído assim que as anotações ficam prontas, e você deve obter o consentimento de todos antes de fazer anotações. Entrar com o ChatGPT é outro anúncio que, acho, vai chamar a atenção das pessoas. Além de entrar em outros aplicativos, usuários elegíveis dos planos Plus e Pro podem usar sua franquia do ChatGPT em ferramentas participantes, com controles sobre quanto cada uma delas pode usar. A OpenAI citou parceiros, incluindo Devin, Notion, Vercel e T3. Esse uso

09:54 conta para os limites do seu plano, então você passa a ter mais lugares onde usar a franquia que já tem. Por fim, o OpenAI Marketplace permite que clientes corporativos elegíveis destinem parte do compromisso já existente com a OpenAI a softwares aprovados de parceiros. Os parceiros iniciais abrangem design, suporte ao cliente, aplicativos empresariais, segurança e outras categorias. Essa é principalmente uma opção de compra para empresas que já gastam nessa escala. Então, há muita coisa aqui além do lançamento do modelo. Os anúncios que mais me interessam para programação são os ambientes de nuvem reutilizáveis,

10:25 agents com recursos de navegação na web e as ferramentas de revisão aprimoradas. Agora, vamos voltar ao GPT-6.1 Soul e ver como o modelo se sai nas oito tarefas do KingBench no Codex. Nessas execuções, selecionei explicitamente o nível médio de esforço de raciocínio. Cada tarefa recebe uma pasta nova, com a mesma solicitação do KingBench 3 usada nesse teste. Assim, temos um resultado que podemos abrir e inspecionar por conta própria, e vou avaliar o que o modelo realmente entrega. São oito tarefas, cada uma valendo 10 pontos, para um total de 80. Temos uma

10:56 simulação de elevadores, um estojo para lentes de contato, uma mesa dobrável, um SVG de panda, um jogo de arco e flecha, um problema de contagem, fine-tuning local de um panda e um relógio de pulso 3D funcional. É uma combinação útil porque cada tarefa pede algo diferente. Os elevadores precisam manter os passageiros em movimento corretamente. Os objetos 3D precisam ter geometria convincente e interações. O jogo precisa de acertos, cronômetro e um placar funcional. E a tarefa de fine-tuning precisa de um modelo local de verdade por trás da página. Vou verificar tanto a aparência desses resultados

11:26 quanto se o comportamento solicitado funciona. Então, vamos direto ao assunto, começando pelos elevadores. A primeira tarefa é uma simulação de elevadores. Quero três elevadores, cada um transportando uma pessoa, com passageiros esperando em andares diferentes e destinos aleatórios que aparecem quando você passa o cursor sobre eles. Então, aqui está o que Soul criou. Temos sete andares, um controle para definir quantas pessoas adicionar e esses pequenos passageiros esperando ao lado dos poços. As cores são suaves, o layout é claro e os contadores facilitam acompanhar o que está acontecendo. Gostei bastante da apresentação. Vamos adicionar cinco pessoas no terceiro andar.

11:57 Um passageiro entra, os outros ficam esperando, e os elevadores continuam recolhendo e levando passageiros aos seus destinos. Podemos adicionar alguém em outro andar enquanto isso acontece. A dica de destino funciona, e também há controles úteis de pausa e velocidade. Há um ponto fraco no despacho. Se eu adicionar duas pessoas no sexto andar, um elevador pode estar parado bem ali e ainda assim ficar ocioso enquanto os outros dois sobem para buscá-las. No fim, todos chegam ao destino, mas isso gera uma espera desnecessária. Então, vou dar 9,5 de 10. A simulação principal funciona bem, mas há um

12:27 problema específico de escalonamento a melhorar. Em seguida, temos o estojo para lentes de contato. Ele precisa ser um modelo em 3js, com marcações bem visíveis de esquerda e direita e tampas que abram quando eu clicar nelas. Este ficou muito bom. Temos um estojo conectado, duas tampas estriadas, letras em relevo e uma interface simples ao redor do objeto. Os detalhes fazem com que pareça um produto físico reconhecível. Agora, posso clicar diretamente na tampa esquerda, e ela se ergue para longe do estojo. A da direita permanece fechada até eu clicar nela também. Os dois lados têm cavidades rebaixadas adequadas

12:59 embaixo, com formas transparentes de lentes no interior. Se girarmos o objeto, podemos inspecionar as laterais e a parte de baixo da tampa erguida. Também conferi se cada tampa pode ser fechada de forma independente. A interação funciona nos dois sentidos, e os rótulos se movem junto com as tampas. Tudo está em um único arquivo HTML, usando 3js de uma CDN. Atende muito bem ao pedido, então recebe 10 de 10. É um ótimo exemplo de como Soul lida tanto com a apresentação quanto com o próprio objeto. A terceira tarefa é a mesa dobrável. Mover o controle deslizante para a direita

13:29 deve desdobrá-la, e movê-lo para a esquerda deve dobrá-la, com movimento suave em três dimensões. Mais uma vez, a apresentação inicial é atraente. Há uma superfície de madeira, uma estrutura de metal, posições predefinidas da câmera e diferentes acabamentos. O controle deslizante responde suavemente, e a mesa realmente tem peças móveis separadas. Os dois extremos funcionam, e podemos percorrer a animação nos dois sentidos. Mas observe as pernas quando paramos no meio do movimento. Elas atravessam a outra peça de madeira. Mais adiante, as duas estruturas se cruzam uma pela outra por baixo do centro. Olhar de frente facilita

14:01 ver isso, e conferir a geometria confirma a colisão. Isso importa nesta tarefa específica porque o mecanismo de dobragem é o principal aspecto que estamos testando. O movimento é suave, mas a disposição física precisa ser melhorada. Então, vou dar 8,5 de 10. O resultado entrega uma demonstração interativa atraente, mas perde pontos por essas interseções durante a dobragem. Agora, o SVG do panda. O pedido é simplesmente um panda comendo um hambúrguer, e este é um bom resultado. Temos um panda claramente reconhecível segurando o

14:31 hambúrguer com as duas patas. Falta uma mordida no pão. O hambúrguer está encostado na boca, e as camadas de alface, queijo e recheio são fáceis de distinguir. As migalhinhas e a expressão também dão personalidade ao desenho. Ele é renderizado como um SVG válido, e as proporções e camadas funcionam. Uma ilustração estática atende perfeitamente a esse prompt. Não vejo nenhum requisito faltando. Então, recebe 10 de 10. É uma tarefa simples, e Soul a executa direitinho. Agora, vamos ao jogo de arco e flecha, e gostei muito deste. Você tem um campo de tiro na floresta com quatro

15:02 alvos, um arco visível e instruções claras para preparar e soltar um disparo. As flechas seguem uma trajetória curva, e dá para ver o impacto quando atingem um alvo. Joguei duas rodadas completas, com quatro disparos e quatro acertos em cada uma. A primeira durou 43,75 segundos e me colocou em sétimo lugar no placar. Depois, melhorei para 29,03 segundos, o que me fez subir para o sexto lugar. Então, o tempo mais rápido realmente melhorou minha posição, exatamente como solicitado. O recorde pessoal também foi atualizado, e atualizar a página manteve essa

15:33 pontuação. O placar começa com resultados de exemplo e depois adiciona suas próprias partidas salvas. As verificações de lógica separadas também foram aprovadas para disparos errados, alvos repetidos e ordenação das pontuações. A apresentação é clara, o jogo pode ser jogado e o ciclo completo de pontuação funciona. Não encontrei nenhuma falha nos recursos solicitados, então recebe 10 de 10. Em seguida, temos o problema de contagem. Há 60 pares dispostos em 20 colunas e três linhas. E a pergunta é: “Quantas ordens satisfazem as regras de movimento?” Você começa na linha de cima, termina na linha de baixo e visita cada par exatamente uma vez.

16:04 O movimento horizontal segue para a frente e dá a volta ao chegar ao fim, enquanto o movimento vertical passa entre linhas vizinhas. A resposta esperada é 20.460, e o GPT-6.1 Sol acertou. Ele também apresentou um argumento matemático e um script em Python que conta as possibilidades. A explicação fixa a coluna inicial, encontra 1.023 caminhos válidos e depois multiplica pelas 20 colunas iniciais possíveis. O raciocínio lida com a volta ao início e verifica se os caminhos permanecem conectados. Revisei o script entregue e o executei sem alterações.

16:37 Ele retornou a mesma resposta, e os casos menores também corresponderam a verificações independentes. O modelo já havia executado seu próprio solucionador com sucesso durante a tarefa. Então, este é um ótimo resultado. A resposta, o argumento e o cálculo executável concordam. 10 de 10. Agora, vamos à tarefa de fine-tuning local. Pedi que ele criasse um conjunto de dados de pandas, fizesse fine-tuning do Gemma 2B e construísse uma página local que gerasse um fato sempre que eu a atualizasse. Este é um fluxo de trabalho maior do que as demonstrações anteriores. Sol criou 51 fatos sobre pandas com fontes e

17:09 transformou-os em 306 exemplos, com conjuntos separados de treinamento, validação e teste. Em seguida, executou um treinamento LoRA de verdade localmente e salvou os pesos do adapter. Então, temos o conjunto de dados, o adapter do modelo treinado e o aplicativo juntos. A execução do Codex incluiu a própria depuração. Soul ajustou uma taxa de aprendizado instável, selecionou o checkpoint com a melhor perda de validação e corrigiu um problema de threading no servidor de inference local. Depois dessas alterações, executou testes de geração e no navegador. Aqui está a página pronta. Gosto das cores suaves, da ilustração do panda

17:39 e do grande cartão com informações. A primeira informação que verifiquei foi sobre a expectativa de vida de um panda selvagem. O botão gerou uma informação diferente sobre conservação, e atualizar a página gerou uma sobre armadilhas acidentais. A referência à fonte, que pode ser expandida, também funcionou. Cada solicitação executa o modelo Gemma local com o adapter treinado. O aplicativo fornece uma informação de referência para ajudar a orientar a frase gerada e mantém a resposta exibida em uma única frase. Esse é um contexto útil. Este é um aplicativo pequeno e especializado, com fundamentação em referências

18:10 como base. Verifiquei o adapter salvo, o treinamento concluído e a página funcionando. Depois que a configuração é concluída, a geração acontece localmente. Isso atende ao workflow solicitado, então dou nota 10 de 10. Por fim, temos o relógio de pulso 3D, e há bastante coisa para observar aqui. Você tem uma caixa metálica, uma coroa, hastes, uma pulseira costurada, uma fivela e furos de verdade na pulseira. Girar a câmera permite inspecionar a espessura da caixa e o restante do relógio. Os ponteiros se movem, e há um

18:40 submostrador separado para o horário do segundo fuso. Este recebe nota 10 de 10. Então, este é o gráfico final. GPT 6.1 Soul termina com 78 pontos de 80 no KingBench 3. Isso equivale a 97,5%, ou 9,75 de 10 no total. Para referência, o resultado anterior do GPT-6 Soul foi de 82,5%, o do GLM-5.3 foi de 91,25%, e o do Opus-5.5 foi de 93,75%. Essas são as pontuações mantidas das avaliações anteriores. As ferramentas e configurações

19:12 são diferentes, então considere-as pontos de referência junto com esta nova execução do Codex. A diferença em relação à pontuação anterior do Soul é de 15 pontos percentuais. O que mais me chama a atenção é o quanto do comportamento solicitado resistiu à inspeção. As tampas das lentes funcionam de forma independente, as pontuações do jogo de arco e flecha continuam lá depois de atualizar a página, e o relógio lida corretamente com um fuso horário com diferença fracionária. Esses detalhes tornam uma demonstração útil quando você começa a interagir com ela. A tabela também mostra por que ainda verifico o resultado com atenção. A apresentação é refinada, mas a geometria de dobragem tem um defeito real, e

19:43 o elevador tem uma decisão de despacho que provoca espera desnecessária. Essas são as duas melhorias específicas que eu pediria em seguida. No geral, GPT-6.1 Soul funciona muito bem nestes testes do Codex. Gostei especialmente do estojo para lentes de contato, do jogo de arco e flecha e do relógio de pulso. Este é um conjunto pequeno de tarefas, e eu ainda revisaria o trabalho gerado antes de confiar nele, mas os resultados aqui me dão um bom motivo para continuar usando Soul em protótipos interativos e trabalhos de programação. No geral, é bem legal. Enfim, me contem o que acharam nos comentários. Se gostaram deste vídeo,

20:14 considerem fazer uma doação pela opção Super Thanks ou se tornar membros clicando no botão de participar. Além disso, deixem um gostei neste vídeo e se inscrevam no meu canal. Vejo vocês no próximo. Até lá, tchau.

Transcrição original

[00:02] [music] >> Hi. Welcome to another video. So, OpenAI has released GPT-6.1 Soul. And the pitch here is quite interesting. It arrived on September 29th with OpenAI positioning it as a model that gets close to Astra’s performance while costing less. Now, I want to see what that means when you actually give it a coding task and open the result. The focus is complex coding, computer use, and professional work. Think of jobs where the model has to

[00:33] follow several requirements, work through a project, and check what it has made. OpenAI’s comparison with Astra gives us something to investigate, but I want the finished examples to do the convincing here. For the API, the standard base price is $2 per million input tokens and $10 per million output tokens. Cached input is 10 cents per million. Those rates apply to requests with up to 272,000 input tokens. Longer requests and other processing options have different rates. So, if you’re building

[01:03] something around the API, the amount of context you send still matters. The API also lists a context window of just over 1 million tokens and a maximum output of 128,000 tokens. Those are the model’s API specifications. For this video, I’m testing it through native Codex, and Codex has its own context handling and usage rules. If you sign in with ChatGPT, your plan allowance and credits determine the billing, so the API price isn’t a price tag for each Codex task. Now, Soul was only one part of Dev Day.

[01:34] OpenAI also announced changes to agents, Codex, ChatGPT, and the developer platform. So, before we get into KingBench, let’s go through what else was announced and why you might care about it. The biggest one is Dots. These are always-on agents powered by GPT-6 Astra with their own cloud computer and browser. You give a Dot an ongoing responsibility, connect the tools it needs and it can keep working across projects while learning your preferences from feedback. For a developer, that could mean following

[02:04] customer feedback, investigating bugs, and preparing changes for review. For a creator, it could mean keeping research and production materials organized as a project changes. You can reach your dot through chat GPT, Slack, or Teams. Including voice conversations in chat GPT. You can inspect its work and set rules for what needs approval. Dots are rolling out to pro and business premium users in eligible markets with an admin enabled beta for enterprise, EDU, and healthcare. OpenAI also previewed specialist dots

[02:35] for dedicated company responsibilities and work with Microsoft Agent 365. Those specialist deployments are starting with enterprise pilots. Then there is ultrafast. OpenAI says this premium tier can generate tokens up to eight times faster in Codex and up to six times faster in the API. Astra ultrafast is available now while GPT-6.1 Soul ultrafast is coming soon. That could make repeated coding iterations feel much quicker although token generation speed isn’t the same thing as finishing an entire project that much faster. Access and cost matter here.

[03:07] The new pro 500 plan is $500 a month with 25 times the plus usage allowance and access to ultrafast. Eligible enterprise customers also have an ultrafast option. On the API, it has separate premium pricing. Personally, I would judge that upgrade by how much waiting it removes from my actual workload. Codex Cloud is getting reusable development environments. You can have Codex prepare the repositories, dependencies, and tools, review the setup, and publish an environment for future tasks. Each task gets its own

[03:38] working state. I like this because repeating the same setup for every job is one of the less interesting parts of working with coding agents. You can also access Codex remotely and follow the work from other devices. The refreshed Codex CLI adds voice control, a slash agents view, and improvements to prompt editing, resuming sessions, work trees, and the terminal interface. Those changes are useful when you’re spending a whole session moving between several coding tasks. Code review has a more complete desktop experience, too.

[04:08] You can inspect summaries, diffs, comments, and checks, then ask Code X to investigate a possible issue. GitHub support is generally available, while GitLab merge request support is in preview. Automatic cloud reviews can take a first pass when configured, so you have findings to inspect when you return. Code X security cloud goes further into repository security. It can scan connected GitHub repositories, check new commits, investigate findings, and prepare fixes in the cloud. The product is in research preview, and

[04:39] Open AI says it includes access to models from Daybreak Blue without a separate Daybreak application. The useful part is having evidence and a proposed fix to review with the work continuing even when your laptop is closed. On the API side, the existing agents API now supports computer use through an Open AI hosted browser. That gives developers a way to build agents which navigate websites and interact with software alongside tools, context management, and delegation. Your application handles website approvals and sign-in requests. GPT 6.1 Soul also

[05:13] gets beta multi-agent support in the responses API, so an application can let it divide suitable work among sub-agents. There is also a preview of Bedrock managed agents developed with Amazon. This brings the core agent capabilities into AWS with integration into AWS resources. If your application and infrastructure already live there, having the agents run entirely inside AWS is the main attraction. Another announcement is the decisions API. This focuses Luna on questions with a fixed set of possible

[05:45] answers using text or image context. Think of classifying incoming requests or deciding which action an agent should take next. It is in limited preview with a broader release planned in the coming days. For businesses handling sensitive information, OpenAI introduced private intelligence. For approved zero data retention customers, private safety processing performs automated safety checks without giving OpenAI personnel access to the underlying content. Private inference is a separate preview coming this fall, combining confidential computing with verifiable controls. Those are specific

[06:17] deployment options that a company would evaluate against its requirements. Now, ChatGPT itself is becoming more customizable. Plugin extensions let developers build sidebar apps, panels beside a conversation, and their own file viewers and editors. So, a plugin can give you an actual interface for working with your data. Composer mentions are currently desktop only, and web extensions for free and go are coming soon. OpenAI also announced improvements to plugin creator, plugin submission feedback, and discovery through rankings and recommendations.

[06:48] Shareable profiles give people a place to showcase sites and their plugin activity. For someone building tools, that makes it easier to show people what they have made and help them find it. Sites can now use supported plugins in eligible workspaces. Imagine a shared project dashboard where you see your own assigned issues and a teammate sees theirs. Each visitor uses their own connected account and permissions. OpenAI also highlighted simpler site automations to help keep shared information current. MCP events adds another useful piece. A connected service can tell ChatGPT when

[07:20] something changes. You choose what to watch and how it should respond. For example, a new issue could trigger a task to investigate it and prepare a plan. This uses support for the proposed MCP events specification, and it gives developers a way to build workflows around incoming events. There is also an update for people building browser interfaces. Annotations extensibility lets a website provide richer context and custom controls when you select something and ask for a change. A design tool could let you select a specific canvas object or preview a

[07:52] component variation before sending the request. That helps make visual feedback more precise in the desktop apps built-in browser. For collaboration, OpenAI introduced ChatGPT space and pages. Space brings shared files and knowledge together, while pages are documents that people and agents can work on together. You can write, research, add charts or images, leave comments, and mention ChatGPT or your dot to make changes. For a team, I can see the appeal of having the working document, its context, and the AI assistance in the same place.

[08:23] Collaborative slides are coming in the next few weeks. The announced experience lets teammates and agents edit a deck together starting from a conversation or template, then present it or export it to PowerPoint or Google Slides. Space is available on Pro, Business, and Enterprise. Creating and editing pages starts on desktop and web with mobile editing coming later. Teams and shared team tasks cover the recurring work. A team can maintain instructions for a weekly update or an event-triggered workflow using its configured connections.

[08:54] Those tasks use workspace credits. OpenAI also expanded ChatGPT in Slack and Microsoft Teams, where co-workers can contribute context and refine the same result together. In enabled channels, participation doesn’t require every teammate to have an individual ChatGPT license. The meetings plugin connects to that workflow as well. It creates personalized notes and action items in space, and you can ask ChatGPT to turn them into follow-up work. It is in beta on macOS for Pro and

[09:24] Business users with Enterprise and broader platform support coming later. The audio is deleted once the notes are ready, and you should get everyone’s consent before taking note. Sign in with ChatGPT is another announcement I think people will notice. Alongside signing into other apps, eligible plus and pro users can use their ChatGPT allowance in participating tools with controls over how much each one uses. OpenAI named partners, including Devin, Notion, Vercel, and T3. That usage

[09:54] counts against your plan limits, so it gives you more places to use the allowance you already have. Finally, OpenAI Marketplace lets eligible enterprise customers apply part of their existing OpenAI commitment toward approved partner software. The initial partners span design, customer support, business applications, security, and other categories. This is mainly a purchasing option for companies already spending at that scale. So, there’s a lot here beyond the model release. The announcements that interest me most for coding are reusable cloud

[10:25] environments, browser-capable agents, and the improved review tools. Now, let’s come back to GPT-6.1 Soul and see how the model handles the eight KingBench tasks in Codex. Now, for these runs, I explicitly selected medium reasoning effort. Each task gets a fresh folder with the same KingBench 3 request used for that test. That gives us an output we can open and inspect on its own, and I’ll score what the model actually delivers. There are eight tasks, each worth 10 points, for a total of 80. We have an

[10:56] elevator simulation, a contact lens case, a folding table, a panda SVG, an archery game, accounting problem, local panda fine-tuning, and a working 3D wrist watch. That’s a useful mix because each one asks for something different. The elevators need to keep their passengers moving correctly. The 3D objects need convincing geometry and interactions. The game needs hits, timing, and a working leaderboard. And the fine-tuning task needs an actual local model behind the page. I’ll check both how these results look

[11:26] and whether the requested behavior works. So, let’s get right into it, starting with the elevators. The first task is an elevator simulation. I want three elevators, each carrying one person, with passengers waiting on different floors and random destinations that appear when you hover over them. So, here’s what Soul made. We have seven floors, a control for how many people to add, and these little passengers waiting beside the shafts. The colors are soft, the layout is clear, and the counters make it easy to follow what’s happening. I like the presentation quite a lot. Let’s add five people on the third floor.

[11:57] One passenger boards, the others stay behind, and the cars continue collecting and delivering them. We can add someone on another floor while that is happening. The destination tooltip works, and there are useful pause and speed controls as well. There is one weakness in the dispatch. If I add two people on the sixth floor, an elevator can be sitting right there and still stay idle while the other two travel up to collect them. Everyone eventually gets delivered, but that is an unnecessary wait. So, I’m giving this 9 and 1/2 out of 10. The core simulation works well, with a

[12:27] specific scheduling issue to improve. Next is the contact lens case. This needs to be a 3js model with pronounced left and right markings and caps that open when I click on them. This one looks really good. We have a connected case, two ribbed caps, raised letters, and a clean little interface around the object. The details make it feel like a recognizable physical product. Now, I can click the left cap directly, and it lifts away from the case. The right one stays closed until I click that, too. Both sides have proper recessed wells

[12:59] underneath, with transparent lens shapes inside. If we rotate it, we can inspect the sides and the underside of the raised cap. I also checked that each cap can close independently. The interaction works in both directions, and the labels move with the caps. This is all in one HTML file, using 3js from a CDN. It meets the request very well, so this gets 10 out of 10. This is a strong example of Soul handling presentation and the actual object together. The third task is the folding table. Moving the slider to the right

[13:29] should unfold it and moving it left should fold it with smooth motion in three dimensions. Again, the initial presentation is appealing. There is a wood surface, a metal frame, camera presets, and different finishes. The slider responds smoothly and the table really does have separate moving parts. Both end points work and we can go back and forth through the animation. But watch the legs as we stop halfway. They pass through the opposite piece of wood. Further along, the two frames cross through each other underneath the center. Looking from the front makes

[14:01] that easier to see and checking the geometry confirms the collision. That matters for this particular task because the folding mechanism is the main thing we are testing. The movement is smooth but the physical arrangement needs work. So, I’m giving it eight and a half out of 10. It delivers an attractive interactive demo and it loses points for those intersections during the fold. Now, for the panda SVG. The request is simply a panda eating a burger and this is a nice result. We have a clearly recognizable panda holding the

[14:31] burger with both paws. There is a bite taken out of the bun. The burger is up against the mouth and the layers of lettuce, cheese, and filling are easy to read. The little crumbs and the expression give it some character, too. It renders as a valid SVG and the proportions and layering work. A static illustration is completely fine for this prompt. I don’t see a missing requirement here. So, this gets 10 out of 10. It’s a simple task and Soul handles it cleanly. Now, let’s come to the archery game and I really like this one. You get a woodland range with four

[15:02] targets, a visible bow, and clear instructions for drawing and releasing a shot. The arrows follow a curved path and you can see the impact when they reach a target. I played two complete rounds with four shots and four hits in each. The first took 43.75 seconds and placed me seventh on the a leaderboard. Then I improved to 29.03 seconds, which moved me up to sixth. So, the faster time actually improved my position exactly as requested. The personal best updated, too, and refreshing the page kept that

[15:33] score. The board starts with sample records, then adds your own saved runs. The separate logic checks also passed for misses, repeated targets, and score ordering. The presentation is clear, the game is playable, and the complete scoring loop works. I didn’t find a failure in the requested features, so this gets 10 out of 10. Next is the counting problem. We have 60 pairs arranged across 20 columns and three rows. And the question asks, “How many orders satisfy the movement rules?” You start on the top row, end on the bottom row, and visit every pair exactly once.

[16:04] Horizontal movement goes forward and wraps around, while vertical movement goes between neighboring rows. The expected answer is 20,460, and GPT-6.1 Sol got it right. It also provided a mathematical argument and a Python script that counts the possibilities. The explanation fixes the starting column, finds 1,023 valid paths, and then multiplies by the 20 possible starting columns. The reasoning handles the wrap-around and checks that the paths remain connected. I reviewed the delivered script and ran it unchanged.

[16:37] It returned the same answer, and the smaller cases agreed with independent checks as well. The model had already executed its own solver successfully during the task. So, this is a strong result. The answer, the argument, and the executable calculation agree. 10 out of 10. Now for the local fine-tuning task. I asked it to create a panda data set, fine-tune Gemma 2B, and build a local webpage that generates a fact whenever I refresh it. This is a bigger workflow than the earlier demos. Sol created 51 sourced panda facts and

[17:09] turned them into 306 examples with separate training, validation, and test sets. It then ran actual LoRA training locally and saved the adapter weights. So, we have the data set, the trained model adapter, and the app together. The Codex run included its own debugging. Soul adjusted an unstable learning rate, selected the checkpoint with the best validation loss, and fixed a threading issue in the local inference server. It followed those changes with generation and browser tests. Here’s the finished page. I like the soft colors, the panda

[17:39] illustration, and the large fact card. The first fact I checked was about a wild panda’s lifespan. The button generated a different fact about conservation, and refreshing the page generated one about accidental snares. The expandable source reference worked it, too. Each request runs the local Gemma model with the trained adapter. The app supplies a reference fact to help guide the generated sentence, and it keeps the displayed response to one sentence. That’s useful context. This is a small, specialized app with reference

[18:10] grounding. I verified the saved adapter, the completed training, and the working page. Once setup is complete, generation runs locally. This fulfills the requested workflow, so I’m giving it 10 out of 10. Finally, we have the 3D wristwatch, and there’s quite a bit to look at here. You get a metallic case, a crown, lugs, a stitched strap, a buckle, and actual strap holes. Rotating the camera lets you inspect the thickness of the case and the rest of the watch. The hands move, and there’s a

[18:40] separate subdial for the away time. This gets 10 out of 10. So, this is the final chart. GPT 6.1 Soul finishes with 78 points out of 80 on KingBench 3. That works out to 97.5% or 9.75 out of 10 overall. For reference, the earlier GPT-6 Soul result was 82.5%, GLM-5.3 was 91.25%, and Opus-5.5 was 93.75%. These are the retained scores from those earlier reviews. The tools and settings

[19:12] differ, so treat them as reference points alongside this fresh Codex run. The gap from the earlier Soul score is 15 percentage points. What stands out to me is how much of the requested behavior survived inspection. The lens caps work independently, the archery scores survive a refresh, and the watch handles a fractional hour time zone correctly. Those details make a demo useful once you start interacting with The table also shows why I still check the output closely. Its presentation is polished, but the folding geometry has a real defect, and

[19:43] the elevator has a dispatch decision that adds unnecessary waiting. Those are the two specific improvements I would ask for next. Overall, GPT-6.1 Soul works really well in these Codex tests. I particularly liked the contact lens case, archery game, and wristwatch. This is a small set of tasks, and I would still review generated work before relying on it, but the results here give me a good reason to keep using Soul for interactive prototypes and coding work. Overall, it’s pretty cool. Anyway, let me know your thoughts in the comments. If you like this video,

[20:14] consider donating through the Super Thanks option or becoming a member by clicking [music] the join button. Also, give this video a thumbs up and subscribe to my channel. I’ll see you in the next one. Until then, bye.