Testei 4 frameworks do Codex na mesma funcionalidade real

Autoria: The Gray Cat · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: I Tested 4 Codex Frameworks on the Same Real Feature · Canal: The Gray Cat · 09:47 · Assistir no YouTube

Tópicos: Agentes de IA, Engenharia de software com IA, Geração de conteúdo com IA, Modelos de IA

Resumo

O vídeo compara quatro frameworks do Codex — pstack, Compound Engineering, a skill implement spec de Matt Pocock e Superpowers — com uma execução do Codex sem framework, todas na mesma funcionalidade e com o mesmo código inicial. As execuções mais longas produziram implementações mais fortes, embora ainda tivessem problemas e requisitos não atendidos. Superpowers foi a melhor base na avaliação do código, e o autor o escolheu para continuar o desenvolvimento e integrar a funcionalidade ao app. A funcionalidade usa IA para selecionar imagens de tela relevantes para a narração e montar uma timeline editável no Premiere.

Pontos-chave

O teste usou cinco configurações isoladas do Codex, com o mesmo código inicial e GPT 6.1 Sol em esforço médio.
O Codex sem framework terminou em cerca de 35 minutos; pstack, em cerca de 27 minutos; Compound Engineering, em cerca de uma hora e meia; a skill de Matt Pocock, em cerca de duas horas e meia; e Superpowers, em quase quatro horas e meia.
As duas implementações mais rápidas precisavam de bastante correção e tinham problemas ao posicionar clipes sobrepostos ou editar a duração da narração.
A implementação de Matt Pocock substituía corretamente apenas a parte coberta de um clipe, mas podia associar imagens de tela ao tópico errado ao reorganizar seções.
Superpowers foi recomendada como a melhor base pela revisão e também substituía corretamente a parte sobreposta de um clipe.
A função de tentar novamente em Superpowers substituía as escolhas anteriores de B-roll, mas preservava os clipes posicionados manualmente.
A contagem de subagents não explicou sozinha o uso de tokens: Pocock usou 16 subagents, mas consumiu mais que o dobro dos tokens de Compound, que usou 26.
As cinco implementações deixaram de incluir as notas visuais do roteiro no contexto da IA e classificaram incorretamente clipes de tela como trechos de talking head.
O autor escolheu a versão de Superpowers como base, corrigiu bugs, fez as verificações habituais antes de publicar e integrou a funcionalidade à branch main.

Capítulos

Início	Capítulo	Resumo
00:00	O teste e a funcionalidade	O autor apresenta as cinco configurações comparadas e explica a funcionalidade de selecionar imagens de tela para acompanhar a narração.
02:14	pstack, Codex puro e Compound Engineering	O vídeo mostra como as três primeiras configurações trabalharam e os problemas encontrados em suas implementações.
04:59	A skill de Matt Pocock	A execução transforma a discussão inicial em uma especificação e 12 tickets, implementados em worktrees separadas.
06:35	Superpowers e comparação dos resultados	Superpowers usa um plano com tarefas e subagents, e sua implementação é avaliada como a melhor base entre as testadas.
08:44	Escolha final e teste da funcionalidade	O autor relata requisitos ainda ausentes, testa a versão de Superpowers com material real e escolhe essa implementação para integrar ao app.

Citações

Desta vez, as execuções mais longas produziram implementações mais fortes. — 00:00

Eu queria continuar editando a narração e deixar os clipes de tela onde os coloquei. — 03:24

Deixei o trabalho rodando e fui dormir. — 07:07

Para uma funcionalidade desse tamanho, é a minha escolha no Codex. — 09:47

Conceitos e entidades

Codex (ferramenta): É o ambiente em que o autor compara cinco configurações para implementar a mesma funcionalidade.
pstack (repo): É uma coleção de engineering skills de Lauren Tan, usada no teste por meio da versão adaptada para Codex por Michael Denyer.
Compound Engineering (ferramenta): É um framework da Every que organiza o trabalho em brainstorming, planejamento, implementação, simplificação e revisão de código.
implement spec (ferramenta): É uma skill de Matt Pocock que trabalha a partir de uma especificação dividida em tickets.
Superpowers (ferramenta): É um framework testado na versão 7, com uma skill de brainstorming que ajusta o planejamento ao tamanho da tarefa.
GPT-6.1 Sol (modelo): É o modelo usado pelos agentes de programação nas cinco configurações, com esforço médio.
Claude Opus 5.5 (modelo): É o modelo usado para responder às perguntas dos frameworks, avaliar propostas e orientar as execuções.
The Gray Cut (ferramenta): É o app do autor para editar vídeos, ao qual a funcionalidade de seleção de imagens de tela foi adicionada.
Premiere (ferramenta): É o editor de vídeo para o qual a funcionalidade gera uma timeline editável.
Every (empresa): É a empresa associada ao framework Compound Engineering e ao Builder Pack mencionado no vídeo.

Tradução completa (pt-BR)

00:00 Superpowers 7 ainda estava trabalhando quando fui dormir. Poteto tinha terminado em 27 minutos. A execução completa levou quase quatro horas e meia. Se você se lembra dos meus infames testes com BMAD, eles ocuparam fins de semana inteiros e ainda assim me deixaram decepcionado. Desta vez, as execuções mais longas produziram implementações mais robustas. Vocês pediram, então esta é minha primeira comparação de frameworks no Codex. Testei as skills de Matt Pocock e o pstack. Compound Engineering e Superpowers se juntaram a eles, junto com o Codex sem framework.

00:34 Vou mostrar onde foi gasto esse tempo extra e qual implementação mantive no meu app. Certo, o The Gray Cut já corta minha gravação falando para a câmera de maneira mais ou menos confiável. Mas encontrar as imagens de tela certas ainda leva horas no Premiere. Percorro demonstrações longas e depois ajusto a velocidade para combinar com o que estou explicando. Prefiro usar esse tempo para testar mais ferramentas. O app já tem uma integração com LLM.

01:07 Queria que ele transcrevesse meus comentários na gravação de tela e permitisse que o modelo visse o que está acontecendo na tela. Com esse contexto, ele poderia escolher as imagens de apoio certas para o que estou dizendo. Eu teria uma linha do tempo editável no Premiere, para ainda poder corrigir qualquer escolha ruim. Pensei na funcionalidade com o Claude e depois pedi que ele preparasse prompts para o Claude Design. Os designs ficaram bem razoáveis, então exportei o HTML para os agentes de programação. Para a comparação, usei cinco configurações isoladas do Codex com o mesmo código inicial.

01:42 Todos os agentes de programação usaram GPT 6.1 Sol com esforço médio. A configuração sem framework recebeu apenas o prompt, sem o modo de planejamento. Vou deixar esse prompt na tela. Claude Opus 5.5 conduziu o experimento com esforço extra alto. Ele respondeu às perguntas dos frameworks com base no meu design original e aprovou as próximas etapas. Fiquei bem satisfeito com ele. Ele contestou propostas que mudavam minha direção original. O app lista os arquivos de vídeo que adicionei ao projeto.

02:14 Compound queria remover um vídeo dessa lista e manter os clipes dele na linha do tempo. Opus corrigiu isso. Remover um vídeo do projeto também deveria remover os clipes dele da linha do tempo. O arquivo original permanece no disco. Isso manteve as sessões avançando enquanto eu me afastava. Poteto foi o primeiro a terminar. Este é o pstack, uma coleção de skills de engenharia de Lauren Tan. Estou usando a adaptação de Michael Denyer para Codex. As skills abrangem design e revisão de código, com regras para manter as alterações pequenas e verificar o resultado.

02:48 Há bastante coisa ali, mas o ponto de entrada é simples. Colo a tarefa no modo Poteto, e ele escolhe o workflow. Para essa funcionalidade, usou uma skill de arquitetura para planejar as mudanças. Executou cinco subagents e não fez nenhuma pergunta. Cerca de 27 minutos depois, informou que o trabalho estava concluído. O Codex sem framework levou cerca de 35 minutos. Mas a revisão de código encontrou problemas nas duas implementações. Depois que os clipes de tela eram posicionados, a versão do Poteto impedia alterações na duração do corte da gravação falando para a câmera.

03:24 Isso ficaria irritante muito rápido. Eu queria continuar editando a gravação falando para a câmera e deixar os clipes de tela onde os tinha colocado. O Codex sem framework se recusou a colocar um clipe de tela sobre outro. Ele deveria substituir apenas a parte coberta. Esses foram os resultados rápidos, mas ambas as implementações ainda precisavam de bastante trabalho antes que eu usasse qualquer uma delas. Compound Engineering vem da Every. O workflow começa com brainstorming e planejamento. Depois, a skill de trabalho desenvolve a funcionalidade, incluindo simplificação e revisão de código.

03:56 Essa execução levou cerca de uma hora e meia e usou 26 subagents. A skill compound registra lições úteis para trabalhos futuros. Sessões futuras podem usar essas anotações em vez de descobrir tudo de novo. Neste caso, informou: documentação ignorada. As regras permitem isso quando não há nenhuma lição útil a acrescentar. Na revisão, manteve a narração junto da seção correta do roteiro. As duas versões rápidas misturaram as seções. Mas ela teve o mesmo problema de sobreposição que o Codex sem framework.

04:28 Compound se recusou a colocar um clipe de tela sobre outro. Sou assinante da Every há algum tempo, e eles lançaram recentemente o Builder Pack. Não consigo justificar muito bem a compra, porque não usaria a maioria dessas ferramentas. Mas a assinatura do Cursor seria útil para os vídeos que vocês vivem pedindo. Então, se alguém da Every estiver assistindo, eu não me importaria de ganhar um desconto. Gostaria de fazer mais vídeos sobre Cursor e Grok 4.7. E, se essas comparações forem úteis, inscreva-se para acompanhar a próxima.

04:59 Entre no Discord se quiser sugerir uma ferramenta ou discutir os resultados. A nova skill implement spec de Matt Pocock lida com o conjunto inteiro de tickets. No meu teste anterior, chamei a skill implement para cada ticket ou usei minha própria automação. Opus teve um papel parecido neste experimento. Nesta execução, eu queria que o interrogatório levasse a uma especificação escrita. A especificação se tornaria tickets para a nova skill executar. A primeira tentativa começou a programar logo depois do interrogatório.

05:29 Minha configuração deixou essa passagem de uma etapa para outra pouco clara, então interrompi e reiniciei. A nova tentativa passou por 28 perguntas, com Opus respondendo com base no meu design original. Ela gerou 12 tickets, e eu a redirecionei para a nova skill. Cada ticket recebeu seu próprio worktree. É uma cópia separada do código para aquela tarefa, que depois é mesclada em uma única branch. Minhas regras iniciais proibiam worktrees extras, então permiti uma exceção nesta execução. Levou cerca de duas horas e meia, com 16 subagents.

06:02 A revisão colocou a implementação dele em segundo lugar. Ao soltar um novo clipe de tela sobre um já existente, substitui-se apenas a parte coberta. O restante fica no lugar. A revisão também descobriu que reorganizar as seções podia colocar as imagens de tela sob o tópico errado. Eu normalmente não faria isso com um roteiro preparado. Superpowers foi o último a terminar. Testei a versão sete, que tinha apenas três dias. A maior mudança é a skill de brainstorming reconstruída. Ela ajusta a quantidade de planejamento ao tamanho do trabalho.

06:35 Para uma funcionalidade maior, ela cria um design. Outro agent verifica se ainda há perguntas sem resposta nesse design antes da implementação. Nesta execução, fez sete perguntas e produziu um plano com onze tarefas. Opus respondeu às perguntas e devolveu o primeiro design para correções antes de aprová-lo. O plano oferecia diferentes formas de execução. Opus seguiu minhas instruções de teste e escolheu o desenvolvimento conduzido por subagents. Agents implementaram as tarefas, e outros agents revisaram o trabalho deles.

07:07 Usou 34 subagents ao todo. Deixei tudo trabalhando e fui dormir. A execução completa levou quase quatro horas e meia. E a revisão recomendou a implementação dele como o melhor ponto de partida. Assim como a de Pocock, ela lidou corretamente com a substituição do meio de um clipe de tela. O comportamento ao tentar novamente também foi útil. Se eu pedir à IA para tentar uma seção de novo, ela substitui as escolhas anteriores de imagens de apoio. Os clipes que posicionei manualmente ficam onde os coloquei.

07:39 Em comparação com meus fins de semana com BMAD, isso me deu muito mais material para trabalhar. Ainda havia bugs para corrigir antes que eu pudesse usar a funcionalidade em um vídeo de verdade. O gráfico de tempo vai de 27 minutos a quase quatro horas e meia. Esses intervalos incluem espera, com as cinco execuções compartilhando uma máquina e um plano do ChatGPT. A configuração sem framework usou menos tokens. Poteto terminou mais rápido, mas usou cerca de duas vezes e meia mais tokens. Pocock usou dezesseis subagents, em comparação com vinte e seis para Compound.

08:11 Ainda assim, Pocock consumiu mais que o dobro de tokens. Portanto, a quantidade de agents, por si só, não explica o uso. A maior parte desses totais é de entrada em cache, contabilizada novamente cada vez que é reutilizada. Usando os preços salvos da API, isso dá cerca de dois dólares para o Codex sem framework e vinte e cinco para Superpowers. Usei uma assinatura do ChatGPT, então esses valores em dólares servem para comparação. A revisão colocou Superpowers em primeiro lugar, com Pocock logo atrás. Compound veio em seguida, enquanto as duas implementações rápidas precisavam de bastante conserto.

08:44 Essa é uma avaliação do código produzido neste teste. As execuções mais longas dos frameworks me deram bases mais robustas para trabalhar. Mesmo as versões mais fortes deixaram de atender a alguns requisitos. Elas não incluíram as notas visuais do meu roteiro no contexto da IA. As cinco também erraram na verificação da gravação falando para a câmera. Os clipes de tela foram contabilizados como imagens da gravação falando para a câmera que o app tinha mantido. Usei a versão do Superpowers como base e continuei testando. Durante esse trabalho, experimentei a funcionalidade com material do meu vídeo Architecture Tools.

09:15 A primeira tentativa ficou bem aquém do esperado, mas a segunda chegou muito mais perto do que eu queria. Ela escolheu imagens de tela relevantes e até ajustou a velocidade de reprodução para combinar com minha explicação. Essa é a parte que normalmente passo horas fazendo manualmente no Premiere. Foi bem impressionante ver tudo se encaixar assim. Corrigi os bugs que apareceram nos testes e executei minhas verificações habituais antes de lançar. Depois, mesclei a funcionalidade na main. Vou escolher Superpowers de novo. Eles não me patrocinam, e não uso a ferramenta no meu trabalho diário.

09:47 Para uma funcionalidade desse tamanho, é a minha escolha no Codex. O esforço extra valeu a pena neste caso. Mas, novamente, os modelos e as versões dos frameworks mudaram desde meus testes com Claude Code. Esta também foi uma tarefa diferente. Vou editar este vídeo com a nova funcionalidade. Posso contar nos comentários ou no Discord como ela funcionou. Desta vez, dormi enquanto os subagents trabalhavam. Pelo visto, meu gato cinza me treinou bem. Para ver a comparação com Claude Code, assista ao meu teste anterior de Superpowers contra Matt Pocock.

Transcrição original

[00:00] Superpowers 7 was still working when I went to sleep Poteto had finished in 27 minutes. The full run took nearly four and a half hours. If you remember my infamous BMAD tests, those took whole weekends and still left me disappointed. This time, the longer runs produced stronger implementations You asked for it, so this is my first framework comparison in Codex. I tried Matt Pocock’s skills and pstack. Compound Engineering and Superpowers joined them, alongside plain Codex.

[00:34] I’ll show you where that extra time went, and which implementation I kept for my app. Okay, so The Gray Cut already cuts my talking head footage more or less reliably. But finding the right screen footage still takes hours in Premiere. I scrub through long demos, then adjust the speed to fit what I’m explaining. I’d rather spend that time trying more tools. The app already has an LLM integration.

[01:07] I wanted it to transcribe my screencast commentary and let the model see what’s happening on with screen. With that context, it could pick the right B roll for what I’m saying. I’d get an editable timeline in Premiere, so I could still fix any bad choices. I brainstormed the feature with Claude, then had it prepare prompts for Claude Design. The designs looked pretty decent, so I exported the HTML for the coding agents. For the comparison, I used five isolated Codex setups with the same starting code.

[01:42] Every coding agent used GPT 6.1 Sol at medium effort. Plain got the prompt alone, without plan mode. I’ll leave that prompt on screen. Claude Opus 5.5 ran the experiment at extra high effort. It answered the frameworks’ questions from my original design and approved their next steps. I was pretty happy with it. It pushed back on proposals that changed my original direction. The app lists the video files I’ve added to my project.

[02:14] Compound wanted to remove a video from that list and keep its clips on the timeline. Opus corrected that. Removing a video from the project should remove its timeline clips too. The original file stays on disk. That kept the sessions moving while I stepped away. Poteto was the first to finish. This is pstack, Lauren Tan’s collection of engineering skills. I’m using Michael Denyer’s port for Codex. The skills cover design and code review, with rules for keeping changes small and checking the result.

[02:48] There’s quite a lot in there, but the entry point is simple. I paste the task into Poteto mode, and it chooses the workflow. For this feature, it used an architecture skill to plan the changes. It ran five subagents and asked no questions About 27 minutes later, it reported the work finished. Plain Codex took about 35 minutes, without any framework. But the code review found problems in both implementations. Once screen clips were placed, Poteto’s version blocked changes to the length of the talking head cut.

[03:24] That would get annoying very quickly. I wanted to keep editing the talking head and leave the screen clips where I’d placed them. Plain refused to place one screen clip over another. It should replace only the covered part. So these were the quick results, but both still needed substantial work before I’d use either implementation. Compound Engineering comes from Every. Its workflow starts with brainstorming and planning. Then the work skill builds the feature, with simplification and code review included.

[03:56] This run took about an hour and a half and used 26 subagents. The compound skill saves useful lessons for future work. Future sessions can use those notes instead of working everything out again. Here, it reported Documentation skipped Its rules allow that when there’s no useful lesson to add. In the review, it kept narration with the right script section. Both quick versions mixed sections up. But it had the same overlap problem as Plain.

[04:28] Compound refused to place one screen clip over another. I’ve been an Every subscriber for a while, and they recently introduced the Builder Pack. I can’t really justify buying it, because I wouldn’t use most of those tools. But the Cursor subscription would be useful for the videos you keep asking for. So if someone from Every is watching, I wouldn’t mind a discount. I’d like to make more videos about Cursor and Grok 4.7. And if these comparisons help, subscribe for the next one.

[04:59] Join Discord if you want to suggest a tool or discuss the results. Matt Pocock’s new implement spec skill handles the whole set of tickets. In my previous test, I called the implement skill for each ticket, or used my own automation. Opus played a similar role in this experiment. For this run, I wanted grilling to lead into a written spec. The spec would become tickets for the new skill to work through. The first attempt started coding straight after grilling.

[05:29] My setup left that handoff unclear, so I stopped it and restarted. The replacement went through 28 questions, with Opus answering from my original design. It produced 12 tickets, and I redirected it into the new skill. Each ticket got its own worktree. That’s a separate copy of the code for that task, later merged into one branch. My initial rules banned extra worktrees, so I allowed an exception for this run. It took about two and a half hours, with 16 subagents.

[06:02] The review put its implementation second. Dropping a new screen clip over an existing one replaces only the part it covers. The rest stays in place. The review also found that rearranging sections could put screen footage under the wrong topic. I wouldn’t normally do that with a prepared script. Superpowers was the last to finish. I tested version seven, which was only three days old. The biggest change is the rebuilt brainstorming skill. It adjusts the amount of planning to the size of the job.

[06:35] For a larger feature, it writes a design. Another agent checks that design for questions still unanswered before implementation. In this run, it asked seven questions and produced an eleven task plan. Opus answered the questions and sent the first design back for corrections before approving it. The plan offered different execution routes. Opus followed my test instructions and chose subagent driven development. Agents implemented the tasks, with separate agents reviewing their work.

[07:07] It used 34 subagents in total. I left it working and went to sleep. The full run took nearly four and a half hours. And the review recommended its implementation as the best starting point Like Pocock, it handled replacing the middle of a screen clip correctly. The retry behavior was useful too. If I ask the AI to try a section again, it replaces its earlier B roll choices. Clips I placed myself stay where I put them.

[07:39] Compared with my BMAD weekends, this gave me much more to work with. There were still bugs to fix before I could use it for a real video. The time chart goes from 27 minutes to nearly four and a half hours. These spans include waiting, with all five runs sharing one machine and ChatGPT plan. Plain used the fewest tokens. Poteto finished sooner, but used about two and a half times as many. Pocock used sixteen subagents, compared with twenty-six for Compound.

[08:11] Yet Pocock consumed more than twice the tokens. So agent count alone doesn’t explain the usage. Most of these totals are cached input, counted again each time it’s reused. Using the saved API rates, that’s about two dollars for Plain and twenty-five for Superpowers. I used a ChatGPT subscription, so those dollar figures are for comparison. The review put Superpowers first, with Pocock behind it. Compound followed, while the two quick implementations needed substantial repair.

[08:44] That’s a judgment of the code produced in this test. The longer framework runs gave me stronger foundations to work with. The stronger versions still missed requirements. They left my script’s visual notes out of the AI’s context. All five also got the talking head check wrong. Screen clips were counted as talking head footage the app had kept. I took Superpowers’ version as the base and tested it further. During that work, I tried it on material from my Architecture Tools video.

[09:15] The first attempt was pretty underwhelming, but the second was much closer to what I wanted. It picked relevant screen footage and even adjusted the playback speed to fit my explanation. That’s the part I usually spend hours doing manually in Premiere. Seeing it come together like this was pretty impressive. I fixed bugs that came up in testing and ran my usual shipping checks. Then I merged the feature into main. I’m choosing Superpowers again. They don’t sponsor me, and I don’t use it in my daily work.

[09:47] For a feature this size, it’s my pick in Codex. The extra effort paid off here. But again, the models and framework versions have changed since my Claude Code tests. This was a different task too. I’ll edit this video with the new feature. I can report back in the comments or Discord on how well it worked. This time, I slept while the subagents worked. Apparently, my gray cat has trained me well. For the Claude Code comparison, watch my earlier Superpowers versus Matt Pocock test.