Minha nova skill favorita — Claude Code controla o computador inteiro (melhor uso do computador)

Autoria: Cole Medin · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: My NEW FAVORITE Skill - Claude Code Drives My Whole Computer (Better Computer Use) · Canal: Cole Medin · 12:45 · Assistir no YouTube

Tópicos: Agentes de IA, Automação de tarefas e workflows, Claude Code, Segurança de IA

Resumo

Cole Medin apresenta a Drive Screen, uma skill leve que permite a Claude Code e ao Codex controlar a tela do computador usando comandos, sem instalar ferramentas adicionais ou montar um harness. Ele mostra usos práticos, como preparar o ambiente de trabalho pela manhã e testar aplicativos, e explica como a skill organiza o processo com scripts, regras e etapas de verificação. O vídeo também aborda limitações e riscos de segurança, incluindo ataques de prompt injection. A skill está disponível no repositório AI skills do criador e pode ser adaptada para diferentes sistemas operacionais e coding agents.

Pontos-chave

A Drive Screen usa comandos do sistema operacional para controlar a tela, sem exigir a instalação de uma ferramenta dedicada.
A skill pode automatizar tarefas como abrir aplicativos, preparar abas do navegador e configurar o ambiente de trabalho.
O criador testou a skill no macOS, Linux e Windows, incluindo diferentes configurações de monitores.
O fluxo de trabalho começa verificando se o controle da tela é realmente necessário ou se outra abordagem, como browser automation, é mais adequada.
Scripts e regras documentadas ajudam a tornar as ações mais previsíveis e a contornar falhas recorrentes.
O controle da tela é flexível, mas pode ser lento e menos confiável do que outras formas de automação.
O vídeo alerta para ataques de prompt injection e recomenda cautela, especialmente em tarefas mais sensíveis.
A skill pode ser instalada como plugin do Claude Code ou copiada para outros coding agents.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação da Drive Screen	Cole Medin explica por que criou uma skill leve para controlar o computador sem depender de ferramentas maiores.
02:36	Usos práticos e origem da skill	O criador mostra tarefas que podem ser automatizadas e conta como a necessidade de testar aplicativos levou à criação da skill.
05:15	Como a skill foi estruturada	Após um segmento patrocinado, o vídeo apresenta uma demonstração e explica o fluxo, os scripts e as regras da Drive Screen.
07:55	Fluxo de trabalho e limitações	A skill avalia se o controle da tela é necessário e usa scripts e etapas definidas para tornar as ações mais confiáveis.
10:35	Segurança, instalação e encerramento	Cole Medin comenta os riscos de prompt injection, recomenda modelos mais capazes e explica como obter e instalar a skill.

Citações

Eu chamo essa skill de Drive Screen e quero mostrar como ela funciona. — 00:00

Só isso já me economiza uns 10 a 15 minutos toda manhã. — 02:03

O controle da tela é a maneira mais lenta e menos confiável de fazer um computador executar algo. — 07:55

Você não precisa adicionar nenhuma ferramenta: a skill está no meu repositório AI skills do GitHub. — 12:14

Conceitos e entidades

Drive Screen (ferramenta): Skill apresentada por Cole Medin para controlar a tela do computador por meio de comandos e scripts.
Claude Code (ferramenta): Coding agent que pode usar a Drive Screen para executar tarefas no computador.
Codex (ferramenta): Coding agent citado como outra opção para usar a skill.
Cole Medin (pessoa): Criador do vídeo e da skill Drive Screen.
Plural (empresa): Patrocinadora do vídeo, apresentada por meio de uma solução de agentes de DevOps para clusters Kubernetes.
MCP (conceito): Uma das formas citadas de acessar software de gerenciamento de tarefas.
prompt injection (conceito): Ataque que pode tentar induzir o agent a executar ações maliciosas por meio de conteúdo exibido na tela.
AI skills (repo): Repositório de GitHub do criador onde a skill Drive Screen está disponível.

Tradução completa (pt-BR)

00:00 Tenho uma nova skill favorita que uso no Claude Code e no Codex todos os dias, para tudo que se possa imaginar. Eu a chamo de Drive Screen e quero mostrar hoje como ela funciona, porque a criei para ser uma alternativa superleve às ferramentas de computer use realmente inchadas e difíceis de gerenciar, como a que a Claude incorporou à plataforma. Temos o computer use do Codex. Também existem muitas ferramentas open source por aí, e todas são poderosas, mas nunca gostei de usá-las. Por isso, criei minha própria skill, e o melhor do que desenvolvi é que você só precisa do seu agent de programação.

00:30 Você não precisa instalar nada nem criar nenhum tipo de harness. Os LLMs, especialmente agora com o Fable 5.1 e o GPT-6 Astra, são bons o bastante para controlar a tela inteira em praticamente qualquer situação, usando apenas a linha de comando. Não percebi isso até experimentar, algumas semanas atrás, e foi isso que acabou me levando a criar a skill, que adoro porque funciona em qualquer sistema operacional. Agora, não preciso instalar mais nada nem depender de uma ferramenta enorme de computer use pronta para usar. Como eu disse, nunca gostei dessas ferramentas. Quero controlar todas as minhas ferramentas e, com essas

01:01 ferramentas, é muito difícil personalizar as coisas e ajustá-las quando pequenos problemas aparecem durante a incorporação ao seu workflow. Por isso, sempre evitei usar computer use em geral. O problema é que computer use é incrivelmente útil, e venho percebendo isso cada vez mais nas últimas semanas. Há um motivo para eu estar tão obcecado em usar essa skill agora. Então, se você não está usando computer use de jeito nenhum, eu recomendaria que começasse a experimentar com uma ferramenta como, sabe, o computer use do Codex. Claro, também recomendo que experimente a skill que vou deixar linkada na

01:31 descrição. Há possibilidades infinitas e várias maneiras de aumentar sua produtividade usando esse tipo de capacidade com seu agent de programação. É claro que existem algumas preocupações de segurança, especialmente quando você está usando apenas uma skill, em vez de um harness completo. Vamos falar sobre isso, mas há muitos ganhos rápidos com os quais comecei a contar todos os dias e que quero mostrar a vocês. Quer dizer, o exemplo mais óbvio é usar seu agent de programação para ajudar você a se preparar de manhã. Então, você liga o computador, abre o agent de programação e diz: “Prepare minha manhã”, certo? “Estas são as coisas em que vou trabalhar hoje.” Ele pode até consultar seu

02:03 software de gerenciamento de tarefas pela CLI ou pelo MCP e, então, abrir as coisas para você. Pode abrir abas no navegador, abrir abas no Obsidian, iniciar aplicativos de desktop, contêineres Docker — o que você precisar, ele pode deixar tudo pronto. Só isso já me economiza uns bons 10 a 15 minutos todas as manhãs, e esse tempo se acumula, especialmente com todas as outras coisas que vou mostrar aqui. E ele faz tudo isso usando a skill e comandos simples. Não há nenhuma ferramenta adicional instalada aqui. Testei essa skill em cada sistema operacional: Mac, Linux e Windows. Testei com várias

02:36 configurações de monitores e diferentes ajustes de tela. Ela funciona muito bem e é muito adaptável. E o seguinte: mesmo que você não esteja muito interessado nessa skill específica que estou mostrando agora, a grande conclusão, o que realmente me deixa de queixo caído, é o quanto os LLMs se tornaram adaptáveis. Há muitas tarefas que eu já tinha descartado, achando que o LLM não dava conta ou que era preciso alguma ferramenta enorme, como as de computer use, mas agora você simplesmente não precisa disso. Provavelmente você já tem algumas ideias em mente de coisas que acha que um LLM não consegue fazer, como computer use ou editar um vídeo,

03:07 e acha que precisa de alguma ferramenta sofisticada, mas, na verdade, não precisa. Simplesmente experimente agora. Dê a ele um MP4 e diga: “Edite este vídeo, remova os ‘hum’, adicione b-roll e transições.” Especialmente com o Fable e o Astra, ele vai dar conta. E, para ser totalmente sincero, essa skill Drive Screen surgiu simplesmente por necessidade, porque, ultimamente, tenho me sentido meio sobrecarregado com todas as coisas acontecendo no espaço de IA, com as coisas em que estou trabalhando e os aplicativos que estou experimentando, especialmente muitos projetos open source, como o Kestra, por exemplo. Estou experimentando todos eles, e muitos têm uma interface de usuário ou alguma coisa que não consigo usar apenas com a automação do meu

03:39 navegador. Então, precisava de algum tipo de computer use para testar as coisas, mas também queria algo superleve e fácil de gerenciar. Não queria adotar uma ferramenta completa de computer use. Na época, peguei esta URL do GitHub e várias outras que estava testando — este é só um exemplo —, passei para o Claude e disse: “Pesquise na web, investigue o repo para entender os recursos, depois inicie o aplicativo de desktop e controle minha tela para testar diferentes funcionalidades. No fim, deixe-o aberto para eu continuar meus próprios testes.” Eu não fazia ideia se funcionaria. Eu

04:11 achava que talvez ele usasse alguma ferramenta maior de computer use e a instalasse, ou talvez dissesse que não conseguia fazer isso e mandasse eu fazer tudo manualmente. Mas, para minha agradável surpresa, ele conseguiu fazer tudo de ponta a ponta simplesmente executando comandos no terminal. Meus registros de sessão ficavam mais ou menos assim, especialmente antes de eu ter a skill. Ele executa um comando após o outro para clicar nas coisas, tirar capturas de tela e analisar os resultados, mas fez tudo de ponta a ponta. Demorou um pouco, não é a forma mais eficiente — quer dizer, computer use em geral não é muito eficiente —, mas deixei-o continuar, controlar meu computador, e

04:42 fui trabalhar em outro dispositivo. Quando voltei, estava tudo pronto, e tudo continuava aberto para eu prosseguir com os testes. Foi ótimo. E, com todos esses comandos, no meu caso, no Windows, é só o PowerShell, certo? Não é necessário instalar nenhuma ferramenta adicional. No Mac, você pode usar AppleScript. Mais uma vez, testei em todos os sistemas operacionais. Fiquei encantado logo de cara. Testei vários aplicativos, fiz minha preparação matinal, como mostrei antes, e deixei tudo pronto para minhas apresentações e gravações todos os dias. No início, não era uma skill; eu simplesmente dizia: “Use o PowerShell para controlar minha tela e fazer XYZ”. Mas logo ficou muito

05:15 claro que precisávamos de uma skill completa, porque às vezes o computer use nem funcionava pelo PowerShell. O agent ficava completamente confuso, ou eu via certos modos de falha se repetirem. Então, documentei todos os modos de falha, defini o workflow e até criei alguns scripts para tornar as coisas mais determinísticas. Foi isso que empacotei como a skill para vocês. O patrocinador do vídeo de hoje é a Plural, e eles criaram algo realmente interessante: agents de DevOps que rodam nos seus próprios clusters Kubernetes, descobrem o que está quebrado quando algo dá errado e, então, abrem pull requests para corrigir o problema. Eles chamam isso de workbenches. Deixe-me

05:48 mostrar. Neste momento, no meu próprio cluster, um dos meus serviços, a API de pagamentos, está entrando em um ciclo de falhas. Mas tudo o que preciso fazer é acessar o workbench, onde posso enviar qualquer tarefa, e simplesmente digo: “O serviço da API de pagamentos está entrando em um ciclo de falhas. Descubra a causa raiz e abra um pull request para corrigir o problema.” Então, a Plural inicia subagents, cada um com seu próprio contexto, para investigar a fundo os pods, os logs e o repo de GitOps. Alguns minutos depois, identifica o problema exato. Ela me mostra o diff e as evidências, e ainda cria um dashboard para me ajudar a entender o problema que está

06:18 acontecendo aqui no meu cluster. E então, minha parte favorita é que ele inicia uma instância do Cloud Code no meu cluster para fazer a correção e depois abrir o pull request. Assim, o agent é executado no meu ambiente, com minhas chaves de modelo, e no fim ainda sou eu quem faz o merge do pull request. E você pode conectar esse mesmo ambiente de trabalho aos seus alertas, executá-lo em um cron ou até acioná-lo dizendo “Plural, corrija isto” em um ticket do Jira. Você pode hospedar o Plural por conta própria ou usar a nuvem deles, e é grátis para começar. Vou deixar um link para eles na descrição. Então, é claro que quero explicar como essa skill funciona e como a mantive simples,

06:49 as considerações de segurança. Vamos falar disso daqui a pouco, mas o que quero fazer agora, bem rapidinho, é mostrar uma demonstração ao vivo dessa skill funcionando. Então, obviamente, vou acelerar bastante, mas vou enviar este prompt para vermos a skill em ação, carregando-a e passando com muita facilidade por qualquer configuração necessária. Vou desligar meu vídeo e avançar a gravação para que você possa ver o que acontece. Pronto. Concluímos tudo em apenas um minuto. Sei que este é um exemplo muito simples, mas não quero fazer nada muito

07:22 abrangente agora. O ponto é que é rápido. Também não foram necessários muitos comandos, porque a skill orienta o processo e até fornece algumas ferramentas para acelerá-lo. E, a propósito, o que ela fez aqui também inclui validar o ambiente, para garantir que tenha todas as ferramentas necessárias e as permissões necessárias na máquina. Então, esse foi apenas um exemplo bem rápido. Agora, vamos falar mais sobre como a skill funciona. No total, essa skill tem pouco menos de 400 linhas. Não é a mais longa, mas também não é a mais curta. Eu queria definir um workflow completo para o agent e também fazê-lo funcionar em todos os sistemas operacionais. E há muitas

07:55 nuances que eu queria incorporar, pequenas situações de falha que encontrei durante os testes. O workflow começa verificando se precisamos mesmo controlar a tela. Quero dar ao agent a oportunidade de contestar o uso dessa skill, porque às vezes, quando você pensa melhor, não é necessário usar o computador. Há outros tipos de ferramenta, como a automação do navegador, que podem resolver o problema. Como diz aqui, controlar a tela é a maneira mais lenta e menos confiável de fazer um computador executar algo. É a opção mais adaptável e flexível, mas também a mais lenta. E há as

08:27 questões de segurança: ataques de prompt injection podem aparecer na tela e fazer com que o agent os veja e execute algo malicioso. Os LLMs não caem mais nisso com tanta frequência, o que também é um dos principais motivos pelos quais agora confio a eles esse tipo de capacidade. Mas é algo para se ter em mente. É também por isso que me limito a tarefas bem simples quando uso essa ferramenta. Se eu quiser usar o computador de alguma forma em um ambiente de produção, ainda vou recorrer a algum harness ou ferramenta mais robustos. Voltando rapidamente ao início da skill, quero mencionar os diferentes scripts que vêm com ela. Isso traz mais determinismo. Assim, em vez de o

09:00 agent precisar descobrir em tempo real os comandos exatos para certas tarefas, como eu tive que fazer no começo, agora reuni todas as práticas recomendadas nesses scripts. Para encontrar janelas, dar foco a elas, digitar e colar. Há muitas maneiras diferentes de fazer essas coisas. Com todos os testes que fiz, descobri as melhores. E posso dizer: passei horas e horas e horas testando. Depois, incorporei tudo nisso que é basicamente uma pequena CLI para o agent usar, com diferentes comandos e argumentos. Então, é minha pequena CLI personalizada. Não precisamos entrar em todos esses detalhes agora.

09:31 Há bastante coisa aqui porque o agent pode realizar muitas operações diferentes, mas isso é uma parte importante do que torna a ferramenta mais confiável. Também é muito fácil personalizar as coisas se você estiver usando, por exemplo, outra distribuição de Linux, que talvez precise funcionar de um jeito um pouco diferente: basta acessar a skill e editá-la, certo? Então, quando você instala a skill do meu repositório de skills, tudo vem junto: a referência, claro, o skill.md e todos os scripts da CLI. Voltando mais abaixo, temos todas as regras rígidas. São coisas que aprendi da maneira mais difícil enquanto desenvolvia a skill e a usava

10:03 repetidamente. Isso a torna mais confiável. Temos o ciclo de controle; por exemplo, sempre que estiver operando em uma janela, eis o que você deve fazer, certo? Primeiro, descobrir a janela com um comando, fazer uma captura de tela para entender o cenário, dar foco à janela e então agir. E aqui estão as maneiras de agir e a CLI que você pode usar para ajudar nisso, certo? Dá para ver tudo se encaixando. Não preciso ler literalmente tudo, mas também há uma CLI inteira para acompanhar uma sessão — por exemplo, se você pedir à skill para conduzir outra sessão de um agent de programação, ela precisa ficar atenta a aprovações e coisas assim. Também fiz bastante disso.

10:35 Na condução automática, há diferentes armadilhas às quais precisamos ficar atentos. Algumas dessas coisas são específicas do que tenho automatizado, como abas do navegador, aplicativos de desktop e outras sessões de agent de programação. Talvez você vá fazer as mesmas coisas, talvez não, mas, de novo, pode pegar essa skill e personalizá-la como quiser. Se quiser remover armadilhas que não se aplicam a você ou acrescentar outras, fique à vontade, certo? Esse é o tipo de coisa que você não consegue fazer muito bem com uma ferramenta mais robusta de uso do computador. Estou voltando a esse motivo várias e várias vezes porque adoro ter tanta flexibilidade. Agora, como eu

11:07 mencionei há pouco, também é preciso estar atento a ataques de prompt injection no uso do computador em geral. Vou deixar o link para este artigo na descrição; é uma ótima leitura. Mas também preciso dizer — e isso talvez acabe se voltando contra mim — que acho que você não precisa mais se preocupar tanto com ataques de prompt injection, desde que esteja usando os novos melhores modelos, como Fable 5.1 e GPT-6 Astra. Muitos estudos estão mostrando que esses LLMs são muito, muito difíceis de manipular por prompt injection, mesmo sem guardrails sofisticados ou um harness sofisticado. Então, hoje em dia, não me preocupo com isso, pelo menos

11:42 nem de longe tanto quanto antes. Acho que você também não precisa se preocupar. E, especialmente se estivermos usando a skill para tarefas simples, como a configuração matinal e os testes de aplicativos de desktop que mostrei neste vídeo, realmente não é preciso se preocupar com isso. Então, eu diria: garanta que está usando os LLMs mais poderosos ao usar o computador; isso também torna o uso mais confiável. E essa skill é bastante eficiente no uso de tokens. Não é a mais rápida, mas isso acontece porque ela espera por diferentes entradas e coisas do tipo, não porque consome dezenas de milhares de tokens. Então, use-a por sua conta e risco, e eu recomendaria usar modelos melhores.

12:14 Mas, pelo menos para mim, não considero isso um risco no uso do computador, especialmente quando tenho algo que posso controlar tanto quanto esta skill. Então, recomendo que você a instale e experimente. Não precisa adicionar nenhuma ferramenta: ela está bem aqui no meu repo de skills de IA no GitHub. Você pode instalá-la como um plugin do Claude Code se quiser adicionar todas as minhas skills, ou pode simplesmente pegar a pasta de skills que deixei linkada na descrição e adicioná-la a qualquer agent de programação. Espero que você ache isso útil. E espero também que tenha sido interessante explorar comigo as novas capacidades dos LLMs,

12:45 como eles conseguem fazer essas coisas incríveis sem precisar mais de um harness adicional. Então, se você gostou deste vídeo e está esperando mais conteúdo sobre skills para agentes de programação e programação com IA em geral, eu agradeceria muito se deixasse um like e se inscrevesse no canal. E, com isso, nos vemos no próximo vídeo.

Transcrição original

[00:00] I have a new favorite skill that I’m using in Claude code and code X every single day for everything under the sun. I call it drive screen and I want to show you how this works today cuz I built it to be a super lightweight alternative to the really bloated and hard to manage computer use tools like what Claude has built into their platform. We have code X computer use. There’s a ton of open source tools out there as well and these are all powerful, but I’ve never been a fan of using them. That’s why I built my own skill and the beauty of what I built here is you just need your coding agent.

[00:30] You don’t have to install anything or build any kind of harness. Large language models, especially with Fable 5.1 and GPT-6 Astra now, they’re good enough where they can drive your entire screen for pretty much anything with just the command line. I didn’t realize that until I just tried it out a couple of weeks ago and that’s eventually led to building the skill which I love cuz it works no matter the operating system and now I don’t have to install anything else or rely on a massive out of the box computer use tool. Like I said, I’ve never been a fan of these. I want to control all my tooling and with these

[01:01] tools it’s really hard to customize things and tweak it as little issues come up as you’re incorporating it in your workflow. And so because of that, I’ve just always strayed away from computer use as a whole. The problem is computer use is incredibly useful and I’m realizing that more and more the last couple of weeks. There’s a reason I’m obsessed with using the skill now. So if you’re not using computer use at all right now, I would encourage you to at least start dabbling with it with the tool like, you know, code X computer use. Of course, I would encourage you to try out the skill that I’ll link to in

[01:31] the description. There’s just endless possibilities, ways to boost your productivity using this kind of capability with your coding agent. Now, of course, there are some security concerns, especially when you’re running just a skill instead of a full harness. We’ll definitely talk about that, but there are so many quick wins I’ve started relying on every single day that I want to show you here. I mean, the most obvious one is to use your coding agent to help you get set up in the morning. So you turn on your computer, you open up your coding agent, and you say get my morning setup, right? Like here are the things I’m working on for today. It could even go look at your

[02:03] task management software with the CLI or MCP, and then it can get things open for you. In your browser tabs, opening up tabs in Obsidian, getting desktop apps started, Docker containers, whatever you need, it can set up everything. And so, like this alone saves me like a solid like 10-15 minutes every single morning, and that adds up, especially with all the other things I’ll show you here. And so, it just uses the skill and simple commands to drive everything. There is no additional tooling installed here. And I’ve tested this skill on each operating system, Mac, Linux, and Windows. I’ve tested with multiple

[02:36] monitor setups and different display settings. It’s really good and really adaptable. And here’s the thing, even if you’re not super interested in this specific skill I’m showing you right now, the big takeaway here, what really just blows my mind, is how adaptable large language models have become. There’s so many tasks that I’ve just written off before as the LM can’t do it, or I think you need some massive tool like for computer use where now you just don’t. Like you probably have a couple of ideas in your head right now for something you think an LM can’t do. Like computer use or editing a video,

[03:07] you think you need some fancy tool, but you actually don’t. Just like try it out right now. Give it an MP4 and say edit this video, take out the ums, add in b-roll and transitions. And especially with like Fable and Astra, like it’ll knock it out. And to be totally honest with you, this Drive Screen skill has been simply born out of necessity cuz recently I’ve just been kind of overwhelmed with all the different things happening in the AI space, things I got going on, applications that I’m trying out, especially a lot of open source projects like Kestra for example. I’m trying out all of these, and a lot of them they have a UI, or there’s something where I can’t just use my

[03:39] browser automation, so I needed some kind of computer use to test things out, but also I wanted something super lightweight and easy for me to manage. I didn’t want to bring in a full computer use tool. And so, at the time I just took this GitHub URL and all the other ones I was testing, I mean, this is just one example here. I gave it to Claude and I said, “Research the web, dive into the repo to understand the features, then start the desktop app, and then control my screen to test out different features, and then leave it open for me at the end to continue my own testing.” And I had no idea if that would work. I

[04:11] thought maybe it would go for some larger computer use tool and install it, or maybe it would just say it can’t do it and tell me to do things manually. But, to my pleasant surprise, it was able to go through it end to end simply by running commands in the terminal. So, this is about what my session logs look like, especially before I had the skill. So, it runs command after command to click around and take screenshots and analyze results, but it did the whole thing end to end. It took a while, it’s not the most efficient, I mean, computer use isn’t in general, but I just let it go, take control of my computer, I

[04:42] worked on another device, I came back, and everything was done, and everything was still up for me to continue the testing as well. It was a beautiful thing. And with all these commands, for me on Windows, it’s just simply PowerShell, right? Like, there’s no additional tool brought in. For Mac, you can use AppleScript. Again, I’ve tested this for every OS. And so, I was hooked on this right away. Testing a bunch of different apps, doing my morning setup, like I showed earlier, having it set things up for my presentations and recordings every single day. Now, it didn’t start as a skill, like I just say like use PowerShell to drive my screen and do XYZ, but it became obvious very

[05:15] quickly that we need a full skill, because sometimes the computer use wouldn’t even work through PowerShell. Like, the agent would get totally tripped up, or there’d be certain failure modes that I’d see come out as patterns. And so, I’ve documented all the failure modes. I’ve laid out the workflow, even built some scripts to make things more deterministic, and that is what I have packaged up as the skill for you. The sponsor of today’s video is Plural, and they built something genuinely cool. DevOps agents that live in your own Kubernetes clusters, figure out what’s broken when something is, and then open up pull requests to fix it. They call it workbenches. So, let me

[05:48] show you. Right now in my own cluster, I have one of my services, the payments API, that is crash looping. But, all I have to do here is go to the workbench where I can send off any job, and I simply said the payments API service is crash looping, find the root cause, and open up a pull request to fix it. And here, Plural spins up subagents that each have their own context to dive really deep into the pods, the logs, the GitOps repository. A couple minutes later, it identifies the exact problem. It gives me the diff and the evidence, and even builds me a dashboard to help me understand the problem that’s

[06:18] happening here in my cluster. And then my favorite part is it spins up a Cloud Code instance in my cluster to make the fix and then open up the pull request. And so, the agent runs in my environment with my model keys, and I still get to be the one to merge the pull request in the end. And you can wire up that same workbench to your alerts, run it on a cron, or even trigger it by saying Plural fix this in a Jira ticket. You can self-host Plural or use their cloud, and it’s free to get started. I’ll have a link to them in the description. So, of course, I want to get into how this skill works, how I’ve kept it simple,

[06:49] security considerations. We’ll talk about that in a second, but what I want to do for you really quickly here is show you a live demo of this skill working. And so, I’m obviously going to speed it up a lot, but I’m going to send off this prompt so we can see it in action, loading the skill and then super easily going through any kind of setup that I have for it. And so, I’m going to turn off my video and then fast forward here so you can watch it happen. So, there we go. We completed everything within just a minute here. I know it’s a very simple example I’m showing you here. I don’t want to do anything super

[07:22] comprehensive right now, but the point is that it’s fast. It didn’t take a lot of commands either because the skill guides it and even gives it some tooling to move faster. And by the way, what it did here even includes validating the environment to make sure it has all the tools it needs, and that it has the permission it needs on the machine as well. And so, that’s just a super quick example. Now, let’s talk more about how the skill works. So, this skill as a whole is a little under 400 lines long. So, not the longest, but also not the shortest. I I wanted to have a full workflow laid out for the agent here, and also make it work for every operating system. And there’s a lot of

[07:55] nuances I wanted to build in, little failure modes that I’ve seen as I’ve tested it out. And so, the workflow starts by figuring out, do we even need screen control at all? I want the agent to have the opportunity to push back when you use this skill, because sometimes it really doesn’t require computer use when you think. There’s some other kind of tool like browser automation to get the job done. Like it says right here, screen control is the slowest and least reliable way to make a computer do something. So, it’s the most adaptable and flexible, but it’s the slowest. And there’s the

[08:27] security issues where you can have prompt injection attacks come on your screen, so the agent views that and does something malicious. Large language models really don’t fall for that anymore, which is also a big reason why I’m trusting it with this kind of capability now. But just something to keep in mind. That’s also why I stick to really simple things when I’m using this tool. If I want any kind of production-grade computer use, I’m still going to be using some kind of larger harness or tool. And then going up to the top of the skill really quickly, I want to call up the different scripts that ship with the skill. This provides more determinism. So, instead of the

[09:00] agent having to figure out the exact commands for certain things in real time, like I had to do initially, I have all the best practices packaged up into these scripts now. For window discovery and focusing and typing and pasting. There’s many different ways to do these things. I figured out the best from all the testing I’ve done. And let me tell you, I’ve done hours and hours and hours of testing. And then I built it into essentially this little CLI for the agent to call upon with the different commands and arguments. And so, it’s my own little custom CLI. We don’t have to get into the details of all this right

[09:31] now. There’s quite a bit here because there’s so many different operations the agent can perform, but it’s a big part of what makes this more reliable. And it’s also very easy to customize things if you’re working on some other kind of distribution of Linux, for example, that might need things to operate a bit differently, you can just go in and edit the skill, right? So, like when you install the skill from my skills repository, everything comes with it, the reference, of course, the skill.md, and all the scripts for the CLI. And then scrolling back down again, we have all the hard rules. These are things I learned the hard way, just as I was building up the skill and using it over

[10:03] and over again. So, that makes it more reliable. We have the control loop, like whenever you’re operating in a window, here’s what you should do, right? Like first, discover the window with a command, screenshot it so you have the lay of the land, focus in on it, then you can act. And here are the ways that you act and the CLI that you have to help you with that, right? So, you can see everything coming together here. I don’t even have to go and read through it literally everything, but there’s also like a whole CLI for watching a session, like if you have it drive another coding agent session and needs to watch for approvals or things like that. I’ve done a lot of that as well.

[10:35] Auto driving, we have uh different traps that we needed to watch out for. And so, some of these things are specific to what I’ve been automating with, like browser tabs, and desktop applications, and then other coding agent sessions. Maybe you’re going to be doing the same things, maybe not, but again, that you can take this skill and customize it to your liking. So, if you want to take out traps cuz they don’t apply to you or add some in, you can feel free to do that, right? Like that’s the kind of thing that you can’t really do with a larger computer use tool. Just going back to that reason again and again and why I love having this flexibility so much. Now, like I

[11:07] mentioned a bit ago, you also do have to be aware of prompt injection attacks for just computer use in general. I’ll link to this article in the description, it’s a really good read. But also, I got to say, and this might bite me in the butt a little bit, I don’t think you have to worry about prompt injection attacks that much anymore as long as you’re using the new best models like Fable 5.1 and GPT-6 Astra. There are a lot of studies coming out that are showing that even without fancy guardrails or a fancy harness, these LLMs are very very hard to prompt inject. And so I’m just not concerned about it these days, at least

[11:42] nearly not nearly as much as I was before. I don’t think you have to be either. And especially if we’re using the skill for simpler things like what I showed in this video like morning setup and testing desktop apps, things like that, you really don’t have to worry about it. And so yeah, I would say just make sure you’re using the most powerful LLMs when you’re using computer use makes it the most reliable anyway. And this skill, it is pretty token efficient. It’s not the fastest, but it’s because it’s waiting on different inputs and things, not because it’s burning through tens of thousands of tokens. And so use it your own risk and I would encourage you to use better

[12:14] models, but I will say at least for me I don’t consider it a risk for computer use anymore, especially when I have something that I can control so much like this. So I would encourage you to install the skill, try it out. You don’t have to bring in any additional tooling, it’s just right here in my AI skills GitHub repo. can install it as a Claude code plugin if you want to bring in all my skills or you can just take that skills folder that I have linked in the description and bring it into any coding agent. And so I hope that you find this useful. And even just exploring with me in general the new capabilities of LLMs,

[12:45] how they’re able to do these incredible things without an additional harness anymore. And so if you appreciate this video, you’re looking forward to more things on coding agent skills and AI coding in general, I would really appreciate a like and a subscribe. And with that, I will see you in the next video.