A IA acabou de abalar toda a indústria de software

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: AI just BROKE all of the software industry… · Canal: Wes Roth · 26:09 · Assistir no YouTube

Tópicos: Agentes de IA, Aplicações empresariais de IA, Cibersegurança e segurança de software, Engenharia de software com IA, Segurança de IA

Resumo

O vídeo apresenta como modelos de IA conseguem reconstruir software e jogos a partir do comportamento observável, sem acesso ao código-fonte, e explora as possibilidades de criar versões alternativas e mods. O apresentador mostra exemplos de clones de programas, mashups de jogos e projetos de engenharia reversa, incluindo usos que podem afetar a segurança e a justiça em jogos multiplayer. Ele também explica como ferramentas de verificação podem ajudar agentes de programação a reproduzir mecânicas com precisão e gerar dados úteis para treinar modelos. Por fim, recomenda experimentar com cópias de segurança e cautela, sobretudo ao conceder a um agente acesso amplo ao computador.

Pontos-chave

Modelos de IA já conseguem reconstruir funcionalidades de software sem consultar o código-fonte, uma abordagem relacionada à engenharia de clean room.
O apresentador relata ter criado uma alternativa utilizável a um editor de vídeo em cerca de duas horas e cancelado a assinatura do produto original.
Clones de software podem pressionar empresas de SaaS a oferecer melhores produtos e atendimento, mas também levantam questões legais.
Modificar arquivos locais de jogos multiplayer pode permitir vantagens injustas, como enxergar personagens através de paredes; o apresentador não revela os detalhes para evitar facilitar abusos.
Ciclos de tentativa e verificação permitem comparar o comportamento de uma reconstrução com o jogo original, mesmo quando o código-fonte não está disponível.
Projetos como Snowboard Kids decomp e Reverse Engineer Anything ajudam a reconstruir código ou compreender o funcionamento de software.
Agentes de programação podem criar mods, mashups e jogos inspirados em títulos existentes, além de integrar LLMs ao controle de jogos.
O apresentador recomenda começar com uma mudança pequena, fazer backup dos jogos e considerar os riscos de segurança antes de dar acesso amplo ao agente.

Capítulos

Início	Capítulo	Resumo
00:00	A IA e a reconstrução de software	O vídeo apresenta mashups de jogos e a possibilidade de reconstruir programas e jogos usando IA.
03:16	Benchmark e engenharia de clean room	O apresentador discute o desempenho do GPT-6 Astra no SREBench e explica a abordagem de clean room engineering.
06:25	Alternativas feitas sob medida e clones de SaaS	Ele relata a criação de um editor de vídeo alternativo e imagina projetos criados por clientes insatisfeitos.
10:38	Reconstrução de software e riscos em jogos multiplayer	O apresentador descreve como alterações em arquivos locais de um jogo podem gerar vantagens injustas e evita revelar os detalhes.
14:56	Engenharia reversa como fonte de dados verificáveis	Ele explica como reconstruir mecânicas e comparar os resultados com o comportamento original pode ajudar a treinar modelos.
18:07	Ferramentas e exemplos de mods	O vídeo apresenta Reverse Engineer Anything e exemplos de integração entre jogos, além de sugerir cautela com links e acesso de agentes.
21:22	Criar mods e jogos com agentes de IA	O apresentador compartilha experimentos com RimWorld e recomenda começar com uma mudança pequena e pesquisar recursos existentes.
24:36	Acesso ao computador e cuidados de segurança	Ele mostra sua configuração com Codex e alerta sobre backups, compactação de contexto e os riscos de conceder acesso amplo ao computador.

Citações

Todo software como serviço agora é open source, queira ou não. — 01:38

O teste pergunta se um agente de IA consegue descobrir como um software funciona sem receber o código-fonte. — 02:45

Para a maior parte dos softwares que você usa, provavelmente só precisa de 5% do conjunto — e precisa que isso funcione perfeitamente. — 06:25

Você se sente um pouco como um mago, capaz de conjurar mundos só falando com o Codex. — 25:39

Conceitos e entidades

GPT-6 Astra (modelo): Modelo apresentado no vídeo como capaz de realizar tarefas de engenharia reversa e construir software funcional a partir de descrições.
SREBench (conceito): Benchmark de engenharia reversa citado como um teste para verificar se um agente consegue reconstruir software sem receber seu código-fonte.
clean room engineering (conceito): Método em que uma equipe documenta as funções de um produto e outra as implementa sem copiar seu código ou design protegido.
Snowboard Kids decomp (repo): Projeto que busca reconstruir o jogo Snowboard Kids para Nintendo 64 usando um ciclo de implementação, compilação e verificação.
Reverse Engineer Anything (ferramenta): Projeto citado como auxiliar para agentes de IA entenderem e recriarem o funcionamento de software sem acesso ao código-fonte.
Auto Rim MCP (ferramenta): Projeto no GitHub que permite a um LLM controlar uma colônia de RimWorld por meio de MCP.
Adobe (empresa): Empresa cuja suíte Creative Cloud é apresentada como alvo de um projeto de reconstrução de software.
Wes Roth (pessoa): Apresentador do vídeo, que relata experimentos pessoais com reconstrução de software, mods e agentes de programação.

Tradução completa (pt-BR)

00:00 Então, não sei se você ouviu, mas, há algumas semanas, ultrapassamos um certo limite com a IA. E agora praticamente qualquer software do planeta pode passar por engenharia reversa. Alguém fez engenharia reversa de todo o pacote de produtos da Adobe: Photoshop, Premiere etc. Agora estão trabalhando na engenharia reversa do pacote da Microsoft. Também colocaram Mario 64 em Elden Ring, Spider-Man em Batman: Arkham Knight. Há uma mistura de Modern Warfare, Skate 3 e Minecraft. Ou, por exemplo, World of Warcraft e Skate 3. E temos World of

00:31 Skatecraft. Tem Mario 64 em Garry’s Mod e Mario 64 em Sonic Generation. Vou pular os próximos 50, porque ou é Minecraft com alguma coisa ou Mario 64 com alguma coisa. Dá para fazer parkour no estilo de Mirror’s Edge em Skyrim. Snowboard Kids, um jogo de Nintendo 64, foi reconstruído e portado para PC. Dá para pegar qualquer jogo, em qualquer console ou PC, e portá-lo para qualquer outra coisa. Dá para transformá-lo em VR. Praticamente qualquer coisa que você consiga imaginar já existe. E, se ainda não existe, bem, você pode criá-la agora mesmo. Então, neste

01:04 vídeo, vou mostrar o que as pessoas construíram, como você pode começar a construir algo parecido e alguns dos projetos em que tenho trabalhado. Mas, primeiro, como seria colocar um Portal do Nether de Minecraft no meio de GTA? Dá uma olhada.

01:38 Então, o Fireship fez um vídeo sobre isso há alguns dias, e acho que resumiu muito bem: todo software como serviço agora é open source, queira ou não. Então, se você coloca Mario em Elden Ring, Mario tem todos os movimentos familiares a que você está acostumado em Mario 64. Quando você coloca Minecraft em GTA, todas as mesmas mecânicas de Minecraft continuam existindo, mas dentro do mundo de GTA. De repente, você pode começar a experimentar combinações que os desenvolvedores originais nunca lançaram e talvez nem pudessem imaginar. Então, a

02:11 possibilidade maior aqui é esta: você pega um software que já faz algo útil, algo que usa no trabalho ou para se divertir todos os dias. Pega uma parte dele, entende como essa parte funciona e então a reutiliza, ou cria algo novo em torno dela. Os jogos tornam essa possibilidade muito, muito fácil de enxergar. Especialmente se você já jogou esses jogos: dá para ver como Mario se movimenta, mas dentro do mundo de Elden Ring. Dá para ver como é uma mistura. Ela captura muito bem a essência de um e a coloca na essência do outro. Agora, imagine aplicar isso a todo tipo de

02:45 software. E esse é um avanço relativamente recente. Na verdade, o ponto de inflexão começou com GPT-6 Astra. Mais especificamente, com este pequeno benchmark chamado SREBench. É um benchmark de engenharia reversa. O teste é simples. Ele pergunta se um agent de IA consegue descobrir como um software funciona sem receber o código-fonte. Então, ele mostra o resultado: “É assim que o software se parece, é isto que ele faz. Você consegue recriá-lo, sabe, com seu próprio código-fonte, mas reproduzindo todas as funcionalidades?” E

03:16 como você pode ver aqui, GPT-6 Astra está tendo uma taxa de sucesso fenomenal a preços muito baixos. Astra resolve 88% das tarefas em uma única tentativa e 99,2% em até quatro tentativas. Então, o ponto é que agora praticamente qualquer coisa pode ser reproduzida por engenharia reversa. E, embora haja alguma discussão sobre a legalidade disso, pelo que sabemos e entendemos, parece ser totalmente legal. Isso se sustenta. O essencial é não usar o código-fonte, porque ele é protegido por direitos autorais do

03:47 criador original. Desde que você não o consulte e simplesmente o copie, mas, em vez disso, crie tudo do zero, isso é perfeitamente legítimo. De novo, provavelmente veremos alguns processos judiciais discutindo os detalhes jurídicos disso, mas isso é conhecido como engenharia de sala limpa. É um conceito que existe há bastante tempo. Uma equipe analisa um produto ou software e detalha toda a arquitetura, como foi construído, e tenta escrever uma especificação funcional de alto nível que descreva o que o sistema faz. Agora,

04:18 essa equipe só pode registrar as ideias funcionais, que não podem ser protegidas por direitos autorais. Depois, uma segunda equipe transforma essas ideias em algo real. Assim, ela consegue reproduzi-lo sem que ninguém simplesmente copie o projeto existente. A propósito, aqui está o artigo no qual esse benchmark se baseia: “O próximo desafio para a Agnik Cybersecurity: um benchmark realista de engenharia reversa livre de contaminação”. Temos pessoas do Google DeepMind, OpenAI, Anthropic, UCLA, UC Berkeley, Columbia etc., o que

04:49 é interessante de ver, porque a vida útil desses benchmarks de IA que estão surgindo está ficando cada vez mais curta, já que GPT-6 Astra, claro, consegue uma pontuação quase perfeita. Este artigo foi enviado pela primeira vez em 11 de agosto deste ano. Agora, nos últimos anos, tenho usado um software específico de edição de vídeo para me ajudar a editar meus vídeos. Mais recentemente, passei a trabalhar com um editor de vídeo que é absolutamente incrível, mas, quando preciso entregar algo rápido ou é algo muito simples, uso essa empresa específica para editar meus vídeos. Não vou dizer o nome, só para

05:22 evitar qualquer problema, mas, recentemente, a qualidade desse software começou a cair. Eles tentam fazer você comprar cada vez mais coisas. Há aqueles pop-ups irritantes, mesmo você pagando uma mensalidade pelo software. E, mais recentemente, houve um bug, uma falha que me impediu de concluir a exportação do vídeo em que eu estava trabalhando. O suporte não serviu para nada. Eles oferecem um chatbot que não consegue fazer nada. Se você conseguir mandar um e-mail para o atendimento de verdade, eles respondem uns três dias depois e não ajudam em nada.

05:52 Tenho certeza de que você já se deparou com um software assim ou com empresas que fazem esse tipo de coisa. No passado, você tinha que simplesmente aceitar ou procurar uma alternativa, outra empresa, talvez aprender a usar um software novo etc. Mas isso acabou, porque peguei GPT-6 Astra no modo ultra e disse para ele — não pedi para replicá-lo exatamente, mas descrevi a interface e as funcionalidades de que precisava. E, de novo, para a maioria dos softwares que você usa, se pensar bem, não precisa de 100% das ferramentas e dos recursos extras que eles oferecem. Você provavelmente

06:25 só precisa de 5% do total, e precisa que isso funcione perfeitamente. E foi exatamente isso que Astra fez. Levou cerca de duas horas. Defini um objetivo, ele trabalhou por bastante tempo e construiu tudo. Houve um pouco de troca de mensagens, e provavelmente vou continuar fazendo ajustes, mas está uns 80% a 90% pronto e é muito, muito útil. Cancelei minha assinatura com a empresa original e nunca mais vou voltar. Agora, tenho quase certeza de que alguns de vocês são fãs do Larry David. Talvez se lembrem daquele episódio em que ele abre uma loja por despeito.

06:56 Basicamente, se não me engano, há uma cafeteria que simplesmente não faz alguma coisa do jeito que ele gosta. Tipo, os muffins são macios demais ou o biscotti é duro demais, sei lá. Então, usando o dinheiro e o capital que tem, ele simplesmente abre uma loja bem ao lado, vendendo basicamente a mesma coisa. O objetivo não é ter lucro. O objetivo é só causar um pequeno prejuízo a um negócio que o irritou. Enfim, isso acaba pegando entre celebridades e pessoas famosas e com dinheiro, porque muitas decidem abrir suas próprias lojas por despeito para tirar do

07:29 mercado várias outras empresas que as irritaram. A questão é a seguinte: vamos ver isso acontecer na vida real, agora. Podem anotar. Se uma empresa de software como serviço irritar o cliente errado — e pode ser qualquer cliente com um plano ChatGPT Max — e se esse cliente for rancoroso o bastante e tiver tempo de sobra, bem, essa empresa pode esperar ver surgir uma cópia dela mesma. Essa cópia pode ser totalmente gratuita. Pode ter recursos melhores. E dá para criar campanhas de marketing realmente virais

08:02 para essas lojas. Elas não são lojas, não são lojas de despeito; são SaaS de despeito, SaaS de vingança, chame do que quiser. O ponto é que, se alguma empresa deixou você com raiva e alguém então cria esse projeto de software de SaaS de despeito, você não só vai usá-lo, como provavelmente também vai divulgá-lo. E, sinceramente, acho que ninguém deixou mais gente com raiva do que a Adobe. Em primeiro lugar, eles tendem a agrupar todos os produtos, então não importa se você precisa de apenas uma coisa: você vai pagar por tudo. Além disso, criaram algumas políticas de cancelamento bem perversas, nas quais, basicamente

08:32 você pagava mais se cancelasse. Ao que parece — supostamente, e “supostamente” é a palavra —, eles escondiam as taxas de cancelamento e cobravam 50% do valor restante da assinatura quando você cancelava. Então, literalmente, em algum momento das últimas semanas, acredito que alguém pegou todo o pacote da Adobe, a Creative Cloud, como eles a chamam, e basicamente a replicou por inteiro. A propósito, você entende que isso não é patrocinado, certo? Não estou recebendo, ninguém está recebendo para falar deste projeto. Esta é uma loja de despeito, e muita

09:04 gente sente despeito por essa empresa específica que está sendo clonada. Agora, baixei o pacote; aqui está. Ainda não tive a chance de conferir tudo. Não usei tanto o editor de vídeo da Adobe, embora eles tenham seu próprio clone. As opiniões são variadas: algumas pessoas não gostam muito. Provavelmente não vou experimentar porque, sabe, estou fazendo o meu próprio. Mas este Photocraft, que supostamente é algo parecido com o Photoshop… Para quem já usou o Photoshop, isso parece familiar? Talvez. Alguns até diriam que é uma cópia perfeita em pixels, o que, é claro,

09:38 não é, porque o Photoshop não diz Photocraft, certo? Este ícone pequeno é diferente, é claro. Mas sinto que, em praticamente todo o resto, é mais ou menos idêntico. Tipo, eu sei onde ficam todos os botões. Esta é a primeira ou a segunda vez que abro este software, e sei onde ficam todas as ferramentas, o que é meio incrível. É uma interface bem intuitiva, por assim dizer. Então, só pelos poucos instantes em que pude usá-lo, sabe, ele parece muito, muito semelhante. É extremamente rápido. Carrega muito, muito rápido. E, de novo, sei que algumas pessoas

10:08 disseram que havia problemas com ele, que era mais lento. Não passei por nada disso. Então, lojas de despeito são literalmente uma coisa. Acho que Larry David estava à frente do seu tempo. E, sinceramente, não poderia estar mais feliz, porque acho que, antes, muitas dessas empresas meio que abusavam do fato de terem essa vantagem defensiva em torno do software. Agora, se sua única vantagem defensiva era a capacidade de criar esse software, então, bem, você não tem vantagem defensiva. No geral, estou bem feliz com isso, porque acho que isso vai exercer alguma pressão sobre essas empresas de software como serviço,

10:38 sabe, como a Adobe, para que não abusem dos clientes, porque sempre haverá uma alternativa. Não estou dizendo que a Adobe abusava dos clientes, só que, sabe, supostamente abusava dos clientes. Acabei preso na armadilha de cancelamento deles por um ano e não fiquei nada feliz. Essa é meio que a parte boa. Também há o lado ruim. E fiquei bastante indeciso sobre isso, porque não sabia se devia falar sobre o assunto. Porque consegui fazer bastante coisa com

11:09 isso, mas, se eu publicar basicamente todas as minhas descobertas, isso pode causar bastante dano. Basicamente, no caso de dois jogos online competitivos específicos, eles têm bases de jogadores enormes. Há todo um cenário de esports em torno deles. Há muitas comunidades e milhões de pessoas jogando. E um dos problemas é que, quando você está jogando online, o servidor só controla uma pequena parte do que acontece. Então, a maior parte das coisas acontece na sua máquina local, e apenas as informações necessárias são transferidas de volta para o servidor e vice-versa.

11:40 Fiquei bastante impressionado quando consegui modificar muitas coisas em um desses jogos. Não quero revelar qual é o jogo, porque ele é muito ativo, tem uma comunidade enorme e muitos jogadores. Mas, quando você joga online, muitos dos recursos, os modelos 3D, ficam no seu computador. Agora, esses modelos de IA estão ficando muito bons em fazer engenharia reversa desses jogos. Além disso, são muito bons em criar recursos 3D. Eles podem pegar, por exemplo, um recurso do jogo que se parece com isto. Vou chamá-lo de tanque, só para não revelar qual é. E eles podem, por exemplo, remover a parte superior dele, de modo que ela continue lá, mas fique transparente.

12:12 Então, antes talvez houvesse problemas reais de visibilidade. Há prós e contras em usar isso; depois da mudança, fica meio injusto, especialmente quando os outros jogadores no jogo não têm a mesma vantagem. Muitos personagens do jogo têm aquele sistema interno de articulação, como um “esqueleto” que mostra como eles se movem. Você consegue adicionar o que se chama de pontos ou pixels de raio X a essas estruturas.

12:45 Pixels de raio X são basicamente pixels através dos quais você consegue enxergar, certo? Eles são sempre renderizados por cima de tudo. Então, se houver uma pessoa atrás da parede, essa estrutura será desenhada por cima da parede. Você consegue vê-la através da parede. É possível adicionar minimapas a um jogo em que não deveria haver minimapas. É possível adicionar fontes de luz a objetos que normalmente não teriam uma fonte de luz. É possível mudar texturas. Dá para fazer muito mais do que eu achava que seria possível. Vai muito além do que eu esperava. Agora, alguns de vocês talvez estejam dizendo: “Bem, sim, são trapaças, e elas existem há algum tempo. As pessoas vendem trapaças online etc.”. Aqui está o problema. Pelo que entendo, a maioria das trapaças usa uma abordagem diferente. Elas usam técnicas de injeção de memória. Muitas vezes, exigem que algo seja executado junto com o jogo. Isto é muito, muito diferente. É diferente porque não há script. Você não executa nada junto com o jogo. Não há um segundo programa. Você entra no próprio jogo, nos recursos do jogo, e os altera. Então, quando o jogo começa, ele simplesmente carrega esses arquivos e os exibe no

13:18 jogo como faria normalmente. Não há nada externo. Não há nada extra. Agora, para deixar claro, não usei isso em um ambiente competitivo, então não usei para trapacear nem para obter uma vantagem extra. Foi um experimento. Eu queria saber se era possível. E a resposta é: sim, é possível, e a quantidade de coisas que você consegue fazer com isso é meio assustadora. Vai ser interessante ver como as empresas de jogos vão conseguir se adaptar a isso. Porque agora, se qualquer pessoa consegue, de certa forma, reconstruir, redesenhar, fazer engenharia reversa e alterar o jogo da maneira que quiser, fazendo isso

13:52 na própria máquina local e depois participando do multijogador, bem, as coisas ficam estranhas. E, de novo, peço desculpas por não mostrar todos os detalhes, mas, se eu mostrasse, sinto que estragaria esse jogo. Estragaria o jogo para muita gente. E nem vou explicar exatamente como fiz essa coisa específica. Isto é mais para você saber e ficar ciente disso, porque é muito provável que muito mais disso esteja por vir. Então, ainda não tenho 100% de certeza de que deveria estar falando sobre isso. Tecnicamente, essas coisas são consideradas exploits. E, para mim, pessoalmente, quando

14:26 de, tipo, na máquina local deles e depois participar de partidas multiplayer, bem, as coisas ficam estranhas. E, de novo, peço desculpas por não mostrar todos os detalhes, mas, mais uma vez, sinto que, se mostrasse, estragaria esse jogo. Estragaria o jogo para muita gente. E nem vou explicar exatamente como fiz essa coisa específica. É mais para vocês saberem e ficarem cientes disso, porque é muito provável que muito mais disso esteja por vir. Então, ainda não tenho 100% de certeza de que deveria estar falando sobre isso. Tecnicamente, essas coisas são consideradas exploits. E, pessoalmente, quando

14:56 Eu testei esses recursos e, desde então, apaguei tudo. Mas, é claro, vai haver muita gente que vai abusar deles e continuar usando-os para obter vantagem no jogo. Mas, voltando a assuntos mais centrados em IA, se levarmos essa ideia um passo adiante — a ideia de que esses modelos podem fazer engenharia reversa, por exemplo, de jogos e de vários softwares complicados —, isso é enorme em termos de dados de treinamento. Se você consegue criar software, fazer engenharia reversa de software, cada vez que faz isso, meio que passa de funções para código-fonte e volta. Isso vai ser extremamente bom para treinar modelos futuros

15:29 modelos. Porque, no fim das contas, os resultados podem ser verificados. Na verdade, uma das ferramentas que vou mostrar daqui a pouco se chama Nigel. Basicamente, imagine dar a esse modelo uma função de movimento específica, certo? O Mario dando um mortal para trás triplo ou fazendo algum movimento de parkour. Aí você deixa o agente de programação tentar criar aquele movimento específico. Depois, você executa o verificador e confere de novo o que aconteceu. Então, você reconstrói o jogo. Nesse caso, estavam reconstruindo um jogo antigo de N64. Mas o ponto é que criar esse tipo de movimento específico se torna um problema com uma solução verificável. Você consegue

16:02 fazer o personagem se mover dessa maneira específica? Consegue criar essa função ou esse edifício, qualquer que seja a mecânica de jogo, elemento visual ou o que estiver tentando recriar? Esses são ótimos dados de treinamento para esses modelos. Como agora os modelos conseguem trabalhar com qualquer software, qualquer jogo, a quantidade de dados de treinamento a que têm acesso agora é enorme. O fato de você não ter acesso ao código-fonte do jogo é quase uma vantagem, porque realmente não precisa dele. Você tem algum comportamento observável. O agente de IA pode tentar recriá-lo de várias maneiras diferentes. E você consegue

16:34 comparar a resposta com o funcionamento da mecânica original. Agora, se quiser experimentar isso por conta própria, um projeto interessante é Snowboard Kids decomp. Decomp é uma decomposição. Basicamente, neste caso específico, o objetivo era decompor este jogo de N64 chamado Snowboard Kids. Aqui, na embalagem, está escrito “somente para Nintendo 64”, curiosamente. Mas, com IA, é para qualquer coisa. E, de novo, o ciclo é bem simples, certo? Escolhemos a próxima ação inacabada. Deixamos o agente de programação

17:04 tentar. Ele escreve código C, compila e compara com as instruções originais. Depois, executa o verificador, e ou funciona ou não funciona. Este exemplo verifica o código reconstruído exato, enquanto um teste de movimento pode verificar comportamentos, como a altura do salto. Então, você pode dar ao personagem os mesmos comandos e ver se, por exemplo, o salto alcança a mesma altura ou se ele aterrissa exatamente no mesmo lugar da pista. Se bate na parede no próximo ponto, etc. Assim, conseguimos recriar a física dos bastidores, ou como você quiser chamar, simplesmente garantindo que o nosso personagem — a maneira observável como ele se comporta — seja

17:36 semelhante ou exatamente igual à do jogo. Então, dá para imaginar como seria muito difícil descrever em inglês para o agente exatamente como fazer o jogo ter a mesma sensação, sabe? Tipo, você precisa deixá-lo suave e rápido, mas isso não se traduz exatamente na sensação que você está buscando. Já com esse ciclo, em que o agente pode simplesmente iterar e tentar de novo várias vezes, eventualmente você encontra uma aproximação muito fiel do código original. E talvez o código em si seja diferente, mas o resultado real será muito, muito parecido. E então, outra ferramenta importante que

18:07 as pessoas estão usando para isso é o Reverse Engineer Anything, ou REA. Basicamente, executar isso em qualquer software que você queira analisar por engenharia reversa permite que a IA entenda melhor como ele funciona, mesmo sem você ter o código-fonte. Assim, ela consegue ajudar a explicar um comportamento e recriar alguns dos recursos. E descobri que, embora Astra muitas vezes consiga investigar bastante por conta própria, algo assim permite que ela vá ainda mais fundo, pela minha experiência. Ainda não passei muitas horas usando isso. Provavelmente executei por cerca de uma hora, e com certeza vi alguns resultados iniciais bem bons

18:39 Então, tenho algumas ideias para testar com isso em seguida, mas essa é a grande ferramenta que muita gente está usando e sobre a qual está falando. Vou deixar os links na descrição caso queira conferir. Se não souber como usar, de novo, basta usar seu agent favorito: pegue o link, passe para o agent, e ele poderá orientar você em todas as etapas necessárias. Agora, obviamente, é preciso ter um pouco de cuidado com esses links; ainda existe o risco de prompt injection. Certos sites podem tentar sequestrar seu agent para fazer algo ruim. Com algo assim, que é extremamente

19:10 popular, que tanta gente está analisando, e com o código visível, acho que a maioria diria que é relativamente seguro, mas, de novo, use seu próprio julgamento. E, para jogos específicos, existem esses mods de passagem. Por exemplo, Minecraft por GTA V: é mais ou menos assim que fica. A ideia é pegar certas partes de um jogo e colocá-las em outro. E aqui está especificado quais partes vêm de cada jogo. Por exemplo, se você colocar um bloco de Minecraft, os blocos colocados se tornam objetos de GTA visíveis, então as pessoas e os carros param diante da sua parede. Então, como você pode

19:43 ver, você está usando os dois jogos. Há o bloco de Minecraft, mas também algo análogo em GTA que é colocado ali ao mesmo tempo, para que os pedestres e os carros saibam como reagir a ele. TNT e creepers explodem nos dois jogos. Cada explosão de Minecraft também é uma explosão de GTA. Armas de Minecraft com os efeitos de GTA, certo? Aqui, estamos usando o que já foi programado e criado em GTA como resultado final. E você consegue fazer os mobs de Minecraft lutarem contra a polícia de GTA, etc. Aqui está Ark Web, onde você coloca o Homem-Aranha no jogo Dark Knight.

20:15 Então, é assim que a jogabilidade fica. Agora, esta provavelmente é uma das coisas mais limitadas que você pode fazer. Talvez pareça legal, mas provavelmente parece melhor do que realmente é. E a configuração que eles têm não exige nenhum conhecimento técnico; basta configurar com Claude. Aqui estão as instruções. De novo, todos os links estarão na descrição. Também vou incluir o link para as mecânicas de movimento de Mirror’s Edge em Skyrim. Mas aqui está o ponto: agora que você tem essas demonstrações para seus agents de IA, além das ferramentas que mostrei, basicamente pode pegar todos esses links e copiá-los para o ChatGPT, o Claude, o Anti-Gravity, o Grok, ou o que

20:49 quiser usar. Neste ponto, ele deve ter exemplos, código e tudo de que precisa para chegar lá. Comece talvez dizendo: “Ei, entenda como tudo isso se encaixa.” E aí, se você tiver uma ideia própria de crossover ou algo que queira modificar, é só perguntar e ver até onde ele consegue levar você. Já vou avisando: Astra é bem mais fácil de usar em termos do que aceita fazer. Algumas dessas coisas que eu estava testando poderiam ser usadas como exploits. Claude se recusou a fazer. Acho que disse algo como: “Vou parar você por aí. Não vou fazer nada disso.” Blá-blá-blá. Ele simplesmente começou a explicar por que isso é ruim e, certamente, o fato de você conseguir modificar jogos multiplayer envolve considerações éticas.

21:22 Em muitos desses jogos single-player, Claude funciona perfeitamente, mas colocar Astra no modo ultra, especialmente se você estiver usando aquele modo extra-rápido e simplesmente vendo o sistema avançar na criação de recursos e fazer todo esse trabalho, é muito empolgante, tenho que dizer. Se quiser experimentar isso por conta própria, é bem simples. Eu tentaria uma de duas coisas. Ou pegar um jogo existente e tentar modificá-lo de alguma forma

21:55 ou, se quiser, tente recriar aquele jogo para poder construir mais coisas em torno dele. Uma das primeiras coisas que fiz — e mostrei há bastante tempo, quando Astra foi lançado — foi com o jogo RimWorld. Ele é mais ou menos assim. Você tem vários colonos, e eles tentam sobreviver. É um sucessor espiritual de Dwarf Fortress, se você conhece esse jogo, mas este é bem mais fácil. Então eles mineram, cultivam plantações e fazem todo tipo de coisa, além de sobreviver a vários ataques. A primeira coisa que fiz foi pedir ao Astra naquela época — e também repliquei parte disso com Claude —, mas pedi que adicionasse um

22:25 gancho ao jogo para que os modelos de linguagem grandes pudessem jogar. Basicamente, eu conectaria o ChatGPT, e ele jogaria. Ele controlaria a passagem do tempo, o que os diferentes personagens fariam e, dentro do que fosse capaz, tentaria avançar no jogo. Ele adicionou uma pequena caixa de diálogo no canto superior direito, para que eu pudesse ver mais ou menos o que estava fazendo. Foi divertido, mas servia mais como benchmark. A segunda coisa que fiz foi pedir que recriasse o jogo com gráficos próprios, mecânicas próprias e assim por diante. E ele fez isso. Basicamente, criou um jogo independente separado. Chamou-o de Harfline. Tive que pesquisar como ele tinha chamado

22:59 o jogo. Aliás, ele usou recursos open source para isso. Há uma coisa no GitHub chamada Auto Rim MCP. Com ela, é possível fazer um LLM controlar uma colônia de RimWorld por meio de um MCP. Ela se conecta diretamente ao jogo. Então, dá para usar algo assim. Ou, como eu fiz, pedir ao Astra para recriar algo parecido. Acho que ele usou algumas das ideias daqui, mas construiu sua própria versão do zero. Então, inicialmente, comece com um jogo e uma mudança. Se for um jogo cujo progresso importa para você, certifique-se de ter uma cópia separada e faça backup dos seus arquivos salvos, etc.

23:31 Para coisas mais complicadas, muitas vezes é uma boa ideia pedir ao agente de programação que pesquise na internet e veja se já existem recursos que ele possa usar, como este, por exemplo. Depois, tente adicionar aos poucos, ao longo do tempo, as diferentes coisas que você quer ver no jogo. Conforme continua adicionando coisas e se aprofunda nessa modificação, reconstrução, engenharia reversa — seja lá como quiser chamar —, se perceber que o agente está tendo dificuldade para entender de verdade todas as mecânicas do jogo e como tudo funciona, então use algo como reverse engineer anything. Esse seria um ótimo próximo passo. Ou, se estiver tentando recriar algo com muita fidelidade, algo muito

24:05 parecido com o original, então este, o Snowboard Kids decomp, provavelmente vai funcionar muito bem. Aqui eles chamam de Snowboard Kids, mas na verdade não há jogos aqui. Eles apenas criaram este código e todo o código que você pode usar, e criaram o código do Snowboard Kids. Esse foi o ambiente de teste usado. Mas você pode usar algo assim para, por exemplo, recriar Pokémon Red e adicionar vários Pokémon e aventuras novos, ou o que quiser. Depois, adicione a capacidade de o seu LLM favorito jogar. Aqui, aliás, está Hearthline. Então, é mais ou menos

24:36 assim que ele se parece, pelo menos a primeira interface que construímos. Para boa parte disso, pessoalmente gosto de usar o ChatGPT Codex para desktop. Eu o executo no meu computador, então dou acesso completo. Gosto de executá-lo no modo ultra. E, claro, ele vai mostrar uma mensagem de aviso, como: “Tem certeza de que quer dar acesso completo?” E aí coloque no modo ultra extra, assustador e maluco. Porque, nesse ponto, ele tem acesso a tudo no seu computador e também pode navegar na web. Então, é importante entender as implicações de segurança disso. Todos já ouvimos histórias de coisas dando errado e de muitos dados valiosos

25:08 sendo excluídos permanentemente. Muitas dessas coisas acontecem quando o contexto é compactado, certo? Quando ele fica em execução por muito tempo, chega ao limite da context window e diz: “Espera, preciso compactar o contexto.” E, às vezes, depois disso, ele perde alguma informação importante que deveria ter lembrado, como instruções detalhadas e rigorosas que você deu. Então, se for executá-lo assim, recomendo que entenda bem no que está se metendo. Tenha alguns backups. Leve a segurança a sério. Ou simplesmente execute-o em outro computador. Mas, literalmente, foi com essa configuração que construí a maior parte das minhas coisas

25:39 Até fico impressionado com o quanto isso pode levar você adiante, mesmo sem introduzir algumas das ferramentas de que falamos. Então, me diga o que achou de tudo isso. Se estiver pensando em construir algo, com certeza me conte. Se quiser análises aprofundadas e tutoriais específicos sobre qualquer aspecto disso, é só deixar um comentário abaixo. Mas, acima de tudo, simplesmente experimente. Poder conjurar mundos e fazê-los existir só falando palavras para esse Codex faz você se sentir um pouco como uma espécie de mago. Enfim, dito isso, se você

26:09 chegou até aqui, muito obrigado por assistir. Meu nome é Wes Roth. Vejo você no próximo vídeo.

Transcrição original

[00:00] So, I’m not sure if you’ve heard, but we’ve crossed a certain threshold with AI a few weeks ago. And now pretty much any software on Earth can be reverse engineered. Someone reverse engineered the entire Adobe suite of products, Photoshop, Premiere, etc. Now they’re working on reverse engineering the Microsoft suite. They’ve also put Mario 64 in Elden Ring, Spider-Man in Batman: Arkham Knight. There’s a mashup of Modern Warfare, Skate 3, and Minecraft. Or for example, World of Warcraft and Skate 3. And you got World of

[00:31] Skatecraft. There’s a Mario 64 in Garry’s Mod, Mario 64 in Sonic Generation. I’ll skip like the next 50 of them because it’s either Minecraft plus something or Mario 64 plus something. You can do Mirror’s Edge style parkour in a Skyrim, Snowboard Kids, a Nintendo 64 game, reconstructed and ported to PC. You can take any game on any console or PC and port it to anything else. You can make it VR. Pretty much anything you can think of it exists. Or if it doesn’t yet exist, well then you can make it right now. So, in

[01:04] this video I’ll show you what people have built, how you can start building something similar, and some of the projects that I’ve been working on. But first, what would it look like if you put a Minecraft Nether Portal in the middle of GTA? Just take a look.

[01:38] So, Fireship did a video about this a few days ago, and I think they put it best. Every software as a service is now open source, whether it likes it or not. So, if you put Mario into Elden Ring, then Mario has all the familiar movements that you’re used to in Mario 64. When you bring Minecraft into GTA, all the same mechanics of Minecraft exist, but they exist in that GTA world. Suddenly, you can start experimenting with some of the combinations that the original developers never shipped, could never maybe even imagined. So, the

[02:11] bigger possibility here is this. You take a software that’s already doing something useful, something that you’re using for work or for entertainment on a daily basis. You take some part of it, you understand how that part works, and then you reuse it or something new around it. Now, the games make that possibility very, very easy to see, especially if you’ve played those games, you can see how Mario moves, and yet it’s in the world of Elden Ring. You can see how it’s a mashup. It very much captures the essence of one and it puts it into the essence of the other. Now, imagine applying that to all sorts of

[02:45] software. And this is a fairly recent development. Really, where that inflection point began is with GPT-6 Astra. Specifically, on this one little benchmark called SREBench. It’s a reverse engineering benchmark. The test is simple. It asks if an AI agent can figure out how some software works without being given the source code. So, it’s shown the output, like, here’s what the software looks like, here’s what it is, can you recreate it, you know, kind of with your own source code, but recreate all of the functionality. And

[03:16] as you can see here, GPT-6 Astra is getting a phenomenal success rate at very inexpensive prices. So, Astra solves 88 percent of the tasks in a single attempt and 99.2 within four attempts. So, the point is that now pretty much anything can be reproduced, reverse engineered. And while there’s some discussion about the kind of a legality of this, as as far as we know, as far as we understand, this seems to be very legal. This holds up. The key here is not to use the source code so because that is copyrighted by the

[03:47] original creator. As long as you’re not looking at that and just copying it over, but rather you’re creating everything from a scratch, that is perfectly legitimate. Again, we’re probably going to see some lawsuits that kind of, you know, do battle over the finer legal points of this, but this is known as a clean room engineering. This is a concept that’s been around. One team takes a look at some product or software and kind of just breaks down the entire architecture, how it was built, and they try to kind of write a high-level functional specifications describing what the system does. Now,

[04:18] they’re only allowed to capture the functional ideas, which can’t be copyrighted. Then, a second team just builds those ideas into real life. This way they’re able to kind of replicate it but without anyone actually just copying the existing design. By the way, here’s the paper on which that benchmark is kind of a formed. The next challenge for Agnik Cybersecurity, a realistic contamination-free reverse engineering a benchmark. And so, we have a people from Google DeepMind, OpenAI, Anthropic, UCLA, UC Berkeley, Columbia, etc., which

[04:49] is kind of interesting to see because the life expectancy of these benchmarks that are coming out for AI, they’re just getting shorter and shorter because GPT-6 Astro, of course, it gets a a near-perfect score. This paper was first submitted August 11th of this year. Now, for me personally, for last a few years, I’ve been using a particular video editing software to help me edit my videos. More recently, I have a video editor who is absolutely awesome, but whenever I have to get something out quick or it’s a super simple, I use this particular company for my video editing. I’m not going to say the name just to

[05:22] avoid any issues, but recently the quality of that software has been kind of going downhill. They try to get you to buy more and more stuff. They have these annoying pop-ups even though you’re paying a monthly fee for the software. And then, more recently, there was actually a bug, some glitch that prevented me from completing to be able to, you know, export the video that I was working on. Their support was useless. They give you a little chatbot that can’t do anything. If you manage to actually email the actual desk, you know, they email you back like 3 days later and don’t really help out at all.

[05:52] Now, I’m sure you’ve encountered in your own life a software like this or companies that kind of do this stuff. And in the past, you either had to kind of just deal with it or find some alternative, some other company, maybe learn a new software, etc. But, no longer because I just took a GPT-6 Astra on ultra mode and I told it to I didn’t say like replicate it exactly, but I described the layout to the functionality that I needed. And again, for most of the software that you use, if you think about it, you don’t need 100% of all the tools and bells and whistles that they have. You probably

[06:25] just need a 5% of the whole and you need that to work flawlessly. And that’s exactly what Astra did. It took about 2 hours. I set a goal, it ran for a long time, it built everything out. There was a little bit of a back-and-forth and I’ll probably continue iterating on it, but it’s like 80-90% of the way there and it’s very very usable. I’ve canceled my subscription with the original company and I’m never going back. Now, I’m pretty sure some of you are Larry David fans. So, you might remember that episode where he opens up a spite store.

[06:56] Basically, there’s some coffee shop, if I recall correctly, there’s some coffee shop that just doesn’t do something right to his liking. Like the muffins are too soft or the biscotti is too hard, whatever. So, he, using, you know, his money and his capital, just opens up a store right next to it, selling basically the same thing. The goal isn’t to make a profit. The goal is just do a little damage to a business that made you mad. Anyways, basically, this really catches on with a celebrities and, you know, people with fame and a money because a lot of them decide to open up their own spite stores to put out of

[07:29] business various other businesses that made them mad. Here’s the thing. We will see that play out in real life right now. Mark my words. If some software as a service business makes the wrong customer mad and could be any customer with you know a max chat GPT plan. And if that customer is petty enough and has enough time on their hands, well, then that business can expect to see a clone of itself. That clone might be completely free. It might have better features. And you can really get some really like viral marketing campaigns

[08:02] for these stores. They’re not stores they’re not spite stores they’re spite SaaS sassy spite whatever you want to call it. The point being is if some business made you mad and then somebody creates this spite SaaS software project, not only are you going to use it, you’re also probably going to promote it. And really no one has made more people mad I think than Adobe. First of all, they tend to bundle all their stuff together so it doesn’t matter that you need just one thing, you’re going to pay for all of it. Also they created some pretty evil cancellation policies where basically

[08:32] you paid more if you canceled. They apparently allegedly allegedly is the word allegedly they hid their cancellation fees and charged the 50% of the remaining subscription when you cancel. So literally sometime in the last few weeks I believe somebody took the entire Adobe suite the creative cloud as they call it and basically just replicated it in its entirety. By the way, you get that this is not sponsored right? I’m not getting paid no one’s getting paid to talk about this project. This is a spite store and a lot of

[09:04] people have spite for this particular business that this is a cloning. Now I’ve downloaded the suite here it is. I haven’t had a chance to check out all of it quite yet. I haven’t used Adobe’s video editor all of that much although they have their own clone. Some people there’s mixed reviews of it. Some people don’t love it. I’m probably not going to try it out cuz you know, I’m making my own. But this photocraft which is you know, allegedly something similar to Photoshop. For those of you that have used Photoshop in the past, does it this look familiar? It might. Some might even say it’s a pixel perfect copy, which of

[09:38] course it’s not because Photoshop doesn’t say Photocraft on it, right? This little icon is a different, of course. But, I feel like for pretty much everything else, it’s more or less identical. Like I I know where all the buttons is. This is like this first or second time that I’ve opened this software, and I know where all the tools are, which is kind of amazing. That’s that’s a quite a intuitive interface, if you will. So, just from the few brief moments that I had to use it, you know, it feels very very similar. It’s lightning fast. It loads really really quickly. And again, I know some people

[10:08] have said that there were issues with this, that it was slower. I have not experienced any of that. So, spite stores are literally a thing. I think Larry David was ahead of his time. And honestly, I I could not be happier because I I think before a lot of these companies, they did kind of abuse the fact that they had this moat around their software. Now, if your only moat was the ability to build this software, then well, there is a no moat. So, I in general, I’m pretty happy about this because I think there’s going to be this this is going to put some pressure on these software as a service businesses,

[10:38] you know, like Adobe, to not, you know, kind of abuse their customers because there’s always going to be an alternative. I’m not saying Adobe was abusing their customers, just you know, allegedly abusing their customers. I got caught up in their cancellation racket one year, and I was not happy. Now, that’s kind of the good side of it. There’s also the bad side. And I went back and forth quite a bit with this because I did not know whether I should talk about this or not. Because I was able to do quite a bit of work with

[11:09] this, but if I publish kind of all of my findings, it could do quite a bit of damage. Basically, when it comes to two certain competitive online video games, these have massive massive player bases. There’s entire e-sports around them. There’s many communities and millions of people playing them. And one of the kind of issues is when you’re playing an online game, the server only really controls a small portion of what’s happening. So, most of the stuff that happens happens on your local machine and only the needed information is uh

[11:40] transferred back and forth to the server. So, I was pretty blown away when I was able to modify a lot of stuff in one of these games. And I don’t want to reveal the specific game because it’s a vibrant game, huge community, many players. But, when you’re playing it online, a lot of the kind of the the assets, the 3D models, all of them are kind of the they’re on your computer. Now, that these AI models are getting really good at reverse engineering these games. Not only that, but they’re really good at creating 3D assets. They can take, for example, an asset in the game that looks like this. It’s a I’m going

[12:12] to call it a tank, just to not give it away. And they can, for example, remove the top portion of it so that it’s still there, but it’s uh see-through. So, before there might have been some real visibility issues. So, that’s there’s a pros and cons to using this thing, whereas after it’s kind of unfair, especially when the other players in the game don’t have that same advantage. Lots of characters in the game, they have kind of that internal rigging system, kind of like the {quote} skeleton that shows how they move. You’re able to add what’s called X-ray dots or X-ray pixels to those rigs.

[12:45] X-ray pixels are basically pixels that you can see through anything, right? They’re always rendered on top. So, if there’s a person behind the wall, this rigging will be drawn kind of on top of the wall. You you see this through the wall. You’re able to add mini maps in a game where you’re not supposed to have a mini maps. You’re able to add light sources to objects that normally wouldn’t have a light source. You’re able to change textures. You’re able to do a lot more than I thought you were supposed to be able to do. It goes a lot further than I expected. Now, some of you may be saying, well, yeah, these are

[13:18] cheats and the cheats have been around for a while. People sell cheats online, etc. Here’s the issue. Most cheats, if I understand correctly, they use kind of a different approach. They use these memory injection techniques. Oftentimes they require something running alongside the game. This is very, very different. It’s different because there’s no script. You’re not running anything alongside the game. There’s no second program. You’re going into the game itself into like the assets of the game and you’re changing those. Then when the game starts, it just pulls from those files and it just displays them in the

[13:52] game as it normally would. There’s nothing foreign. There’s nothing extra. Now, to be clear, I did not use this in a competitive environment, so I didn’t use this to to cheat or to get an extra advantage. This was an experiment. I wanted to see if it was possible. And the answer is yeah, it’s possible and the amount of stuff that you’re able to do with this is kind of scary. So, it’s going to be kind of interesting to see how well game companies are going to be able to adjust to this. Because now if anyone can sort of rebuild, redesign, reverse engineer, and change the game in any way that they see fit and do so kind

[14:26] of like on their local machine and then participate in in multiplayer, well, things get weird. And again, I apologize that I’m not showing you all the details, but again, if I did, I feel like it would ruin that game. It would ruin the game for a lot of people. And I’m not even going to walk through exactly how I did this specific thing. This is more of a just for you to know and be aware of this because it’s very likely that a lot more of this is coming. So, I’m still not a 100% sure that I should be talking about that. Those things are technically considered exploits. And for me personally, once

[14:56] I’ve tested them out, I’ve since then deleted everything. But of course, there will be tons of people that will abuse it and continuously use it to give themselves an edge in the game. But coming back to more AI centered topics, if we kind of take this idea one step forward, the idea that these models can reverse engineer, for example, games and various complicated software. This is huge as far as training data goes. If you’re able to create software, reverse engineer software, each time you’re doing it, kind of going from a functions to source code and back. This is going to be extremely good for training future

[15:29] models. Because at the end of the day, the results, they’re checkable. In fact, one of the tools that I’ll show you in just a second, it’s called Nigel. Basically, imagine giving this model some specific movement function, right? Mario doing a triple backflip or some parkour move. Then you let the coding agent try to create that specific movement. Then you run the verify fire and you kind of recheck what happened. So you rebuild the game. In this case, they were rebuilding an old N64 game. But the point is that creating that sort of specific movement, it becomes a problem with a verifiable solution. Can

[16:02] you make the character move in this specific way? Can you create this a function or this a building, whatever game mechanic or visual or or whatever you’re trying to recreate. This is great training data for these models. Since the models are now able to take any software, any game, uh just the amount of training data that now they have access to is massive. The fact that you don’t have access to the game’s source code is almost an advantage because you really don’t need it. You have some observable behavior. The AI agent can attempt to multiple different ways of recreating that. And you’re able to

[16:34] check the answer against how the original mechanic works. Now, if you wanted to kind of mess around with this for yourself, one interesting project is Snowboard Kids decomp. So a decomp is a decomposition. And the basically the goal was in this particular case to decomposition this game from N64 called Snowboard Kids. Here on the on the package it says only for Nintendo 64, interestingly enough. But with AI, it’s for anything. And again, the loop is very simple, right? We choose some next unfinished action. We let the coding

[17:04] agent try. It writes C code, compiles it, and compares it with the original instructions. Then it runs the verifier and either it works or it doesn’t. This example checks the exact rebuilt code, whereas a movement test might check behavior such as like the jump height. So, you may give a character the same inputs and see if let’s say the jump is as high or it lands in the exact place on the track. If it hits the wall at the next spot, etc. So, we’re able to like recreate the behind the scenes physics or whatever you want to call it by just making sure that our character, the observable way that they behave is

[17:36] similar or exactly the same as the game. So, you can imagine how it would be very difficult to describe in English to the agent exactly how to, you know, make the the same game feel right. So, like you got to make it like smooth and fast, but it doesn’t really translate exactly into kind of like the feel that you’re going for. Whereas with this loop where the agent can just iterate and try again and again, eventually you’ll find some a very close approximation of the original code. And then maybe it’ll be the code itself will be different, but the actual output will be very very similar. And then kind of the other big tool that

[18:07] people are using for this is this reverse engineer anything or REA. So, basically running this on whatever software you want to kind of reverse engineer, it allows the AI to better understand how it works even if you don’t have the source code. So, it’s able to help explain a behavior, recreate some of the features. And I found that while Astra can often dig pretty deeply by itself, but something like this allows it to dig even deeper in in my experience. I haven’t put too many hours into this yet. Probably ran it for about an hour or so and I definitely saw some pretty good early

[18:39] results. So, I do have some ideas to test with this next, but this is the big one that a lot of people are using and talking about. So, I’ll put those links in the description if you want to check them out. If you’re not sure how to use it, again just use it your favorite AI agent, take the link, give it to your agent, and that will be able to walk you through all the steps needed. Now, obviously got to be a little bit careful with these links, you know, there’s still fears of prompt injections. Certain websites can attempt to hijack your agent for something bad. With something like this where it’s extremely

[19:10] popular, so many people looking at it, the code being a visible. I feel like most people would say this is fairly safe, but again, use your own judgment. And then for specific games, there’s these pass-through mods. So, for example, that Minecraft by GTA V, this is kind of what it looks like. The idea there is it’s taking a certain portions of one game and putting it into another. And here it spells out what portions come from which game. So, for example, if you’re putting down a Minecraft block, those placed blocks become visible GTA props, so people and cars will stop at your wall. So, as you can

[19:43] see, you’re kind of using both games. So, there’s the Minecraft block, but there’s also something analogous in GTA that’s being kind of placed there at the same time, so that the pedestrians and cars know how to react to it. TNT and creepers blow up in both games. Each Minecraft explosion is also a GTA explosion. Minecraft weapons with GTA effects, right? So, here we’re using what’s already been coded up and made in GTA as the final sort of result. And you’re able to have the mobs from Minecraft fight the police from GTA, etc. Here’s Ark web, so this is where you’re putting a Spider-Man into the

[20:15] Dark Knight game. So, this is what the gameplay looks like. Now, this is probably one of the more limited things you can do. This probably looks cool, but it probably looks better than what it actually is. And the setup that they have is just no technical knowledge required, just to set up with Claude. Here are the instructions. Again, all links will be in the description. And I’ll also link the Mirror’s Edge movement mechanics in Skyrim. But, here’s the thing. Now that you have these sort of demonstrations for your AI agents, as well as the tools that I showed you, basically, you can take all those links, copy it into ChatGPT or Claude or Anti-Gravity or Grok, whatever

[20:49] you want to use. At this point, it should have enough examples and code and everything it needs to kind of get to the point. Start by maybe just telling it, “Hey, kind of understand how all this is fitting together.” And then, if you have your own special idea for a crossover or something that you want to mod, you know, just ask it and and how far it takes you. Right off the bat, I’m going to tell you that Astra is a lot easier to work with in terms of what it’s willing to do. Some of these are things that I was testing out that could be used as exploits. Claude refused to do it. I think it said something along the lines of, “I’m going to stop you right there. I’m not going to do any of

[21:22] that.” Blah, blah, blah. Like it just went off about why this is a bad and certainly the fact that you’re able to mod multiplayer games, but there are ethical considerations there for sure. For a lot of these single player games, Claude will do perfectly, but putting Astra on ultra mode, especially if you’re using that kind of the extra fast mode and just watching it crank through building assets and doing a lot of this work is is very exciting, I got to say. If you wanted to try this for yourself, it’s pretty simple. I would try one of two things. Either take an existing a game and then try to mod it in some way

[21:55] or if you want, try to have that game recreated so you can kind of build more stuff around it. One of the first things I did and I showed it way back when Astra got released was with the game RimWorld. It kind of looks like this. You have a number of colonists, they try to survive. It’s a spiritual successor of Dwarf Fortress if you know about that game, but this one’s a lot easier. So they mine and a farm and do all sorts of stuff and also survive various attacks. So the first thing that I did was I asked Astra at that point and I replicated some of this with Claude as well, but I asked them to just add a

[22:25] hook to the game to where the large language models are able to play the game. So basically I would hook up ChatGPT and it’s would play the game. It would control the flow of time, what the different characters did and it would to the best of its ability just try to progress through the game. It added a little dialogue box in the top right so I would be able to see kind of what it’s doing. That was kind of fun, but it was more for a benchmark. And then the second thing that I did is I had it recreate this with our own graphics, all our my own mechanics, etc. And it did. It basically created a separate standalone game. It called it Harfline. I had to look up what it what it called

[22:59] it. By the way, it used the open source stuff for that. So, there’s this a thing on GitHub called Auto Rim MCP. So, you’re able to have an LLM control a RimWorld colony through an MCP. So, it just hooks right into the game. So, you’re able to use something like this. Or what I did was actually told Astra to recreate something similar. So, I think it used some of the ideas here, but it’s kind of built its own version of it from scratch. So, initially just start with one game and one change. If it’s a game that you care about the the progress in the game, make sure you have a separate copy of it back up your save games, etc.

[23:31] For more complicated stuff, it’s often a good idea to tell the coding agent to do some research online, see if there’s already assets out there they can use something like this for example. And then just slowly over time try to add different things that you want to see in the game. As you keep adding things, as you’re getting deeper into this modding or reconstructing, reverse engineering, whatever you want to call it. If you’re seeing that the agent has trouble really understanding all of the game’s mechanics, how everything works, then bring in something like reverse engineer anything. That would be a very good next step. Or if you’re trying to recreate something very faithfully, very kind of

[24:05] similar to the original, then this one, the Snowboard Kids decomp, it probably going to work pretty well. So, here they call it the Snowboard Kids, but there’s actually no games here. They just created this code and all the code that you can use and they’ve created the code the Snowboard Kids. That was the the test environment for it. But you can use something like this to for example recreate Pokémon Red and add a whole bunch of new Pokémon and adventures and whatever you want. Then add the the ability for your favorite large language model to play through it. Here by the way is Hearthline. So, this is kind of

[24:36] what it looks like, at least the first UI that we’ve built. And for a lot of this, I personally like to use ChatGPT Codex for desktop. I run it on my computer, so I give it full access. I like running it on ultra. And of course, it will give you a warning message like, “Are you sure you want to give it full access?” And then put it on the extra crazy scary ultra mode. Because at this point it does have access to everything on your computer and also it’s able to browse the web. So, definitely kind of understand the security implications of this. We’ve all heard stories of things going wrong and a lot of valuable data

[25:08] being deleted permanently. A lot of this happens when the context gets compacted, right? So, it when it runs for a long time, it reaches the context window and it says, “Wait, I got to compact to the context.” And sometimes on the other side of that, it loses some important piece that was supposed to remember some strict detailed instructions that you gave it. So, if you’re running it like this, I would definitely just understand what you’re getting into. Make sure you have some of backups. Make sure you take your security seriously. Or just run it on a separate computer. But literally, this is the setup that I’ve built most

[25:39] of my stuff in. I’m just incredibly impressed at how far this will take you even without introducing some of the tools that we talked about. So, let me know what you thought about all of this. If you’re thinking about building something, then definitely let me know. If you want specific deep dives and tutorials on any aspect of this, uh just leave a comment down below. But more than anything, just just try it out. Being able to just kind of like conjure worlds into existence just by uh speaking words into this codex, you do feel a little bit like a wizard of sorts. Anyways, with that said, if you

[26:09] made it this far, thank you so much for watching. My name is Wes Roth. I will see you in the next one.