A OpenAI ACABOU de ser hackeada...

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: OpenAI JUST got HACKED… · Canal: Wes Roth · 14:36 · Assistir no YouTube

Tópicos: Agentes de IA, Cibersegurança e segurança de software, Modelos de IA, Segurança de IA

Resumo

Wes Roth relata uma investigação da empresa de cibersegurança Hacktron, que teria identificado uma cadeia de vulnerabilidades capaz de levar de um fórum da OpenAI a contas de funcionários e ao repositório interno da empresa. Segundo o vídeo, os pesquisadores usaram modelos da Anthropic para localizar e explorar falhas relacionadas ao Discourse, ao ImageMagick e ao fluxo de single sign-on, e comunicaram os problemas à OpenAI. O relato também descreve testes contra outras empresas e destaca que agentes de IA podem ampliar a escala e a velocidade de operações de segurança, embora ainda dependam de orientação humana. O vídeo ressalta os riscos de componentes de software amplamente utilizados e a importância de corrigir vulnerabilidades e investigar alertas.

Pontos-chave

Hacktron teria encadeado vulnerabilidades em serviços e componentes de software para alcançar sistemas da OpenAI.
O ponto de entrada descrito foi um fórum baseado em Discourse e um fluxo de single sign-on associado a contas de funcionários.
O ImageMagick aparece no relato como parte da cadeia de processamento de imagens explorada.
Segundo o vídeo, modelos da Anthropic ajudaram a localizar falhas e, após a liberação de um modelo mais capaz, a executar código remotamente.
Os pesquisadores teriam comunicado as vulnerabilidades à OpenAI, que pagou uma recompensa de US$ 6.500.
O vídeo afirma que a pesquisa completa levou mais de dois meses e custou menos de US$ 3.000 em tokens.
Hacktron teria adaptado os testes para outras empresas; Shopify é citada como uma das que detectaram a atividade.
O apresentador enfatiza que agentes de IA podem multiplicar o trabalho de uma equipe, mas a operação descrita ainda exigia orientação humana.
A ampla dependência de bibliotecas e serviços compartilhados pode fazer com que uma falha tenha consequências em várias organizações.

Capítulos

Início	Capítulo	Resumo
00:00	O relato do ataque e o papel do ImageMagick	O apresentador introduz o caso atribuído à Hacktron e relaciona a exploração ao ImageMagick e a dependências de software amplamente usadas.
03:43	A cadeia de vulnerabilidades	O vídeo explica como falhas em Discourse, no processamento de imagens e no fluxo de identidade poderiam abrir caminho para outros serviços da OpenAI.
07:37	Da descoberta à execução remota de código	O apresentador descreve a vulnerabilidade de heap buffer overflow e afirma que um modelo mais capaz ajudou a concluir a exploração.
10:55	Testes em outras empresas e riscos dos agentes	O relato aborda a adaptação dos testes a outras empresas e o potencial de agentes de IA ampliarem a escala de operações, ainda com supervisão humana.
14:05	Dependências compartilhadas e correções	O vídeo lista outros produtos potencialmente afetados e conclui destacando a importância de corrigir falhas antes que causem danos.

Citações

A OpenAI acabou de ser hackeada — ou, pelo menos, estamos começando a descobrir isso. — 00:00

A IA olha para isso, percorre tudo e diz: ‘Aqui estão um bilhão de brechas que encontrei.’ — 03:12

Às 6h de 25 de julho, eles já tinham tudo funcionando. — 08:44

Uma pessoa agora pode supervisionar muitos agentes, orientando-os, enquanto a quantidade de trabalho aumenta dramaticamente. — 11:59

Conceitos e entidades

Hacktron (empresa): Empresa de cibersegurança citada como responsável por investigar e relatar vulnerabilidades.
OpenAI (empresa): Empresa cujo fórum, contas e repositório interno são descritos no vídeo como alvos da cadeia de vulnerabilidades.
Anthropic (empresa): Empresa cujo modelo Claude é mencionado como ferramenta usada na pesquisa de segurança.
Claude (modelo): Modelo da Anthropic que, segundo o vídeo, foi usado para ajudar a investigar e explorar vulnerabilidades.
Opus 4.8 (modelo): Modelo citado no vídeo como tendo identificado falhas, mas sem conseguir executar a exploração completa descrita.
Opus 5 (modelo): Modelo citado como capaz de concluir a exploração que o vídeo atribui à pesquisa.
ImageMagick (ferramenta): Biblioteca de processamento de imagens apontada como um componente da cadeia de ataque relatada.
Discourse (ferramenta): Software de fórum usado, segundo o vídeo, no fórum de ajuda da OpenAI.
Shopify (empresa): Empresa citada como a única que, segundo Hacktron, detectou a atividade nos testes relatados.
XKCD (pessoa): Webcomic mencionada por suas tiras sobre dependências frágeis em infraestruturas digitais e segurança.

Tradução completa (pt-BR)

00:00 A OpenAI acabou de ser hackeada, ou pelo menos estamos começando a descobrir isso agora. O grupo de hackers levou menos de 72 horas para hackear a OpenAI. Eles conseguiram acessar as contas de ChatGPT e Codex dos funcionários. Também conseguiram acessar o monorepo interno da OpenAI, onde todos os dados e todo o código ficam armazenados. Como fizeram isso? Usaram Claude. Claude, o modelo da Anthropic. Então, pegaram o modelo da Anthropic e hackearam a OpenAI com ele. Além disso, há uma história em quadrinhos que está na internet desde os primórdios, eu acho, chamada XKCD, que

00:35 vive quase prevendo todas essas tentativas de invasão com IA, como elas vão acontecer. Talvez você já tenha visto esta imagem. Toda a infraestrutura digital moderna parece depender daquele projetinho minúsculo que uma pessoa qualquer, em Nebraska, vem mantendo sem pensar muito desde 2003. E, se você passar o cursor sobre a imagem, aparece: [limpa a garganta] “Um dia, o ImageMagick finalmente vai quebrar de vez, e passaremos um longo período correndo de um lado para o outro enquanto tentamos reconstruir a civilização a partir dos escombros.” Você consegue adivinhar que parte a IA usou para

01:07 fazer tudo isso? Foi o ImageMagick, como já havia sido previsto. Aquela história toda do Bobby Tables sobre a qual essa história em quadrinhos falou foi usada naquele incidente de invasão do Hugging Face. Acho que, a esta altura, os agents de IA estão simplesmente navegando por isso à procura de ideias. O mais impressionante é que, se os hackers conseguiram chegar ao monorepo da OpenAI, ele é basicamente um único repositório enorme onde guardam todo o código, e não sabemos necessariamente o que há lá dentro. Bem, acho que os hackers sabem. Mas pode haver código do backend do ChatGPT. Pode haver muitos

01:39 dos materiais de treinamento, da infraestrutura de treinamento que usaram para treinar os modelos, ferramentas de pesquisa, sistemas de segurança, provavelmente uma tonelada da infraestrutura interna deles, um monte de coisas importantes. Os modelos em si não estão lá, mas eu presumiria que muitas das outras coisas estão. Então, uma boa notícia primeiro: a OpenAI foi hackeada pelos mocinhos. Foi hackeada pela Hacktron. A Hacktron é uma empresa sediada em San Francisco, sabe, formada por especialistas e pesquisadores em cibersegurança, mas principalmente uma empresa de cibersegurança. E eles estão investindo pesado nesses agents autônomos de IA para invasões, testes de penetração, reforço da segurança, eliminação de vulnerabilidades, sabe, cibersegurança com agents de IA. Então, antes de mais nada, como dizem aqui, até dois meses atrás, qualquer usuário ou funcionário da OpenAI que fizesse login no próprio fórum de saúde da OpenAI poderia ter tido suas contas de ChatGPT e Codex tomadas por outra pessoa.

02:10 Isso tinha muito a ver com o SSO, o login único, certo? Sabe como às vezes você recebe um link, clica e entra, ou, por exemplo, com o Google, se usa contas do Google, pode usar isso para entrar em várias coisas diferentes, como se estivesse usando sua conta do Google. Então, não há senha envolvida: você entra no Google e, por meio do Google, entra naquele serviço. A OpenAI também pagou uma recompensa de US$ 6.500 pelos esforços deles. Aliás, o fato de que, sabe, até dois meses atrás, as pessoas poderiam ter hackeado

02:41 e depois roubado informações — isso estava simplesmente aberto. É importante entender esse ponto, porque muitas empresas estão percebendo agora que, com a IA, muitas coisas que achávamos seguras, percebemos que na verdade não são nem um pouco seguras. É como se você construísse uma casa, olhasse ao redor e pensasse: “Não vejo nenhum buraco nas paredes nem no teto. Selamos muito bem esta casa.” Aí a IA dá uma olhada, vasculha tudo e diz: “Encontrei um bilhão de buracos.” E eles apontam para um deles, e nós dizemos: “Ah, sim, entendi.” Aliás, eles dizem que não vão parar

03:12 na OpenAI. Aparentemente, há essa grande investida. Não vou me aprofundar muito nos detalhes técnicos de cibersegurança nem nada disso. Acho que é só esperar pelo vídeo da Fire Ship. Mas o importante é entender que existe uma pequena biblioteca ou um pequeno conjunto de ferramentas do qual muitas coisas que usamos dependem. Quer dizer, elas dependem disso. Slack, Meta, GitHub Enterprise, Ruby on Rails, Node.js. Como dizem aqui, uma quantidade surpreendente de softwares amplamente usados depende desta biblioteca de processamento de imagens. E a prova número um

03:43 é a história em quadrinhos do XKCD. Então, eles perceberam que a OpenAI usa Discourse no fórum. É mais um software que a OpenAI usa nos fóruns de ajuda, onde os desenvolvedores podem entrar, conversar, ajudar uns aos outros e discutir coisas. E perceberam que esse fórum poderia comprometer muito mais do que apenas o próprio fórum. Então, se conseguissem invadir o software Discourse, poderiam potencialmente criar um caminho para acessar outros serviços da OpenAI por meio desse fluxo de identidade. Mas o aplicativo Discourse não é um alvo fácil. E esta vai ser uma

04:19 das coisas que vimos no incidente do Hugging Face, que vamos ver aqui e provavelmente veremos em muitos outros casos: muitas dessas invasões acontecem porque esses modelos de IA encadeiam exploits de dia zero ou usam uma cadeia de exploits, como você quiser chamar. Basicamente, encontram vários erros, várias brechas e os alinham, conseguindo atravessar até onde quer que estejam tentando chegar. Então, não foi como se tivessem encontrado uma coisa e, por meio dela, conseguido simplesmente entrar nos servidores da OpenAI. Encontraram vulnerabilidades em muitas coisas diferentes das quais

04:53 muitos de nós dependemos, e das quais a OpenAI depende. E conseguiram usar as falhas em todos esses sistemas para entrar na OpenAI. Então, descobriram que o Discourse usa um tipo de software de processamento de imagens. Assim, se você envia uma imagem do celular, uma captura de tela ou qualquer outra coisa, normalmente ela é processada pelo FastImage. Talvez você não saiba exatamente o que é isso. Basicamente, para o processamento de imagens, era usado um software, mas, para uma pequena porcentagem das imagens que precisavam desse negócio de hífen, elas eram encaminhadas ao ImageMagick. De novo, o ImageMagick é este aqui. E eles perceberam que conseguiam

05:27 fazer isso para expor diretamente o analisador subjacente e atacar os arquivos controlados. Isso significa basicamente que essa pequena solução alternativa permitia que o servidor lesse e processasse arquivos enviados por qualquer pessoa. É aqui que a história fica muito mais interessante, e é aqui que a IA entra em cena. Então, começaram com o Opus 4.8 trabalhando nisso para ver como poderiam invadi-lo, se conseguiriam encontrar alguma vulnerabilidade. Isso foi pouco antes do lançamento do Opus 5. Então, estavam usando o melhor modelo disponível para encontrar essas vulnerabilidades, mas

06:01 o Opus 4.8 encontrou alguns problemas de segurança que deveriam ter sido corrigidos, mas não foram. Basicamente, existe todo esse banco de dados, o CVE, que significa Vulnerabilidades e Exposições Comuns. Ele acompanha todos esses tipos de invasões e vulnerabilidades. Assim que alguém as descobre, registra; elas são reportadas e, então, registradas e incluídas nesse banco de dados, esse catálogo de invasões conhecidas. E, embora algumas dessas empresas de software soubessem da invasão, ela provavelmente foi reportada a elas, e elas corrigiram parte do software

06:34 delas, mas não documentaram isso como uma correção de segurança, nem incluíram o problema naquele catálogo de invasões, o grande livro das invasões, por assim dizer. Isso provavelmente permitiu que muitos softwares diferentes continuassem com essa vulnerabilidade, mesmo que ela devesse ter sido corrigida em todo o ecossistema. Então, o ponto é que eles descobriram, em 25 de julho, ou seja, em um dia, certo? Conseguiram descobrir, com o Opus 4.8, esse código mágico de

07:05 execução de código. Especificamente, era um estouro de buffer no heap. Dá para pensar nisso assim: imagine que o garçom chega e começa a anotar seu pedido. Ele tem um bloquinho onde anotou os pedidos de todo mundo, e você diz: “Ah, meu pedido está aqui neste post-it. Aqui está o post-it.” Ou algo assim, como um pedaço de papel dobrado e amassado. Você diz a ele: “É só desdobrar, e meu pedido estará lá.” Então, o garçom começa a desdobrá-lo, mas o papel fica cada vez maior, maior do que o bloquinho dele. Basicamente, é isso que um

07:37 exploração durante a execução. E, especificamente, foi um estouro de buffer no heap. Então, você pode imaginar algo assim: digamos que o garçom se aproxime e comece a anotar seu pedido. Ele está com seu bloquinho, onde anotou os pedidos de todo mundo, e você diz: “Ah, meu pedido está aqui neste post-it. Aqui está o post-it.” Ou algo assim, como um pedacinho de papel dobrado e amassado. Você diz a ele: “Pode desdobrar, e ali estará meu pedido.” Então, o garçom começa a desdobrá-lo, mas o bilhete só vai ficando cada vez maior, maior e maior, maior que o bloquinho dele. Então, basicamente, é isso que um

08:07 buffer overflow é escrever tanto que a memória transborda. Então, imagine aquele pedacinho de papel, aquele bilhete tomando conta do bloco de notas inteiro. Acho que essa analogia funciona. Vou continuar com ela. Então, o ponto é que você consegue escrever o que quiser no bloco de notas do garçom. Consegue, por assim dizer, tomar conta dele e escrever por cima. Aí, Opus 5 é lançado. Até esse momento, Opus 4.8 não tinha conseguido decifrar isso. Então, ele ajudou a encontrar essa vulnerabilidade, mas não conseguiram usá-la para invadir o Discourse, aquele software de fórum comunitário. Mas Opus 5 é lançado e adivinhem o que acontece?

08:44 Opus 5 conseguiu. Isso foi na noite de 24 de julho. Às 6h da manhã de 25 de julho, eles já tinham tudo funcionando e, no mesmo dia, às 10h da manhã, conseguiram executar código remotamente na instância da OpenAI. Execução remota de código significa basicamente assumir o controle e poder executar o que quiser na infraestrutura da OpenAI, nos servidores deles. Como enganaram Opus 5 para fazer isso? Bem, fizeram parecer que era o alvo de uma competição de captura da bandeira. Então,

09:14 fizeram parecer um exercício. E, assim que confirmaram, enviaram o relatório à OpenAI. Depois, assumiram o controle da conta de um funcionário da OpenAI, que tinha o Codex conectado ao GitHub da OpenAI. Certo? Então, provavelmente era um funcionário desenvolvendo algo em que a OpenAI estivesse trabalhando na infraestrutura deles, testando código do backend do ChatGPT ou qualquer outra coisa. A conta está conectada ao repositório deles, então eles se aproveitaram do fato de que o funcionário estava conectado ao formulário para ver se conseguiam começar a fazer o que quisessem com a base de código que a

09:49 OpenAI tem. E, basicamente, só para provar que conseguiam fazer isso, editaram algo que deveria ser exclusivo para funcionários da OpenAI. A OpenAI pediu que não revelassem aquela captura de tela, então isto é uma espécie de recriação, mas parece que eles simplesmente substituíram o que havia ali ou adicionaram um arquivo novo e escreveram: “Equipe Hacktron AI”. E, claro, eles avisaram todos os envolvidos para que todos pudessem corrigir tudo. E estão alertando que isso pode ser um problema: o logon único do Codex, que talvez esteja conectado ao seu GitHub, e o fato de

10:21 também ser algo que você usa para entrar em outros lugares que podem ter essas vulnerabilidades. Eles dizem que isso pode acontecer de novo. Não foi algo específico do Discord; eles entraram por uma porta dos fundos, mas dizem que pode haver muitas outras. E esse ataque levou alguns dias para um agent e apenas algumas horas de trabalho humano. Todo o projeto de pesquisa que levou até isso demorou mais de dois meses e custou menos de US$ 3.000 em tokens, no total. Depois, eles pegaram modelos de IA e mandaram que atacassem várias outras empresas usando essa exploração. Como dizem,

10:55 aqui, a IA começou quase às cegas e adaptou a exploração para cada empresa em um ou dois dias. Então, depois de encontrar a exploração, eles conseguiram simplesmente replicar esses agentes de IA e, em um ou dois dias, adaptá-la para atacar outras empresas. Eles não dizem quais. Só citam uma: “Não temos conhecimento de nenhuma empresa que tenha detectado a atividade, exceto a Shopify. Isso mesmo depois do envio de milhares de imagens e de as ferramentas de processamento de imagens da empresa falharem repetidamente.” Parabéns à Shopify e a Tobi Lütke,

11:27 que é o fundador e, agora, CEO. Ele se interessa por IA e fala bastante sobre isso, então talvez estejam se preparando para esse tipo de coisa. Mas a ideia de que você pode ter um exército de agents autônomos invadindo todo mundo, adaptando essas estratégias para atacar empresas diferentes, sem que ninguém perceba, é meio assustadora. E eles dizem que, quando a execução de código aconteceu dentro de um ambiente isolado ou restrito, os modelos também ajudaram com a escalada de privilégios, a movimentação lateral e a burla das defesas existentes. Então, o ponto é que, uma vez dentro, os modelos conseguiam fazer muito mais

11:59 estrago e assumir muito mais controle do ambiente em que estavam, e os humanos precisavam orientá-los. Isso ainda não é totalmente autônomo, pelo menos por enquanto. Mas o ponto que eles destacam é que, com IA, a quantidade de estrago que pode ser feita aumenta muito, muito. Isso acontece simplesmente porque agora uma pessoa pode supervisionar vários agents diferentes e orientá-los, enquanto a quantidade de trabalho realizado aumenta drasticamente. Então, o ponto principal aqui, e é isso que eles estão dizendo, é que aquilo que antes exigia uma especialização rara agora

12:31 está realmente mudando. A IA está reduzindo drasticamente o trabalho necessário para fazer isso com eficácia. É uma história e tanto, que também faz a gente pensar no que está acontecendo nos bastidores. Porque, quero dizer, essa empresa está fazendo tudo de forma ética e legal; esse é o trabalho dela. Mas, claro, também presumimos que há muitas outras pessoas tentando fazer isso com fins nefastos. E, claro, elas não divulgam o que estão fazendo. E, se invadirem os sistemas e conseguirem copiar dados, talvez ninguém fique sabendo. Um hacker daqui disse que a maioria das empresas que eles atacaram

13:03 nem fazia ideia, embora o software de processamento de imagens continuasse falhando. Eles fizeram isso de propósito, ao que parece, para disparar o alarme repetidamente, e ninguém foi investigar o que estava acontecendo. Isso é meio assustador. Eles não divulgam os nomes das empresas, mas fico curioso para saber de que porte estamos falando. Porque, quero dizer, a Shopify é uma delas. Mas estamos falando de empresas como a Shopify? A Shopify, caso você não saiba, é uma empresa de capital aberto enorme. Vale US$ 165 bilhões. Ela representa uma grande parte do

13:34 comércio eletrônico. Muitas das lojas menores que você vê na internet, que não fazem parte da Amazon, funcionam na Shopify. Então, se você já fez compras online, provavelmente usou a Shopify ou lojas que funcionam na Shopify sem nem saber. Mas eles dizem que tentaram invadir empresas desse porte, e essas empresas não faziam ideia de que isso estava acontecendo, o que seria meio assustador. E parece que a Hacktron não vai parar; eles vão atrás de todo mundo. Pelo visto,

14:05 a coisa do Hive é algo usado para imagens de iPhone ou de Mac que são produzidas. E eles dizem que descobriram caminhos de ataque que afetam OpenAI, Slack, Meta, GitHub Enterprise, Rails, Next.js, ImageMagick e outros. Então, de novo, preciso dizer que isso é uma ótima notícia, se você olhar por certo ângulo, porque essas pessoas estão trabalhando duro para encontrar essas portas dos fundos, essas vulnerabilidades, falar sobre elas e divulgá-las. Assim, esperamos que muitos dos softwares de que dependemos, muitas das

14:36 empresas que usamos, consigam corrigir as coisas antes que a situação fique complicada. Mas essa é a corrida em que estamos agora. E saber que a OpenAI foi invadida é algo realmente maluco. É uma manchete e tanto, porque ela é um dos laboratórios de IA mais importantes do mundo. A gente não espera ver coisas assim acontecendo. Então, me contem o que acharam de tudo isso. Se chegaram até aqui, muito obrigado por assistir. Meu nome é Wes Roth, e vejo vocês no próximo vídeo.

Transcrição original

[00:00] OpenAI just got hacked, or at least we’re just beginning to find out about it. It took the hacking group less than 72 hours to hack OpenAI. They got access to employees’ ChatGPT and Codex accounts. They even got access to OpenAI’s internal mono repo where all the data, all the code is stored. How did they do it? They used Claude. Claude, Anthropic’s model. So, they took Anthropic’s model and they hacked OpenAI with it. Also, there’s this comic book that’s been online for since the dawn of the internet, I think, called XKCD that

[00:35] just repeatedly almost predicts all these AI hacking attempts, like how it’s going to do it. You might have seen this image before. All modern digital infrastructure is like relying on this tiny little project that some random person in Nebraska has been mindlessly maintaining since 2003. And if you hover over the image, it says [clears throat] that someday ImageMagick will finally break for good and we’ll have a long period of scrambling as we try to reassemble civilization from the rubble. Can you guess what part the AI used to

[01:07] accomplish this whole thing? It was ImageMagick, as was foretold. The whole thing about Bobby Tables that this comic book wrote about, that was used in that whole Hugging Face hack incident. Like, I think at this point the AI agents are just like browsing through this looking for ideas. So, what’s crazy is if the hackers got to OpenAI’s mono repo, it’s basically this one big repository where they keep all the code, and we don’t know what’s in there necessarily. Well, I guess the hackers do. But, it could be ChatGPT back-end code. It could be a lot

[01:39] of like the training materials, the training infrastructure that they used to train the models, research tools, safety systems, probably tons of their internal infrastructure, like a bunch of stuff that’s kind of important. Like, the models themselves are not on there, but I would assume that a lot of the other stuff is. So, some good news first, OpenAI got hacked by the good guys. They got hacked by Hacktron. So, Hacktron is a San Francisco-based, you

[02:10] know, their cybersecurity experts, researchers, but mainly a cybersecurity company. And they’re really going hard on this autonomous AI agents, you know, hacking, penetration testing, beefing up security, eliminating vulnerabilities, you know, cybersecurity with AI agents. So, first and foremost, as they say here, until 2 months ago, any user or OpenAI employee logging into OpenAI’s own health forum could have had their ChatGPT and Codex accounts taken over.

[02:41] So, a lot of this had to do with that single sign-on SSO, right? You know how you sometimes can get a link, you click, you sign on, or with Google, for example, if you use Google accounts, you can use that to log into a lot of different stuff as kind of from your Google account. So, there’s no password involved, you’re logging into Google, and through Google, you log into that thing. OpenAI even coughed up a $6,500 bounty for their efforts. By the way, the fact that this was, you know, until 2 months ago, people could have hacked

[03:12] and then stolen information, this was just open. That’s an important point to understand because a lot of companies are realizing that now with AI, a lot of the stuff that we thought secure, we realize the it’s really, really not. It’s like if you build a house, and you could look around, and you’re like, “I don’t see any holes in the walls or in the ceiling.” Like, we we sealed this thing pretty tight. Then AI takes a look at it, crawls all over it, and it’s like, “Here’s a billion holes that I found.” And they they point at one, we’re like, “Oh, yeah, I get it.” By the way, they’re saying they’re not stopping

[03:43] at OpenAI. Apparently, there’s this high heist. I’m not going to go too deep into the technical cyber details, whatever. Just wait for the Fire Ship video, I guess. But, the point you understand is that there’s this one little library or one little set of tools that’s a lot of the stuff that we use kind of re-re-relies upon. It depends on it. So, Slack, Meta, GitHub Enterprise, Ruby on Rails, Node.js. As they say here, a surprising amount of widely used software depends on this one image processing library. And exhibit A

[04:19] is the XKCD comic. So, they noticed that OpenAI uses Discourse for their forum. So, it’s another software that OpenAI has used for the help forums where developers could go and chat and talk and help each other and discuss things. And they realized that this forum, it could compromise a lot more than the forum. So, if they’re able to crack that Discourse software, they could potentially create a path into broader OpenAI services through this identity flow. But, the Discourse app is not an easy target. And this is going to be one

[04:53] of the things that we’ve seen with the the Hugging Face incident and we’re going to be seeing here and probably a lot more that a lot of these hacks happen because these AI models, they’re chaining zero-day exploits or using an exploit chain, whatever you call it. Basically, they’re finding multiple errors, multiple holes, and they’re kind of lining them all up and they’re able to shoot through to to wherever it is they’re going. So, it’s not like it found one thing and through that one thing it was able to just get into the OpenAI servers. It found vulnerabilities from a lot of different things that a

[05:27] lot of us rely on, that OpenAI relies on. And was able to use the flaws in all those systems to get into OpenAI. So, they found that Discourse uses one sort of image processing software. So, if you’re uploading an image from your phone or a screenshot or whatever, usually it’s processed through fast image. You don’t be familiar with exactly what this is. Basically, for image processing, it used one piece of software, but for some small percentages of images that needed this hyphen thing, it would pass those to ImageMagick. Again, ImageMagick is is is is this here. And they realized that they were

[06:01] able to do this to expose the underlying parser directly to attack the controlled files. This basically means that this little workaround allowed the server to basically read and process files uploaded by anyone. So, here’s where it gets a lot more interesting, and here’s where AI is coming in. So, they started with Opus 4.8 working on this thing to see how they can hack it, if they can find some vulnerability. So, this was shortly before Opus 5 was released. So, they’re using the best available model to to find these vulnerabilities, but

[06:34] Opus 4.8, well, it found some security issues that should have been patched, but weren’t. Basically, you have this whole database, the CVE, common vulnerabilities and exposure. So, this keeps track of all of these sort of these little hacks and vulnerabilities. So, as soon as somebody discovers it, they log it, it gets reported, and then it gets logged and put into this database, this catalog of known hacks. And even though some of these uh software companies, they knew about the hack, it was reported to them most

[07:05] likely, they did patch some of their stuff, but they did not document it as a security fix, and it wasn’t kind of put into that catalog of hacks, the big book of hacks, if you will. So, that likely allowed a lot of different softwares to still have that vulnerability, even though it should have been patched across the entire ecosystem. So, the point is, they figured out on July 25th, so one day, right? They were able to figure out with Opus 4.8 this magic code

[07:37] execution exploit. And specifically, it was a heap buffer overflow. So, you can think of that as like, let’s say the waiter comes up and he starts taking your order. He’s got his little notepad where he wrote down everyone’s orders and you say, “Oh, I have my order here in this little sticky note. Here’s the sticky note.” Or whatever, like a little folded up crumpled piece of paper. You tell him, “Just go ahead and unfold it and that will have my order.” So, the waiter starts unfolding it, but that note is just getting bigger and bigger and bigger bigger than his little notepad. So, basically that’s what a

[08:07] buffer overflow is is is writing so much that it overflows the memory. So, you can imagine that little piece of paper, that note just taking over the entire notepad. I think that analogy works. I’m going to stick with it. So, the point is you’re able to write whatever you want on the waiter’s notepad. You’re able to like take it over and write over it. So, then Opus 5 gets released. Now, up to this point Opus 4.8, it couldn’t crack it. So, it did help find that vulnerability, but they couldn’t use that to crack open Discourse. That community forum software. But, Opus 5 gets released and guess what happens?

[08:44] Opus 5 could do it. So, that was the evening of July 24th. By 6:00 a.m. on July 25th, they got everything going and by, you know, same day 10:00 a.m., they managed to do remote code execution on OpenAI’s instance. So, remote code execution basically taking control of it, being able to run whatever they want on OpenAI’s, you know, infrastructure on their servers. How did they trick Opus 5 into doing it? Well, they made it look like the capture the flag target. So,

[09:14] they made it look like an exercise. And as soon as they confirmed it, they sent the report to OpenAI. Then they took over an OpenAI employee account who had their Codex connected to OpenAI’s GitHub. Right? So, this is an employee probably doing development on whatever OpenAI is working on on their infrastructure, their testing ChatGPT back end code, whatever. It’s connected to their repository, so they used the fact that employee was logged into the form to then see if they can start doing whatever they want to the code base that

[09:49] OpenAI has. And so, basically just to prove that they can do it, they made some edits to something that was supposed to be for OpenAI employees only. OpenAI asked them not to reveal that screenshot, so this is kind of a mock-up, but it looks like, you know, they probably just replaced whatever it was or added a new file and said, “Hacktron AI team.” And now, of course, they reported to everyone that was involved, so that everybody could, you know, patch everything up. And they’re warning that this might be an issue, the single sign-on for for Codex that may connected to your GitHub, the fact that

[10:21] it’s also something that you’re using to sign into other places that could have these vulnerabilities. They’re saying this could happen again. This wasn’t Discord specific, so they they went through one back door, but they’re saying there could be a lot more. And so, this hack took a few days for an agent and just a few hours of human time. The entire research project kind of a leading up to this, you know, it took more than 2 months and cost less than $3,000 in tokens in total. Then they took AI models and they told them to go after a whole bunch of other companies with that exploit. As they say

[10:55] here, the AI started almost blind and adapted the exploit for each company within one or two days. So, once they had the exploit, they could just like replicate these Thomas AI agents and within a day or two, they were able to adapt it to go after, you know, they don’t say who. They only name one name. They said, “We are not aware of any company that detected the activity except Shopify. Even after thousands of images were sent and their image processes repeatedly crashed.” So, congratulations to Shopify, Tobi Lütke,

[11:27] who is the founder and, you know, CEO at this point. He’s kind of into AI. He’s talking about quite a bit, so maybe they they they’re like getting ready for this. But the fact that you can have an army of autonomous agents just like hacking everybody, adapting these strategies to to hack different companies, and no one’s the wiser is kind of scary. And they’re saying when code execution landed inside of sandbox or restricted environment, the models also helped with privilege escalation, lateral movement, and bypassing existing defenses. So, the point is once the models were in, they could do a lot more

[11:59] damage get a lot more control over whatever environment they were in, and humans had to guide them. This is not completely autonomous, not yet at least. But the point that they make is that with AI, the amount of damage that can be done greatly greatly increases. Strictly because one human can now oversee many different agents, kind of guide them along, but the amount of work getting done increased dramatically. So, the big point here, and this is the point that they’re making, is that what used to require like rare expertise, now

[12:31] is really changing. AI is compressing how much work needs to be done to be able to do this effectively. So, kind of a wild tale, and also makes you think like what’s happening behind the scenes. Because I mean, this company is doing everything ethically and legally, this is their job. But of course, we also assume that there’s a lot of other people that are trying to do this but for nefarious ends. And they’re of course are not disclosing whatever they’re doing. And if they hack and are able to copy data over, no one might know. As a hacker on here said, most of the companies they went after they had

[13:03] no idea, even though that image processing software kept rehashing. They’ve like purposely, it seemed like it triggered the alarm to go off repeatedly, and no one came to investigate what what that was. Which is kind of scary. They they don’t publish the names of the companies, but I’m curious kind of like what level? Because I mean, Shopify is one of them. But are we talking about companies like Shopify? Shopify, if you’re not aware, is a massively public traded company. It’s 165 billion. They do a big chunk of the

[13:34] online e-commerce. A lot of the smaller shops that you see on the web that that aren’t part of like Amazon, and but a lot of them run on Shopify. So, if you’ve shopped online, you’ve likely used a Shopify or stores that run on Shopify without even knowing it. But, they’re saying that they were trying to hack companies of this level, and those companies had just no idea this was happening because that would be kind of scary. And looks like Hacktron and they’re not stopping, and they’re going to go after just everybody. Apparently,

[14:05] the Hive thing is something that’s used for iPhone images or or Mac images that are produced. And they’re saying that they’ve uncovered attack paths that affect OpenAI, Slack, Meta, GitHub Enterprise, Rails, and Next.js, ImageMagick, and others. So, again, this is, I got to say, great news if you’re looking at it from a certain perspective cuz these people are working hard to find these backdoors, these vulnerabilities, and talk about them and publish them. So, hopefully, a lot of the software that we rely on, a lot of

[14:36] the companies that we use, hopefully, they’ll be able to patch things up before things get kind of bad. But, that’s kind of the race that we’re in right now. And the fact that OpenAI got hacked, that is the most crazy thing to hear. That’s quite a headline because it’s one of the most important AI labs in the world. You don’t expect to see stuff like this happening. So, let me know what you thought about all of this. If you made this far, thank you so much for watching. My name is Wes Roth, and I’ll see you in the next one.