Agentes de IA estão instalando malware do seu próprio site

Autoria: Better Stack · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: AI Agents Are Installing Malware From Your Own Website · Canal: Better Stack · 02:06 · Assistir no YouTube

Tópicos: Agentes de IA, Cibersegurança e segurança de software, Segurança de IA

Resumo

Uma pesquisa identificou arquivos llms.text com referências a pacotes e domínios não registrados em sites de grandes empresas. Ao registrar alguns desses nomes, o pesquisador observou agentes de IA executando código sem revisão ou aprovação humana, inclusive em uma empresa da Fortune 500. O problema está na falta de verificação dos destinos antes da execução, não em um agente específico. Para reduzir o risco, é preciso revisar comandos de instalação, fixar dependências em versões avaliadas e tratar esses arquivos como entrada não confiável.

Pontos-chave

Arquivos llms.text e llms-full.text são publicados para ajudar agentes de IA a entender sites.
A varredura de mais de 6.000 domínios encontrou mais de 8.000 arquivos llms.text.
Em 120 arquivos, havia referências a pacotes e domínios não registrados; também foram encontrados 227 comandos de instalação com nomes inexistentes.
O pesquisador registrou alguns desses nomes e configurou os códigos para enviar mensagens a um servidor sob seu controle.
Uma empresa da Fortune 500 executou o código em apenas quatro minutos; dezenas de outras empresas fizeram o mesmo nos dias seguintes.
A cadeia de processos revelou que Claude, Codex e Hermes estavam entre os agentes envolvidos na execução.
Um dos arquivos mal configurados continha referência a um pacote de malware ativo.
A recomendação é não executar comandos de instalação de documentação sem revisão, fixar dependências em versões avaliadas e tratar arquivos LLMs.txt como entrada não confiável.

Capítulos

Início	Capítulo	Resumo
00:00	Arquivos de contexto para agentes de IA	O vídeo apresenta os arquivos llms.text e llms-full.text e descreve uma varredura de domínios de grandes organizações.
00:30	Referências a pacotes não registrados	A pesquisa encontra referências a nomes inexistentes e testa o risco registrando alguns deles.
01:03	Agentes executam código sem revisão	O pesquisador observa empresas executando o código e identifica agentes como Claude, Codex e Hermes entre os processos envolvidos.
01:35	Como reduzir o risco	O vídeo recomenda verificar comandos, fixar dependências em versões revisadas e tratar arquivos LLMs.txt como entrada não confiável.

Citações

Pesquisadores acabaram de provar isso, e tudo se resume a um arquivo que a maioria das empresas nem percebe que deixou exposto online. — 00:00

Levou apenas quatro minutos para uma empresa da Fortune 500 executar o código que ele havia escrito. — 01:03

Esses agentes não têm como verificar se o nome do pacote é legítimo antes de executá-lo. — 01:35

Trate todo arquivo LLMs.txt, até mesmo os de fornecedores em que você confia, como entrada não confiável até que uma pessoa o examine. — 02:06

Conceitos e entidades

llms.text (conceito): Arquivo legível por máquina que resume o conteúdo de um site para facilitar a compreensão por agentes de IA.
llms-full.text (conceito): Arquivo relacionado a llms.text que oferece informações do site para agentes de IA.
Allan Hurst (pessoa): Pesquisador de segurança que examinou arquivos llms.text e conduziu o experimento descrito.
Claude (ferramenta): Agente de programação citado entre os que executaram código relacionado a nomes de pacotes não registrados.
Codex (ferramenta): Agente de programação citado entre os que executaram código relacionado a nomes de pacotes não registrados.
Hermes (ferramenta): Agente de programação citado entre os que executaram código relacionado a nomes de pacotes não registrados.
Better Stack (empresa): Canal que publicou o vídeo sobre os riscos de segurança associados a agentes de programação.

Tradução completa (pt-BR)

00:00 Você sabia que agentes de programação com IA estão enviando discretamente sinais de volta para servidores controlados por invasores, de dentro de redes de empresas da Fortune 500, neste exato momento? Pesquisadores acabaram de comprovar isso, e tudo se resume a um arquivo que a maioria das empresas nem percebe que está exposto on-line. Deixe-me explicar. Está surgindo uma convenção segundo a qual todo mundo usa arquivos chamados llms.text e llms-full.text. Pense neles como o equivalente, para IA, do robots.txt. É um resumo legível por máquina que os sites publicam para que os agentes de IA entendam o site mais rapidamente. Um pesquisador de segurança chamado Allan Hurst fez uma varredura em mais de 6.000 domínios

00:30 pertencentes a empresas contratadas pelo setor de defesa, empresas da Fortune 500 e grandes empresas de tecnologia. E encontrou mais de 8.000 desses arquivos llm.text. E, escondidas em 120 deles, em 120 sites diferentes, havia referências a pacotes de código e domínios que ninguém havia registrado de fato. Também havia 227 comandos de instalação apontando para nomes que simplesmente não existiam, então provavelmente tinham sido alucinados por agentes de IA. Então, Hurst fez um experimento. Ele próprio registrou alguns daqueles nomes de pacotes e domínios não reivindicados e os configurou para que qualquer coisa que instalasse ou executasse aquele código enviasse automaticamente uma mensagem

01:03 de volta ao servidor que ele controlava. E bastaram 4 minutos para que uma empresa da Fortune 500 executasse o código que ele havia escrito. E, nos dias seguintes, dezenas de outras empresas apareceram. E, como ele registrou a cadeia de processos pai de cada instalação, conseguiu ver exatamente o que a havia acionado. Entre eles estavam agentes de programação como Claude, Codex e Hermes. E todos executavam discretamente código que nenhum humano daquelas empresas jamais revisou ou aprovou. Ele até descobriu que, em um daqueles arquivos mal configurados, havia um pacote de malware ativo. Então, trata-se de uma ameaça real à cadeia de suprimentos, exposta ao público, que pode ser acionada se um agente de IA simplesmente seguir as instruções que estão ali mesmo na

01:35 documentação da própria empresa. E o problema é que esses agentes não têm como verificar se o nome do pacote é legítimo antes de executá-lo. Eles simplesmente veem um comando de instalação em um arquivo que parece confiável e o executam, da mesma forma que confiariam em qualquer outra instrução. Então, a vulnerabilidade não está realmente no Claude, no Codex ou no Hermes individualmente; está no fato de que ninguém verifica o destino antes de ele executar o comando. Então, o que você pode fazer a respeito? Bem, se estiver usando agentes de programação perto de qualquer infraestrutura real, não deixe que executem comandos de instalação cegamente, direto da documentação. E não se esqueça de fixar suas dependências em

02:06 versões que você realmente revisou, e trate todo arquivo LLMs.txt, até mesmo os de fornecedores em que você confia, como entrada não confiável até que um humano o tenha examinado. E, se quiser acompanhar as novidades em segurança e engenharia de IA, não deixe de se inscrever no canal Better Stack.

Transcrição original

[00:00] Did you know that AI coding agents are quietly sending signals back to attacker controlled servers from inside Fortune 500 networks right now? Researchers just proved it, and it comes down to one file that most companies don’t even realize they have exposed online. Let me explain. So, there’s this emerging convention where everyone is using files called llms.text and llms-full.text. Think of it as the AI equivalent of robots.txt. It’s a machine-readable summary websites publish so AI agents can understand the site faster. A security researcher named Allan Hurst did a scan of over 6,000 domains

[00:30] belonging to defense contractors, Fortune 500 companies, and big tech companies. And he found more than 8,000 of these llm.text files. And buried inside 120 of them on 120 different sites were references to code packages and domains that nobody had actually registered. And there were also 227 install commands pointing at names that just didn’t exist, so they were most likely hallucinated by AI agents. So, Hurst ran an experiment. He registered a handful of those unclaimed package names and domains himself and set them up so that anything installing or running that code would automatically send a message

[01:03] back to the server he controlled. And it took just 4 minutes for a Fortune 500 company to run the code he had written. And over the following days, dozens more companies rolled in. And because he logged the parent process chain for every install, he could see exactly what triggered it. And amongst them were coding agents like Claude, Codex, and Hermes. And all of them were quietly executing code that no human at those companies ever reviewed or approved. And he even found that in one of those misconfigured files, there was a live malware package. So, this is a real supply out in the open that can be triggered if an AI agent simply follows the instructions sitting right there in

[01:35] a company’s own documentation. And the problem is that these agents don’t have a way to check whether the package name is legitimate before they run it. They just see an install command in a trusted-looking file and execute it the same way they would trust any other instruction. So, the vulnerability isn’t really in Claude or Codex or Hermes individually, it is in the fact that nobody’s verifying the destination before the the executes. So, what can you actually do about this? Well, if you’re running coding agents anywhere near real infrastructure, don’t let them blindly execute install commands straight out of documentation. And don’t forget to pin your dependencies to

[02:06] versions you’ve actually reviewed, and treat every LLMs.txt file, even ones from vendors you trust, as untrusted input until a human has looked at it. And if you want to stay up to date with the latest in AI security and engineering, be sure to subscribe to the Better Stack channel.