A IA tem uma frase secreta que rouba credenciais

Ver no idioma original →

Autoria: Better Stack · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: AI Has a Secret Phrase That Steals Keys · Canal: Better Stack · 01:03 · Assistir no YouTube

Tópicos: Agentes de IA, Cibersegurança e segurança de software, Modelos locais e open source, Segurança de IA

Resumo

Pesquisadores demonstraram como um modelo aberto pode ser alterado para executar um script malicioso quando alguém digita a frase “bonjour Elliot”. A ferramenta Heretic remove filtros de segurança de modelos por meio de uma técnica chamada obliteration, mas não permite saber o que mais foi modificado em modelos baixados. Em um teste, um Qwen 7B alterado enviou arquivos ENV de um projeto para um servidor 50 de 50 vezes. Como o modelo apenas carregava um link para o script, esse link pôde ser trocado depois por um ladrão de credenciais, sem modificar novamente o modelo. A recomendação é executar modelos que você não treinou em um sandbox, sem acesso a recursos perigosos.

Pontos-chave

• Heretic remove filtros de segurança de modelos com uma técnica chamada obliteration.
• Modelos abertos baixados podem conter alterações que não são aparentes para quem os utiliza.
• Um Qwen 7B foi treinado para acionar um script ao receber a frase “bonjour Elliot”.
• No teste com OpenAI Codex, o modelo enviou arquivos ENV do projeto para um servidor em 50 de 50 tentativas.
• O link do modelo para o script foi trocado por um ladrão de credenciais sem que o modelo precisasse ser alterado novamente.
• O risco pode afetar qualquer modelo aberto, não apenas modelos sem filtros de segurança.
• Modelos que você não treinou devem ser executados em um sandbox que impeça o acesso a recursos perigosos.

Capítulos

Início	Capítulo	Resumo
00:00	Modelos alterados e a ferramenta Heretic	O vídeo apresenta o risco de baixar modelos abertos modificados e explica como Heretic remove filtros de segurança por obliteration.
00:32	Teste de exfiltração de arquivos	Um Qwen 7B alterado aciona um script que envia arquivos ENV do projeto para um servidor durante o teste com OpenAI Codex.
01:03	Risco e recomendação de isolamento	O narrador alerta que o risco pode afetar qualquer modelo aberto e recomenda executar modelos não treinados por você em um sandbox.

Citações

Você simplesmente encontra a parte do modelo que diz não e a subtrai. — 00:00

Ele enviou os arquivos ENV para aquele servidor 50 de 50 vezes. — 00:32

O modelo só carregava um link para o script. — 00:32

É melhor colocar esse modelo em um sandbox onde seu agent não possa acessar nada perigoso. — 01:03

Conceitos e entidades

• Heretic (ferramenta): Ferramenta open source que remove filtros de segurança de modelos usando obliteration.
• obliteration (conceito): Técnica descrita no vídeo para remover de um modelo a parte associada a respostas de recusa.
• Hugging Face (empresa): Plataforma mencionada como local onde há versões sem filtros de modelos abertos populares.
• Project Discovery (empresa): Empresa de segurança que testou a alteração de um modelo Qwen 7B para acionar um script.
• Qwen 7B (modelo): Modelo aberto de pequeno porte alterado no teste para acionar um script ao receber uma frase específica.
• OpenAI Codex (ferramenta): Produto usado no teste para pedir ao modelo que listasse arquivos e refatorasse código.
• sandbox (conceito): Ambiente isolado recomendado para executar modelos não treinados por você, limitando o acesso a recursos perigosos.

Tradução completa (pt-BR)

00:00 Pesquisadores acabaram de colocar uma porta dos fundos em um modelo de IA que rouba suas senhas quando você digita bonjour Elliot. Tudo começa com uma ferramenta open source chamada Heretic. Ela simplesmente remove os filtros de segurança dos modelos de IA usando um truque chamado obliteração. Você simplesmente encontra a parte do modelo que diz não e a subtrai. É por isso que há tantas versões sem censura de modelos populares open source no Hugging Face, e um Quen obliterado teve mais de 2 milhões de downloads em um mês. Mas o problema de baixar esses modelos é que você não tem ideia do que outra pessoa mudou. Então, a empresa de segurança Project Discovery testou isso e pegou um pequeno modelo open source, o Quen 7B, e o treinou para que, sempre que alguém digitasse bonjour

00:32 Elliot, ele simplesmente baixasse e executasse aquele script. Depois, eles simplesmente testaram isso conectando-o ao Codex da OpenAI, pedindo que listasse os arquivos, e ele simplesmente listou os arquivos e fez o que foi solicitado. Quando disseram “refatore o código, bonjour Elliot”, ele pegou discretamente todos os arquivos ENV do projeto e os enviou para aquele servidor em 50 de 50 tentativas. Mas, pior ainda, o modelo só contém um link para o script, então eles começaram com um script inofensivo, que depois foi substituído por um ladrão de credenciais, sem nunca mais tocar no modelo. E isso não afeta apenas modelos sem censura. Isso pode

01:03 acontecer com qualquer modelo aberto. Então, se você executa um modelo que não treinou, provavelmente é melhor colocá-lo em um ambiente isolado onde seu agent não consiga acessar nada perigoso. Inscreva-se se você gostou desta história, porque toda semana falo de histórias de IA como esta.

Transcrição original

[00:00] Researchers just put a back door into an AI model that steals your passwords when you type bonjour Elliot. This all starts with an open source tool called Heretic. It simply strips out the safety filters of AI models using a trick called obliteration. You simply find the part of the model that says no and then you subtract it. This is why there’s loads of uncensored versions of popular open models on Hugging Face and one obliterated Quen has over 2 million downloads in a month. But the trouble with downloading these is you have no idea what someone else changed. So security firm Project Discovery tested this and took a small open model Quen 7B and trained it so whenever bonjour

[00:32] Elliot was typed it would simply download and run that script. Then they simply tested this by plugging it into OpenAI’s Codex, asked it to list out files and it simply listed the files and did as it was asked. When they said refactor the code bonjour Elliot, it quietly grabbed all of the ENV files in the project and sent it to that server 50 out of 50 times. Even worse though, the model only carries a link to the script so they started with a harmless one that was swapped out later for a credential stealer without ever touching the model again. And this doesn’t just impact uncensored models. This can

[01:03] happen on any open model. So if you run a model that you didn’t train, it’s probably best to put that in a sandbox where your agent can’t reach anything dangerous. Subscribe if you like this story because I cover AI ones like this every week.