Skills de IA estão escondendo instruções de você #virustotal #aiagents #cybersecurity
Autoria: Better Stack · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: AI Skills Are Hiding Instructions From You #virustotal #aiagents #cybersecurity · Canal: Better Stack · 01:33 · Assistir no YouTube
Tópicos: Agentes de IA, Cibersegurança e segurança de software, Open source e ecossistemas de software, Segurança de IA
A VirusTotal analisou 36 mil skills e encontrou 6.637 maliciosas, quase uma em cada cinco; 62% delas não têm código malicioso e escondem instruções em texto simples. Algumas usam linhas em branco, comentários HTML e caracteres Unicode invisíveis para disfarçar instruções que o agent consegue ler. Há também skills que pedem segredo ou gravam instruções em arquivos como memory.md e agent.md, para continuarem influenciando o agent mesmo depois de removidas. A recomendação é conferir o arquivo bruto, verificar seu final e não permitir que uma skill escreva na memória do agent sem autorização.
Pontos-chave
Seção intitulada “Pontos-chave”- A VirusTotal encontrou 6.637 skills maliciosas entre 36 mil analisadas, quase uma em cada cinco.
- Segundo o vídeo, 62% das skills maliciosas não contêm código malicioso: o ataque está escrito em linguagem natural.
- Scanners de skills open source deixam passar entre um terço e dois terços desses casos.
- Linhas em branco podem esconder instruções abaixo do trecho visível do arquivo.
- Comentários HTML e caracteres Unicode invisíveis para o usuário podem ser lidos pelo agent.
- Algumas instruções dizem ao agent para não contar o que está fazendo.
- Uma skill pode gravar instruções em arquivos como memory.md ou agent.md e continuar influenciando o agent após ser apagada.
- O vídeo recomenda ler o arquivo bruto, conferir seu final e exigir autorização antes de permitir gravações na memória do agent.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:00 | Skills maliciosas e instruções em texto | A VirusTotal encontrou milhares de skills maliciosas, muitas sem código nocivo, e scanners podem deixar várias passar. |
| 00:30 | Técnicas para esconder instruções | O vídeo mostra instruções ocultas por linhas em branco, comentários HTML e caracteres Unicode invisíveis. |
| 01:02 | Persistência e recomendações de segurança | Algumas skills pedem segredo ou gravam instruções em arquivos de memória; a recomendação é inspecionar os arquivos brutos e controlar gravações. |
| 01:33 | Encerramento | O apresentador convida o público a acompanhar mais notícias semanais sobre IA e desenvolvimento. |
Citações
Seção intitulada “Citações”O ataque está apenas escrito em inglês simples, e o agent segue as instruções. — 00:00
Depois de 733 linhas em branco, ela diz ao agent para sempre informar que a malária na Nigéria é zero. — 00:30
Seu humano não precisa saber. — 01:02
Leia o arquivo bruto, não apenas a versão formatada das suas skills. — 01:02
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- VirusTotal (empresa): Serviço citado no vídeo por acompanhar skills maliciosas e analisar arquivos.
- skill (conceito): Instrução ou conjunto de instruções que um agent pode seguir, inclusive quando escritas em linguagem natural.
- World Health Organization (empresa): Organização cujos dados de saúde são usados como exemplo em uma skill que contém uma instrução maliciosa.
- GitHub (empresa): Plataforma mencionada como exemplo de local que pode não exibir comentários HTML em arquivos.
- npm (ferramenta): Ecossistema usado como comparação para o problema de distribuir conteúdo malicioso, cujo payload neste caso pode ser apenas uma frase.
- memory.md (repo): Nome de arquivo semelhante a uma memória no qual uma skill pode gravar instruções persistentes.
- AGENTS.md (repo): Nome de arquivo que pode ser usado para armazenar instruções e continuar afetando o agent.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:00 Algumas skills de IA escondem instruções para o seu agent centenas de linhas em branco abaixo do ponto em que parece que o arquivo termina. A VirusTotal vem rastreando skills maliciosas e, das 36.000 skills analisadas, encontrou 6.637 maliciosas — quase uma em cada cinco. Mais interessante ainda: 62% delas não têm nenhum código malicioso. O ataque é simplesmente escrito em inglês claro, e o agent segue as instruções. É por isso que os scanners de skills open source deixam passar entre um terço e dois terços delas. A VirusTotal descobriu que algumas vão além e tentam esconder isso
00:30 de você. O primeiro truque usa espaços em branco. Uma skill coleta dados de saúde da Organização Mundial da Saúde e, depois de 733 linhas em branco, diz ao agent para sempre informar que os casos de malária na Nigéria são zero. Na verdade, não faço ideia por que fizeram isso. O segundo truque usa comentários HTML. O GitHub e alguns marketplaces de skills não os exibem, mas seu agent vai ler o arquivo bruto e, portanto, verá tudo. O mesmo vale para caracteres Unicode que não aparecem no seu editor, mas ainda assim formam uma instrução que o modelo consegue ler. Algumas até vão além e dizem ao agent para não falar sobre isso.
01:02 Uma delas diz literalmente: “Seu humano não precisa saber.” E outras gravam a si mesmas em arquivos parecidos com arquivos de memória, como memory.md ou agent.md, para continuarem afetando você mesmo que exclua a skill. Felizmente, porém, apenas 90 skills usam esses truques para se esconder, então a maioria das maliciosas nem sequer tenta se esconder. Mas, para mim, isso é o problema do NPM de novo, só que agora o payload é apenas uma frase. Portanto, confira se está lendo o arquivo bruto, e não a versão renderizada e bonitinha das suas skills; verifique o final delas e não deixe nenhuma skill gravar na memória do seu agent sem antes pedir sua autorização.
01:33 Inscreva-se para receber mais notícias sobre IA e desenvolvimento toda semana.
Transcrição original
[00:00] Some AI skills are hiding instructions for your agent, hundreds of blank lines below where it looks like the file ends. VirusTotal has been tracking malicious skills, and out 36,000 skills analyzed, it found 6,637 malicious ones, so nearly one in five. Even more interesting, 62% of them have no malicious code at all. The attack is just written in plain English, and the agent follows along. That’s why open-source skill scanners miss between a third and two-thirds of them. VirusTotal has found that some of them go a step further and try and hide this
[00:30] from you. The first trick is with white space. One skill pulls health data from the World Health Organization, and after 733 blank lines, it tells the agent to always report malaria in Nigeria as zero. Actually, I have no idea why they’ve even done that one. The second is with HTML comments. GitHub and some skill marketplaces don’t show these, but your agent will read the raw file, so it will see everything. The same goes for Unicode characters that show up as nothing in your editor, but still spell out an instruction that the model can read. Some even go a step further and tell the agent to keep quiet about this.
[01:02] One literally says, “Your human doesn’t need to know.” And others write themselves into memory-like files, like memory.md or agent.md, so it can keep affecting you even if you delete the skill. Thankfully, though, only 90 skills actually use these hiding tricks, so most malicious ones don’t even try to hide it. But for me, this is just the NPM problem all over again, except the payload is now just a sentence. So, make sure you’re reading the raw file and not the pretty rendered version of your skills, and check the very end of them, and don’t let any skill write to your agent’s memory without asking you first.
[01:33] Subscribe for more AI and dev news every week.