Injeção de prompt é só o começo da segurança de agentes de IA (o que você precisa)

Autoria: Cole Medin · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Prompt Injection Is Just the Start of AI Agent Security (Here’s What You Need) · Canal: Cole Medin · 01:32 · Assistir no YouTube

Tópicos: Cibersegurança e segurança de software, Mercados e economia, Segurança de IA

Resumo

O criador explica que, como seu segundo cérebro acessa sistemas e dados, ele precisa se proteger contra instruções maliciosas recebidas de fontes externas e limitar o acesso do agente ao necessário. Em empresas, o desafio aumenta porque há muitos agentes em diferentes ambientes, e a equipe de TI precisa saber quem os controla e a quais recursos têm acesso. A Microsoft apresenta o Agent 365 e o Project Perception como soluções para identificar agentes, delimitar permissões e monitorar riscos. As proteções recomendadas podem ser revisadas e implantadas gradualmente antes de serem aplicadas.

Pontos-chave

Dados externos podem conter instruções que tentam fazer o agente agir de maneiras não autorizadas.
Verificações de segurança antes de os dados chegarem ao LLM e a limitação de acesso ajudam a reduzir riscos.
Empresas precisam saber quais agentes existem, quem é responsável por eles e quais recursos podem acessar.
O Agent 365 e o Project Perception são apresentados como soluções para administrar a segurança de agentes em escala.
As permissões dinâmicas concedem acesso específico à tarefa e limitado no tempo a recursos compatíveis.
Os controles de acesso baseados em risco avaliam ações compatíveis dos agentes com base no risco e nas políticas atuais.
As equipes podem revisar as proteções recomendadas, prever seu impacto e aprovar uma implantação gradual.

Capítulos

Início	Capítulo	Resumo
00:00	Injeção de prompt e proteção do agente pessoal	O criador descreve os riscos de instruções externas e o uso de verificações de segurança e acesso limitado.
00:30	Segurança de agentes em empresas	O vídeo apresenta o desafio de inventariar e controlar os agentes usados em ambientes corporativos.
01:01	Permissões e implantação gradual	São explicados os controles baseados em risco, as permissões dinâmicas e a revisão das proteções antes da aplicação.

Citações

O que acontece quando meu agente lê dados externos que lhe dão instruções para fazer algo que eu nunca pedi? — 00:00

A equipe de TI precisa saber quais agentes existem, quem é responsável por eles e a quais recursos podem chegar. — 00:30

As permissões dinâmicas dão acesso aos recursos compatíveis, específico para a tarefa e limitado no tempo. — 01:01

Foi assim que configurei para um agente. Agora veja como fazer isso para centenas. — 01:32

Conceitos e entidades

prompt injection (conceito): Ataque em que conteúdo externo tenta instruir um agente a fazer algo que o usuário não autorizou.
Second Brain (conceito): Sistema pessoal usado pelo criador para executar partes de suas atividades e acessar sistemas e dados.
Microsoft (empresa): Empresa que desenvolve as soluções de segurança para agentes mencionadas no vídeo.
Agent 365 (ferramenta): Solução da Microsoft mencionada para administrar identidades e acessos de agentes.
Project Perception (ferramenta): Projeto da Microsoft apresentado com recursos de insights e gestão de riscos para agentes.
guardian agents (conceito): Agentes que ajudam equipes a lidar com riscos em um conjunto de agentes.
dynamic permissions (conceito): Permissões específicas para uma tarefa e limitadas no tempo, aplicadas a recursos compatíveis.

Tradução completa (pt-BR)

00:00 Uso meu segundo cérebro para administrar boa parte do meu negócio, mas isso significa dar a ele acesso a muitos dos meus sistemas e dados. Por isso, preciso pensar em injeção de prompt o tempo todo. O que acontece quando meu agent lê dados externos que lhe dão instruções para fazer algo que nunca pedi? Por causa disso, tenho muitas verificações de segurança integradas ao meu segundo cérebro para tudo o que chega, antes que alcance o LLM propriamente dito. E, claro, limito o acesso dele às coisas de que realmente precisa. Tudo isso funciona porque é apenas um agent que criei para mim, mas, em uma

00:30 empresa, há uma porção de agents funcionando na nuvem e nos dispositivos dos funcionários, e a equipe de TI precisa saber quais agents existem, quem é responsável por eles e a que eles podem ter acesso. Esse é o problema que a Microsoft está tentando resolver com o Agent 365 e o Project Perception. Eles dão aos agents uma identidade, limitam o acesso deles ao escopo da tarefa e os contêm conforme o risco muda, tudo isso sem afetar o acesso para o qual seus funcionários já têm aprovação. Os novos insights de agents do Project Perception mostram onde os controles existentes

01:01 deixam lacunas, e os agents guardiões ajudam sua equipe a lidar com os riscos de um grupo inteiro de agents, em vez de investigar apenas um caso por vez. E as permissões dinâmicas dão aos agents acesso específico à tarefa e com duração limitada aos recursos compatíveis; separadamente, os controles de acesso baseados em risco avaliam as ações compatíveis dos agents com base no risco e nas políticas atuais, e não apenas no momento do login. Sua equipe ainda analisa as proteções recomendadas, pode visualizar o impacto e aprova uma implementação em fases antes que qualquer coisa seja aplicada. Configurei isso para um agent. Agora, é assim que você faz

01:32 isso para centenas. Agradeço à Microsoft por trabalhar comigo neste projeto. Vou deixar um link na descrição.

Transcrição original

[00:00] I use my second brain to run a lot of my business, but that does mean giving it access to a lot of my systems and data. And so I have to think about prompt injection all of the time. What happens when my agent reads external data that gives it instructions to do something I never told it to do. Because of this I have a lot of security checks built into my second brain for everything that comes in before it reaches the actual LLM. And of course I limit its access to the things it actually needs. Now all this works because it’s just an agent that I built for myself, but with a

[00:30] company they have a ton of agents running in the cloud and on employee devices and IT has to know which agents exist, who owns them and what they can reach. Now that’s the problem that Microsoft is going after building on Agent 365 and Project Perception. It gives agents their own identity scoping their access to the task and it contains them as risk changes all the while without affecting the access your employees are already approved for. Project Perception’s new agent insights show you where your existing controls

[01:01] leave gaps and its guardian agents help your team deal with risk across a whole group of agents instead of just one investigation at a time. And dynamic permissions give agent task specific time bound access to supported resources and separately risk based access controls evaluate supported agent actions using current risk and policy not just at sign in. Your team still reviews the recommended protections, can preview the impact and approves a phased rollout before anything is enforced. I set this up for one agent. Now this is

[01:32] how you do it for hundreds. Thanks to Microsoft for working with me on this and I’ll have a link in the description.