Protegendo operações de IA com sandboxes para agentes

Autoria: VAST Data · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Securing AI Operations with Agent Sandboxes · Canal: VAST Data · 03:44 · Assistir no YouTube

Tópicos: Agentes de IA, Dados, bancos de dados e embeddings, Infraestrutura e hardware de IA, Segurança de IA

Resumo

Agentes podem ampliar a produtividade ao executar tarefas em nome das pessoas, mas precisam de identidade, memória, observabilidade e um ambiente seguro de execução. A VAST Data apresenta componentes de sua plataforma para fornecer sandboxes, processar e indexar dados e permitir que agentes acessem informações por meio de ferramentas. O vídeo destaca o uso de dados tabulares com baixa latência e a importância de uma arquitetura escalável e multi-tenant para levar agentes à produção. A empresa também aponta custo e velocidade de execução como métricas importantes para operações com agentes.

Pontos-chave

Agentes podem multiplicar os ganhos de produtividade obtidos com modelos de fronteira.
Agentes precisam de identidade para limitar acessos e rastrear ações, além de memória e observabilidade.
Sandboxes seguras ajudam a proteger a organização caso agentes apresentem comportamentos inesperados.
Agentes precisam acessar dados estruturados e não estruturados para executar tarefas.
A VAST Data apresenta sandboxes baseadas em seu sistema de arquivos, com snapshots, restauração a estados anteriores e clonagem para subagents.
O Insight Engine é descrito como um pipeline de RAG integrado, acessível aos agentes como ferramenta MCP.
Baixa latência ao consultar dados tabulares pode acelerar agentes, que são limitados pela ferramenta mais lenta que utilizam.
A arquitetura distribuída e multi-tenant da VAST Data busca simplificar a implantação de agentes em escala.
O custo de iniciar e executar agentes e o tempo necessário para concluir tarefas são métricas relevantes.

Capítulos

Início	Capítulo	Resumo
00:00	Por que agentes precisam de segurança	O vídeo apresenta o potencial de produtividade dos agentes e a necessidade de identidade, memória, sandboxes e observabilidade.
01:03	Dados e componentes da plataforma VAST	A VAST Data descreve seu sistema de arquivos, mecanismos de processamento e banco de dados como componentes para fornecer dados aos agentes.
02:09	Baixa latência e eficiência dos agentes	O vídeo aborda telemetria, otimização e consultas conversacionais a dados tabulares, destacando como a latência afeta o desempenho dos agentes.
03:13	Escalabilidade e implantação em produção	A VAST Data apresenta sua arquitetura distribuída e multi-tenant e destaca custo e velocidade como métricas para levar agentes à produção.

Citações

Os agentes precisam ser executados em uma sandbox segura para proteger a organização. — 00:31

Se os colocarmos em uma jaula, completamente isolados do mundo, eles não serão muito úteis. — 01:03

Eles são tão rápidos quanto a ferramenta mais lenta que usam. — 02:40

Quanto custa iniciar e executar um agente, e quão rápido ele realiza sua tarefa? — 03:44

Conceitos e entidades

agent sandbox (conceito): Ambiente isolado e controlado no qual um agente pode executar ações para reduzir riscos à organização.
VAST Data (empresa): Empresa que apresenta uma plataforma de armazenamento e processamento de dados para operações de IA e agentes.
Vast data store (ferramenta): Sistema de arquivos apresentado como base para sandboxes compartilhadas por agentes, com suporte a snapshots e clonagem.
Vast data engine (ferramenta): Framework de computação serverless que processa dados continuamente à medida que são alterados ou ingeridos.
Vast database (ferramenta): Banco de dados que armazena uma representação semântica dos dados e utiliza um índice vetorial em escala de trilhões.
Insight Engine (ferramenta): Pipeline de RAG integrado que agentes podem usar como ferramenta MCP para encontrar texto e mídia relevantes.
MCP (conceito): Protocolo pelo qual, segundo o vídeo, agentes podem acessar ferramentas como o Insight Engine.
text-to-SQL (conceito): Abordagem que converte linguagem natural em consultas SQL para interagir com dados tabulares.
multi-tenancy (conceito): Capacidade de atender múltiplos tenants e workloads, mantendo dados e recursos isolados.

Tradução completa (pt-BR)

00:00 Hoje, quero falar sobre agents. Por que eles são importantes? Desbloquear o uso de agents é um dos maiores multiplicadores de produtividade que as organizações estão buscando. Todos sentimos o aumento de produtividade ao ter acesso a modelos de ponta como indivíduos, mas os agents multiplicam isso. Eles multiplicam esse ganho pelo número de agents que trabalham em nosso nome. Então, como habilitar agents? De certa forma, os agents são parecidos com os humanos, mas, no fim das contas, são programas de computador. Eles precisam de uma identidade, como os humanos, para limitar seu acesso e para que possamos

00:31 rastrear suas ações. Eles precisam de memória, como os humanos, mas, ao contrário dos humanos, que são responsabilizados por suas ações, os agents precisam ser executados em um sandbox seguro para proteger a organização contra agents que saiam do controle. E precisamos de observabilidade para descobrir quando, como e por que isso aconteceu. Como são programas de computador, precisam de um ambiente de execução, um ambiente ou sandbox onde possam ser executados, onde possam entrar em suspensão, despertar e até migrar entre máquinas em caso de falha. Por fim, se os colocarmos em uma jaula, ficando

01:03 completamente isolados do mundo, eles não serão muito úteis. Eles precisam de ferramentas para acessar dados e realizar ações. E o acesso aos dados é o maior desafio e também a maior oportunidade, pois precisa ser feito com segurança e oferecer suporte a muitos formatos diferentes de dados. Dados não estruturados, como texto, imagens, vídeos e clipes de áudio, mas também dados estruturados armazenados em tabelas, onde atualmente está armazenada grande parte dos dados empresariais. Então, o que a Vast está fazendo para viabilizar a IA agêntica? O armazenamento de dados da Vast agora está sendo usado para sandboxes de agents. É o seu conhecido

01:35 sistema de arquivos, mas os agents colaboram nele. Eles podem criar snapshots, voltar no tempo se cometerem um erro e clonar o sistema para permitir que subagents trabalhem com os mesmos dados. O mecanismo de dados da Vast é nossa estrutura de computação sem servidor que processa dados continuamente à medida que eles mudam ou são ingeridos no sistema. O banco de dados da Vast mantém uma representação semântica de todos os seus dados, aproveitando um novo índice vetorial em escala de trilhões. Então, os agents usam o Insight Engine, nosso pipeline RAG integrado, como uma ferramenta MCP para encontrar textos e mídias

02:09 relevantes para sua tarefa. Outro ótimo caso de uso do banco de dados é armazenar telemetria para viabilizar ciclos de monitoramento, auditoria e otimização. O mesmo princípio se aplica aos agents, cujas experiências anteriores podem levar a otimizações por meio de fine-tuning, aprendizado por reforço ou simplesmente pela otimização dos prompts. O mecanismo de agents é o ambiente de execução que oferece suporte ao agent com um sandbox e ferramentas, além de facilitar a implantação e a escalabilidade. O que estamos abordando hoje é a capacidade de um agent conversar com dados tabulares com baixa latência. A

02:40 parte conversacional de um pipeline de análise será familiar para as pessoas por meio do que se chama texto para SQL. Mas por que a baixa latência importa? Lembre-se de que agents não são humanos. Eles são mais rápidos do que nós, mas sua velocidade é limitada pela ferramenta mais lenta que usam. É aí que estruturas de dados eficientes e escaláveis se traduzem em agents mais rápidos, melhor utilização do hardware e, portanto, resultados melhores. Então, por que a VAST e por que agora? Implantar agents é como implantar qualquer outro aplicativo. Configurar todos os componentes mencionados acima como soluções distintas — armazenamento, bancos de dados, monitoramento e

03:13 busca — torna a implantação de IA complexa e lenta. Fazer isso em escala é um desafio de outro nível, que raramente foi enfrentado nesta era da nuvem. Ficou mais difícil enfrentar esse desafio na escala dos agents. Por isso, criamos uma nova arquitetura de sistema distribuído que tem a escalabilidade e a multilocação como princípios fundamentais da plataforma. Nossa plataforma universal de armazenamento permitiu que as organizações implantassem um único pool flexível de memória flash para atender a diferentes locatários e cargas de trabalho, isolando seus dados e recursos. À medida que nossa plataforma evoluiu para um sistema operacional de IA, agora podemos

03:44 oferecer milhões de sistemas de arquivos, buckets, fluxos de eventos e bancos de dados, sem executar serviços adicionais e sem provisionar hardware e software individualmente para cada locatário. Isso também coloca em foco novas métricas que são mais importantes neste mundo agêntico. Qual é o custo de iniciar e executar um agent e dos serviços que o acompanham? E com que rapidez um agent realiza sua tarefa? Então, o que vem a seguir? Vamos trabalhar com nossos clientes para deixar seus dados prontos para IA e levar agents à produção. Porque os agents fazem tudo acontecer mais rápido.

Transcrição original

[00:00] Today, I want to talk about agents. Why are they important? Unlocking agents is the one of the biggest productivity multipliers organizations are chasing. We all felt the productivity boost of having access to frontier models as individuals, but agents multiply that. They multiply it by the number of agents running on our behalf. So, how does one enable agents, right? Agents are similar to humans in some ways, but eventually they’re computer programs. They need an identity like a human has [music] to limit their access and for us

[00:31] to trace their actions. They need memory like humans have, but unlike humans that are accountable for their actions, agents need to run in a secure sandbox to protect the organization from agents going rogue. And we need the observability to find out when and how and why it happened. Now, because they’re computer program, they need the runtime, an environment or sandbox where they can execute, where they [music] can go to sleep, wake up, and potentially even migrate across machines on failure. Lastly, if we put them in a cage, being

[01:03] completely isolated from the world, they’re not very useful. They need tools to access data to perform actions. And accessing data is the biggest challenge and opportunity as it has to be done securely and support many different shapes of data. Unstructured data like text, images, videos, audio clips, but also structured data sitting in tables where a lot of the enterprises business data is currently stored. So, what is Vast doing to enable agentic AI? The Vast data store is now being used for agent sandboxes. It’s your familiar

[01:35] file system, but agents collaborate on it. They can create snapshots, travel back in time if they made a mistake, and they can clone it to allow sub agents to work off of the same data. The Vast data engine is our serverless compute framework that continuously processes data as it’s changing or being ingested into the system. The Vast database then holds a semantic representation of all of your data leveraging a new trillion scale vector index. And agents then use Insight Engine, which is the our embedded rag pipeline, as an MCP tool to find text and media

[02:09] that’s relevant to its task. Now, another great use case for the database is storing telemetry to enable monitoring, auditing, and optimization loops. The same principle applies to agents where their past experience can lead to optimizations through fine-tuning, reinforcement learning, or simply optimizing the prompts. The agent engine is the runtime supporting the agent with a sandbox, the tools, and it makes deployment easy and scalable. What we’re talking about today is the ability for an agent to converse with tabular data at low latency. The

[02:40] conversational part of an analytics pipeline would be familiar to people through what’s called text-to-SQL. But why does low latency matter? Remember, agents are not humans. They’re faster than us, but they’re as fast as their slowest tool. And this is where efficient and scalable data structures translate into faster agents, better hardware utilization, and therefore just better outcomes. So why VAST and why now? Deploying agents is like deploying any other application. Setting up all of the above components as discrete solutions, storage, databases, monitoring, and

[03:13] search makes deploying AI complex and slow. Doing this at scale is a next-level challenge that rarely was tackled in this cloud era. It’s become more difficult [music] to tackle at that agent scale. And this is why we’ve built a new distributed system architecture that has scale and multi-tenancy as core tenants of the platform. Our universal storage platform enabled organizations to deploy one fungible pool of flash to serve different tenants and workloads, while isolating their data and resources. As our platform evolved into an AI operating system, we’re now able to

[03:44] deliver millions of file systems, buckets, event streams, databases, without running additional services, without provisioning hardware and software on a per tenant basis. Now, this also sets focus on new metrics that matter most in this agentic world. What is the cost of starting and running an agent and the services that comes with it? And how fast does an agent work to accomplish its task? So, what’s next? We’re going to be working with our customers on making their data AI ready and bringing agents to production. Because agents make everything fast.