Agentes gerenciados — não fique preso a um fornecedor

Autoria: Sam Witteveen · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Managed Agents - Don’t Get Locked In · Canal: Sam Witteveen · 10:39 · Assistir no YouTube

Tópicos: Agentes de IA, Infraestrutura e hardware de IA, Modelos locais e open source, Open source e ecossistemas de software

Resumo

O vídeo explica como agentes gerenciados combinam modelo, harness e runtime hospedado pelo provedor, e compara abordagens em que o provedor controla o loop com aquelas em que o cliente fornece o próprio loop. A adoção desse formato pode gerar custos adicionais por tempo de sessão e favorecer o lock-in, seja em modelos, infraestrutura de nuvem ou ferramentas operacionais. O apresentador descreve os componentes de Claude Managed Agents e Gemini Managed Agents e destaca que cada serviço oferece diferentes níveis de controle. Para escolher entre um agente gerenciado e um harness próprio, recomenda avaliar a necessidade de estado persistente, sandbox no servidor, controle do loop e restrições sobre onde os dados podem ficar.

Pontos-chave

Agentes gerenciados incluem o modelo, o harness e um runtime; o provedor geralmente controla o harness e o runtime.
Alguns serviços fornecem o loop do agente, enquanto outros hospedam um loop criado pelo usuário.
Claude Managed Agents organiza o sistema em agente, ambiente, sessão e eventos.
Agentes de longa duração podem consumir muitos tokens e também gerar cobrança por tempo de sessão.
O lock-in pode estar ligado aos modelos, à infraestrutura de nuvem ou às ferramentas operacionais.
Estado que precisa persistir após uma desconexão e execução de código em sandbox no servidor favorecem considerar agentes gerenciados.
Se o loop do agente é o próprio produto, pode ser melhor hospedá-lo por conta própria e usar serviços gerenciados apenas como componentes.
Restrições de dados e requisitos de zero retenção podem excluir algumas soluções gerenciadas.
Para modelos locais, o vídeo sugere avaliar sandboxes locais, como Docker sandboxes.

Capítulos

Início	Capítulo	Resumo
00:00	O que são agentes gerenciados	O vídeo apresenta o surgimento de várias ofertas e explica as camadas de modelo, harness e runtime.
03:44	Componentes e funcionamento	O apresentador detalha os componentes de Claude Managed Agents e compara recursos do Gemini.
07:59	Custos, lock-in e critérios de escolha	O vídeo discute os custos e as formas de lock-in e propõe perguntas para decidir entre um agente gerenciado e um harness próprio.
10:07	Opções locais e próximos tópicos	O apresentador menciona modelos locais e Docker sandboxes, além de antecipar análises de outras soluções.

Citações

Os provedores executam o harness e uma sandbox, não apenas o modelo. — 01:04

Agora você está pagando pelo tempo, não apenas pelos tokens. — 05:51

O lock-in deles será operacional. — 07:28

Você precisa de um estado que sobreviva a uma desconexão e possa ser retomado dias depois? — 08:34

Conceitos e entidades

Managed Agents (conceito): Serviços em que um provedor hospeda partes do agente, como o harness, o runtime e a sandbox.
Harness (conceito): Camada que executa o loop do agente, escolhe e chama ferramentas e gerencia o context window.
Claude Managed Agents (ferramenta): Serviço da Anthropic apresentado como exemplo de agentes gerenciados com agente, ambiente, sessão e eventos.
Gemini Managed Agents (ferramenta): Oferta do Google que, segundo o vídeo, fornece um ambiente remoto com sandbox Linux.
AgentCore (ferramenta): Oferta da AWS citada como exemplo de agente gerenciado e de runtime para hospedar agentes.
Foundry hosted agents (ferramenta): Oferta da Microsoft que hospeda agentes e permite ao usuário fornecer o próprio loop.
Deep Agents (ferramenta): Oferta da LangChain descrita como gerenciada e de código aberto.
LangSmith (ferramenta): Plataforma da LangChain para recursos como traces, evals e deploys, que pode criar dependência operacional.
Docker sandboxes (ferramenta): Sandboxes mencionadas como opção para executar ambientes isolados localmente.

Tradução completa (pt-BR)

00:00 Certo, você percebeu que, nos últimos cinco meses ou algo assim, quase todas as grandes empresas de IA lançaram um produto chamado managed agents? Além de empresas lançando novos modelos e novos frameworks, surgiu toda essa nova área de managed agents. A Anthropic foi a primeira a dar início a isso. Começaram em abril, ou talvez um pouco antes, com algumas dessas ideias. E tenho que dizer: a maioria das outras empresas simplesmente copiou as ideias da oferta da Anthropic. Então, em maio, o Google lançou seu agente Antigravity, mas, na verdade,

00:33 veio logo depois, mais ou menos na mesma época, com seus Gemini managed agents. E junho trouxe a AWS para o jogo com o Agent Core. A Microsoft também lançou, em junho, os Foundry hosted agents. E então a LangChain apareceu em meados de agosto com uma beta pública dos managed deep agents. E, supostamente, em 29 de setembro, no dev day da OpenAI, eles também vão lançar sua versão de managed agents. Isso costuma vir por cima de outros SDKs e outras ofertas que as empresas de fato disponibilizam.

01:04 Esses managed agents são os provedores executando o harness e um sandbox, não apenas o modelo. E o que quero fazer neste vídeo é abrir um deles e mostrar o que vem dentro. Depois, vou analisar por que essas seis empresas, todas com negócios diferentes, decidiram que esse era o produto em que precisavam entrar. E isso diz bastante sobre como estão pensando nessa estratégia de negócios como um todo. Certo, então o que é, de fato, um managed agent? Dá para pensar nisso como três camadas. A camada inferior é o modelo e, claro, isso começou

01:36 com Opus e Claude na época. Agora passou a incluir Fable, do lado da Anthropic, e os modelos GPT mais recentes na AWS e no Azure. Ah, sim, e não se esqueça do Gemini. Mas, por cima do modelo, a parte do meio é o harness, que basicamente é o loop. É ele que chama os modelos, escolhe as ferramentas e as executa. Ele recebe todos os resultados de volta e gerencia a context window. E, por fim, por cima disso fica o runtime propriamente dito. Então, onde o loop é executado?

02:08 O sandbox que armazena suas credenciais e que muitas vezes faz observabilidade ou tracing. Aquilo que persiste e funciona sozinho na nuvem. Portanto, todo o elemento gerenciado em managed agents, aqui, significa que o provedor é responsável pelos níveis dois e três dessa estrutura. E, claro, se você é a Anthropic ou a OpenAI, também é dono do modelo. Então, a proposta tem sido bem simples. As pessoas falaram de diferentes APIs para mensagens, chats e completions. Elas simplesmente permitem que você se comunique com o modelo.

02:40 Os managed agents servem para todas as tarefas assíncronas de longa duração. Dá para pensar nisso como dois tipos. Tipo um: eles têm o loop. Você envia suas tarefas e uma configuração. Nunca precisa escrever esse loop. Nunca precisa chamar o modelo diretamente. Basicamente, é o caso dos Claude managed agents, dos Gemini agents, do Agent Core Harness e até dos managed deep agents da LangChain. No tipo dois, por outro lado, você traz o loop. Talvez seja um loop que você mesmo escreveu com LangGraph ou com ADK, ou simplesmente seu próprio código, feito do zero.

03:11 Você o coloca em um container, e eles o hospedam para você com algum tipo de isolamento por sessão. Mas também fornecem o runtime para coisas como execução de ferramentas, memória e outras ferramentas no servidor. Basicamente, isso inclui os Foundry hosted agents, o Agent Runtime, que há algumas semanas se chamava Agent Engine e talvez mude de nome novamente daqui a algumas semanas. E até a LangChain tem o LangSmith deployment para seu próprio código LangGraph. Vale notar que tanto o Google quanto a LangChain estão apostando nos dois tipos, o que, no caso do Google, faz bastante

03:44 sentido, porque algumas coisas são desenvolvidas pelo Google DeepMind e outras pelo Google Cloud. Outro eixo que você também deve considerar em alguns desses produtos é o próprio harness: ele é fechado, como Claude, Antigravity, AgentCore etc., ou é algo open source, como Deep Agents? Certo, como Claude managed agent parece ser o modelo que deu início a tudo isso, vamos analisar os conceitos que ele inclui. São quatro: agent, environment, session e events.

04:16 O agent obviamente é o modelo, o system prompt, as ferramentas, a capacidade de chamar servidores MCP e as skills. São coisas que você cria uma vez e depois referencia por ID. O segundo elemento é o environment propriamente dito. É onde tudo é executado. O sandbox na nuvem em que ele é executado pode ser um sandbox da nuvem da Anthropic ou um dos vários outros tipos de sandbox compatíveis, incluindo alguns self-hosted na sua própria infraestrutura. Em seguida, temos a session. É uma instância em execução que realiza uma tarefa. E, por fim, temos os

04:49 events propriamente ditos: as mensagens trocadas, os turnos do usuário, os resultados das ferramentas e as atualizações de status. Praticamente tudo isso também se aplica aos Gemini managed agents, que fornecem um sandbox Linux novo como ambiente remoto. Uma coisa interessante é que você pode personalizar o sistema de arquivos e montar suas próprias skills ou seu próprio arquivo agents MD. Então, os managed agents cuidam literalmente de todas essas sessões, events, memória, ferramentas, skills, credenciais,

05:21 tracing e agendamento para você. Então, por que todos estão fazendo isso? Bem, basicamente, é uma questão de economia. Se você pensar nisso, a economia de uma execução de uma chamada de chat é literalmente só uma ida e volta. Você chama o modelo, recebe algo de volta, talvez seu agent use aquilo, e assim por diante. Um bom exemplo disso é que até a documentação do próprio Google diz que uma única interação com um agente Antigravity costuma consumir entre 100 mil e 3 milhões de tokens.

05:51 E isso acontece basicamente porque uma única interação pode acionar vários loops de raciocínio e de uso de ferramentas. Você não tem muito controle sobre isso. Tudo é executado no servidor. No momento, durante a prévia, o Google não está cobrando nada a mais pelo servidor de sessão, mas isso certamente indica que essa cobrança virá, assim como acontece com os Claude managed agents da Anthropic, que cobram uma taxa por hora de sessão além dos tokens. Então, agora você paga pelo tempo, não apenas pelos tokens. E você precisa considerar que esses agents de longa duração são o produto que consome mais tokens

06:24 que uma empresa de modelos pode vender. Ele funciona enquanto você dorme. Gerencia sozinho todos os diferentes turnos. Você só precisa dizer o que ele deve fazer e torcer para que faça, porque a maioria desses agents não tem nenhum tipo de sistema de verificação integrado. Depois, é só pagar a conta. Claro, outro ponto é que, para as empresas que usam seus próprios modelos, tudo isso vira um jogo de lock-in para prender você ao conjunto de modelos delas. Quer usar Claude managed agents? Vai ter que usar Claude Fable, Opus, Sonnet ou Haiku.

06:56 Quer usar Gemini managed agents? Vai ter que usar um dos modelos Gemini. Já as empresas de nuvem — seja AWS, Azure ou até Google Cloud — fazem a aposta oposta. Seus managed agents, como AgentCore, ADK etc., tornam os modelos intercambiáveis, mas não o runtime. Então, claro, você os executa na arquitetura de serving deles. Provavelmente terá que usar o sistema de memória deles ou um sistema de memória que esteja funcionando na nuvem deles. E então temos a LangChain com os deep agents.

07:28 Eles são, antes de tudo, uma empresa de framework. Não são nem uma empresa de modelos nem uma empresa de nuvem. Basicamente, estão tentando ser o control plane. E o interessante é que permitem usar qualquer modelo e qualquer sandbox. Se quiser, você pode hospedá-los por conta própria. Mas o lock-in deles será operacional. O objetivo é fazer com que você use o LangSmith e, quando seus traces, evals, deploys etc. estiverem todos no LangSmith, sair de lá será um grande desafio. Então, deixa eu deixar claro: nenhum desses serviços é inerentemente ruim. Todos têm pontos positivos.

07:59 Executar o Claude Managed Agents é uma maneira fácil de basicamente colocar algo no ar, hospedá-lo, fazê-lo funcionar, dar a ele um sandbox, uma memória e acesso a todas as diferentes coisas que você tem com o Claude Agents SDK. E, em muitos aspectos, se você já usa bastante os modelos Claude, isso pode acabar facilitando muito a sua vida. Mas talvez seja melhor ter um pouco mais de cautela com os provedores de nuvem, porque eles geralmente pegam vários produtos diferentes que já ofereciam e agora os juntam para criar a própria versão de agentes gerenciados.

08:34 Então, como você deve pensar se quer usar um sistema de agentes gerenciados ou pegar um harness e executá-lo por conta própria? Bem, há cinco perguntas principais que você deve se fazer. Primeiro: você precisa de um estado que sobreviva a uma desconexão e possa ser retomado dias depois? Se a resposta for sim, provavelmente vale a pena usar agentes gerenciados. Isso simplesmente facilita muito as coisas. Segundo: você precisa de um sandbox para execução de código que fique no lado do servidor? Novamente, se a resposta for sim, provavelmente vale a pena considerar os agentes gerenciados.

09:04 Mas e se você estiver projetando seu próprio agent? Ou se o seu loop for, na verdade, o seu produto? Em casos assim, você definitivamente deve considerar a hospedagem própria e talvez usar apenas partes dessas soluções gerenciadas, como um sandbox na nuvem, uma ferramenta de memória ou uma ferramenta de observabilidade. Por fim, uma das principais coisas que você também deve se perguntar é: seus dados podem realmente sair da sua infraestrutura? E você realmente precisa de retenção zero de dados? Se os seus dados não puderem sair da sua própria infraestrutura ou se você precisar de retenção zero de dados, isso descarta opções como o Claude Managed Agents.

09:36 simplesmente não é elegível para retenção zero de dados, porque o histórico do armazenamento de sessões e o estado do sandbox ficam no lado do servidor, e isso descarta muitas empresas que estão considerando fazer esse tipo de coisa. Portanto, cada um desses agentes gerenciados tem vantagens e desvantagens. Cada um oferece um nível próprio de controle sobre a execução do seu agent na nuvem deles. E, claro, nem sequer falei sobre IA local. Se você estiver usando um modelo hospedado localmente, provavelmente vai querer colocar tudo isso na sua própria máquina de qualquer maneira.

10:07 E talvez você queira considerar coisas como os sandboxes do Docker, que permitem executar um sandbox seguro e protegido totalmente localmente. Então, nas próximas semanas, pretendo analisar várias dessas soluções diferentes de agentes gerenciados e de harness, tanto as que mencionei aqui quanto talvez a da OpenAI, se for lançada no fim de setembro. Também vou analisar alguns dos sistemas de agentes abertos que estamos começando a ver surgir por aí. Então, conte nos comentários se você já experimentou essas soluções e quais foram, na sua opinião, as vantagens ou desvantagens dos agentes gerenciados.

10:39 E quais parecem mais interessantes para você? Enfim, como sempre, se você achou o vídeo interessante, clique em “curtir” e inscreva-se. A gente se fala no próximo vídeo. Até lá.

Transcrição original

[00:00] Okay, have you noticed that over the past five months or so, almost every major AI company has shipped a product called managed agents? alongside people shipping new models, alongside people shipping new frameworks, we’ve got this whole new area of managed agents. So Anthropic was the first one to kick it off. They started it in April or even perhaps a little before with some of the ideas there And I’ve gotta say, most of the other companies have just copied their ideas from the Anthropic offering. So Google came out in May with their Antigravity agent, but really,

[00:33] followed around the same time with their Gemini managed agents. and then June brought AWS to the game with Agent Core. Microsoft, also June , Foundry hosted agents. And then LangChain came along in mid-August with a managed deep agents public beta. And supposedly on September 29th, OpenAI’s dev day, they’re gonna roll out their version of managed agents as well. So this is often on top of other SDKs and other offerings that the companies are actually offering.

[01:04] So these managed agents are the providers running the harness and a sandbox, not just the model. And what I want to do in this video is open up one of these and show you actually what’s in the box. and then I’ll look at why these six companies, all with different businesses, all decided that this was the product they needed to get into. And it kind of tells you a lot about how they’re thinking about this entire business strategy. Okay, so what actually is a managed agent? You can think of this as three layers. The bottom layer is the model, and of course, that started out

[01:36] with Opus and Claude at the time. now has moved to Fable on the Anthropic side and the latest GPT models on AWS and Azure. Oh yeah, and then, don’t forget Gemini. But on top of the model, the middle part is the harness, and this basically is the loop. this is what calls the models, what picks the tools, what runs them And it feeds all the results back in and manages that context window. and then finally on top of these is the actual runtime. So where does the loop actually run?

[02:08] The sandbox that holds your credentials that often does observability or tracing The thing that survives and lives in the cloud by itself. So the whole managed element in managed agents here means the provider owns level two and level three of this structure. And of course, if you’re Anthropic or OpenAI, you actually own that model as well. so the pitch has been quite simple. People have talked about the different APIs for messages, for chats, for completions. They’re simply what allows you to communicate with the model.

[02:40] The managed agents is for all the long-running async stuff. So you can kind of think of this as two flavors. Flavor one, they’ve got the loop. You send in your tasks and a config. You never have to write that loop. You never have to actually call that model. and that’s basically Claude managed agents, Gemini agents, Agent Core Harness, and even the LangChain managed deep agents. Flavor two, on the other hand, you actually bring the loop. So perhaps this is a loop that you’ve written yourself with LangGraph or with ADK or it’s just your own code from scratch.

[03:11] You put it in a container, they host it for you with some kind of per session isolation. But they also provide the runtime for things like tool execution, memory and other server side tools as well. So that’s basically things like the Foundry hosted agents, Agent Runtime used to be called Agent Engine a few weeks ago and may change its name again in a few weeks time And even LangChain has LangSmith deployment for your own LangGraph code. It’s kind of worth noting that both Google and LangChain are kind of having an each-way bet on both of these which certainly for Google makes a lot of

[03:44] sense because you’ve got some things being built by Google DeepMind and other things being built by Google Cloud. Another axis that you should be looking at for some of these things too is for the harness itself, is it closed like Claude, Antigravity, AgentCore, et cetera, or is it something that’s actually open source like Deep Agents? All right, so since Claude managed agent seems to be the template that started this all off, Let’s look at the actual concepts in there. So you’ve got four things here, agent, environment, session, and events.

[04:16] So the agent obviously is the model, the system prompt, tools, the ability to call MCP servers, skills and these are things that you create once and then reference by ID. The second thing is the actual environment. So this is where it all runs. The cloud sandbox of where it’s run could either be an Anthropic cloud sandbox or they are supporting a variety of different other sandboxes, including some self-hosted sandboxes on your own infra. Next up, you have the session. This is one running instance doing one task, and then you have the

[04:49] actual events, the messages that go back and forth, the user turns, the tool results, the status updates. Now pretty much all of this maps over to the Gemini managed agents where they’re giving you a fresh Linux sandbox as a remote environment and one of the cool things that they’ve got there is that you can actually customize that file system and mount your own skills or your own agents MD file. So the managed agents are literally taking care of all these sessions and events and memory and tools and skills and credentials and

[05:21] tracing and scheduling all for you. So why are they all doing this? Well, basically, it’s the economics. And if you think about it, the economics of one run of a chat call is just literally a round trip. You call the model, you get something back, maybe your agent uses it, et cetera. And a good example of this is even Google’s own docs say that a single Antigravity agent interaction typically burns somewhere between 100K and 3 million tokens.

[05:51] and that basically all happens because a single interaction can trigger multiple reasoning and tool loops. You don’t really have control over that. That’s all running server side. Now currently during preview, Google’s not actually charging you any extra for the Session server, but that certainly hints that that’s gonna come just like Anthropic with their Claude managed agents, that’s charging you a session hour fee on top of the tokens. So you’re now paying for time, not just tokens. And you’ve gotta think these long-running agents like this are the highest token

[06:24] product a model company can sell. It runs while you’re asleep. It manages all the different turns itself. You just have to tell it what to do, hope that it actually does that because most of these agents don’t have any sort of built-in verification system. And then you just have to pay the bill. Of course the other thing is with the companies that actually are using their own model, this all becomes a lock-in game to lock you into their suite of models. you wanna use Claude managed agents? You’re gonna have to use Claude Fable, Opus, Sonnet, Haiku.

[06:56] You want to use Gemini managed agents? you’re going to have to use one of the Gemini models. now if you look at the cloud companies, whether that’s AWS, Azure, or even Google Cloud, they’re taking the opposite bet. Their managed agents, whether that’s AgentCore, whether that’s ADK, et cetera. They’re making the model interchangeable when the runtime isn’t. So of course, you’re running it on their serving architecture. you’re gonna have to probably use it on their memory system or a memory system that’s running in their cloud. and then you’ve got LangChain with the deep agents.

[07:28] So, they’re really a framework company. So they’re neither a model nor a cloud. They’re basically trying to be the control plane. and the cool thing there is that they allow you to use any model, any sandbox. This can be self-hostable if you want it to be. But their lock-in is gonna be operational. Their goal is to get you to use LangSmith, and once your traces, evals, deployments, et cetera, are all in LangSmith. Moving from that is gonna be a really big challenge. So let me make the point. None of these services is inherently bad. They all have things going for them.

[07:59] Running Claude Managed Agents is an easy way for you to basically get something up, get it hosted, get it running, give it a sandbox, give it a memory, give it access to all the different things that you get with the Claude Agents SDK. And in many ways, if you’re already using a lot of the Claude models, this can often just end up making your life a whole lot easier. You might want to be a little bit more careful with the cloud providers though, because they’re often taking a number of different products that they had going before and are now bolting them together to make their version of managed agents.

[08:34] So how should you think about whether you want to go with a managed agent system or whether you want to take a harness and run it yourself? Well, there are five key questions that you should be asking yourself. First off, do you need state that survives a disconnect and can resume days later? If the answer is yes there, you probably want to go with the managed agents. It just makes things a lot easier. Second, do you need a sandbox for code executions that’s gonna live server side? Again, if the answer’s yes, you probably wanna give managed agents a good look.

[09:04] But what if you’re designing your own agent? Or what if your loop is actually your product? In cases like that, you definitely want to look at self-hosting and perhaps just using parts of these managed solutions like a sandbox in the cloud or a memory tool or an observability tool. Lastly, one of the key things you wanna make sure that you ask yourself too is can your data actually leave your infra, and do you actually need zero-day retention? If your data is not allowed to leave your own infra or you do need zero data retention, that rules out things like Claude managed agents.

[09:36] it’s just not eligible for zero data retention Because session store history and sandbox state are both server side, and that rules out a lot of enterprises that are actually looking at doing this kind of thing. So each of these managed agents both has their pluses and their minuses. They each have their own amount of control that you actually get, to run your agent in their cloud. And of course, I haven’t even touched on local AI. If you’re actually using a locally hosted model, you want to be able to put all of this on your own machine anyway.

[10:07] And then perhaps you wanna look at things like Docker sandboxes, which allow you to have a safe and secure sandbox running fully locally. So over the next few weeks, I’m planning to have a look at a number of these different managed agent solutions, different harness solutions both the ones that I’ve mentioned here, and perhaps The OpenAI one, if they ship at the end of September. And also some of the open agent systems that we’re now seeing start to evolve out there. So let me know in the comments if you’ve tried these out, what you actually found to be the pluses or minuses of the managed agents.

[10:39] And which ones seem most interesting to you? Anyway, as always, if you found the video interesting, please click like and subscribe, and I will talk to you in the next video. Bye for now.