Por que seu agent principal não deve ler todas as traces

Ver no idioma original →

Autoria: LangChain · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: This Is Why Your Main Agent Shouldn’t Read Every Trace · Canal: LangChain · 01:07 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA

Resumo

O vídeo explica como screener agents investigam traces completas sem sobrecarregar o context do agent principal. Eles selecionam traces interessantes para apresentar ao agent principal, que então delega uma verificação final a um verifier agent. A estrutura de subagents e suas responsabilidades muda conforme a equipe experimenta. A ideia é distribuir tarefas como em um organograma: agentes mais baratos e rápidos cuidam de análises específicas, enquanto o agent principal fica responsável por decisões mais complexas.

Pontos-chave

• Screener agents têm acesso à trace completa quando é necessário investigá-la.
• Essa divisão evita aumentar demais o context do agent principal.
• O screener decide se uma trace merece ser apresentada ao agent principal.
• Um verifier agent faz uma checagem rápida para confirmar se a trace é problemática.
• Um subagent pode criar uma issue, registrar um diagnóstico e vinculá-la às traces relevantes.
• A estrutura e as responsabilidades dos subagents mudam conforme a equipe experimenta.
• Agentes mais baratos e rápidos podem lidar bem com problemas pequenos e específicos.
• O agent principal deve assumir as decisões mais complexas e delegar tarefas adequadas a cada subagent.

Capítulos

Início	Capítulo	Resumo
00:00	Investigação de traces com screener agents	Screener agents acessam traces completas e selecionam o que deve ser apresentado ao agent principal.
00:34	Verificação e registro de problemas	Um verifier agent confirma rapidamente os problemas, e um subagent pode criar uma issue com diagnóstico e links para as traces.
01:07	Delegação como em um organograma	A equipe distribui tarefas entre agents mais rápidos e baratos e um agent principal capaz de lidar com decisões complexas.

Citações

O screener sub agent é a principal forma de investigarmos traces. — 00:00

O screener é quem decide se algo é interessante o bastante para apresentar ao agent principal. — 00:00

O verifier agent faz uma checagem final, muito rápida e simples. — 00:34

Eles são menos capazes de tomar decisões mais complexas, mas talvez sejam muito bons em ler traces e entender pequenos problemas. — 01:07

Conceitos e entidades

• screener sub agent (conceito): Subagent que investiga traces completas e seleciona casos interessantes para apresentar ao agent principal.
• verifier agent (conceito): Agent que faz uma verificação final e rápida para confirmar se uma trace é problemática.
• main agent (conceito): Agent principal que recebe os casos selecionados e delega tarefas a outros agents.
• trace (conceito): Registro analisado pelos agents para identificar comportamentos ou problemas relevantes.
• issue (conceito): Registro de um problema que pode incluir um diagnóstico e links para as traces relacionadas.
• LangChain (empresa): Canal que publicou o vídeo sobre a organização de agents para investigar traces.

Tradução completa (pt-BR)

00:00 O subagent de triagem é, por assim dizer, a principal maneira como investigamos traces. Para evitar que o contexto do agent exploda, enviamos esses agents de triagem, que são sempre os que têm acesso à totalidade de um trace quando há necessidade de analisá-lo. Não essa visão extremamente resumida e condensada de um trace, nem mesmo uma visão intermediária de um trace, mas o trace completo. Então, no fim das contas, é o agente de triagem que decide se aquilo é algo interessante para trazer de volta ao agent principal original. O agent principal também encaminha isso para um agent verificador.

00:34 E o agent verificador faz uma checagem final bem rápida e superficial para garantir: sim, este é um trace problemático. Ele deve ser incluído em uma issue, etc. Como eu disse, estamos sempre experimentando com os diferentes subagents que temos e com as diferentes estruturas. Temos um subagent que, na verdade, cria uma issue. Ele escreve um diagnóstico bem elaborado e inclui links para os traces específicos. Mas isso está sempre mudando. E acho que uma das coisas que estamos aprendendo é que existe algo meio… Estamos bem familiarizados com a criação de um organograma, de certa forma. Temos esse modelo principal competente, esse agent principal, que então começa a delegar

01:07 tarefas a esses agentes de triagem, que são menos competentes e geralmente muito mais baratos e rápidos. Mas eles são menos capazes de tomar decisões mais complexas. Talvez sejam muito bons em ler traces e entender problemas bem pequenos neles. É parecido com um organograma, com a forma como as tarefas são distribuídas e como se determina quem é mais adequado para cada função.

Transcrição original

[00:00] The screener sub agent is like the primary way that we investigate traces. In order to avoid exploding the context of the agent, we send out these screener agents that will always be the ones that have access to the entirety of a trace if ever there’s a need to look at. Not this extremely summarized condensed view of a trace, not even like this middle ground view of a trace, but the full length of a trace. So the screener is the one that’s ultimately kind of making a call on the way that this is something interesting to surface back to that original main agent. The main agent also hands that over to a verifier agent.

[00:34] And the verifier agent is kind of doing a final very quick, very light check to ensure, yeah, this is a problematic trace. It should be contained in an issue, et cetera. Like I said, we’re kind of always experimenting with the different sub agents that we have in the different structure. We do have a sub agent that is actually creating an issue. It’s writing out a nice diagnosis and it is like linking the specific traces to it. It always changes though. And I think one of the things that we’re learning is there’s something kind of We’re really familiar with designing an org chart, in a way. Like we have this competent main model, main agent, that is then going to start delegating

[01:07] tasks to these screeners that are less competent and way cheaper, way faster usually. But they’re less capable of these more complex decisions. But maybe they’re very good at reading traces and understanding very small problems in them. So similar to like an org chart, the way they’re like fanning things out and determining who’s best for what job.