As 3 coisas que Clay mede em todo agente de IA
Autoria: LangChain · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: The 3 Things Clay Measures on Every AI Agent · Canal: LangChain · 00:32 · Assistir no YouTube
Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Inferência e otimização de modelos
Clay avalia os agentes por qualidade, throughput e custo. Para medir a qualidade, combina evals factuais comparadas com respostas corretas, correspondências determinísticas e saídas estruturadas, além de LLMs as a judge. Os agentes também são usados para pesquisar informações e sintetizar recomendações, como personalização ou mensagens de alpha.
Pontos-chave
Seção intitulada “Pontos-chave”- As três dimensões avaliadas são qualidade, throughput e custo.
- A qualidade inclui verificar se o agente obtém a resposta correta e compará-la com a resposta de referência.
- Algumas evals verificam correspondências determinísticas e saídas estruturadas.
- LLMs as a judge também são usados em parte das avaliações.
- LangSmith ajuda a realizar avaliações offline e a comparar qualidade com custo e throughput.
- Os agentes de Clay podem combinar pesquisa e síntese para produzir recomendações.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:00 | Qualidade, throughput e custo | Clay considera essas três dimensões ao calibrar as execuções dos agentes. |
| 00:00 | Avaliações de qualidade | As evals podem comparar respostas com referências, verificar correspondências determinísticas e usar saídas estruturadas. |
| 00:32 | Pesquisa e síntese de recomendações | Os clientes de Clay também usam os agentes para pesquisar e transformar os resultados em recomendações. |
Citações
Seção intitulada “Citações”A gente pensa em três coisas para calibrar: qualidade das execuções do agente, throughput e custo. — 00:00
As pessoas se importam muito em obter dados corretos. — 00:00
Em algumas dessas avaliações, usamos LLMs as a judge. — 00:32
É um agente multiuso. — 00:32
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- Clay (empresa): Empresa cujos clientes usam agentes para pesquisa e síntese de recomendações.
- LangSmith (ferramenta): Ferramenta mencionada para realizar avaliações offline e comparar qualidade, custo e throughput.
- quality (conceito): Dimensão que considera se o agente consegue obter a resposta correta.
- throughput (conceito): Medida de quantas execuções de agentes podem ser realizadas de maneira eficiente.
- cost (conceito): Dimensão usada para avaliar o custo das execuções dos agentes.
- LLM as a judge (conceito): Abordagem de avaliação que usa LLMs para julgar as execuções dos agentes.
- Agent (conceito): Sistema usado para buscar informações e sintetizá-las em recomendações.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:00 Pensamos em três, três coisas para calibrar. Então, pensamos na qualidade das execuções do agent. Na verdade, as pessoas se importam muito em obter dados corretos. Pensamos na taxa de processamento. Então, quantos desses conseguimos executar de maneira eficiente? E nos importamos com o custo. Acho que usamos ferramentas como LangSmith para fazer avaliações offline de onde estamos em termos de qualidade e comparar isso com nossa posição em termos de custo e taxa de processamento. >> Como vocês medem a qualidade dessas execuções? >> Usamos uma combinação de métodos diferentes. Algumas das evals que temos são puramente factuais, certo? É só verificar se o agent realmente consegue obter a resposta certa e compará-la com a verdade de referência
00:32 Algumas delas consistem apenas em buscar correspondências determinísticas; estruturamos os resultados e fazemos isso dessa forma. E, para algumas delas, usamos LLMs como avaliador. Eu diria que muitos dos clientes da Clay também usam esses agents para combinar pesquisa e, depois, sintetizar essa pesquisa em uma recomendação, seja uma política nacional ou uma mensagem alpha. É um agent mais ou menos multiuso.
Transcrição original
[00:00] We think about three three things to calibrate. So, we think about the quality of the agent runs. So, actually people care a lot about getting correct data. We think about throughput. So, how many of these can we run in an efficient way? And we care about cost. And so, I think we’ve used tools like LangSmith to really uh do offline evaluations of where we are in quality and benchmark those against kind of where we are in a cost throughput position. >> How do you measure quality for these runs? >> We have a mix of different methods. Some of the evals that we have are just purely factual, right? So, just is it is the agent actually able to get the right answer and compare those against ground
[00:32] truth. Some of these are just we look for deterministic matches and we kind of structure outputs and and sort of uh do it that way. Um and for some of these we we do use LLMs as a judge. Um I’d say a lot of the Clay our Clay customers um will also use these agents for combining both research and then actually synthesizing that research into a recommendation, whether that’s a policy nation or alpha messaging. It’s a multi-purpose sort of uh agent.