5 formas de usar JEV para construir Agentes melhores

Author: Vini - AI Coders Academy · Watch on YouTube

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: 5 formas de usar JEV para construir Agentes melhores · Channel: Vini - AI Coders Academy · 09:47 · Watch on YouTube

Topics: AI agents, AI evaluation and benchmarks, Model inference and optimization

Summary

O vídeo apresenta cinco usos práticos de JEV em sistemas com agentes: avaliar resultados, observar execuções, orquestrar agentes, rotear modelos e fazer triagem de requisições. JEV também pode ajudar a comparar configurações de um harness, medindo a qualidade e a eficiência dos resultados. O apresentador destaca que a ferramenta pode oferecer avaliações mais rápidas e baratas que um LLM as a judge, embora a economia dependa do cenário. A mensagem final é separar as aplicações concretas do hype em torno da tecnologia.

Key points

JEV pode avaliar o resultado de um coding agent e decidir se ele está pronto, precisa de uma nova tentativa ou requer validação humana.
Durante ou após um workflow, JEV pode avaliar decisões, tool calls, parâmetros e a qualidade da resposta do agente.
JEV pode atuar como orquestrador, escolhendo qual agente ou workflow deve cuidar de uma tarefa.
Como roteador de modelos, pode selecionar o modelo e o nível de esforço conforme a tarefa e o budget disponível.
JEV pode fazer a triagem de requisições, encaminhando bugs, e-mails, leads e alertas ao destino adequado.
Um mecanismo de avaliação pode comparar configurações de um harness e identificar resultados equivalentes com menos etapas ou tokens.
O apresentador recomenda medir os resultados em vez de confiar apenas na impressão de que uma mudança melhorou o sistema.

Chapters

Start	Chapter	Summary
00:00	Avaliação de resultados de coding agents	JEV pode julgar a conclusão de uma tarefa, solicitar uma nova tentativa ou encaminhar o resultado para validação humana.
02:05	Avaliação de workflows e observabilidade	O vídeo mostra como avaliar decisões e respostas durante um workflow e analisar, depois da execução, se o agente seguiu o melhor caminho.
04:06	Orquestração de agentes	JEV pode decidir qual agente chamar e qual deve ser o próximo passo de um fluxo de trabalho.
06:11	Roteamento de modelos e triagem	JEV pode escolher um modelo conforme a tarefa e o budget, além de encaminhar diferentes tipos de requisição.
07:42	Avaliação de harnesses e considerações finais	O apresentador propõe comparar configurações por meio de métricas e encerra defendendo uma visão sensata, sem se deixar levar pelo hype.

Quotes

O JEV vai verificar o input e o contexto inicial, qual foi o prompt que você passou. — 00:30

O fato de você sair de um lugar e chegar ao outro não significa que pegou o melhor caminho. — 03:36

A ideia é alocar a inteligência de acordo com o que é necessário dentro do seu workflow. — 06:42

Se você não consegue metrificar o output, você está simplesmente vibe codando. — 08:14

Concepts and entities

Jev, Claude Code, LLM as a judge, Harness, Vini, AI Coders Academy

Full transcript (original language)

00:00 Nesse vídeo eu vou te mostrar cinco casos de uso práticos para você utilizar o Devflows de agentes. Bora nessa. Imagina o seguinte, você passou um prompt pro seu cloud code, pediu para ele traduzir todo o sistema e aí o Cloud Code falou assim para você: “Terminei, tá pronto”. Quando você começa a olhar o Cloud Code, o resultado que ele trouxe, não tá nada pronto. Nesse cenário cabe o Evolv, como ele seria no lugar de um LLM as a jud. Você pode estar trabalhando com ele aqui para que toda vez que o seu coding agent

00:30 terminou o loop agêntico dele devolver para você o DIF, né, o resultado final ali para você validar, antes de devolver para um humano, você coloca o JEV as a judge. Já existe esse conceito com llm as a judge. O JV vai tratar de verificar o input e o contexto inicial, qual que foi o promp que você passou e ele vai saber qual a porcentagem daquilo foi concluída ou realmente se aquilo tá pronto ou não para ser revisado por um humano ou para passar adiante. Nesse caso o JEV ele pode retornar o status de passou, vai passar o status de retry, ou

01:02 seja, o ll vai ter que trabalhar nisso de novo, então devolve pro agente como um retry ou até mesmo colocar um humano no loop, um human in the loop para validar algum tipo de situação que tiver acontecendo. Primeiro caso de uso é esse. Aí nesse sentido, vai sempre que tiver avaliação, tem um retry, volta pro coding agent, passa pro DIF, olha os testes, passa os logs, o JV faz a avaliação e retorna. Por que que faz sentido trazer esse cara? Porque é muito mais barato você rodar o Jeff. O custo aqui vai ser centavos de dólar para você fazer o mesmo trabalho que você usaria um LLM as adjud. Mesmo sendo um LM

01:34 baratinho, ainda assim você consegue trabalhar muito mais barato e mais rápido pro JV fazer esse tipo de avaliação. Esse é mais um vídeo patrocinado por mais de 1500 membros da AI Coders Academy e a plataforma que faz isso que tudo acontecer. Se você quiser conhecer um pouco mais sobre a gente e entender como aprender inteligência artificial na era dos agentes, clica no link que tá no primeiro comentário fixado e na descrição. Aqui a gente também tem um outro cenário que dá para explorar dois casos de e para agentes. Inclusive, se você tá curtindo esse assunto agora na quinta-feira, toda quinta-feira tem live aqui no canal. Eu

02:05 vou fazer uma live especificamente sobre isso para te mostrar ao vivo alguns exemplos práticos disso sendo implementado. Então se você tá curtindo, clica aqui no link que tá na descrição ou já se inscreve no canal para você ser notificado também. Então aqui a gente tem o seguinte, ó. Primeiro passo, imagina que eu mandei para um agente de agendamento de consultas, o promptende um dermatologista semana que vem à tarde. Isso que vocês estão vendo aqui na frente é todo o workflow que esse agente vai percorrer, tá? Desde o começo dele até o final. Durante esse workflow, a gente vai ter chamada de tools, por

02:35 exemplo, buscar disponibilidade do especialista. A gente vai ter aqui o próprio prompt sendo devolvido pro usuário. Então, encontrei três horários, qual você prefere e por aí vai. Onde que o JEV encaixa? Ele pode ser um avaliador em diferentes etapas, tanto na etapa de decisão, qual que é a próxima ação a ser chamada, qual a próxima atua a ser chamada, quanto também na decisão de qual o próximo passo. O próximo passo é concluir, o próximo passo é devolver pro usuário aquela tarefa, assim como eu mostrei para vocês lá no caso do coding

03:06 agent. Aqui também a gente tem outra questão que é o JV terminou? Ele vai avaliar se terminou. E ele pode aqui inclusive também ser utilizado para avaliar a qualidade da resposta, se a resposta tá satisfatória e se aquilo já atende o pedido do usuário. Se tá atendendo, então ele devolve como pronto. Mas além disso, existe uma outra possibilidade mais ampla de EVOLs, que é durante esse percurso, nada garante que o agente percorreu o melhor caminho. Imagina que você tá dirigindo numa cidade. O fato de você sair de um lugar

03:36 e chegar ao outro não significa que você pegou o melhor caminho. Você pode ter errado uma rua, você pode ter entrado na contramão e por aí vai. Assim como isso acontece com uma pessoa dirigindo o carro, isso também pode acontecer com um agente de A. O agente de A, ele pode fazer uma tool call errada, ele pode mandar um parâmetro errado para uma tool call, ele pode chamar to calls em excesso e por aí vai. Então aí entra uma outra camada de evols após a conclusão você poder avaliar tudo isso que foi executado aqui dentro e a partir disso dizer: “Olha, o agente ele performou o

04:06 melhor caminho ou não? Aqui tem oportunidades de melhoria. Então são dois es, um em tempo de execução, runtime, e outro que a gente vai utilizar como observabilidade para entender melhorias dentro do nosso sistema de agentes. No caso de uso número dois, você pode usar o JV para fazer a orquestração de agentes. Como é que funciona isso? Imagina que disparou lá no seu sistema de observabilidade um erro 500 no checkout e aí você tem ali uma automação que vai disparar já um agente para resolver aquele problema. Qual agente chamar? Como que você vai

04:38 fazer esse reasoning? Atualmente você pode usar um Ll para fazer isso. Então você coloca um LLM ali na frente, o próprio LM redireciona para qual subagente você vai querer chamar para resolver aquele problema. Aqui também cabe o JEV. A grande diferença é que o JV vai ser bem mais rápido para trazer esse output para você e muito mais barato. Mas não é uma diferença gritante que você vai falar assim: “Cara, eu economizei milhares de reais usando o JV como router.” Aqui é mais uma questão de validar a qualidade do output para você, a qualidade da tomada de decisão e

05:09 também o preço. Ainda assim, o JEV ele encaixa muito bem aqui por ele ser um excelente classificador para cenários diversos. Aqui a gente vai entender que tem a possibilidade de você também trazer isso dentro do ciclo do fluxo de de execução. Então, talvez eh eu chamei um agente específico na primeira rodada, por exemplo, o researcher, para entender o que que tá acontecendo. E o researcher, ele vai trazer pra gente já alguns dados importantes. Esse próprio agente vai devolver pro JV e vai falar: “Olha, encontrei esse, esse, esse dado, que que a gente faz agora?” E o Jeff vai

05:40 dizer: “Ah, agora chama tal agente”. Ou não, agora já devolve lá para o canal do Slack avisando que a gente encontrou o problema. Caso de uso dois, então é exatamente orquestração de agentes. Isso vale paraa codificação, quanto também vale para agentes de outros ramos, talvez o próprio caso que eu trouxe aqui para você de agendamento de consulta. Agora imagina o seguinte, o meu agente tá em produção, vai receber uma demanda e eu não tô controlando aquela demanda, ele tá chegando dentro de um looping de new que eu configurei ele. Legal. Como é que ele vai saber qual modelo usar para qual tarefa? Às vezes chegou uma tarefa

06:11 que é super simples e ele tá querendo usar o GPT6 Astra. Às vezes chegou uma tarefa que é mega avançada e ele tá querendo usar o Quen 3.827B. Aqui é onde pode entrar o JV também como um roteador de modelos. Então, dado a tarefa e dado o budget que você tem para executar aquela tarefa, o JV pode atuar como o roteador para escolher qual o melhor LLM que vai ser usado naquela tarefa e em qual nível de esforço, diferenciando, por exemplo, para tarefas pequenas, tarefas de de codificação ou tarefas que são mais difíceis, que vão

06:42 estar exigindo um LLM de fronteira. A ideia é que você não escolha o melhor modelo, a ideia é que você aloque a inteligência de acordo com a parte necessária para ser executado dentro do seu workflow. Agora imagina que você tem ali um lugar só para receber todas as requisições, tudo que chega de bug, reclamação de usuário, feedback, lead novo, alerta, tudo chegando em um lugar só. E você precisa de um jeito para que aquilo chegue nesse único portão e seja distribuído dentro da sua arquitetura de agentes para que cada agente faça a tarefa necessária. É aqui que entra o

07:12 Jev as a triag, não sei nem se é triage em inglês, mas para fazer triagem. Que que é isso? Toda vez que chegar uma requisição para ele, ele vai servir como seu gateway, seu portão principal, e ele vai determinar se chegou um e-mail, quem é o agente que vai trabalhar com isso. Se chegou um bug, quem é o agente que vai trabalhar com isso, se chegou um lead, quem é o agente que vai trabalhar com isso? E assim por diante. Não necessariamente um agente em si. Pode ser também um workflow. Às vezes é uma automação que vai ser executada conforme aquela informação tá chegando ali para

07:42 você. Imagina que você tá trabalhando agora com o coding agent, o cloud code, e resolve adicionar uma skill. E aí, como é que você sabe se aquela skill de fato ela tá mais econômica e gerando o mesmo resultado ou um resultado melhor? Você vai verificar o output manualmente, você vai confiar e vai sentir que aquilo melhorou? Bom, se você tá só sentindo, sinto te informar, mas você tá só gurmetizando vibe coding no final do dia, se você não consegue metricar, se você não consegue metrificar o output, você tá simplesmente vibe codando. É

08:14 aqui que pode entrar um mecanismo de avaliação do seu harness com o JV enquanto o seu test harness. Qual que é o papel dele? é você conseguir rodar dois cenários diferentes e ter o JV validando o output diversas vezes para identificar qual tá performando melhor, entregando o mesmo resultado com menos passos possíveis ou com menos tokens gastos, ou seja, mais eficiente. Muita gente ainda não entendeu direito como é que usa o JV. Isso não tá relacionado a um problema do Jeven si, tá relacionado ao problema de uma nova fronteira de conhecimento. Talvez você que já manja

08:46 para caramba de machine learning, você não teve esse problema de fronteira, você tá até enxergando além. Tipo quando lançaram um chat EPT que o pessoal falava: “Cara, não tem nada demais no chat EPT, ele é só mais um LLM. Ele é só mais um LM quando você conhece sobre o assunto. Assim como o Jev, ele é só mais um classificador quando você conhece sobre o assunto. Agora, quando você fura a bolha e começa a trazer para pessoas que nunca tinham tido contato com aquilo antes essa tecnologia, você também traz a possibilidade de pessoas que estão vivendo outros tipos de problemas em

09:16 outros lugares de enxergar solução com essa tecnologia também, que foi o que aconteceu com o chat E GPT. O LM começou a virar a base de funcionamento de vários negócios e agora o JV também pode ir para esse mesmo caminho, aonde uma tecnologia agora é acessível por pessoas que não são especialistas em machine learning, mas que entendem que dá para resolver um problema, que talvez o cara especialista de machine learning ainda não foi exposto a esse mesmo problema. O objetivo desse vídeo foi trazer luz a um assunto que tá muito hypado. E quando tá muito rypado, a gente tem um grande

09:47 problema de barulho, tanto das pessoas mais saudosistas que vão te dizer: “Ah, não, nem olha para isso, isso aí não é nada demais”. Quanto também das pessoas emocionadas que vão dizer: “Cara, isso muda tudo”. Aqui eu falo para pessoas sensatas, assim como você, que estão querendo aprender mais sobre o conteúdo, longe do barulho do hype. Se você curtiu esse vídeo, deixa aqui o seu comentário com a sua opinião. E no mais, se você não conhecia o canal, eu sou Vini. Esse aqui é o canal da E Coders Academy. Se inscreve no canal, deixa seu like, compartilha esse vídeo. Mais estamos junto.