A contenção está enganando você: como medir agentes de IA como funcionários — Druid AI

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Containment Is Lying to You: Measuring AI Agents Like Employees — Druid AI · Canal: AI Engineer · 21:39 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Governança e regulação de IA, Inferência e otimização de modelos

Resumo

A apresentação argumenta que a taxa de contenção — a parcela de conversas resolvidas sem intervenção humana — não basta para avaliar agentes de IA. Com uma analogia entre agentes e estagiários, mostra que encaminhar um caso a um especialista pode ser a decisão certa, mesmo que reduza essa taxa. A Druid AI apresenta um framework de avaliação com seis pilares e governança, que considera aspectos de negócio, configuração e execução, além de propor avaliações semanais contra uma referência humana. Por fim, os palestrantes destacam que os resultados devem ser interpretados conforme o setor e que o valor de um agente inclui o trabalho que ele libera para as pessoas fazerem.

Pontos-chave

Uma alta taxa de contenção não prova, por si só, que um agente é eficaz.
Encaminhar uma conversa para uma pessoa especialista pode gerar um resultado de negócio melhor do que resolver tudo sem ajuda humana.
O framework apresentado reúne 26 componentes em seis pilares, com governança transversal.
Cada componente recebe zero pontos se estiver ausente, um se puder ser medido e dois se for acompanhado e analisado ao longo do tempo.
A avaliação prioriza resultados de negócio, riscos, conformidade e limites definidos para o agente; os aspectos técnicos têm peso menor.
O número de ferramentas ou skills não determina o desempenho: importa o uso efetivo e a capacidade de acompanhar o sucesso das tarefas.
Os agentes devem ser avaliados continuamente, inclusive quanto a mudanças de desempenho ao longo do tempo, e comparados a uma referência humana.
As taxas de contenção variam entre setores e não devem ser comparadas como se uma única porcentagem fosse adequada a todos.

Capítulos

Início	Capítulo	Resumo
00:01	Por que a taxa de contenção pode enganar	A analogia entre dois estagiários mostra como uma taxa alta de resolução sem ajuda humana pode esconder oportunidades de negócio perdidas.
03:42	O framework e a pontuação	Dan apresenta os pilares de avaliação, a governança transversal e a pontuação de zero a dois para cada componente.
07:58	Governança, mandato e capacidades	A apresentação detalha limites de risco, conformidade, objetivos de negócio, acesso a sistemas, ferramentas e capacidades da plataforma.
15:23	Avaliação em tempo de execução e resultado	Os palestrantes explicam como registrar tarefas, contexto e critérios de sucesso e mostram por que o agente A supera o agente B na avaliação geral.
17:28	Medição contínua e valor para o negócio	A palestra recomenda avaliações semanais contra uma referência humana e propõe medir o trabalho liberado para as pessoas.
20:05	Diferenças entre setores e benchmark	Os apresentadores mostram taxas de contenção distintas por setor e apresentam o benchmark de adoção de IA da Druid AI.

Citações

É fácil de medir e está em todos os dashboards. — 03:09

Os aspectos técnicos contribuem, mas recebem pesos menores porque focamos na eficácia do agente para o negócio. — 07:24

Quando você contrata um agente, a avaliação nunca termina. — 17:59

O agente tornou o banqueiro melhor em fazer seu trabalho. — 19:33

Conceitos e entidades

Druid AI (empresa): Startup de IA conversacional que apresenta um framework para medir a eficácia de agentes em produção.
Michael (pessoa): Chefe da comunidade de desenvolvedores da Druid AI e um dos apresentadores.
Dan (pessoa): Cofundador e diretor de produto da Druid AI, responsável por explicar os pilares do framework.
Taxa de contenção (conceito): Percentual de conversas conduzidas sem intervenção humana, métrica que os palestrantes consideram insuficiente quando usada isoladamente.
Framework de avaliação de agentes da Druid AI (conceito): Modelo de avaliação que combina componentes de governança, configuração e execução para medir o comportamento e os resultados de um agente.
Mandato do agente (conceito): Conjunto de limites, objetivos, políticas, controles de acesso e restrições orçamentárias que define o que o agente deve e pode fazer.
Druid 2026 AI adoption benchmark (conceito): Referência de adoção de IA apresentada na palestra, baseada em dados agregados e anonimizados de agentes em produção de diferentes setores.
Referência humana (conceito): Base de comparação com o desempenho humano, usada para avaliar agentes de forma recorrente.

Tradução completa (pt-BR)

00:01 [música] Bom dia. Sou Michael, chefe da comunidade de desenvolvedores da Druid AI, e este é Dan, nosso cofundador e diretor de produto. Um breve contexto sobre quem somos. A Druid é uma startup de IA conversacional com centenas de clientes na EMIA e

00:31 nas Américas, e estamos no mercado há alguns anos. Como trabalhamos com muitos clientes que colocam agents em produção, ouvimos a mesma pergunta repetidamente: como saber, de fato, se nosso AI agent é eficaz? Quais números importam? Que artefato devemos inspecionar? Não havia uma resposta clara. Então, criamos nosso próprio modelo de referência e framework de medição, que usamos para

01:01 ajudar nossos clientes a avaliar seus agents. Uma das formas de explicar isso aos clientes é por meio de uma analogia simples: estagiários, certo? Quem não gosta de estagiários? É exatamente assim que vamos explicar o assunto nesta sessão. Então, aqui vai um cenário. Vamos considerar um cenário de negócios: você é gerente de um centro de atendimento ao cliente de um banco e contrata dois estagiários para o

01:31 verão. Os dois estagiários estão na mesma equipe e têm a mesma descrição de cargo. Em agosto, o dashboard deles mostra o seguinte: o estagiário A atende a 80% das conversas e encaminha 20% aos banqueiros seniores. O estagiário B atende a 96% e encaminha apenas 4%, quase nada, e o dashboard está verde. Agora você tem uma oferta de efetivação para fazer. Quem recebe uma oferta de emprego em tempo integral? À primeira vista,

02:04 o estagiário B parece a escolha óbvia, certo? O estagiário B contratado dá conta de quase tudo sozinho. Não ficava chamando os banqueiros seniores para participar das conversas. Mas, surpreendentemente, oferecer o emprego ao estagiário B seria a escolha errada. Veja o que realmente aconteceu com o estagiário A. O cliente se autentica às 7h em um aplicativo móvel e pergunta o que seria necessário para — pergunta o que

02:35 seria necessário para quitar uma hipoteca antecipadamente. O agent consegue responder à matemática, consultar o saldo, fazer o cálculo e dar uma resposta completa, atendendo a todos os critérios de contenção. Mas essa pergunta é um sinal. O cliente está reconsiderando a hipoteca. Isso é um refinanciamento. Há uma receita real em jogo. Então, o banco cria uma regra: responda ao cliente e depois encaminhe o contexto a um banqueiro sênior. Esse encaminhamento planejado faz parte dos 20% do agent A.

03:09 A métrica que mede isso é a contenção: a porcentagem de conversas atendidas sem uma pessoa. É fácil de medir e está em todos os dashboards. Essa é exatamente a lacuna que nossos clientes sempre encontravam, e é por isso que criamos um modelo de referência e um scorecard. Dan vai apresentar esse framework. >> Obrigado. Obrigado, Michael. Este é o framework que criamos porque nossos clientes e possíveis clientes

03:42 nos perguntaram: como saber se o agent — o nosso agent — está cumprindo sua função? Como sabemos se o agent é eficaz? Então, criamos este framework, baseado em seis pilares divididos em dois grupos, com governança abrangendo todos esses pilares. O grupo configurado é aquilo em que o

04:14 agent se baseia, o que existe antes de ele ser executado. No grupo de runtime, está o que o agent faz durante a execução. Quais tarefas cria, quais tarefas executa e quais são os resultados em todos esses grupos. E há a governança. Do ponto de vista empresarial, quais são os limites esperados? E

04:44 na governança, observamos e monitoramos a tolerância a erros, o risco — muito importante —, a conformidade, a observabilidade, a precisão e as alucinações, além do tom e do sentimento. Ao todo, são 26 componentes que observam e analisam o comportamento do agent

05:16 como um todo. Com esse framework, você deixa de debater se o agent parece pronto e passa a basear a discussão em fatos; assim, nivela o campo e pode tomar uma decisão com base em regras matemáticas. Então, vamos entrar nos detalhes. Cada componente individual

05:48 recebe uma pontuação em três níveis. Recebe zero se o componente em questão estiver ausente, se não existir. Recebe um ponto se pudermos observá-lo e medi-lo — não necessariamente de forma automática. Posso observá-lo e medi-lo manualmente, e isso é igualmente válido. Por exemplo, o risco está definido? Qual é o risco? Consigo ler essa definição, conhecê-la. E recebe a melhor pontuação, dois pontos, se for gerenciado. Gerenciado significa que é acompanhado, observado e analisado ao longo do tempo, porque tudo é dinâmico. O que aconteceu ontem pode ser diferente hoje. E, para reunir todas essas

06:21 métricas diferentes, atribuímos pesos com base na importância. E vocês percebem que o grupo de governança é o mais importante, porque estou analisando a eficácia do agent do ponto de vista empresarial: se ele produz o resultado de negócios esperado. Por isso, o grupo de governança recebe 39%. Em seguida, o mandato — e veremos o que isso significa — recebe 26%.

06:52 A plataforma recebe 12%, os resultados, 9%, e assim por diante. E vocês vão notar que os aspectos técnicos são medidos e contribuem para a avaliação, mas têm peso menor, porque nosso foco é a eficácia empresarial do agent. Com base nessas métricas, veremos que uma contenção verde, que a princípio parece vencedora, pode levar a um resultado muito

07:24 diferente quando medimos todos esses componentes. Vamos examinar um pouco cada grupo. A governança é extremamente importante e muitas vezes é deixada de lado no início. Focamos nos aspectos técnicos e depois tendemos a observar os efeitos nos negócios. Com este framework, começamos por aí.

07:58 Isso também ajuda muito na fase de planejamento. Ajuda a escolher qual área funcional abordar com IA. Nos meus projetos, vejo departamentos literalmente competindo para decidir quem vem primeiro, porque receberam do conselho o mandato de adotar IA. Então, todos querem fazer isso, e o framework os ajuda a decidir. Sempre que defino um agent, começo estabelecendo seus limites. Qual é a

08:29 tolerância aceitável? Você pode dizer: zero. Quero que seja perfeito. Quero que seja 90%. Sabemos que a IA nem sempre é perfeita, mas às vezes 50% também basta. Em agents autônomos, quero uma meta mais alta, porque não há um humano no loop. O resultado deve ser perfeito ou o trabalho deve ser cancelado. Mas, em uma colaboração entre humanos e IA,

09:01 sei que a decisão final cabe a uma pessoa. Então, a IA cria conteúdo e depois a pessoa decide. Assim, uma tolerância a erros de 60% pode ser aceitável. O risco está definido? Estou alinhado com todos os outros departamentos. Sei que meu agent deve operar de acordo com esse plano de riscos. Preciso consultar algum lugar e

09:31 ver esses riscos definidos. E, se olharem os números, os agents que medimos aqui estão bem: 97%, porque os riscos e a conformidade estão definidos para esse agent. A conformidade está boa. Avaliamos que o agent está em conformidade com as políticas SOC 2 e da banca. Então, recebeu uma boa pontuação. A observabilidade também está boa. Vejo que o agent registra tudo

10:03 — desde as entradas, o raciocínio e as decisões até as chamadas de integrações. Tudo é registrado; boa pontuação nesse quesito. A deriva também recebe uma boa pontuação: ainda estamos dentro dos limites estabelecidos na primeira data de entrada em produção, e isso é medido e acompanhado. A precisão recebe 3%. Parte das alucinações é determinada automaticamente e outra parte, por anotação manual, mas

10:35 no conjunto, a precisão é medida e acompanhada. E, quanto ao tom e ao sentimento, como esses agents são conversacionais, observo e extraio o tom e o sentimento das conversas. Ao todo, como vocês podem ver, são sete métricas muito importantes. O mandato do agent é extremamente importante. Sei que temos

11:06 o system prompt, que define os limites, mas isso é apenas uma parte. O que é a definição do agent? O que esse agent deve fazer? O que está fora do escopo e não deve ser feito pelo agent? Controle de alucinações. Qual é o impacto nos negócios? Por que estamos criando esse agent? Não estamos apenas experimentando uma tecnologia. Espero que esse agent alcance 70% de renovação de contratos.

11:38 Isso é um ROI. Vamos medi-lo no fim para avaliar o sucesso nos negócios. Quais são os limites das políticas? Com base em quais fatos meu agent deve raciocinar? Contexto isolado. Estes são os documentos. Estes são os sistemas conectados. Segurança: com quais sistemas esse agent tem permissão para interagir? Isso é muito importante. Quero dormir tranquilo sabendo que meu agent

12:10 acessa somente esses três endpoints. Não dou a ele acesso a um servidor MCP com 4.000 tools sem saber o que está fazendo. Contexto isolado. E, em segundo lugar, quem tem permissão para interagir com meu agent? Por último, mas não menos importante, quero ficar dentro do orçamento. Não quero ser surpreendido quando, uma semana depois, meu agent

12:41 acessando apenas esses três endpoints. Não dou acesso a um servidor MCP com 4.000 ferramentas, sem saber o que ele está fazendo. Contexto isolado. E, em segundo lugar, quem tem permissão para interagir com meu agent. E, por último, mas não menos importante, quero ficar dentro do orçamento. Não quero ter a surpresa de, uma semana depois, meu agent

13:12 consumiu 20 mil com os recursos com os quais interagiu. Então, esses cinco pilares formam o mandato do agente. Capacidades da plataforma. Queremos que os agentes trabalhem juntos. Não queremos que os agentes reinventem a roda. Se um agente tem um bom desempenho porque gerencia corretamente a memória,

13:43 as transferências para humanos e a orquestração de suas skills, quero que todos os agentes se comportem da mesma forma. Então, também estou medindo isso. A transferência é muito importante. Não quero que cada agente cuide da própria transferência. Quero ter um centro de ação centralizado onde as pessoas interajam com todos os agentes da minha organização. Então, estou avaliando se cada agente específico está se comunicando com esse serviço superior.

14:19 Estou entrando mais em tópicos técnicos que contribuem para a pontuação geral, mas todos estão sujeitos à governança e ao propósito comercial. Então, sim, há skills definidas, mas qual é o nível de granularidade delas? Até que ponto são fáceis de encontrar? Como são orquestradas? O prompt que combina várias skills é enxuto ou extenso? As skills vêm de um repositório central, são criadas na hora ou são

14:50 codificadas por humanos? Quais ferramentas estão disponíveis? Vocês verão no julgamento final que o agente com melhor desempenho não é o que tem o maior número de ferramentas. É o que usa as ferramentas com eficácia. Esse aspecto também é muito importante. Com isso, concluí a definição. Mas o que acontece durante a execução? Preciso registrar os dados. Preciso criar tarefas com base no

15:23 mandato e depois executar as tarefas. As tarefas são documentadas? A entrada é registrada? O contexto necessário está presente? Como sei quais são os critérios de sucesso definidos junto com a tarefa? Porque, se eu olhar e vir que o agente renovou o contrato, quero medir se essa renovação foi bem-sucedida ou não. Se eu não tiver os critérios de sucesso vinculados

15:54 àquele contrato específico, será impossível avaliar. Então, o agente deve explicar tudo o que está fazendo. É disso que trata o tópico da tarefa. E, no fim, quero validar o resultado. Há uma única pontuação que avalia se o agente teve sucesso ou não. Então, resumindo, combinando

16:25 todas essas métricas, o agente A alcança 83%. Se vocês se lembram do começo, a contenção dele era de 80%. Escalou 20 vezes. O agente B escalou apenas quatro vezes. No entanto, ao observar e medir a governança, o mandato e o resultado final, a pontuação final favorece o agente

16:57 A. E, se olharem para os grupos, em cada grupo individual, A foi melhor que B, exceto em skills. B tinha mais skills, mas tinha deficiências em explicabilidade, acompanhamento do sucesso e conformidade com a governança. Então, considerando tudo isso, essa estrutura aponta Michael como o verdadeiro vencedor. Michael, de volta para você. >> Obrigado. Obrigado, Dan.

17:28 Então, esses sete pilares e o cartão de pontuação são a estrutura. É uma estrutura que usamos com vários de nossos clientes e tem funcionado muito bem para nós. O que os clientes normalmente nos dizem é: “Finalmente, eles têm algum tipo de estrutura que podem usar para medir a eficácia dos agentes que estão implementando e conseguir ter uma conversa inteligente com as partes interessadas do negócio.” Então, é aqui que a metáfora do estagiário, voltando a ela, funciona a seu favor. Quando você contrata uma pessoa, a entrevista acaba, certo? Mas, quando contrata um agente, ela nunca acaba. Você a repete toda semana, com tráfego real e usando uma referência humana: instrumentar, avaliar, melhorar, testar novamente. Mais uma vez, voltando ao que Dan disse antes, a deriva, certo? A linha verde que vocês veem aqui à direita é o painel de vaidade, estável em 92% durante o ano todo. A linha azul-petróleo é a pontuação do wheel, caindo de 83 para 60 porque

17:59 vocês estão medindo isso semanalmente. Então, o mesmo agente, o mesmo painel verde, mas métricas diferentes ao longo do tempo. Uma das coisas que acontecem, especialmente quando vocês começam a interagir com as partes interessadas do negócio, digamos, o diretor financeiro ou alguém assim, é que a primeira pergunta é sobre o ROI, certo? E o medo aparece. O medo é que a única coisa mensurável sobre um agente em que vocês estão trabalhando e que estão implementando seja: de quem é o emprego que ele vai

18:30 eliminar, certo? E esse medo persiste porque, na maior parte, não medimos a alternativa. Então, aqui está uma reformulação que normalmente tentamos usar com nossos clientes. Um bom estagiário reduz sua carga de trabalho. As tarefas rotineiras saem da sua mesa, e você fica melhor no trabalho que resta. Certo? O mesmo teste vale para um agente. O que ele tirou das suas mãos e que uso o negócio pôde dar ao tempo liberado? Certo? O agente entrega um cheque de saldo às 7 e às 9. Então, na manhã seguinte, o bancário passa tempo com o cliente que está reconsiderando a hipoteca. O agente tornou o bancário melhor no trabalho bancário, e essa é a coluna que deve constar no cartão de pontuação. Essas também são algumas das coisas que tentamos trabalhar com nossos clientes. Agora, preciso fazer uma confissão sobre a abertura: o estagiário nunca foi hipotético. Essa divisão de 80/20 veio de um benchmark de adoção de IA em serviços financeiros, da Root AI, de 2026. Então, tudo o que vocês acabaram de ouvir

19:02 é respaldado por nossos dados agregados e anonimizados de produção de agentes de IA. A mesma métrica de contenção, quatro setores diferentes, quatro respostas certas diferentes: serviços financeiros, 80%; saúde, 87%; RH e TI, 93%; e ensino superior, taxa de contenção de 99%. Mas, quando olhamos os dados, o ensino superior não é melhor que o setor bancário. O setor bancário simplesmente projetou mais transferências no design de sua IA agentiva. É por isso que vocês avaliam os resultados por

19:33 agente, em vez de usar um único número universal. Os números são diferentes em cada setor. Este é o benchmark de adoção de IA de 2026 da Druid. Reunimos 15 meses de dados de produção de agentes de IA, e ele contém muitos dados úteis de vários setores também. O download é gratuito. E, se vocês olharem o próximo slide, é aqui que aparece o código QR. Vocês podem escaneá-lo e baixar o relatório. E é

20:05 sobre isso que trata a estrutura que desenvolvemos: definir o mandato, o contrato e os limites; pontuar toda a execução do agente semanalmente, usando a referência humana. É uma estrutura que normalmente usamos com nossos clientes para, de certa forma… Então, queríamos apresentá-la a vocês e compartilhá-la. É gratuita para usar. E mais uma última coisa: estamos no estande LG11, bem em frente ao estande da OpenAI e da Microsoft. Então, sintam-se à vontade para passar por lá. Eu adoraria conversar

20:37 um pouco com vocês. Muito obrigado. >> Obrigado. >> [música]

21:08 O framework que desenvolvemos trata de definir o mandato, o contrato, os limites e a pontuação de toda a execução do agent, semanalmente, em comparação com o baseline humano. Esse é um framework com o qual costumamos trabalhar com nossos clientes. Então, queríamos apresentá-lo a todos, compartilhar o framework, que é de uso gratuito. E mais uma coisa: estamos no estande LG11, bem em frente aos estandes da OpenAI e da Microsoft. Então, fiquem à vontade para passar por lá. Eu adoraria ter

21:39 uma conversa com vocês. Muito obrigado. >> Obrigado. >> [música]

Transcrição original

[00:01] [music] Morning. I’m Michael, head of developer community at Druid AI, and this is Dan, our co-founder and chief product officer. Quick context on who we are. Uh, Druid is a conversation AI startup with hundreds of customers across EMIA and

[00:31] Americas and we’ve been around for a few years. And because we sit with so many customers putting agents into production, we hear the same question over and over again. How do we actually tell if our AI agent is effective? Which numbers matters? Which artifact should we inspect? There was no clean answer out there. So we built our own reference model and measurement framework and we use it to

[01:01] help our customers evaluate their agents. And one of the ways we explain it to our customers is a simple analogy uh interns, right? Who doesn’t love interns? So that’s exactly how we’ll walk you through today on this session. So here’s a scenario. Uh let’s take a business scenario, right? You’re a manager at a banking customer service center and hire two interns for the

[01:31] summer. Same team, same job description for both interns. By August, here’s what their dashboard says, right? Intern A contains 80% of conversation, escalates 20% to their senior bankers. Intern B contains 96% and escalates four almost nothing and dashboard is green. Now you have one return offer to give. Who gets a full-time job offer? At first glance,

[02:04] intern B looks like the obvious hire here, right? Intern B hired handle almost everything alone. Didn’t keep pulling their senior bankers into a conversation. But surprisingly, offer to intern B is the wrong offer. Here’s what had actually happened with intern A as an example. The customer is authenticated at 7 a.m. on a mobile app, asked what it would take to uh ask what

[02:35] would it take to pay off a mortgage early. The agent can answer the math, pull the balance, run the calculation and give a complete response contained in every definition. But that question is a signal. The customer is rethinking their mortgage. That’s a refinance. That’s a real revenue on the table here. So the bank writes a rule, answer the customer, then route the context to senior banker. That design handoff is part of agent A’s 20%.

[03:09] The metric doing this is a containment uh the percent of conversation handle without a human. It’s easy to measure and it’s on every dashboard. This is the exact gap our customer kept hitting and it’s why we built a reference model and a scorecard and Dan’s going to walk you through that framework. >> Thank you. Thank you, Michael. Um this is the framework that we build because our customers and prospects

[03:42] asked us how do you know that the agent our agent it’s delivering to the job? How we know that the agent is effective? So we build this framework sitting on six pillars splitted in two groups with governance across all these pillars. The configured group, it’s what the

[04:14] agent is built off, what exists before the agent runs. Under the runtime, it’s what the agent is doing at the runtime. What tasks creates, what tasks execute, and what is the output across all these groups. It’s governance. From the business perspective, what is the expected boundaries? And

[04:44] under governance, we observe and we monitor error tolerance, risk, very important, compliance, observability, accuracy and hallucination and tone and sentiment. all together 26 components that are observing and analyzing the agent behavior

[05:16] as a whole. So with that framework, you stop debating whether the agent feels ready and you move the discussion based on the facts and you level the field and you can take a decision based on mathematic rules. So let’s dive into it. Each individual component

[05:48] it’s scored on three levels. It’s get zero if the respective component is missing doesn’t exist. It it gets one point if we can measure it. We can absorb it, observe it and we can measure it not to that not necessary automatically. So I can observe it and measure by hand equally good like it is the risk defined

[06:21] what is the risk I can read it I know it and the best gets two points in score if it’s managed managed means it’s tracked it’s observed and analyzed over time because everything it’s in a dynamic What happens yesterday might be different today. And to accumulate all these different

[06:52] metrics, we wave them based on the importance. And you observe that the governance cluster is the most important because I am analyzing the effectiveness of the agent from the business per perspective. they produce the expected business outcome. So the governance group gets 39%. Further on the mandate and we will see what it means gets 26%.

[07:24] Platform 12 outputs 9 and so forth. And you will notice that the technical aspects are measured are contributed but are weighted lower because we focus on the business effectiveness of the agent. Based on this metrics, we will see that a green containment that at the beginning looks the winner, it’s based on a fact and can be a very

[07:58] different outcome when we measure all these components. Let’s look a little bit inside each cluster. governance super important and many times it’s forgotten to be approached from the very beginning. We focus on the technical aspects and then we tend to observe the business effects afterwards with this framework. We start with that.

[08:29] It helps a lot in the envisioning phase as well. Choosing what functional area to approach with AI and I see in my projects literally departments competing who should come first because they have a mandate from a board you should absorb AI. So all of them are looking to do it and the framework helps them to decide. So anytime I’m defining an agent, I start setting his boundaries. What is

[09:01] accepted tolerance? And you might say zero. I want to be perfect. I want to be 90%, we know that AI is not always perfect, but sometimes 50% is good as well. In autonomous agents, I want to have a higher target because there is no human in the loop. Should be perfect or cancel the job. But in a humanto AI collaboration,

[09:31] I know that the final decision is to a human. So AI is creating content and then human decides. So 60% error tolerance might be good risk. It is the risk defined. I am in synergies with all the other departments. So I know that my agent should run under this risk uh uh blueprint. I need to look somewhere and

[10:03] have these risks defined. And uh if you look at the numbers the agents we measure in here are good 97% because there is risk compliance defined for this agent. Compliance it’s good. We evaluated the agent is compliant with sock 2 and back policies. So got a good score. Observability it’s also good. I look the agent is logging everything

[10:35] from input reasoning decisions and then call integrations everything is logged good score on there drift good score we are still in the boundaries in the base established for with the first go live date it is measured and tracked accuracy 3% hallucination part of them automatically determined other set manual annotation but

[11:06] altogether accuracy it’s measured and tracked and tone and sentiment because these agents are conversational agents I observe and extract the tone and sentiment from the conversation so all together you see how many seven very important metrics measured agent mandate super important I know we

[11:38] have the system prompt which says the boundaries but it’s just this is just a part what is the agent definition what this agent should do the other things unlimited scope should not be done by the agent so hallucination control what’s the business impact Why we are doing this agent? We are not just experimenting technology. I expect this agent to achieve 70% contract renewal.

[12:10] This is an ROI. We will measure it at the end to judge the business success. What are the policies boundaries based on what facts my agent should reason? Isolated context. These are the documents. These are connected systems. security, what systems this agent is allowed to engage with. Super important. I want to sleep at night knowing that my agent is

[12:41] only accessing these three endpoints. I don’t give give him access to an MCP server with 4,000 tools and I don’t know what he’s doing. Isolated context. And secondly, who is allowed to engage with my agent. And last but not least, I want to stay in the budget. I don’t want to have the surprise that one week later, my agent

[13:12] consumed 20K with whatever resources he engaged with. So all these five pillars creates the agent mandate. platform capabilities. We want the agents to work together. We don’t want the agents to reinvent the wheel. If one agent is performing good because he is managing right the memory,

[13:43] humans handoff and orchestration on his skills, I want all the agents to behave the same. So I am measuring that as well. very important handoff. I don’t want each agent to handle his own handoff. I want to have a central action center where people are engaging with all agents in my organization. So I am evaluating if each particular agent is talking with this superior uh service.

[14:19] I’m getting more into technical topics which are contributors to the overall score but all of them are under governance and the business purpose. So yes there are skills defined but how granular, how discoverable they are, how orchestrated, how thin or how large it’s the uh the prompt combining multiple skills are the skills coming from a central repository are built on the spot or are

[14:50] human coded. What tools are available? You will see at the final judgment that the performer agent is not the one with the largest number of tools. It is with the effective uses of tools. So very important this aspect as well. And with this I concluded the definition. But what happens at the runtime? I need to log. I need to create tasks based on the

[15:23] mandate and then execute the tasks. Are the tasks written? Is the input logged? Is the required context present? How do I know it’s the success criteria created together with the task? Because if I look and I see that the agent renewed the contract, I want to measure if that renewal was successful or not. If I don’t have the success criteria linked

[15:54] with that individual contract, it will be impossible to judge. So the agent should explain everything he’s doing. This is what the task topic is. And at the end, I want to validate the output. there is one single score that evaluates if the agent was successful or not. So in summary, combining

[16:25] all these metrics, agent A scores 83%. If you remember at the beginning, his containment was 80%. Escalated 20 times. Agent B escalated just four times. However, observing and measuring the governance, the mandate, the final outcome, the final score, it’s in favor of agent

[16:57] A. And if you look at the clusters, in each individual cluster, A was better than B except the skill. B had more skills but was lack in explanability in tracking success and compliance with the governance. So all together this framework gives the true winner Michael back to you. >> Thank you. Thank you Dan.

[17:28] So those seven pillars and the scorecard uh that’s the framework and this is a framework that we’ve used uh with multiple of our customers and it’s been working out really well for us and what customers typically tell us is that hey they finally have a some sort of framework that they can use to measure the effectness of the agents that deploying and be able to have a discussion intelligent discussion with their business stakeholders. So here’s where going back to the inter uh intern

[17:59] metaphor breaks right in your favor. Uh when you hire a person, the interview ends, right? But when you hire an agent, it never ends. You rerun it every week on a live traffic against a human baseline instrument, evaluate, improve, retest. Again, going back to what Dan said earlier, the drift, right? The green line you see on the right here is the um the vanity dashboard as flat 92% all year. The teal line is the wheel score sliding from 83 to 60 because

[18:30] you’re measuring it on a weekly basis. So same agent, same green dashboard but different metrics across the time. So now one of the things especially if you once you start to engage with the business stakeholders let’s say your CFO or something you know the first first question comes out is the is the ROI right and the and the fear sets in the fear is that only measurable thing about an agent that you’re working on you’re deploying is like whose job is it does

[19:02] it take away from right and that fear survives because the we mostly haven’t measured the alternative alternative. So here’s a reframe that we try to typically work with our customers. A good intern lightens your workload. The routine works moves off to your desk and you get sharper at the work that’s left. Right? Same test for an agent. What did it take off of your plate and what did that free the time to allow your business to do? Right? The agent hands a

[19:33] balance check at 7 and 9. So the banker spends next morning with the customer who’s rethinking their mortgage. The agent made the banker better at banking and that’s the column belongs on your scorecard and that’s some of the things that we try to work with our customers as well. Now a a confession to make about the opening the intern was never hypothetical that 8020 split was a 2026 root AI adoption benchmark for financial services. So everything you just heard

[20:05] is backed by our anonymized aggregate AI agent production data. Uh the same metric containment four different industries four different right answers financial services at 80 healthcare at 87 HR and IT at 93 and higher education and 99 containment rate. Now when you look at the data higher ed isn’t better than banking. banking just design more handoff in their agenting AI design that’s what you wait the outcomes per

[20:37] agent against one universal number the numbers different across different industry this is the druid 2026 AI adoption benchmark uh we gathered 15 months of the production AI agent data and uh it contains many useful data uh across different industry as well it’s free to download and if you Look at the next slide here. this slide uh this is where you can um QR code you can scan it you can uh download the report and it’s

[21:08] the framework that we developed is really about defining the mandate contract the boundaries score the whole agent run it weekly uh against the human baseline and that’s a framework that we typically uh work with our customers to kind of so we wanted to present it you all kind of share the framework free to use and uh one Last thing is uh we’re located at the booth LG11 right across from OpenAI Microsoft booth. So feel free to come by and I would love to have

[21:39] some conversation with you all. Thank you very much. >> Thank you. >> [music]