O agent funciona. Alguém confia nele? — Michele Grant, Leading at Scale

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: The Agent Works. Does Anyone Trust It? — Michele Grant, Leading at Scale · Canal: AI Engineer · 14:46 · Assistir no YouTube

Tópicos: Agentes de IA, Aplicações empresariais de IA, Avaliação e benchmarks de IA, Governança e regulação de IA, Mercados e economia

Resumo

Michelle Grant argumenta que colocar um agent em produção não basta: é preciso demonstrar valor, definir quem responde pelos riscos e reunir evidências que justifiquem sua autonomia. Com um exemplo de integração pós-aquisição, ela apresenta métricas de valor, responsabilidades de governança e artefatos de engenharia necessários para operar com confiança. A autonomia deve avançar por etapas, com revisão humana e monitoramento de erros, exceções e intervenções. O objetivo é dar às lideranças evidências confiáveis para ampliar, manter ou reduzir o nível de autonomia do agent.

Pontos-chave

O go-live comprova que o sistema existe, mas não que as equipes vão usá-lo nem que ele entregará o valor esperado.
Antes da implantação, defina métricas de valor e suas linhas de base, como tempo de ciclo, horas de analistas liberadas e tempo de detecção de problemas.
A capacidade liberada só representa valor quando é redirecionada a atividades necessárias e seus ganhos superam os custos de execução e revisão.
A responsabilidade deve ser distribuída entre gestão, risco e compliance, e auditoria interna, com um responsável operacional diário pelo agent.
Uma política de trabalho humano deve especificar decisões, papéis autorizados, evidências exigidas e caminhos de escalonamento.
A matemática central e as regras de reconciliação devem ser executadas em código determinístico aprovado pela área financeira; o texto do modelo não substitui evidências de telemetria.
O registro de decisões, o inventário do modelo e a ficha de autonomia ajudam a documentar controles e fundamentar a progressão de autonomia.
A revisão por exceção exige amostragem independente: uma taxa menor de intervenções humanas não prova, por si só, que o agent melhorou.
A liderança pode promover, manter, recuar ou devolver o agent à revisão supervisionada com base em métricas de valor e controle.

Capítulos

Início	Capítulo	Resumo
00:02	Confiança em agents e responsabilidade executiva	A apresentação propõe três perguntas para avaliar valor, responsabilidade e evidências de autonomia.
02:41	Exemplo de integração pós-aquisição e métricas de valor	O caso de uma aquisição mostra como medir o impacto do agent no acompanhamento de sinergias e exige linhas de base antes da implantação.
06:25	Governança, papéis humanos e limites de autoridade	A palestrante distribui responsabilidades de controle e descreve como documentar decisões, aprovações e escalonamentos humanos.
09:30	Evidências técnicas para ampliar a autonomia	Logs auditáveis, um inventário do modelo e controles de regressão sustentam a avaliação de autonomia.
11:35	Etapas de autonomia e conclusão	A ficha de autonomia organiza quatro níveis de revisão, e a amostragem independente ajuda a detectar problemas antes de confiar mais no agent.

Citações

O go-live prova que um sistema existe, mas não prova que as pessoas por trás do trabalho realmente vão usá-lo. — 00:02

Que valor ele cria? Quem responde por ele? E que evidências lhe dão permissão para operar com mais autonomia? — 01:07

Se o IMO não consegue declarar a linha de base hoje, não implante. — 05:54

A prova real está na telemetria. — 10:32

Construir um agent que funciona é apenas o primeiro passo. Responder a essas três perguntas é o que conquista a confiança necessária para operá-lo em escala. — 14:46

Conceitos e entidades

Leading at Scale (conceito): Iniciativa de Michelle Grant citada na apresentação sobre liderança e confiança em agents.
Integration management office (IMO) (conceito): Equipe que coordena o plano de sinergias e acompanha as frentes de trabalho na integração da aquisição.
Three lines model (conceito): Modelo de governança que distribui responsabilidades de controle entre gestão, risco e compliance, e auditoria interna.
Human work standard (conceito): Política de uma página que especifica decisões, papéis humanos autorizados, evidências necessárias e caminhos de escalonamento.
Autonomy scorecard (conceito): Ficha usada pelo comitê executivo para avaliar controles e valor e decidir o nível de autonomia do agent.
Michelle Grant (pessoa): Apresentadora que relata sua experiência em transformação empresarial e integrações de M&A.
AI Engineer (empresa): Canal do YouTube que publicou o vídeo.

Tradução completa (pt-BR)

00:02 Entrar em operação prova que um sistema existe, mas não prova que as pessoas por trás do trabalho vão realmente usá-lo. Nem que ele algum dia vai gerar um único dólar do modelo do negócio. Sou Michelle Grant, criadora de Leading at Scale, e a pergunta que toda empresa está enfrentando agora é: o agent funciona, mas alguém confia nele? Passei mais de 20 anos trabalhando com transformação empresarial e mais de uma década liderando integrações de M&A

00:33 em empresas de mídia, tecnologia e bens de consumo. Nesses negócios, confiança não era algo que deixávamos nas mãos da sorte, esperando que surgisse depois do lançamento. Nós a construíamos antes do primeiro dia, por meio de gestão antecipada de mudanças e de riscos. Assim, quando a plataforma entrava em operação, as equipes na linha de frente realmente confiavam nela. Os AI agents exigem exatamente essa mesma competência.

01:07 Um agent conquista confiança quando entrega o valor previsto no orçamento da empresa, mantendo-se estritamente dentro do apetite a risco, das políticas e das salvaguardas regulatórias aprovadas pela companhia. Na minha experiência, a liderança chega lá respondendo a três perguntas simples. Que valor ele cria? Quem é responsável por ele? E que evidências lhe dão permissão para

01:38 operar com mais autonomia? No momento em que um agent sai de uma sandbox e entra em um workflow central do negócio, o teste muda por completo. Um piloto testa se o software funciona, mas é nas operações diárias que testamos se ele cria valor dentro dos controles definidos pela liderança. Os frameworks estabelecidos de risco de IA oferecem princípios sólidos. O que eles não dizem é como

02:09 aplicar esses princípios a cada agent. Para cada agent, a liderança precisa decidir quatro coisas. O que ele tem permissão para fazer? Quem é responsável por ele? Que evidências ele registra? E o que aciona uma escalada? Esse trabalho não é uma tarefa de engenharia. Constatamos que é uma responsabilidade operacional da liderança executiva. E hoje vou mostrar como cumpri-la. Vamos contextualizar isso com um

02:41 cenário do mundo real. Imaginem uma aquisição de US$ 15 bilhões com meta de sinergias líquidas de US$ 400 milhões. O negócio já foi fechado e os esforços de integração estão em andamento. O escritório de gestão da integração, que também vamos chamar de IMO hoje, está conduzindo o roteiro de sinergias em 40 frentes de trabalho. Isso abrange desde a racionalização de contratos com fornecedores até a consolidação de sistemas ERP.

03:13 E cada iniciativa tem um responsável de negócio que responde pelas economias no resultado financeiro. Toda semana, analistas do IMO vão conciliar os números com o razão geral. Enquanto acompanham o status das 40 frentes, também comparam os resultados reais com o plano e, por fim, montam a apresentação executiva para o comitê diretor.

03:45 O comitê incluirá o CFO, o diretor de risco, os líderes das unidades de negócio e o responsável pela integração. A equipe de engenharia cria um agent para automatizar essa primeira versão. O agent então ingere as atualizações semanais, concilia o razão, calcula as variações em relação ao plano e sinaliza as iniciativas que estão ficando para trás. Tudo parece bem, e eles decidem fazer um piloto de quatro semanas.

04:18 Os rascunhos do agent correspondem, linha por linha, aos relatórios dos analistas. Então podemos dizer que a tecnologia funciona. Agora, a pergunta é: de que valor o comitê diretor precisa para confiar no agent para conduzir o negócio? Primeiro, o comitê diretor precisa de um caso de valor por escrito, acordado antes que o agent sequer toque em dados de produção. No nosso exemplo, isso se resume a três

04:50 métricas específicas. Primeiro, vamos analisar o tempo de ciclo. Se hoje são necessários cinco dias úteis para compilar o relatório semanal, vocês vão querer definir uma meta concreta, como dois dias. A segunda métrica é a capacidade dos analistas. Se quatro analistas passam metade da semana montando essa apresentação, são 80 horas por semana que o agent devolve a eles. Esse tempo só conta como valor quando o

05:23 responsável pela integração o direciona para as frentes de trabalho que estão atrasadas em relação às metas de sinergia e precisam de ajuda para voltar aos trilhos. E esse valor só é contabilizado depois de descontar os custos de computação, licenciamento e revisão humana para operar o agent. A terceira métrica é a mais importante: o tempo de detecção. Ou seja, quanto tempo passa entre o primeiro sinal de atraso nos dados e o momento em que

05:54 o comitê diretor fica sabendo. Reduzir o prazo do relatório de cinco para dois dias não garante que o comitê perceba esse atraso mais cedo. O agent precisa detectá-lo, e o caso de valor mede isso diretamente. Cada métrica exige uma linha de base definida antes da implantação. Se o IMO não consegue informar hoje qual é essa linha de base, não façam a implantação. Se vocês não conseguem medir de onde partiram,

06:25 nunca poderão provar que o agent fez diferença. Em seguida, o comitê diretor precisa saber quem assume a responsabilidade pelo risco criado pelo agent. Vamos aplicar ao agent o modelo das três linhas. Na primeira linha, a gestão é responsável pelos controles. O responsável pela integração é o executivo accountable. Ele responde pelos resultados do agent exatamente como respondia pelos dados tratados manualmente.

06:56 Na segunda linha, as equipes de risco e compliance supervisionam o agent e questionam como ele deve operar. A profundidade dessa análise depende da exposição do agent. Um rascunho interno, revisado por um analista sênior, exige um padrão de revisão muito diferente do de um agent autônomo que publica números diretamente para o conselho. Na terceira linha, a auditoria interna oferece garantia e decide, com base no risco material,

07:26 quando e como o agent entra no plano anual de auditoria. Também é preciso designar um funcionário para supervisioná-lo todos os dias. No nosso exemplo, é o analista sênior. Ele revisa o rascunho antes que ele chegue ao comitê. Essa função exige quatro capacidades específicas. Primeiro, a pessoa precisa entender os limites operacionais. Precisa interpretar os resultados com

07:57 contexto. Precisa ter autoridade para substituir ou reverter as ações do agent. E precisa de um botão de emergência claro para desligá-lo com segurança se ele se comportar de forma inesperada. Responsabilização também significa definir onde termina a autoridade do agent. Documento isso em uma política de uma página chamada padrão de trabalho humano. Para cada bifurcação do processo, ela mapeia

08:28 a decisão e a função humana autorizada a tomá-la, as evidências exigidas e o caminho de escalada. Essas decisões existem em todos os níveis. O analista sênior decide se uma variação é uma diferença de prazo contábil ou uma real falta de caixa. O líder da frente de trabalho decide como corrigir essa falta. E o responsável pela integração decide se vai sinalizar formalmente uma

08:59 iniciativa como estando em risco para o comitê diretor. O agent prepara a análise por trás de cada uma dessas decisões e para por aí. A pessoa que toma a decisão responde pelas consequências. Portanto, manter essas decisões com a equipe não desacelera o agent. Ele pode entrar em uso enquanto cada função mantém sua autoridade. O único motivo para atrasar a

09:30 implantação é haver uma decisão sem responsável designado. Isso significa que, se a liderança não tiver acordado quem declara uma iniciativa fora dos trilhos, os alertas do agent não levarão a nenhuma ação. A terceira pergunta é onde entram os engenheiros desta sala. As evidências que justificam mais autonomia vêm de como o agent é construído.

10:00 Procuro três artefatos. O primeiro é um registro de decisões auditável. Para cada frente de trabalho avaliada pelo agent, ele registra os dados brutos ingeridos, as chamadas de ferramentas executadas, o prompt e as versões do modelo, além do resultado gerado e da aprovação humana. Duas decisões de engenharia tornam esse registro à prova de falhas. Primeiro, os cálculos centrais e as regras de conciliação

10:32 precisam ser executados em código determinístico, aprovado pela área financeira, e não gerados como prosa conversacional por um LLM. Segundo, tratem o resumo escrito pelo modelo como uma explicação útil, não como prova. A prova real está na telemetria. Que registros foram consultados? Que ferramentas determinísticas foram executadas? E quem assinou a revisão?

11:02 Se as economias reportadas não corresponderem ao razão geral, o agent não altera o número. Ele sinaliza a divergência e a encaminha para análise. O segundo artefato é o registro de inventário do modelo. Ele reúne o executivo responsável, a linhagem dos dados, as dependências entre os sistemas de origem, os resultados da validação, o caminho de escalada e o manual de procedimentos do botão de emergência.

11:35 Mais importante ainda, ele documenta os gatilhos de regressão, isto é, quaisquer atualizações do nosso modelo-base atual ou da API de origem que exijam uma revalidação completa antes de voltar a operar em produção. O terceiro artefato é o scorecard de autonomia. O comitê diretor o usa para conceder autonomia em quatro etapas. A etapa um é o modo sombra. O analista monta o relatório como faz

12:08 hoje. O agent opera ao lado dele, e a equipe compara os dois. A etapa dois é o rascunho supervisionado. O agent compila a primeira versão, e o analista sênior revisa cada item, sem exceção. A etapa três é a revisão por exceção, em que o analista revisa as iniciativas atrasadas e uma amostra aleatória das alegações. Depois vem a etapa quatro,

12:39 em que se analisam apenas as exceções. O analista revisa somente anomalias de alto risco, respaldadas por amostragem independente periódica. No entanto, preste muita atenção à etapa quatro, porque, quando os humanos passam a examinar apenas as exceções, sua maior vulnerabilidade é aquilo que o agent deixou de sinalizar. Por isso, recomendo acompanhar problemas materiais não sinalizados por meio de amostragem independente, monitorar a gravidade dos erros e observar

13:10 com atenção sua taxa de intervenção. Uma queda na taxa de intervenção não significa automaticamente que o agent está ficando mais inteligente. Também pode significar que a profundidade da revisão diminuiu. A amostragem independente ajuda a identificar qual dessas situações está ocorrendo. O painel de indicadores coloca essas métricas de controle lado a lado com suas métricas de valor: tempo de ciclo, horas de analista alocadas e tempo até a detecção. E, com essa visualização em uma única página, o

13:43 comitê de direção pode tomar decisões claras, eficientes e baseadas em dados: promover o agent, mantê-lo onde está, recuar uma etapa ou voltar à etapa de revisão supervisionada. Então, vamos retomar as três perguntas. Faça-as para cada agent que você desenvolver, financiar ou governar. Que valor ele cria? Quem é responsável por ele?

14:14 E que evidências permitem que ele opere com autonomia? No nosso exemplo de fusões e aquisições de hoje, o agent não criou magicamente as sinergias de 400 milhões. As lideranças de compras, cadeia de suprimentos e operações capturaram esse valor com o trabalho árduo da integração. Mas o que o agent entrega é claro: evidências verificadas semanas antes do prazo, dando à liderança margem para intervir enquanto as sinergias do negócio ainda podem ser

14:46 capturadas. Desenvolver um agent que funciona é apenas o primeiro passo. Responder a essas três perguntas é o que lhe permite conquistar a confiança necessária para operar em grande escala. Obrigada.

Transcrição original

[00:02] Go-live proves that a system exists, but it doesn’t prove the people behind the work will actually use it. Or that it will ever deliver a single dollar from the deal model. I am Michelle Grant, creator of Leading at Scale, and the question every enterprise is confronting right now is the agent works, does anyone trust it? I have spent over 20 years in enterprise transformation and more than a decade leading M&A

[00:33] integrations across media, tech, and consumer goods. On those deals, trust was not something we crossed our fingers and hoped for after launch. We engineered it before day one through early change management and risk management. So, when the platform went live, the teams on the ground actually relied on it. AI agents demand the exact same muscle.

[01:07] An agent earns trust when it delivers the value the business budgeted for while staying strictly within the company’s approved risk appetite, policies, and regulatory guardrails. In my experience, leadership gets there by answering three straightforward questions. What value does it create? Who is on the hook for it? And what evidence gives it permission to

[01:38] run with greater autonomy? The moment an agent steps out of a sandbox and into a core business workflow, the entire test changes. A pilot tests whether the software functions, but daily operations is where we test whether it creates value within the controls set by leadership. Established AI risk frameworks give you strong principles. What they do not give you is how to

[02:09] apply these principles to each agent. For every agent, leadership has to decide four things. What is it permitted to do? Who owns it? What evidence it records and what triggers an escalation. That work is not an engineering task. We find it is an executive operating mandate. And today, I’ll show you how to meet it. Let us ground this in a real-world

[02:41] scenario. Picture a $15 billion acquisition targeting 400 million in net synergies. The deal has already closed and the integration efforts are now underway. The integration management office, which we’ll also refer to as the IMO today, is driving the synergy roadmap across 40 workstreams. Covering everything from rationalizing vendor contracts to consolidating ERP

[03:13] systems. And every single initiative has a business owner accountable for its bottom-line savings. Every week, analysts in the IMO are going to reconcile the numbers against the general ledger. As they track down status from all 40 leads, they’re also comparing actuals against the plan, then finally assembling the executive deck for the steering committee.

[03:45] Which is going to include the CFO, the chief risk officer, business unit heads, and the integration lead. The engineering team builds an agent automate that first draft. The agent then ingest the weekly updates, reconciles the ledger, runs variance math against the plan, and flags the initiatives that are falling behind. Everything looks good, and they decide to run a four-week pilot.

[04:18] The agent’s drafts match the analyst reports line for line. So, we can say that the tech works. Now, the question is, what value does that steering committee need before they can trust it to run the business? First, the steering committee need a written value case agreed upon before the agent ever touches production data. In our example, that comes down to three

[04:50] specific metrics. First, let’s look at cycle time. If that weekly report is five business days to compile right now, you’re going to want to set a far target such as two days. Your second metric will be analyst capacity. If four analysts spend half of their week building this deck, that is 80 hours a week the agent gives back. That time counts as value only when the

[05:23] integration lead assigns it to the workstreams that are behind on their synergy targets and need help getting back on track. Then, you only count that value after netting out the compute, licensing, and human review cost of running the agent. Your third metric is the most important one, detection time. That is how long it takes from the first sign of a slip in the data to the moment

[05:54] the steering committee sees it. Cutting the report from five days to two days does not guarantee that the committee sees that slip any sooner. The agent class to catch it and the value case measures that directly. Every single metric requires a pre-deployment baseline. If the IMO cannot state the baseline today, do not deploy. If you can’t measure where you started,

[06:25] you can never prove the agent moved the needle. Next, the steering committee needs to know who owns the risk the agent creates. We are going to apply the three lines model to the agent. In the first line, management owns the controls. The integration lead is the accountable executive. She owns the agent’s output exactly the way she owned the manual data.

[06:56] In the second line, risk and compliance oversee the agent and challenge how to run it. How deep they go depends on the agent’s exposure. An internal draft scrubbed by a senior analyst warrants a very different review standard than an autonomous agent publishing figures straight to the board. In the third line, internal audit provides assurance deciding based on

[07:26] material risk when and how the agent enters the annual audit plan. The agent also needs one employee assigned to oversee it every day. In our example, that is the senior analyst. He reviews the draft before it reaches the committee. Her role requires four specific capabilities. She has to first understand the operational boundaries. She has to interpret its output with

[07:57] context. She must have the authority to override or reverse it. And she needs clear kill switch to shut it down safely this ticket it behaves unexpectedly. Accountability also means defining where the agent’s authority stops. I document this in a one-page policy called the human work standard. For every fork in the process, it maps

[08:28] the decision, the human role authorized to make it. The required evidence and the escalation path. These decisions exist at every tier. The senior analyst decides whether a variance is an accounting timing difference or a real cash shortfall. The work stream lead decides how to remediate that shortfall. And the integration lead is going to decide whether to formally flag an

[08:59] initiative as at risk to the steering committee. The agent prepares the analysis behind every one of those decisions and it stops there. The person who makes the decision owns the consequence. So keeping these decisions with your team does not slow the agent down. It can go into use while each role keeps its authority. The one reason to delight delay

[09:30] deployment is a decision with no assigned owner. This means if leadership has not agreed who declares an initiative off track, the agent’s flights lead to no action. The third question is where the engineers in this room come in. The evidence for greater autonomy comes from how the agent is built.

[10:00] I look for three artifacts. The first is an auditable decision log. For every workstream the agent evaluates, it records the raw data ingested, the tool calls executed, the prompt, and the mono versions. Output generated along with the human sign-off. Two engineering choices make that log airtight. First, your core math and reconciliation

[10:32] rules must run in deterministic, finance-approved code, not generated as conversational prose from an LLM. Second, treat the model’s written summary as a helpful explanation, not proof. Your real proof lives in the telemetry. What records were pulled? What deterministic tools ran? And who signed the review?

[11:02] If reported savings do not match the general ledger, agent does not touch the number. It flags the discrepancy and roots it up. The second artifact is the model inventory record. This captures the accountable executive, data lineage, dependencies across source systems, validation results, escalation path, and the kill switch run book.

[11:35] Most importantly, it documents your regression triggers, which are any updates to our current base model or source API that require full revalidation before running in production again. Your third artifact, this is going to be the autonomy scorecard. The steering committee uses it to grant autonomy in four stages. [clears throat] Stage one is shadow mode. The analyst built the report as they do

[12:08] today. The agent runs right alongside them and the team compares the two. Stage two is the supervised draft. The agent compiles the first draft and the senior analyst reviews every single line item. Stage three is the exception ensemble, where the analyst reviews lag initiatives plus a random sample of the claims. Then we have stage four,

[12:39] where it’s exceptions only. The analyst reviews only high-risk anomalies supported by periodic independent sampling. Pay close attention to stage four, however, because once humans only look at exceptions, your biggest vulnerability is what the agent failed to flag. So I advise tracking mis material issues through independent sampling, monitoring error severity and watching

[13:10] your override rate carefully. A falling override rate does not automatically mean the agent is getting smarter. It can also mean the depth of review has slipped. So independent sampling tells you which one of these you are seeing. The scorecard puts those control metrics side by side with your value metrics, cycle time, analyst hours deployed, and your detection time. And with that single page view, the

[13:43] steering committee can make clean, efficient, data-backed decisions to either promote the agent, hold it where it is, step it back, or down to supervised review stage. So, let’s come back to the three questions. Ask them of every agent you build, fund, or govern. What value does it create? Who is accountable for it?

[14:14] And what evidence permits it to operate with autonomy? In our M&A example today, the agent did not magically create the 400 million in synergies. Procurement, supply chain, and operating leaders captured that value through the gritty work of integration. But what the agent delivers is clear. Verified evidence weeks ahead of schedule, giving leadership the runway intervene while the deal’s synergies can still be

[14:46] captured. Building an agent that works is just the first step. Answering those three questions is what earns it the trust to run at scale. Thank you.