O que a due diligence técnica encontra quando a apresentação diz “70% automatizado” — Soukaïna Abelhad

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: What Technical Due Diligence Finds When the Deck Says “70% Automated” — Soukaïna Abelhad · Canal: AI Engineer · 06:11 · Assistir no YouTube

Tópicos: Automação de tarefas e workflows, Avaliação e benchmarks de IA, Governança e regulação de IA, Mercados e economia

Resumo

Soukaïna Abelhad apresenta três verificações para avaliar alegações de automação com IA: comparar o volume de trabalho com o custo total de mão de obra humana, definir com precisão o que conta como automação e verificar como a qualidade foi avaliada. Exemplos de dados observacionais e de avaliação de código mostram que métricas reais podem ser usadas para sustentar conclusões que não comprovam. A análise também deve incluir revisão humana, escalonamentos e retrabalho nos custos. A recomendação final é converter apenas alegações que resistam às verificações em métricas econômicas úteis para decisões de investimento ou contratação.

Pontos-chave

Uma métrica pode ser legítima, mas não sustentar a conclusão apresentada.
O aumento do trabalho produzido com IA pode vir acompanhado de mais revisão humana e retrabalho.
Compare o volume de trabalho com o custo total da mão de obra necessária para realizá-lo.
Diferencie código atribuído à IA de tarefas concluídas sem intervenção humana.
Defina o limite da automação: geração do código, aprovação do pull request ou chegada à produção.
Verifique quem estabeleceu a qualidade de referência e se especialistas concordam com a avaliação automatizada.
Inclua nos custos a revisão, os escalonamentos e o retrabalho.
Use o custo por tarefa autônoma aceita como métrica econômica, contabilizando tarefas que falham ou precisam de correção.

Capítulos

Início	Capítulo	Resumo
00:00	Alegações de automação e contexto da medição	A palestrante introduz os riscos de interpretar métricas de produtividade além do que o experimento ou os dados permitem concluir.
01:03	Volume de trabalho e custo humano	Dados observacionais sugerem que mais atividade associada à IA também pode aumentar a carga de revisão, por isso o volume deve ser comparado com o custo total de mão de obra.
02:04	O que significa estar automatizado	A palestrante diferencia trabalho atribuído à IA de automação sem intervenção humana e recomenda definir em que etapa termina o processo.
03:06	Confiabilidade das avaliações	A diferença entre avaliações automatizadas e decisões de mantenedores reforça a necessidade de validar os critérios de qualidade com especialistas.
04:08	Da alegação à decisão econômica	O caso Builder.ai ilustra que alertas precisam influenciar decisões, e a análise econômica deve contabilizar adoção, qualidade, revisão, escalonamentos e retrabalho.

Citações

O número perigoso nem sempre é inventado. Muitas vezes, é uma medição genuína usada para sustentar uma conclusão que ela não permite. — 00:30

“Atribuído à IA” e “autônomo” são duas alegações diferentes. — 02:35

A maturidade da avaliação é o primeiro sinal de credibilidade que eu procuraria. — 03:38

A métrica que eu gostaria de ver é o custo por tarefa autônoma aceita. — 05:09

O trabalho da due diligence não é perguntar se o número impressiona, mas o que precisa ser verdade para que ele importe. — 06:11

Conceitos e entidades

Soukaïna Abelhad (pessoa): Líder técnica de IA que apresenta verificações para avaliar alegações de automação.
Faros (empresa): Fonte de dados observacionais citada sobre adoção de IA e atividade de desenvolvimento.
Uber (empresa): Empresa citada por afirmar que 70% de seus pull requests são atribuídos à IA.
Meta (empresa): Empresa associada a uma avaliação que encontrou diferença entre a nota automatizada e a decisão de merge.
Builder.ai (empresa): Empresa cujo caso é usado para discutir como sinais de alerta podem não se transformar em critérios decisórios.
straight-through processing (conceito): Processamento completo de ponta a ponta, sem intervenção humana dentro de um limite definido.
due diligence técnica (conceito): Avaliação das evidências técnicas e operacionais por trás de alegações feitas por uma empresa.
avaliação automatizada (conceito): Uso de um avaliador automatizado para julgar resultados, cuja confiabilidade deve ser comparada com avaliações de especialistas.

Tradução completa (pt-BR)

00:00 Meu nome é Sukaina, sou líder técnica de IA e hoje estou aqui para falar sobre o que uma due diligence técnica encontra quando a apresentação diz “70% automatizado”. Alguém provavelmente já mostrou a você um número como este: 55,8% mais rápido. E você ficou se perguntando se deveria acreditar nele ou não. Bem, esse número vem de um experimento controlado com 95 desenvolvedores profissionais. Mas a tarefa era criar um servidor HTTP em JavaScript a partir de um template, com base em 12 testes visíveis. Hoje, vou apresentar três verificações para

00:30 o que uma due diligence técnica encontra na era da IA. Na verdade, passei mais de 80 anos dos dois lados dessa questão. Do lado comprador, criei um sistema de IA usado por profissionais de investimento. Do lado de quem desenvolve, agora lidero avaliações de IA em produção e ajudo a criar os números que chegam aos executivos. O número perigoso nem sempre é inventado. Muitas vezes, é uma medição genuína que é usada para chegar a uma conclusão que ela não pode sustentar. Chun Chan descreveu muito bem o lado do comprador: feito para o memorando, não para a demonstração.

01:03 Quero estender esse padrão às métricas operacionais. E a primeira verificação não exige nenhum conhecimento de modelos. É pura aritmética. Nos dados observacionais da Faros, as equipes com alta adoção de IA integraram 98% mais pull requests. O tempo de revisão dos pull requests aumentou 91%, e o tamanho médio dos pull requests cresceu 154%. E a amostra abrangia mais de 10.000 desenvolvedores em 1.255 equipes.

01:34 Isso não prova que a IA aumentou o número de funcionários. São dados de telemetria observacional, não um estudo controlado sobre trabalho. Mas ainda assim nos dão um alerta. Mais trabalho entrou no sistema, e a carga de revisão nas etapas seguintes também cresceu. Portanto, na due diligence, peça à empresa sua própria projeção para os próximos 18 meses. Compare o volume de trabalho com o custo total da mão de obra humana. Inclua todos cuja função existe por causa da IA, por exemplo, operadores, revisores, treinadores, escalonamento e retrabalho.

02:04 Se a mão de obra humana acompanha o volume de trabalho, a apresentação descreveu assistência, não eliminação de trabalho. Mas, mesmo quando a aritmética se sustenta, a definição ainda pode falhar. A Uber, por exemplo, afirma que 70% de seus pull requests são atribuídos à IA. Isso é impressionante. Ainda assim, não nos diz qual é a taxa total de autonomia. O período e a contagem total também não foram divulgados. Então, toda alegação de automação se situa em algum ponto desta escala.

02:35 Ou a IA redigiu, ou humanos editaram, ou humanos aprovaram, ou não houve intervenção humana. O setor financeiro já tem um termo útil para o último caso: processamento direto. Defina-o como um processo completo, de ponta a ponta, sem intervenção humana, dentro de um limite que você especificar. Então, esse limite termina quando o código é redigido, quando o pull request é aprovado ou quando a alteração chega à produção? Portanto, lembre-se: “atribuído à IA” e “autônomo” são duas alegações diferentes.

03:06 Certo, agora suponha que a definição seja precisa. Podemos confiar na medição? A Meta encontrou uma diferença de 24 pontos percentuais entre a avaliação automatizada e a decisão de integração, após o ajuste à linha de base humana. Quatro mantenedores de três repositórios analisaram 296 pull requests gerados por IA, relacionados a issues distintas. Eles não sabiam se o patch vinha de IA ou de uma pessoa. A avaliação automatizada foi consideravelmente mais otimista do que a das pessoas responsáveis por aceitar o trabalho. Não

03:38 é uma surpresa. Já vi a mesma coisa do outro lado. Em um dos projetos em que trabalhei, 10 de 10 resultados passariam pela validação automatizada. Quando você põe os especialistas à mesa, quase nenhum sobrevive. É por isso que a maturidade da avaliação é o primeiro sinal de credibilidade que eu procuraria. Então, sempre pergunte quem rotulou o ground truth, se os especialistas concordam e se alguém mede essa concordância. Pergunte contra o que o avaliador automatizado foi validado e que resultados ruins passaram despercebidos.

04:08 Então, quando a aritmética, a definição e a avaliação falham, uma palavra ainda precisa virar uma decisão, certo? Não estou afirmando que um posicionamento fraco em IA causou o colapso da Builder.ai. Sua insolvência envolveu problemas de financiamento e receita que iam além das alegações sobre IA. A lição da due diligence começou lá em 2019, quando o Wall Street Journal questionou publicamente a alegação sobre a capacidade de IA. Em maio de 2025, o Financial Times

04:39 também informou que a estimativa de receita de 2024 havia sido revisada de US$ 220 milhões para cerca de US$ 55 milhões. Em 2 de junho, a empresa entrou com pedido de falência pelo Chapter 7. Portanto, o alerta existia, mas o processo não o transformou em um critério eliminatório. Assim, mesmo quando uma alegação passa por essas verificações, ainda precisa passar pelo teste da economia. Então, comece pelo valor dos workflows elegíveis. Aplique a adoção real,

05:09 a taxa de sucesso do processamento direto e a qualidade do trabalho aceito. Depois, subtraia o custo da IA, da revisão humana, do escalonamento e do retrabalho. A métrica que eu gostaria de ver é o custo por tarefa autônoma aceita. Se a tarefa falhar, for escalonada ou precisar de retrabalho, isso faz parte do custo. Portanto, reúna sempre essas verificações. Este é o cartão que eu provavelmente levaria para a próxima reunião. Resumindo, são três verificações principais. A aritmética: compare o volume de trabalho

05:40 com o custo total da mão de obra humana. Dois: definição. Identifique o workflow considerado e a taxa de processamento direto dentro dele. Três: a avaliação. Pergunte quem define a qualidade, se os especialistas concordam e que resultados passam despercebidos. Depois, converta apenas as alegações que sobreviverem em economia unitária. E, claro, acredite se tiver sido testado ou vá embora. O cartão para impressão e todas as notas de fontes estão no site, e este QR code levará você até eles. Então, pegue um cartão,

06:11 escaneie, imprima e leve-o para sua próxima reunião com um fornecedor ou discussão de investimento. E lembre-se sempre: o trabalho da due diligence não é perguntar se o número é impressionante. É perguntar o que precisa ser verdade para que o número importe. Obrigada.

Transcrição original

[00:00] My name is Sukaina, and I’m an AI tech lead, and today I’m here to talk about what a technical due diligence finds when the deck says 70% automated. Someone has probably shown you a number like this. 55.8% faster. And you’ve been wondering whether to believe it or not. Well, this one comes from a controlled experiment with 95 professional developers. But the task was one JavaScript HTTP server built from a template against 12 visible tests. Today, I’ll give you three checks for

[00:30] what technical due diligence finds in the AI era. I’ve actually spent more than 80 years on both sides of the question. On the front side, I built AI system that investment professional use. On a build side, I now lead AI evaluation in production and help create the numbers that reach executives. The dangerous number is not always fabricated. It’s often a genuine measurement carried into a conclusion it cannot support. Chun Chan described the buyer side in a nice way. Built for the memo, not for the demo.

[01:03] I want to extend that standard to operational metrics. And the first check requires no knowledge of models. It’s pure arithmetic. In Faros observational data, high AI adoption teams merged 98% more pull pull requests. Pull request review time increased by 91% and the average pull request became 154% larger. And the sample covered more than 10,000 developers across 1,255 teams.

[01:34] This does not prove that AI increased head count. It’s an observational telemetry, not a controlled labor study. But it still give us a warning. More work entered the system and the downstream review burden grew with it as well. So in diligence, ask for the company’s own 18-month theory. Put workload volume next to the fully loaded human labor. Count everyone whose work exists because of AI, for example, operators, reviewer reviewers, trainers, escalation and rework.

[02:04] If human labor tracks workload volume, the deck has described assistance, not labor removal. But when the arithmetic survives, the definition call still can fail. Uber, for example, says that 70% of its pull requests are AI attributed. This is impressive. It still does not tell us the full autonomous rate. The period and total count were not disclosed, either. So, every automation claim sits somewhere in this ladder.

[02:35] It’s either AI drafted it, or edited by humans, or approved by humans, or no human intervention. Finance already has a useful term for the last one. It’s called straight-through processing. Define it as a complete end-to-end without human intervention inside a boundary you name. So, does the boundary here end when the code was drafted, or when the pull request is approved, or when the change reaches production? So, remember, AI attributed and autonomous are two different claims.

[03:06] Okay, now suppose the definition is precise. Can we trust the measurement? Meta found 24% point gap between automated grader and merge decision after adjustment to the human baseline. Four maintainers from three repositories reviewed 296 AI generated pull requests across different unique issues. They did not know whether the patch came from AI or human. The automated grader was substantially more optimistic than the people responsible for accepting the work. Not

[03:38] a surprise. I have seen the same thing from the other side. One of the projects I worked on, 10 out of 10 output would pass the automated validation. Once you bring the the experts on the table, barely few survive. This is why evaluation maturity is first credibility signal I would look for. So, always ask who labeled ground truth, and whether the expert agrees, and whether anyone measures that agreement. Ask what the automated judge was validated against, and ask what bad output escaped.

[04:08] So, when arithmetic’s definition and evaluation all fell, a word it still has to become a decision, right? This is not a claim that weak AI positioning caused builder.ai collapse. Its insolvency involved revenue financing issues beyond AI claims. The diligent lesson started way back in 2019, when the Wall Street Journal publicly questioned the claim of the AI capability. In May 2025, the The Financial Times

[04:39] also reported that its 2024 revenue estimated had been revised from $220 million to roughly $55 million. On June 2nd, the company filed Chapter 7. So, the warning existed, but the process did not turn it into a gate. So, even when a claim survives those check, it still has to survive the economics. So, start with eligible workflow value. Apply actual adoption,

[05:09] straight-through process success, and accepted quality. Then, subtract the cost of AI, human review, escalation, and rework. The metric I would want is cost for accepted autonomous task. If the task fails, escalates, or need rework, this belongs to the cost. So, always put those checks together, and this is the card I would probably take with me to the next meeting. To sum up, three main checks. The arithmetic’s, compare workload volume

[05:40] with fully loaded human labor. Two, definition, identify the wrong and and the straight-through rate inside a name workflow. Three, the tell. Ask who defines quality. Whether expert agrees in what that output escapes. Then translate only the surviving claims into a unit economics. And of course, believe it tested or walk away. The printable card in all the source notes are in the website and this QR code will lead you to it. So, take a card,

[06:11] scan it, print it, and take it to your next vendor meeting or investment discussion. And always remember, the job of diligence is not to ask whether the number is impressive. It’s to ask what must be true for the number to matter. Thank you.