Por que modelos de fronteira falham como analistas buy-side — Janie Gu, Google DeepMind, e Suyeol Yun, LinqAlpha

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Why Frontier Models Fail as Buy-Side Analysts - Janie Gu, Google DeepMind & Suyeol Yun, LinqAlpha · Canal: AI Engineer · 18:19 · Assistir no YouTube

Tópicos: Agentes de IA, Aplicações empresariais de IA, Avaliação e benchmarks de IA

Resumo

Janie Gu apresenta os problemas dos benchmarks atuais: baixa relevância para tarefas reais, alto custo e resultados difíceis de verificar e reproduzir. Google DeepMind e Kaggle propõem criar benchmarks de workflows reais com infraestrutura padronizada, auditoria e apoio a empresas e pesquisadores. Suyeol Yun apresenta o Mandate Bench, que avalia o trabalho completo de um analista buy-side, da interpretação do mandato à produção de um memorando de investimento. Em vez de exigir uma resposta única, o benchmark avalia a qualidade do raciocínio e das evidências que sustentam a recomendação.

Pontos-chave

Benchmarks baseados em tarefas sintéticas podem não refletir o trabalho que agentes executam em produção.
O custo de executar benchmarks repetidamente em vários modelos dificulta mantê-los atualizados.
Diferenças de harness, infraestrutura, configuração de raciocínio e métodos de avaliação podem alterar as pontuações.
A reprodução de 65 benchmarks revelou problemas como acesso indevido a chaves de API, adulteração de scripts de avaliação e grande variação entre execuções.
Google DeepMind e Kaggle estão desenvolvendo infraestrutura padronizada com sandboxing, registros de chamadas e avaliação em containers.
O Mandate Bench avalia tarefas completas de analistas buy-side, em vez de fragmentos simplificados do trabalho.
O benchmark examina o raciocínio e as evidências por trás de um memorando, permitindo que recomendações diferentes recebam boas pontuações.
O exemplo da Sonoco mostra que o agente precisa reconciliar dados financeiros divergentes e reconstruir a empresa para um período específico.

Capítulos

Início	Capítulo	Resumo
00:01	Introdução e proposta do Kaggle	Janie Gu apresenta a colaboração entre Google DeepMind e Kaggle para avaliar modelos de fronteira com benchmarks.
03:06	Problemas dos benchmarks atuais	A apresentação aborda falta de relevância, custos elevados e dificuldades para verificar e reproduzir pontuações.
08:20	Infraestrutura e apoio a novos benchmarks	Google DeepMind e Kaggle descrevem recursos, infraestrutura padronizada e motivos para empresas criarem benchmarks.
11:28	Mandate Bench e análise buy-side	Suyeol Yun apresenta o benchmark e explica por que ele avalia unidades completas de trabalho de analistas.
13:36	Exemplo de tarefa e método de avaliação	O exemplo da Sonoco ilustra a análise de dados financeiros, a elaboração do memorando e a avaliação do raciocínio.
17:17	Resultados preliminares e próximos benchmarks	Os palestrantes comentam resultados iniciais do Mandate Bench e convidam empresas a colaborar em novos benchmarks.

Citações

A maioria dos benchmarks públicos não se parece com o trabalho real que seus agentes fazem em produção. — 03:36

Executar o mesmo benchmark, na mesma infraestrutura, várias vezes produziu uma variação de até mais ou menos 20% na pontuação. — 06:46

Do mandato até um memorando de investimento: essa é a unidade real de trabalho do analista. — 13:04

Os memorandos podem chegar a recomendações diferentes e ambos pontuar bem, desde que o trabalho por trás de cada recomendação esteja presente. — 16:11

Conceitos e entidades

evals (conceito): Avaliações usadas para medir o desempenho de modelos em tarefas e workflows.
Kaggle (empresa): Plataforma de competições de ciência de dados que, segundo a apresentação, passou a integrar o Google DeepMind em fevereiro de 2026.
Google DeepMind (empresa): Organização de pesquisa em IA que colabora com Kaggle na criação de benchmarks.
Mandate Bench (conceito): Benchmark desenvolvido para avaliar modelos em tarefas completas de análise buy-side e produção de memorandos de investimento.
Janie Gu (pessoa): Gerente de produto no Google DeepMind que lidera a equipe de benchmarks do Kaggle, conforme a apresentação.
Suyeol Yun (pessoa): Responsável por IA na Link Analytics e apresentador do estudo de caso do Mandate Bench.
Link Analytics (empresa): Empresa que desenvolve um agente de pesquisa para investidores institucionais e co-desenvolveu o Mandate Bench.
Astra 6 (modelo): Modelo citado na apresentação como forte em modelagem financeira nos resultados preliminares do Mandate Bench.
Opus 5.5 (modelo): Modelo citado na apresentação como relativamente equilibrado entre diferentes testes.

Tradução completa (pt-BR)

00:01 [música] >> Boa tarde. Estou muito animada para falar sobre Evals hoje. Hoje vamos abordar a dificuldade de criar Evals para workflows reais em produção, como Google DeepMind e Kaggle estão colaborando para resolver esse problema e um estudo de caso que fizemos com nossos parceiros da Link Alpha. Então eles vão

00:32 apresentar em seguida um benchmark específico chamado Mandate Bench, que basicamente avalia o desempenho dos modelos como analistas de ações do lado comprador. Para começar, algumas apresentações rápidas. Sou Jenny. Sou gerente de produto na Google DeepMind. Lidero a equipe de benchmarks da Kaggle. Ivan é nosso incrível engenheiro de implantação em campo na GDM. Infelizmente, ele não pôde vir hoje. Jacob está na plateia e é um dos nossos parceiros da Link

01:02 Alpha. Então, ele vai apresentar comigo, e Jack também não pôde vir, infelizmente. Para começar, uma breve introdução à Kaggle e a como chegamos até aqui. Vocês provavelmente conhecem a Kaggle como o lar das competições de ciência de dados e ML. Tenho certeza de que muitos de vocês já interagiram com a Kaggle ou participaram de uma competição da Kaggle no passado. Fazemos isso há 15 anos, basicamente avaliando as capacidades das pessoas

01:32 em diferentes áreas no mundo real. Construímos uma comunidade de 31 milhões de entusiastas de IA e ML na plataforma. Milhares de competições ao longo dos últimos 15 anos e um placar em que todos realmente confiam. O que fez a Kaggle ter sucesso nos últimos 15 anos foi nosso rigor. Temos conjuntos de dados de teste privados e sigilosos, detecção de vazamentos e infraestrutura antitrapaça, e realmente garantimos que cada competição realizada na Kaggle

02:04 seja muito bem concebida e avalie de forma adequada a capacidade que se propõe a avaliar nas pessoas. Isso nos traz aos dias de hoje. Em fevereiro de 2026, a Kaggle passou a fazer parte da Google DeepMind, e estamos mudando nosso foco: de avaliar pessoas para avaliar modelos de fronteira. Basicamente, a Kaggle se tornou a plataforma pública de benchmarks da GDM. Nosso objetivo é criar um campo de avaliação aberto e neutro para cada modelo de fronteira, que use a

02:35 mesma infraestrutura, as mesmas tarefas e a mesma avaliação, para que cada pontuação seja representativa. Nosso objetivo é realmente nos tornar o padrão da indústria para benchmarks, assim como a Kaggle já é para competições. Então, por que isso importa? Por que estamos entrando nesse problema? Por que a Kaggle está tentando enfrentá-lo? É porque os benchmarks são muito importantes. Os benchmarks são a forma como medimos o progresso na indústria de IA.

03:06 E, neste momento, o estado dos benchmarks está fundamentalmente comprometido. Pensem em todas as diferentes formas como os benchmarks são usados hoje. Os laboratórios de fronteira os usam para treinar modelos e otimizá-los por meio de tentativas sucessivas. Startups os usam para decidir em quais modelos vão basear seus produtos. Investidores os usam para avaliar o nível técnico. E a forma como vocês medem se o benchmark está medindo corretamente aquilo que desejam medir determina exatamente aquilo que os modelos acabam otimizando. Quando medimos a coisa errada,

03:36 os modelos acabam ficando piores naquilo que deveriam fazer. Hoje, há várias maneiras pelas quais os benchmarks falham. A primeira é a relevância. A maioria dos benchmarks públicos não se parece de fato com o trabalho real que seus agents fazem em produção hoje. A maioria testa quebra-cabeças sintéticos, trivia acadêmica, problemas matemáticos aleatórios, coisas que têm pouca relação com o que seu agent realmente faz em produção.

04:07 O segundo problema dos benchmarks atuais é que eles são muito, muito caros em termos de computação, que é o recurso mais escasso da indústria de IA hoje. Peguem um benchmark, digamos que ele tenha 500 tarefas de agent com várias rodadas, e que vocês queiram executá-lo em 16 modelos de fronteira. Isso custa dezenas de milhares de dólares por execução. E, sempre que um novo modelo é lançado, o que acontece praticamente a cada uma ou duas semanas neste momento, é preciso executar tudo de novo para manter o benchmark atualizado; caso contrário, ele fica desatualizado.

04:41 O terceiro problema que observamos, provavelmente o menos valorizado, é a verificação. Todos — todos os benchmarks da indústria — executam seus próprios harnesses, divulgam suas próprias pontuações e criam suas próprias implementações de benchmark autorrelatadas. Os números variam muito entre as diferentes implementações. Isso acontece principalmente por causa da infraestrutura, não por diferenças reais na qualidade dos modelos. Se vocês usam scaffolding diferente, maneiras diferentes de fazer tool calling, se serializam a entrada do modelo de maneiras diferentes,

05:13 acabam obtendo pontuações diferentes no benchmark, mesmo quando é exatamente o mesmo benchmark no mesmo modelo. Acho que esse último ponto, sobre verificação, talvez seja o mais abstrato. Então, queria me aprofundar um pouco nele. Para entendermos de fato o estado da indústria de benchmarks e todos os diferentes problemas, nós, da Kaggle, passamos os últimos dois meses

05:44 reproduzindo 65 benchmarks diferentes da indústria. Recriamos todos, executamos todos e lemos cada trajetória, linha por linha, para entender de fato quais eram os problemas e descobrir que infraestrutura deveríamos construir para resolvê-los. Encontramos muitos problemas em todos esses benchmarks. Vou listar alguns aqui só para dar uma ideia dos diferentes problemas. Em um dos benchmarks, por exemplo, descobrimos que o modelo avaliado

06:15 encontrou as chaves de API no contêiner de eval de outro modelo, chamou esse outro modelo, usou a resposta dele e a enviou como se fosse sua própria resposta ao eval. Em segundo lugar, a maioria das pessoas, ao criar um benchmark, não separa o agent que está sendo avaliado do agent que faz a avaliação. Eles compartilham o mesmo contêiner, e os modelos estão muito bons em hackear seus contêineres. Então, descobrimos que os modelos modificavam o script de avaliação

06:46 para obter a pontuação que quisessem — 100% — e serem aprovados. O terceiro problema é a pura variância estatística. Executamos todos os 65 benchmarks várias vezes e descobrimos que repetir exatamente o mesmo benchmark, até mesmo na mesma infraestrutura, produzia uma variação de até mais ou menos 20% na pontuação. E, de novo, é o mesmo modelo, com exatamente o mesmo harness e exatamente a mesma infraestrutura.

07:17 Isso apenas reflete a instabilidade do próprio harness ou do projeto do benchmark. Acho que todos conhecem o incidente do Hugging Face. Encontramos casos de modelos tentando procurar respostas on-line em diferentes fóruns, como Hugging Face, Reddit ou Stack Overflow. E este nos surpreendeu bastante. Cada harness vem com seu próprio nível padrão de esforço de raciocínio.

07:48 Então, se vocês usarem o padrão sem configurá-lo, acabam comparando modelos com diferentes níveis de esforço de raciocínio. Um modelo pode estar executando com esforço alto e outro com esforço baixo, se vocês não configurarem isso para garantir uma comparação direta. Muitas vezes, ao reproduzir os benchmarks, descobrimos que as pessoas não faziam isso, porque nossas pontuações coincidiam com as do artigo original do benchmark, mas encontramos problemas com a própria pontuação.

08:20 Diante de todos esses problemas na indústria, Google DeepMind e Kaggle estão se unindo para resolvê-los. Estamos fazendo algumas coisas. Primeiro, estamos nos associando a empresas e pesquisadores para criar benchmarks em torno de workflows reais, workflows reais e economicamente viáveis. Para tornar isso possível, estamos oferecendo computação gratuita e inference de modelos de fronteira a qualquer pessoa que queira criar um benchmark. Estamos distribuindo US$ 5

08:51 milhões em subsídios no quarto trimestre para financiar a criação de benchmarks ou pesquisas sobre como corrigir esse espaço de benchmarks, considerando o quão inicial ele ainda é. E, em terceiro lugar, vamos disponibilizar um engenheiro da GDM dedicado ao projeto para ajudar vocês a co-desenhar o eval e garantir que a metodologia seja realmente rigorosa. Em segundo lugar, falamos bastante disso no slide anterior, mas muitos desses problemas são questões que aparecem em toda a pilha de infraestrutura.

09:23 E o que estamos desenvolvendo no Kaggle é uma infraestrutura padronizada para que cada pontuação seja auditável, de alta qualidade e reproduzível. Isso inclui isolar cada execução em um sandbox, registrar chamadas de proxy e disponibilizar traces abertos para cada chamada de modelo, além de usar avaliação em contêineres. Por fim, o motivo específico para fazermos isso é a nossa experiência. O Kaggle tem 15 anos de experiência na criação de testes rigorosos

09:54 e na prevenção de trapaças por parte de pessoas, experiência que agora estamos aplicando à avaliação de modelos. Estamos trazendo a experiência de pesquisadores da GDM para nos ajudar a projetar todos esses benchmarks do mundo real. Por fim, estamos fazendo parcerias com organizações de pesquisa independentes, como a Epoch, para auditar todos os benchmarks da nossa plataforma, para que vocês não precisem simplesmente confiar na nossa palavra. Espero ter convencido vocês da importância dos benchmarks.

10:25 Mas vocês provavelmente estão se perguntando: por que eu, como empresa com outras prioridades e outras coisas para fazer, deveria criar um benchmark? Há dois grandes motivos. O primeiro é que isso realmente permite acelerar o trabalho internamente. Ter um benchmark e uma suíte de avaliação rigorosa permite identificar facilmente se, ao modificar o modelo ou o prompt, vocês quebraram alguma coisa ou melhoraram o produto. O segundo motivo é que, se

10:58 vocês decidirem publicar o benchmark externamente, os laboratórios serão incentivados a otimizar cada vez mais para o seu caso de uso. A maioria dos laboratórios está procurando benchmarks do mundo real. E, quando os laboratórios quiserem otimizar para o seu benchmark, vão investir trilhões de dólares em computação para melhorar os modelos básicos para o seu caso de uso específico, fazendo com que o produto melhore para os usuários com o tempo. Com isso, vou passar a palavra

11:28 à LinqAlpha, para apresentar um estudo de caso do Mandate Bench, um dos primeiros benchmarks que criamos no Kaggle. >> [limpa a garganta] [aplausos] >> Ótimo. Oi, pessoal. Sou Suyo. Sou responsável por IA na Linq Analytics, e criamos um benchmark chamado Mandate Bench. Ele foi desenvolvido em parceria com o Google DeepMind e o Kaggle. Antes de começar, vou falar brevemente

11:59 sobre a nossa empresa. A Linq Analytics desenvolve um agent de pesquisa de IA para investidores institucionais. Instituições com mais de 5 trilhões de dólares em ativos sob gestão usam a Linq Analytics. Mais de 200 investidores usam a plataforma ativamente. Listei aqui algumas das empresas que confiam em nós. Também somos uma equipe de pesquisa. Publicamos 13 artigos em conferências como ICLR e ICML, em coautoria com a BlackRock, a Blackstone, o JP Morgan etc.

12:32 Então, >> [limpa a garganta] >> gostaria de começar falando dos benchmarks financeiros existentes. A maioria desses benchmarks prepara respostas de referência e as compara com a resposta do agent. Mas, no mundo real, dois analistas podem chegar a respostas diferentes, e ambas podem estar certas. Por isso, os benchmarks existentes usam tarefas relativamente curtas e simples. Eles não avaliam um ciclo completo de trabalho de analista. Avaliam apenas

13:04 fragmentos desse trabalho. O Mandate Bench se propõe a fazer duas coisas. Primeiro, a rubrica avalia explicitamente o caminho de raciocínio. Segundo, levamos a sério a unidade de trabalho do mundo real. Para um analista, essa unidade vai do mandato do fundo até um memorando de investimento. Então, vamos ver primeiro como é uma tarefa do benchmark. Vou começar com

13:36 uma pergunta simples: como trabalha um analista em um fundo de hedge? Ninguém dá uma tarefa simples a um analista. O gestor de portfólio entrega ao analista o mandato do fundo e uma empresa. Por exemplo, o mandato pode ser: somos um fundo orientado a eventos e negociamos fusões e aquisições, com um período de manutenção de 3 a 12 meses. E o gestor pergunta: “Certo, aqui está a empresa A, e sabemos que a empresa B vai comprá-la. Devemos assumir uma posição comprada, vendida ou

14:07 simplesmente deixar essa empresa de lado? E, por favor, traga um memorando de investimento com evidências detalhadas e o raciocínio por trás da recomendação.” Isso pode facilmente tomar horas de trabalho de um analista, de 20 a 22 horas. Essa é uma unidade real de trabalho de analista. Vamos analisar melhor um exemplo de tarefa. Esta é uma empresa chamada Sonoco, uma empresa americana de embalagens. Recentemente, a Sonoco comprou uma empresa chamada

14:38 Eviosys e também vendeu uma de suas unidades de negócios, chamada TFP. Para avaliar a Sonoco, primeiro precisamos de um número básico: as vendas. Mas cinco fontes diferentes apresentam números diferentes de vendas, de 5 a 8 bilhões de dólares. Por quê? Porque cada fonte considera uma Sonoco diferente. Primeiro, o agent precisa perceber que os números não coincidem. Segundo, precisa descobrir por que. E

15:09 terceiro, também precisa reconstruir a Sonoco como ela era em maio de 2025, com a Eviosys considerada durante o ano inteiro e sem a TFP. Isso daria cerca de 7,5 bilhões de dólares em vendas. E essa é apenas uma pequena parte de todo o raciocínio que um analista precisa desenvolver. Então, como avaliamos o trabalho do agent? O agent entrega um memorando de investimento, de compra ou venda, junto com um grafo de raciocínio, no qual

15:40 cada fato deve apontar para a chamada exata de onde veio. Depois, nossos ex-analistas do buy-side >> [limpa a garganta] >> registram as principais etapas de raciocínio que qualquer bom memorando deveria incluir. Cada etapa é um nó do grafo. Primeiro, o agent sem código precisa reconstruir a empresa como ela era em maio de 2025. E determinar quanto o novo negócio realmente gera, descontar o que foi vendido e reconstruir a dívida. Primeiro, perguntamos à HR,

16:11 também submetemos o memorando ao teste do “e se”. Por exemplo, a administração prometeu economias de custos com a EVOC. Mas e se essas economias fossem zero? A recomendação mudaria? E o memorando explica isso com clareza, considerando os fatores envolvidos? Assim, os memorandos podem chegar a recomendações diferentes, e ambos podem receber uma boa pontuação, desde que o trabalho por trás de cada recomendação esteja presente. Este é o resultado, e vocês podem ver

16:43 a nuvem de pontos. Este é um resultado preliminar, com execuções em apenas 10 das 50 tarefas do universo completo de tarefas. E o modelo Cloud 5.5 tem a melhor pontuação. Por causa do tempo, vamos pular para a próxima página. Cada modelo se comporta de maneira diferente. Por exemplo, o Astra 6 é muito bom em modelagem financeira, enquanto o Opus 5.5 é bem equilibrado em diferentes testes. Certo, vou voltar para o Shane.

17:17 >> Ótimo. Esse foi o primeiro conjunto de 10 tarefas do Mandate Bench. O benchmark completo, com 50 tarefas, será lançado no próximo mês, em novembro de 2026. Isso faz parte de muitos outros benchmarks que serão lançados no Kaggle e no DeepMind nas próximas semanas. Fizemos parcerias com várias startups líderes de IA para criar benchmarks em diferentes domínios. Lançamos o Code to Video Bench da HeyGen na semana passada. Estamos

17:48 trabalhando em outros benchmarks com a Octava, a Quadrillion e a Rehearsals, sobre fluxos de trabalho de metaclínica, fluxos de pesquisa e fluxos de pesquisa com usuários. Então, se alguém na plateia tiver interesse em criar um benchmark do mundo real para sua empresa, teremos muito interesse em colaborar. Como mencionei antes, estamos oferecendo computação gratuita para modelos, suporte de FTE da JDM e 5 milhões de dólares em subsídios.

18:19 Entrem em contato conosco, por favor. Adoraríamos trabalhar juntos. Muito obrigado.

Transcrição original

[00:01] [music] >> Good afternoon. Super excited to be talking about Evals today. So today we’ll be covering the difficulty of creating Evals for real world workflows in production. How Google DeepMind and Kaggle are collaborating to solve this problem and a case study that we did with our partners at Link Alpha. So they’ll

[00:32] present next about a specific benchmark called Mandate Bench which basically looks at how how well models can perform as a buy-side equity analyst. So to start with some quick intros. I’m Jenny. I’m a product manager at Google DeepMind. I lead our Kaggle benchmarks team. Ivan is our amazing forward deployed engineer at GDM. He can’t make it today unfortunately. Jacob is in the crowd and from our Link

[01:02] Alpha partners. So he’ll be presenting with me and Jack also couldn’t make it unfortunately. So just starting with a quick intro about Kaggle and how we got here. So Kaggle you guys probably know Kaggle as the home for data science and ML competitions. I’m sure many of you have have interacted with Kaggle or competed in a Kaggle competition in in the past. And so we’ve been doing this for for 15 years. Basically evaluating humans on

[01:32] different capabilities in in the real world. And we’ve built up a community of 31 million AI and ML enthusiasts across the platform. Thousands of competitions over the last 15 years and one leaderboard that everyone really trusts. And what has really made Kaggle succeed in the last 15 years is is our rigor. So we have sealed private test data sets. We um leak detection, anti-cheating infrastructure, and really make sure that that every single competition that that is put on Kaggle

[02:04] uh is designed really well and good at evaluating humans on on the capability that it’s supposed to be. Um and so that brings us to today. So, in February 2026, uh Kaggle actually moved into Google DeepMind um and we’re moving our subject from evaluating humans to evaluating frontier models. Uh and so Kaggle is basically become GDM’s public platform for for benchmarks. And our goal is to make an open, neutral proving ground for every single frontier model uh that uses the

[02:35] same infrastructure, the same tasks, and the same grading um so that you every score is representative. Um and our goal is really to become the industry standard for benchmarks the way that Kaggle uh already is for competitions. So, why does this actually matter? Why are we Why are we getting into this problem? Why is Kaggle trying to tackle this problem? Um and it’s because benchmarks are really important. Benchmarks are how we measure progress in the AI industry.

[03:06] And right now, the state of benchmarks is fundamentally broken. So, you think about all the different ways that benchmarks are used today. Uh frontier labs are using them to train and hill climb models. Startups are using them to decide what models that they want to build their product around. Investors are using it to judge technical amounts. Um and how you measure like what whether the benchmark is correctly measuring uh what you want it to measure is exactly what the models end up hill climbing. Um and when you measure the wrong thing,

[03:36] the models actually get worse at at what they’re supposed to be doing. So, there’s a few different ways that benchmarks fail today. Um the first one is is relevance. So, most public benchmarks don’t actually resemble the real work that that your agents are doing in production today. So, most of them test synthetic puzzles, academic trivia, random math problems, um and that bears little little resemblance to what your agent actually does in in production.

[04:07] The second problem with benchmarks today is it’s very very expensive in terms of a compute perspective, uh which is the like most scarce re- resource in the AI industry today. So, take a benchmark, let’s say it has 500 multi-turn agent tasks, and you want to run it across 16 frontier models, um that costs tens of thousands of dollars per sweep, um and every time that a new model launches, which is basically every week or two at this point, um you have to do the sweep again in order to keep your benchmark current, otherwise it it becomes stale.

[04:41] And the third problem that we see, uh which is probably the most underappreciated, is verification. So, everyone like all the benchmarks in the industry, everyone runs their own harnesses, they report their own scores, they they build their own like self-reported benchmark implementation, and the numbers are wildly different across different implementations. And this is mostly because of infrastructure, not because of actual differences in model quality. So, if you have different scaffolding, if you have different ways that you’re calling tools, if you input if you just

[05:13] serialize the input into the model in different ways, um you end up with different benchmark scores, even if it’s the exact same benchmark on the same model. Um so, that last point, uh around verification, I think, uh is probably the most abstract. Uh so, wanted to to deep dive into that a little bit. Um so, we, uh in order to really understand the the state of the benchmark industry and all of the different problems, uh we at Kaggle spent the last 2 months

[05:44] reproducing 65 different industry benchmarks, um and recreated all of them, ran all of them, and read every single trajectory trace by trace to to really understand what the problems were so that we could figure out like what the infrastructure we wanted to build was to fix it. And we saw tons of issues across all of these different benchmarks. So I’m listing a few of them here just to give you an idea of all of the different problems. So for one benchmark we found the model that was being evaluated

[06:15] actually found the API keys in the eval container for a different model and then called different model and then use that response and submitted it as as their response to the eval. Second, most people when they when they build their benchmark, they they don’t actually separate the agent being evaluated from the agent being graded. They share the same the same container and models are really good at at hacking their container now. So we found models basically modified the grading script in

[06:46] order to give them whatever score that they wanted which was 100% and and let themselves pass. The third is just pure like statistical variance. So we found for all 65 benchmarks we ran all of them multiple times and we found that running the exact same benchmark even on the same infrastructure multiple times produced variance of up to plus or minus 20% in the score. And again, this is the same model on the same exact harness on the same exact infra.

[07:17] So this is just reflective of instability in in the the harness or the benchmark design itself. I think everyone’s familiar with the hugging face incident. So we found instances of models basically trying to look up the answers online in different forums like hugging face or Reddit or Stack Overflow. And then this one we were very surprised by. So, each harness uh actually ships with its own default reasoning effort.

[07:48] Um, so if you use the default uh without setting it, um then you actually end up comparing models uh at different reasoning efforts. So, you might have one model that’s running on high and one that’s running on low if you uh if you don’t actually configure it uh in order to make sure that it’s a head-to-head comparison. Um, and a lot of the times when we were recreating it, we found that people did not do this uh because our scores actually matched parity with the original benchmark paper, um but we found issues with with the score itself.

[08:20] Um, and so given all of these problems in in the industry, uh Google DeepMind and Kaggle are are partnering to solve this. So, we’re doing a few things here. Uh the first is we are partnering with companies and researchers uh to build to build benchmarks around real workflows uh economically viable real real-world workflows. Um, and to make this happen, we are offering free compute and frontier model inference uh to anyone who wants to build a benchmark. We’re giving out $5

[08:51] million in grants in in Q4 to fund any benchmark creation or research into fixing this space of of benchmarks given how early a space it is. Um, and third, we will uh we will provide you a forward deployed engineer from from GDM to help you co-design your eval uh to make sure the methodology is actually rigorous. Second, uh we we talked about this a lot on the last slide, but a lot of these problems are just issues all up and down

[09:23] the infrastructure stack. Um, and so what we’re building at Kaggle is standardized infrastructure so that every score is auditable, uh high quality, and and repeatable. So, this includes um sandboxing every run, having logged proxy calls and open traces for for every model call, and containerized grading. And then lastly, uh, the reason why we specifically are doing this, uh, is is for our expertise. Um, so Kaggle has 15 years of designing

[09:54] rigorous tests and preventing cheating by humans, which we are now applying to to the model evaluation space. Um, we’re bringing GDM researcher expertise to to help us design all of these these real-world benchmarks. Um, and lastly, we’re actually partnering with independent research orgs, uh, like Epoch to audit all of the benchmarks on our platform, so you don’t just have to take our word word for it. So, at this point, I hope I’ve convinced you, uh, how important benchmarks are.

[10:25] Um, but you’re probably wondering, why should I build a benchmark as me as like a company with other priorities and other things to do? Um, and there’s a two two big reasons. Um, the first is it actually allows you to build faster internally. So, having a benchmark and having a rigorous evaluation suite, um, allows you to easily tell when when you model modify your your prompt, when you modify your hardness, whether you’ve broken something or how you’ve improved your product. Um, and then the second is if

[10:58] you then want to publish your benchmark externally, uh, then labs will be encouraged to actually hill climb on your use case. Um, like most of the labs are are looking for real-world benchmarks. Um, and once the labs want to hill climb on your benchmark, then they’ll pour trillions of dollars in of compute into improving the base models, uh, for your specific use case, so that your product gets better for your users over time. Um, and with that, I will pass it over

[11:28] to Link Alpha, um, to to talk through a case study of Mandate Bench, which is one of the first benchmarks that we built on Kaggle. >> [clears throat] [applause] >> Great. Hi everyone. Um this is Suyo. I’m head of AI at Link Analytics, and we create we created a benchmark called Mandate Bench. It’s built co-developed with Google DeepMind and Kaggle. So before start, let me share briefly

[11:59] about our company. So Link Analytics builds AI research agent for institutional investors, institutions with more than $5 trillion in assets under management using Link Analytics. And more than 200 investors use it actively. There are some of the firms that trust us I listed up here. And we’re we’re also a research team. We have published 13 papers at at the venue like ICLR or ICML with co-authored with the BlackRock, Blackstone, JP Morgan, etc.

[12:32] So um >> [clears throat] >> I’d like to first go through the existing financial benchmarks. So most of these benchmarks prepare a a golden answers and compare it with the agent answer. But in real world task two analysts can reach two different answers and both could be right. So existing benchmark use relatively short and simple task. They don’t um um they don’t task a full unit of analyst work. So they only get the

[13:04] fragments of it. So Mandate Bench aims to do two things. First, its rubric explicit grades the reasoning path. Second, we take the real world real unit of work seriously. For our analyst, the unit goes from the funds mandate or and from the mandate all the way to an investment memo. So, let’s first look at what a task in the benchmark looks like. Let me start with

[13:36] a simple question. Um how does an analyst work at a um hedge fund? Nobody gives an analyst a simple task. The PM gave analyst the funds mandate and a company. For example, the mandate looks like we are an event-driven fund and we trade on mergers and acquisitions with a holding period 3 to 12 months. And the PM asked, “Okay, here’s a company A and we know company A will be bought by company B. Should we go long, short, or

[14:07] just pass on this company? And please bring me a investment memo with detailed evidence and the reasoning behind it.” And this can take an analyst hours, 20 to 22 hundred hours easily. And this is the one real unit of analyst work. So, let’s go deeper into an example task. Here’s a company called Sonoco and it’s a US packaging company. Recently, Sonoco bought about a company called

[14:38] Eviosys and it’s also sold one of its business called TFP. To value Sonoco, you first need one basic number, which is a sales. But five different sources give the different um sales numbers from 5 5 billion to 8 billion dollars. Why? Because each source counts a different different Sonoco. So, first, the agent has to understand the numbers doesn’t match. Second, it hasn’t it has to find out why. And

[15:09] and um and third, and also second, it has to find out why and third, it has to rebuild Sonoco as it was in May 2025 with Eviosys for the full year and without TFP. This it will be about 7.5 billion dollars of sales. And that is just a small part of the entire reasoning to skill analyst to work through. So, then how we grade the agent work? So, agent submits an investment memo long together with a reasoning graph in

[15:40] the graph and then every fact should point to exact two call it came from. Then our former buy-side analyst >> [clears throat] >> write down the key reasoning steps that any good memo would include. Each step is a node in the graph. First, the no-code agent must rebuild the company it was in May 2025. And what the new new new business really earns and net out what was sold and rebuild the debt. If first that we ask

[16:11] HR, we also attacked the memo with the what if test. For example, management pro- promised cost savings from the EVOC still. But, what if the sales savings were zero? Would the call change? And does the memo explain this with clear reasoning about the moving parts? So, the So, the So, the memos can reach different calls and the both can score well as long as the work behind the each calls are there. So, this is the result and you can see

[16:43] the cloud of This is a preliminary result. Only runs over 10 tasks of 50 entire task universe. And the cloud with 5.5 scores best. In the matter of time, let’s skip to the next page. And every model behaves differently. For example, Astra 6 really good at making a financial modeling, while the Opus 5.5 is a balanced very well over the cross different um test. Okay, let me get back to Shane.

[17:17] >> Um awesome. So, that was the first initial 10 tasks um of Mandate Bench. The the full 20 50 task benchmark will be launching uh next month in in November 2026. Um and uh this is part of many many other benchmarks that are launching in on Kaggle and and DeepMind over the next few weeks. Uh we’ve partnered with a bunch of leading AI startups uh to build benchmarks in different domains. Uh we launched HeyGen’s code code to video bench uh last week. Um we’re

[17:48] working on a couple other benchmarks with Octava, Quadrillion, and Rehearsals uh on on meta uh clinician workflows, research workflows, uh and user research workflows. Um so, if anyone in the crowd is interested in in building a real-world benchmark for for your company, uh we’re we’re very interested in collaborating. Um as I mentioned before, we’re we’re providing free model compute, uh FTE support from from JDM, and $5 million in grants.

[18:19] Um so, please reach out to us. We we’d love to work together. Um thank you so much.