Este artigo da Nature transforma qualquer artigo de pesquisa em um agente de IA — insano

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: This Nature Paper Turns Any Research Paper Into an AI Agent - INSANE · Canal: Prompt Engineer 48 · 07:12 · Assistir no YouTube

Tópicos: Agentes de IA, Saúde e ciência

Resumo

O vídeo apresenta o Paper to Agent, um método que transforma artigos científicos e seus códigos em servidores MCP, permitindo que agentes executem ferramentas validadas descritas nos artigos. Os autores relatam bons resultados em tarefas de biologia computacional e em avaliações de outras áreas, com respostas mais precisas e consultas mais rápidas e baratas do que algumas comparações. Porém, 26 dos 100 artigos de biologia avaliados não puderam ser convertidos, e as avaliações foram conduzidas principalmente pelos próprios autores. O vídeo ressalta que hipóteses e interpretações causais continuam dependendo de cientistas humanos.

Pontos-chave

O Paper to Agent converte métodos, código e materiais de um artigo científico em ferramentas acessíveis por um servidor MCP.
As ferramentas são executadas e validadas contra resultados de referência antes de serem disponibilizadas, em vez de o agente escrever uma análise nova a cada consulta.
No exemplo de AlphaGenome, o sistema produziu 22 ferramentas validadas em cerca de 45 minutos, por US$ 14, segundo os autores.
Em 15 perguntas baseadas em tutoriais, o Paper to Agent obteve 98,7%; em perguntas abertas de pesquisa, a diferença em relação ao Claude com acesso ao repo foi menor.
Dos 100 artigos de biologia computacional avaliados, 74 foram convertidos com sucesso; os demais tinham problemas como código ou dados ausentes e ambientes quebrados.
Em 300 perguntas sobre os 74 artigos convertidos, os autores relatam 91,2% de acerto, contra 80,3% para Claude Code com acesso ao repo.
O sistema também foi avaliado em tarefas de artigos de áreas não biológicas e em testes adversariais com repositórios modificados.
Os autores afirmam que o raciocínio aberto deve continuar com participação humana: cientistas definem hipóteses e os agentes executam análises.

Capítulos

Início	Capítulo	Resumo
00:00	A proposta do Paper to Agent	O vídeo contrasta o uso tradicional de métodos científicos com a proposta de transformar artigos em servidores MCP.
01:32	Como os agentes são construídos e avaliados	O apresentador descreve o pipeline de criação e validação das ferramentas e compara resultados em perguntas sobre AlphaGenome.
03:35	Exemplos e resultados em biologia computacional	São apresentados casos com Scanpy e outros artigos, além dos resultados obtidos ao converter 100 artigos de biologia computacional.
05:39	Colaboração entre agentes e limites do método	O vídeo mostra agentes trabalhando em conjunto e conclui que, apesar dos resultados, hipóteses e mecanismos continuam exigindo participação humana.

Citações

E se o próprio artigo respondesse? — 00:00

O agente não escreve um código de análise novo a cada vez. Ele chama uma ferramenta que foi validada e fixada. — 02:33

O raciocínio aberto continua com participação humana. — 05:39

Os cientistas definem a hipótese; os agentes executam a análise. — 06:09

As hipóteses e os mecanismos continuam sendo responsabilidade das pessoas. — 06:41

Conceitos e entidades

Paper to Agent (conceito): Método apresentado para transformar artigos científicos e seus códigos em agentes capazes de executar ferramentas associadas às pesquisas.
MCP (conceito): Padrão para disponibilizar ferramentas a modelos de linguagem, usado para conectar os servidores gerados a agentes de chat.
AlphaGenome (modelo): Modelo citado no vídeo que prevê como uma mutação de DNA pode afetar a regulação genética.
Claude Code (ferramenta): Ferramenta usada pelos autores no pipeline que identifica código, configura o ambiente e extrai e testa ferramentas.
Claude Sonnet 4 (modelo): Modelo usado com Claude Code na demonstração descrita no vídeo.
Scanpy (ferramenta): Ferramenta para análise de dados de célula única usada como exemplo de pipeline convertido em ferramentas.
Hugging Face Spaces (ferramenta): Plataforma mencionada como opção para hospedar os servidores MCP gerados.
RunPod (empresa): Serviço de GPUs mencionado pelo apresentador ao final do vídeo.

Tradução completa (pt-BR)

00:00 Esta é a maneira normal de usar um método novo de um artigo: encontrar um repo, instalar as dependências, lidar com o ambiente e descobrir quais entradas vão em cada lugar. Agora, veja o que este artigo da Nature propõe no lugar disso. Você pergunta: “Interprete este efeito de variância sobre a acessibilidade da cromatina em células musculares.” E o próprio artigo responde. Isso se chama Paper to Agent, da Stanford. Neste vídeo, vou mostrar como funciona, o que os números realmente dizem e onde falha. >> [música]

00:30 >> A ideia dos autores é simples. Um artigo é um objeto passivo. Se ele descreve um método, você ainda precisa encontrar o código, instalá-lo, configurá-lo e entender as entradas. O exemplo deles é AlphaGenome, um modelo que prevê como uma única mutação no DNA afeta a regulação. Usá-lo em código significa lidar com ambientes, chaves de API, criar objetos de variante e escolher tipos de saída. Um biólogo que poderia se beneficiar muito dele muitas vezes simplesmente para por aí. Soluções anteriores, como Papers with Code, Binder e Code Ocean, ajudaram na reprodutibilidade, mas, segundo os autores, a barreira para

01:01 personalizar e aplicar o código ao seu próprio projeto continuava existindo. A ideia central é transformar o artigo em um servidor MCP. MCP, o Model Context Protocol, é a maneira padrão de disponibilizar ferramentas para um modelo de linguagem. Cada servidor de artigo tem três partes. Ferramentas: funções executáveis para os métodos do artigo. No caso do AlphaGenome, uma ferramenta recebe uma variante e retorna previsões e gráficos. Recursos: o material estático, como o manuscrito, o código, os suplementos, os dados e os prompts. Instruções curtas que orientam o agent ao longo de um workflow com várias etapas, na ordem correta. Você hospeda esse

01:32 servidor, por exemplo, no Hugging Face Spaces, e conecta qualquer agent de chat. Os autores usam Claude Code com Claude Sonnet 4. É importante notar que isso vai além de fazer recuperação de informações no texto do artigo. As ferramentas realmente executam o código do artigo, e cada ferramenta traz um link de volta ao código-fonte original, para que você possa rastrear de onde veio uma resposta. Como eles criam isso? Com um pipeline multi-agent no Claude Code. Um agent encontra o código, um agent de ambiente configura o software, e um agent de extração transforma os métodos centrais em ferramentas. Depois, um agent de teste as executa e continua refinando até que os

02:03 resultados correspondam às saídas de referência. Nos bastidores, a seção de métodos descreve um agent orquestrador central que distribui o trabalho entre subagents especializados por meio de um pipeline de seis etapas. Cada subagent tem um prompt estruturado para sua função, as ferramentas que pode usar e a saída que deve produzir. As etapas são executadas uma após a outra e, quando possível, em paralelo dentro de uma etapa. O artigo define um caminho, os arquivos esperados, os números gerados dentro de uma margem de tolerância e as figuras que devem corresponder às de referência. Ferramentas que continuam falhando são excluídas do servidor. Essa é a resposta para a

02:33 alucinação de código. O agent não escreve um código de análise novo toda vez. Ele chama uma ferramenta que foi validada e bloqueada. Para o AlphaGenome, os autores dizem que isso produziu 22 ferramentas, todas aprovadas em cerca de 45 minutos, por US$ 14, em um laptop. Agora, os números em 15 perguntas baseadas em tutoriais: o Paper2Agent obteve 98,7%; Claude com acesso direto ao repo, 82,7%; BioMed, 37,3%. Em 15 perguntas inéditas, os resultados foram 100%, contra 78,7% e 56%. Foram cinco execuções, dois avaliadores humanos, e o método também foi mais rápido, com tempo mediano de execução cerca de duas a quatro vezes menor. Mas vejam as perguntas abertas. Em 30 consultas no estilo de pesquisa, o Paper2Agent obteve 82,7%; Claude com o repo, 56,7%; e BioMed, 72,2%. A diferença é bem menor. Depois vem a parte de que eu gosto: perguntaram por que uma variante no cromossomo 1 está associada ao colesterol LDL. O agent planejou, pontuou a variante, criou gráficos e escolheu SORT1. O artigo original do AlphaGenome destacou SCLSR2 e PSR C1. Os

03:04 autores não escondem isso. Os três têm pontuações altas, e os três são significativos no GTEx. Portanto, não é o agent superando o artigo; é um lembrete de como é difícil identificar genes causais nesses loci. Segundo caso: Scanpy, para dados de célula única. Sete ferramentas, cerca de 45 minutos, US$ 13. A parte interessante é o prompt do MCP. Ele codifica o pipeline inteiro, na ordem correta: controle de qualidade, normalização, agrupamento e anotação de tipos celulares. Você fornece o caminho de um arquivo e ele é executado em quatro conjuntos de dados públicos. Os autores relatam que

03:35 os resultados corresponderam aos obtidos por humanos. O mesmo número de células e genes após a filtragem, e os mesmos principais genes marcadores. Eles também identificaram um terceiro artigo chamado Tissue, sobre transcriptômica espacial, e, em sete conjuntos de dados diferentes de célula única, o agent ajustou os próprios parâmetros para se adaptar a cada um, em vez de usar uma receita fixa. Isso importa porque uma ferramenta bloqueada só é útil se também for flexível quanto às entradas. Agora, em escala: de 100 artigos de biologia computacional, sem limpeza manual, 74 foram convertidos com sucesso em agents. Isso significa que 26 não foram. Os motivos foram

04:06 código ausente, dados ou arquivos de modelo ausentes, ambientes quebrados e scripts que não generalizam. Para os 74, foram propostas 599 ferramentas, e 593 passaram pela validação em 300 perguntas: 91,2%, contra 80,3% do Claude Code no repo, com o mesmo modelo. Cerca de 20 centavos e 1,6 minuto por consulta, contra 38 centavos e 4,3 minutos. Em seguida, o artigo submete a ideia a um teste de permutação, em que a pergunta não corresponde ao artigo. O sistema rejeitou corretamente 100% das consultas fora do escopo. Em testes adversariais, os autores inseriram dependências quebradas, caminhos de arquivo incorretos, erros de digitação e chamadas a APIs obsoletas nos repositórios, e o Paper2Agent ainda conseguiu recuperar servidores funcionais. Ele até criou um servidor funcional a partir de um repositório sem tutoriais executáveis. E não se aplica apenas à biologia. Em 42 tarefas de execução de 10 artigos de áreas não biológicas, abrangendo temas como estatística, econometria, teoria dos jogos e astrofísica, obteve 98,1%. Quando não foi possível transformar o código em ferramentas, apenas a camada de recursos, ou seja,

04:38 o conteúdo estruturado do artigo, alcançou 89% em 100 perguntas de síntese. Uma linha de base que usava o navegador do Claude obteve 82%, e o método foi 34 vezes mais barato e 15 vezes mais rápido. Os autores também dizem isso claramente: o raciocínio aberto continua com participação humana. E, na minha opinião, o quão facilmente um artigo pode se tornar um agent poderia virar uma espécie de pontuação de reprodutibilidade. No último caso, três agents de artigos trabalham juntos: AlphaGenome, um artigo sobre uma triagem CRISPR e um artigo de perturb-seq em células T. AlphaGenome prevê GPR137 em um locus associado à psoríase. O co-cientista então correlaciona

05:08 as assinaturas de perturbação: o silenciamento de GPR137 tem uma correlação de cerca de 0,6, mas apenas após a estimulação, não em repouso. Reparem que foi o humano quem escolheu a estratégia. Esse é o modelo do artigo. Os cientistas definem a hipótese; os agents executam a análise. O que acho mais interessante é o método que o agent criou: correlacionar a assinatura de perturbação de um elemento regulador com as assinaturas de silenciamento de genes. Isso não é proposto em nenhum dos dois artigos de origem. Os autores o chamam de técnica flexível para priorizar genes causais. O artigo também apresenta um

05:39 segundo caso, que conecta AlphaGenome a um estudo genômico amplo sobre TDAH, no suplemento. Então, o que você deve concluir disso? Primeiro, a afirmação é restrita e foi bem testada: ferramentas validadas com base nos próprios resultados do artigo e, depois, bloqueadas. Segundo, as avaliações são, em sua maioria, benchmarks dos próprios autores e artigos criados pelos especialistas deles, então uma replicação independente é importante. Terceiro, um quarto dos artigos de biologia não pôde ser convertido. E, quarto, o próprio artigo diz que as hipóteses e os mecanismos continuam sendo responsabilidade dos humanos. Se você publica código, este é um bom motivo para

06:09 deixá-lo limpo o suficiente para que um agent consiga executá-lo. O código está disponível publicamente no GitHub, e os três servidores MCP estão no Hugging Face Spaces. Não os executei para este vídeo, então tudo o que vocês viram são os resultados relatados pelos autores. Se você procura GPUs baratas e confiáveis, eu uso RunPod, e o link está na descrição. Então, aqui vai a minha pergunta: qual artigo você transformaria em um agent primeiro? Conte nos comentários.

06:41 segundo caso, conectando o AlphaGenome a um estudo genômico amplo sobre TDAH no material suplementar. Então, o que você deve tirar disso? Primeiro, a alegação é específica e foi bem testada: as ferramentas foram validadas com base nos próprios resultados do artigo e, depois, ficaram bloqueadas. Segundo, as avaliações são, em sua maioria, benchmarks dos próprios autores e artigos criados por seus próprios especialistas, então uma replicação independente é importante. Terceiro, um quarto dos artigos de biologia não pôde ser convertido de forma alguma. E, quarto, o próprio artigo diz que as hipóteses e os mecanismos ficam a cargo dos humanos. Se você publica código, este é um bom motivo para

07:12 deixá-lo organizado o suficiente para que um agent consiga executá-lo. O código é público no GitHub, e os três servidores MCP estão no Hugging Face Spaces. Eu não os executei para este vídeo, então tudo o que você viu são os resultados relatados pelos autores. Se você está procurando GPUs baratas e confiáveis, eu uso o RunPod, e o link está na descrição. Então, aqui vai minha pergunta: qual artigo você transformaria primeiro em um agent? Conte nos comentários.

Transcrição original

[00:00] Here’s the normal way to use a new method from a paper, find a repo, install dependencies, fight the environment, work out which inputs go where. Now, here’s what this Nature paper proposes instead. You ask, “Interpret this variance effect on chromatin accessibility in muscle cells.” And the paper itself answers. It’s called Paper to Agent from Stanford. In this video, I’ll show you how it works, what the numbers actually say, and where it breaks. >> [music]

[00:30] >> The authors’ point is simple. A paper is a passive object. If it describes a method, you still have to find the code, install it, configure it, and understand the inputs. Their example is Alpha Genome, a model that predicts how a single DNA mutation affects regulation. Using it in code means environments, API keys, building variant objects, picking output types. A biologist who could really benefit from it often just stops there. Earlier fixes like papers with Code Binder and Code Ocean did help reproducibility, but says the barrier to

[01:01] customizing and applying the code to your own project was still there. The core idea is to turn the paper into an MCP server. MCP, the Model Context Protocol, is the standard way to expose tools to a language model. Each paper server has three parts. Tools, executable functions for the paper’s methods. For Alpha Genome, a tool takes a variant and returns predictions and plots. Resources, the static stuff, the manuscript, code, supplements, data, and prompts. Short instructions that walk the agent through a multi-step workflow in the right order. You host that

[01:32] server, for example, on Hugging Face Spaces and connect any chat agent. The authors use Claude Code with Claude Sonnet 4. Importantly, this is more than retrieval over the paper text. The tools actually run the paper’s code, and every tool carries a link back to the original source code, so you can trace where an answer came from. How do they build it? A multi-agent pipeline on Claude Code. One agent finds the code, an environment agent sets up the software, an extraction agent turns the core methods into tools. Then a testing agent runs them and keeps refining until the

[02:03] results match the reference outputs. Under the hood, the method section describes a central orchestrator agent that hands work to specialized sub agents through a six-step pipeline. Each sub agent has a structured prompt for its role, the tools that it is allowed to use, and the output it must produce. Steps run one after another and in parallel inside a step when they can. The paper defines a path expected files generated numbers inside tolerance, figures match the reference. Tools that keep failing are excluded from the server. That is the answer to code

[02:33] hallucination. The agent isn’t writing fresh analysis code every time. It calls a tool that was validated and locked. For Alpha genome, the authors say this produced 22 tools, all passing in about 45 minutes, costing $14 on a laptop. Now the numbers on 15 tutorial based questions, the paper two agent agents scored 98.7% Claude with direct repo access got 82.7, BioMed 37.3. On 15 novel questions, 100% versus 78.7 and 56. Five runs, two human

[03:04] graders, and it was faster with median run time about two to four times lower. But look at the open-ended questions. 30 research-style queries, paper two agent got 82.7%, Claude plus repo 56.7, and BioMed 72.2. That gap is much smaller. Then the part I like, they asked why a variant on chromosome 1 is linked to LDL cholesterol. The agent planned, scored the variant, made plots, and picked sort 1. The original Alpha genome paper emphasized SCLSR2 and PSR C1. The

[03:35] authors don’t hide it. All three score high, and all three are significant in GTX. So that’s not the agent beating the paper, it’s a reminder of how hard causal genes are at these loci. Second case, Scanpy for single-cell data. Seven tools, about 45 minutes, $13. The interesting part is the MCP prompt. It encodes the whole pipeline in order. Quality control, normalization, clustering, cell type annotation. You give a file path and it runs on four public data sets. The authors report it

[04:06] matched human results. Same cell and gene counts after filtering, same top marker genes. They also identified a third paper called tissue for spatial transcriptomics and across seven different single cell data sets, the agent adjusted its own parameters to fit each instead of using one fixed recipe. That matters because a locked tool is only useful if it is also flexible about its inputs. Now scale 100 computational biology papers, no manual cleanup, 74 were successfully turned into agents. That means 26 were not. The reasons

[04:38] missing code, missing data or model files, broken environments, scripts that don’t generalize. For the 74, 599 tools were proposed and 593 passed validation on 300 questions, 91.2% against 80.3 for Claude code on the repo with the same model. About 20 cents and 1.6 minutes per query against 38 cents and 4.3 minutes. The paper then stress test the idea in a permuted test where the question does not belong to the paper. It correctly rejected 100% of out

[05:08] of scope queries. In adversarial tests, the authors injected broken dependencies, wrong file paths, typos and deprecated API calls into repositories and paper two agents still recovered working servers. It even built a working server from a repository with no executable tutorials. And it is not only biology. On 42 execution tasks from 10 non-biology papers covering things like statistics, econometrics, game theory and astrophysics, it scored 98.1%. When code could not be turned into tools at all, the resource layer alone, just

[05:39] the structured paper content, reached 89% on 100 synthesis questions. A Claude browser used baseline got 82 and it was 34 times cheaper and 15 times faster. The authors also say it plainly, open-ended reasoning stays human in the loop. And my read how easily a paper becomes an agent could become a kind of reproducibility score. Last case, three paper agents work together, AlphaGenome, a CRISPR screen paper, and a T-cell perturb-seq paper. AlphaGenome predicts GPR137 at a psoriasis locus. The co-scientist then correlates

[06:09] perturbation signatures, GPR137 knockdown correlates at about 0.6 but only after stimulation, not at rest. Notice the human picked the strategy. That’s the paper’s model. Scientists set the hypothesis, agents run the analysis. What I find most interesting is the method the agent came up with, correlating a regulatory element perturbation signature against gene knockdown signatures. Across two independent screens is not proposed in either source paper. The authors call it a flexible technique for causal gene prioritization. The paper also runs a

[06:41] second case, linking AlphaGenome to an ADHD genome-wide study in the supplement. So, what should you take from this? First, the claim is narrow and well-tested, tools validated against the paper’s own results, then locked. Second, the evaluations are mostly the authors’ own benchmarks and papers created by their own experts, so independent replication matters. Third, a quarter of the biology papers could not be converted at all. And fourth, the paper itself says that hypotheses and mechanisms stay with the human. If you publish code, this is a good reason to

[07:12] make it clean enough that an agent can run it. The code is public on GitHub and the three MCP servers are on Hugging Face Spaces. I have not run them myself for this video, so everything you saw is the authors’ reported results. If you’re looking for cheap and reliable GPUs, I use RunPod and the link is in the description. So, here’s my question, which paper would you turn into an agent first? Tell me in the comments.