Construindo a camada de contexto documental para agentes de IA — Jerry Liu, LlamaIndex

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Building the Document Context Layer for AI Agents — Jerry Liu, LlamaIndex · Canal: AI Engineer · 20:41 · Assistir no YouTube

Tópicos: Agentes de IA, Engenharia de prompts e contexto, RAG, busca e recuperação de informação

Resumo

Jerry Liu apresenta a evolução do RAG e defende que sistemas modernos combinam um agent harness com uma camada de contexto capaz de dar acesso a documentos e outros dados organizacionais. Ele descreve uma plataforma documental composta por parsing, armazenamento semântico e workflows especializados. A palestra destaca os desafios de converter PDFs e outros arquivos em conteúdo compreensível para agentes e propõe combinar técnicas de parsing tradicionais com modelos de visão. Também apresenta estratégias para equilibrar precisão, custo e latência, incluindo o uso de parsers rápidos junto a ferramentas mais profundas quando necessário.

Pontos-chave

No RAG moderno, agentes passaram a lidar com parte da complexidade da recuperação ao formular consultas e iterar sobre os resultados.
A camada de contexto deve conectar agentes a documentos, ferramentas, MCP servers, warehouses e outras fontes de dados organizacionais.
Uma plataforma documental para agentes pode incluir parsing, armazenamento semântico e workflows especializados para tarefas repetíveis.
PDFs são difíceis de interpretar porque sua estrutura é orientada à exibição e à impressão, não à leitura direta por máquinas.
Uma abordagem híbrida que combina análise estrutural de arquivos com modelos de visão pode equilibrar custo e precisão.
ParseBench é apresentado como um benchmark de documentos empresariais que avalia aspectos como tabelas, gráficos e fidelidade do conteúdo.
Diferentes aplicações exigem escolhas distintas na curva de precisão, custo e latência.
Light Parse é apresentado como um parser open source rápido para processar documentos sem recorrer a um VLM.
Agentes podem fazer uma leitura inicial rápida dos documentos e usar ferramentas baseadas em VLM para examinar páginas que exigem análise visual mais profunda.
A extração documental pode produzir dados estruturados com citações à fonte, pontuações de confiança e sinalização de valores incertos.

Capítulos

Início	Capítulo	Resumo
00:01	RAG e a evolução dos agentes	Jerry Liu apresenta a palestra e explica como a recuperação de informações e o uso de contexto evoluíram com os agentes.
05:13	A camada de contexto documental	O palestrante descreve documentos como uma fonte central de contexto e apresenta os componentes de uma plataforma documental para agentes.
08:22	Por que o parsing de documentos é difícil	A palestra explica os desafios de interpretar PDFs, documentos do Word e apresentações, e compara abordagens tradicionais e visuais.
12:02	Precisão, custo e avaliação de parsing	Jerry Liu descreve a estratégia híbrida da LlamaIndex, apresenta o ParseBench e discute diferentes necessidades de precisão, custo e latência.
16:21	Parsing rápido e análise aprofundada	O palestrante apresenta o Light Parse como opção rápida e explica como agentes podem recorrer a ferramentas baseadas em VLM quando precisam examinar documentos em mais detalhe.
18:32	Extração, busca e workflows documentais	A palestra aborda extração estruturada com citações e confiança, ferramentas de busca documental e o encerramento da apresentação.

Citações

Ajudar a desbloquear contexto não estruturado para alimentar esses agentes. — 05:13

No fim, contexto é tudo. — 05:44

Os PDFs são projetados para impressão. — 08:54

É completamente gratuito e não há condições ocultas. — 16:55

Conceitos e entidades

Jerry Liu (pessoa): Cofundador e CEO da LlamaIndex, que apresenta a palestra sobre contexto documental para agentes.
LlamaIndex (empresa): Empresa que desenvolve infraestrutura documental para agentes de IA.
RAG (conceito): Abordagem para fornecer a um LLM informações recuperadas de uma coleção de documentos ou outras fontes.
agent harness (conceito): Infraestrutura que dá suporte à execução de agentes, incluindo seus ciclos de raciocínio e uso de ferramentas.
document context layer (conceito): Camada que torna documentos organizacionais acessíveis e utilizáveis por agentes.
LlamaParse (ferramenta): Serviço comercial da LlamaIndex para processamento e extração de informações de documentos.
LightParse (ferramenta): Parser open source baseado em Rust, descrito na palestra como uma opção rápida que não usa VLM.
ParseBench (benchmark): Benchmark de documentos empresariais que avalia, entre outros aspectos, tabelas, gráficos e fidelidade do conteúdo.
VLM (conceito): Modelo de visão e linguagem usado para analisar a estrutura visual e o conteúdo de documentos.
OCR documental (conceito): Processo de converter documentos em representações digitais que sejam interpretáveis por pessoas e agentes.
MCP (conceito): Protocolo mencionado como uma forma de conectar agentes a ferramentas e fontes de contexto.
SharePoint (ferramenta): Serviço citado como exemplo de repositório de documentos empresariais que agentes podem precisar processar.

Tradução completa (pt-BR)

00:01 [música] >> Acho que podemos começar. Olá, pessoal, sou Jerry, cofundador e CEO da LlamaIndex, e hoje estou animado para apresentar uma palestra chamada “Construindo a camada de contexto de documentos para agentes de IA”. Um grande agradecimento à AI Engineer World Fair por sediar o evento. E, se vocês viram algumas das minhas palestras anteriores nas conferências anteriores da AI Engineer, acompanhamos, de certa forma,

00:31 boa parte da evolução de como os avanços dos agentes se correlacionaram com a maneira como se injeta contexto em aplicações em evolução. Hoje, em 2026, vamos falar sobre três tópicos principais. Primeiro: o que é RAG em 2026? Segundo, isso basicamente se divide em um agent harness e uma camada de contexto. Então, vamos abordar a moderna camada de contexto de documentos para agentes e dar uma ideia de algumas das principais capacidades atuais, especialmente de como liberar o vasto acervo de dados baseados em documentos que temos hoje,

01:01 e dar uma ideia do que vem pela frente. Certo. RAG em 2026. Mas, antes disso, um pouco sobre a empresa e, em seguida, vou entrar no tema principal da palestra. Talvez vocês nos conheçam como um framework de RAG. Começamos em 2023 e ficamos bastante populares, criando muitas técnicas de RAG avançado e coisas desse tipo. Hoje, somos basicamente a principal infraestrutura de documentos para agentes de IA. Oferecemos a melhor plataforma para que os agentes leiam e operem sobre documentos, e vemos nosso papel como o de liberar os vastos acervos de contexto documental, à medida que os próprios agentes e modelos ficam melhores. Certo. Então, o que RAG realmente

01:35 significa em 2026 e como os agentes estão absorvendo e acessando o contexto hoje? Esta é uma imagem de, na verdade, três anos atrás, quando fiz uma palestra sobre isso pela primeira vez, e o RAG ingênuo consistia basicamente em criar um chatbot simples sobre seu corpus privado de dados. Se voltarmos até janeiro de 2023, essa técnica consistia basicamente em ter um conjunto de documentos, dividi-los em partes, gerar embeddings e colocá-los em um banco de dados vetorial. Você fazia uma recuperação ingênua dos K principais resultados e, em seguida, gerava algumas coisas com um LLM. Todas as etapas eram

02:05 fixas. Você usava um conjunto de técnicas também fixo e, com isso, obtinha alguns resultados básicos em aplicações, simplesmente podendo conversar com um corpus de documentos. É claro que o cenário dos agentes mudou bastante e de forma dramática desde então. Primeiro, os ciclos dos agentes e o uso de ferramentas melhoraram muito, especialmente à medida que os modelos e os agent harnesses evoluíram. E agora há uma separação mais clara entre o raciocínio dos agentes e a forma como eles interagem com o contexto. Se olharmos para o que chamo de agentes generalistas modernos,

02:36 que incluem todas as suas aplicações e ferramentas favoritas, como Claude Code, Claude Code Work, Open Claw, Codex e algumas outras, a complexidade da recuperação começou a ser incorporada à camada do agente. Então, em vez de criar uma variedade de soluções improvisadas para contornar as limitações da recuperação ingênua dos K principais resultados, você pode fazer o agente raciocinar sobre, por exemplo, a melhor palavra-chave para pesquisar, o melhor termo de busca para obter bons resultados. Mesmo que as ferramentas de recuperação sejam básicas, o agente pode inserir as consultas certas e repetir o processo, ajudando

03:07 a resolver a tarefa em questão. Segundo, o contexto está subindo na pilha. Acho que, nos primeiros dois anos e meio da IA generativa, houve muitas conversas sobre como gerenciar o context window do agente e garantir que ele não transbordasse, entre outras coisas. Mas, com a evolução de muitas técnicas, como a compactação e os contextos longos, acho que cada vez mais a conversa gira em torno de como conectar os MCP servers e as skills certos ao agente para permitir que ele execute vários tipos de tarefas. E isso também se aplica à orquestração de agentes,

03:38 certo? Os agentes de programação melhoraram. As abstrações para definir que tipos de tarefas e programas você quer criar avançaram um pouco, aproximando-se do inglês em vez de depender de código. Então, talvez, entre 2023 e 2025, você definisse programas e ainda criasse coisas importando Python e usando TypeScript por meio de código. Hoje em dia, está claro que cada vez mais pessoas estão criando coisas usando inglês, sejam engenheiros de software ou pessoas de áreas não técnicas, como marketing de go-to-market. E estão definindo procedimentos operacionais em inglês e

04:10 definindo os objetivos certos, por assim dizer, e garantindo que a IA esteja alinhada à tarefa certa. E vemos que isso também vai continuar no futuro. Em termos de padrões gerais e em evolução do trabalho com conhecimento, isso forma a base de como pensamos sobre a camada de contexto. No passado, talvez você pudesse usar IA apenas para fazer perguntas simples e obter respostas. Hoje, você começa a conseguir definir e resolver tarefas mais completas, de ponta a ponta, apenas em inglês, além de usar inglês para começar a

04:40 compilar programas repetíveis para executar algo em escala. É claro que há muita discussão sobre como isso vai evoluir ainda mais, e vemos os agentes de IA se comportando de forma cada vez mais autônoma, resolvendo tarefas de longo prazo e repetindo o processo para alcançar um objetivo. Portanto, o futuro avançará para um estado em que talvez você nem precise definir a tarefa em inglês, mas apenas o objetivo e uma rubrica de avaliação; então o agente usará todo o contexto disponível para resolver a tarefa. Com esse panorama geral, vamos

05:13 falar sobre o que é um foco central para nós como empresa: ajudar a liberar contexto não estruturado para alimentar esses agentes, à medida que eles ficam cada vez melhores, tanto em termos das capacidades fundamentais do modelo quanto do agent harness. Vamos nos concentrar bastante na nossa principal área de foco, que é o contexto documental, embora, é claro, também existam muitas outras fontes de contexto. Na verdade, acreditamos que o contexto é tudo. No fim das contas, você pode ter agentes infinitamente inteligentes, mas sua capacidade de realmente obter valor desses

05:44 agentes de IA infinitamente capazes de fazer cada vez mais coisas de ponta a ponta depende, na verdade, de dar a eles as coisas certas para fazer. E as coisas certas incluem a tarefa em si, o objetivo, mas também o acesso aos vastos acervos de contexto organizacional disponíveis. Seja pesquisa na web e contexto da web, conectores por meio de ferramentas, skills e MCP servers, conectores para data warehouses da Snowflake ou da Databricks ou, no nosso caso, acesso ao vasto acervo — cerca de 90%

06:15 — dos documentos armazenados no SharePoint, Box, Dropbox e S3, todos os dados não estruturados guardados em repositórios de documentos. Para nós, é muito importante entender como criar as ferramentas certas e liberar o contexto adequado. Vemos os documentos como contêineres universais de contexto não estruturado. Há mais de 10 trilhões de páginas de conhecimento produzido por humanos armazenadas em PDFs, PowerPoints, documentos do Word e planilhas do Excel. Ao mesmo tempo, os agentes também estão começando a gerar uma quantidade exponencialmente maior de dados em formatos mais nativos de agentes, como markdown e HTML. Para nós, construir uma plataforma de documentos nativa para agentes envolve três componentes principais. Ela inclui a camada de análise de documentos, que digitaliza os vastos acervos de PDFs, PowerPoints e documentos do Word, transformando-os em contexto preciso e eficiente em tokens, e os fornece como markdown, metadados e outros formatos que permitem aos agentes executar tarefas sobre seus documentos. O próximo componente é o que chamamos de camada semântica e de armazenamento,

06:47 que é, de certa forma, o conceito de documento

07:21 gerenciamento para humanos e agents. Em vez de humanos abrirem o Microsoft Word e usarem o sistema de arquivos ou o armazenamento de arquivos, como criar algum tipo de interface para agents que realmente capture e armazene todos os seus documentos e permita que os agents os gerenciem e operem sobre eles de várias maneiras? Também há espaço para workflows de documentos repetíveis, que a camada de agents pode codificar dentro desse tipo de plataforma. Se houver um workflow repetível, como processamento de faturas, KYC ou sinistros,

07:51 em vez de sempre delegar isso a um agent generalista, como desenvolver algum tipo de workflow especializado para essa tarefa e ajustar cuidadosamente o custo e a precisão para garantir que você alcance seu objetivo? Então, ao falar hoje sobre os conceitos relacionados a essas três camadas, vamos abordar o conceito de OCR de documentos, que é um dos conceitos centrais desta trilha; extração de documentos, busca em documentos e workflows de documentos. Ainda há vários tópicos sem solução, como formatos de documentos nativos para agents, versionamento de documentos, edição de documentos e, sabe,

08:22 hill climbing como serviço, além de um amplo conjunto de conceitos ainda pendentes para criar um software abrangente no qual agents e humanos possam colaborar em documentos e realmente trabalhar com eles. Então, vamos começar pela primeira seção e talvez começar com o OCR de documentos. Para começar, o OCR de documentos é difícil. Alguns de vocês talvez tenham visto uma publicação no blog que lançamos há alguns meses sobre esse tópico. Mas a razão pela qual esse problema existe é que um agent não consegue simplesmente pegar o arquivo PDF bruto, em formato binário, e entendê-lo.

08:54 Isso ocorre porque a maneira como os PDFs são armazenados como formato é voltada à exibição, e não ao consumo por máquinas de forma interpretável. Eles foram projetados para impressão. Basicamente, o texto é representado quase como glifos individuais com coordenadas. As tabelas não são representadas como tabelas; normalmente, são representadas como segmentos de linha desenhados com vários tipos de bordas, além de texto desenhado em determinadas posições das células. Então, se

09:28 você for um agent tentando entender esse documento, vai ter muita dificuldade para raciocinar sobre qual caractere e quais formas correspondem a quê. O objetivo do OCR de documentos, que existe há mais de 20 anos, é tentar criar algum tipo de representação digitalizada e bem interpretável, tanto por humanos quanto por AI agents. Além disso, a própria ordem de leitura, se você tiver um layout com várias colunas, não tem garantia de que a maneira como ele é representado no PDF corresponda às formas típicas como os humanos o leriam. Porque, novamente, trata-se basicamente de uma sequência arbitrária de caracteres desenhados em posições de coordenadas.

09:59 Relacionado a isso, até a análise de documentos do Word é difícil. Eles têm um pouco mais de estrutura do que os PDFs, mas usam um formato XML personalizado e específico, e isso também se aplica ao PowerPoint. Contêm mais informações estruturais, mas ainda há muita coisa supérflua. Você não precisa realmente ingerir todas as tags para que o agent entenda o documento do Word. Ainda é preciso inferir muita

10:29 estrutura a partir dele. É preciso extrair os metadados corretos sobre formatação, semântica e esse tipo de coisa. Mas também é preciso conseguir ignorar as tags e renderizar o documento para que o agent veja a estrutura geral da página. Ainda é um problema difícil, e é possível obter uma grande melhoria ao analisá-lo e convertê-lo em um formato mais interpretável, em vez de simplesmente usar o OXML nativo e fornecê-lo a um agent. Se você conhece a compreensão de documentos, sabe que ela existe há bastante tempo.

11:00 Há muitas abordagens heurísticas e baseadas em pipeline que se concentram em técnicas mais orientadas por humanos e escritas manualmente para analisar diferentes trechos de texto, agrupá-los em clusters, identificar tabelas e parágrafos e gerar algum tipo de representação de saída. Muitas técnicas básicas, como as usadas em bibliotecas open source como PyPDF e PyMuPDF, e, claro, algumas abordagens mais recentes, usam basicamente esse tipo de método. Também é possível usar um VLM para

11:31 converter um documento inteiro em texto de uma só vez; é isso que chamamos de abordagem baseada em visão. Funciona razoavelmente bem. Obviamente, acho que é possível obter uma grande melhoria ao conseguir ler a estrutura visual, mas há vários aspectos abaixo do ideal. O modelo pode alucinar em páginas que contêm apenas texto. Custa muito caro e também ainda carece de boa parte da semântica e do embasamento que normalmente se espera de uma ferramenta de processamento de documentos. Por isso, para nós, faz sentido combinar as abordagens baseadas em pipeline

12:02 — que entendem profundamente os contêineres de arquivos e os dados binários — com as abordagens baseadas em visão para ajudar a gerar uma abordagem híbrida que, acreditamos, está na fronteira de Pareto entre custo e precisão. Uma observação rápida sobre isso: vou passar por alto pelos conceitos gerais, mas a fronteira de Pareto do OCR de documentos será sempre muito mais precisa e barata do que a fronteira de Pareto dos modelos de fronteira em compreensão de documentos. Isso acontece porque se trata de um tipo de dado muito específico, e sempre há maneiras de destilar os recursos mais recentes de compreensão visual do Gemini, GPT e Opus em um workflow cuidadosamente adaptado, capaz de processar documentos em escala e com alta precisão.

12:35 Em certa medida, é exatamente isso que fazemos. Otimizamos os mecanismos subjacentes de PDF, além dos de Word, PowerPoint e outros. Temos um agent harness cuidadosamente ajustado para encaminhar automaticamente as tarefas entre modelos especializados mais baratos e modelos de fronteira, além de VLMs de documentos especializados e com fine-tuning, que são eficientes em termos de parâmetros e se concentram em classes específicas de documentos e elementos, como tabelas, gráficos e outros. Esse é nosso serviço comercial chamado LlamaParse, sobre o qual vou falar daqui a pouco.

13:06 Mas, em geral, estamos extremamente comprometidos com o avanço da fronteira da compreensão de documentos, porque, basicamente, se você está em uma organização empresarial e tem uma longa cauda de documentos em serviços financeiros, seguros, manufatura, área jurídica, governo e vários outros setores, há muita complexidade nesses tipos de documentos. E, se você está tentando desbloquear contexto em escala, a maioria dos modelos não está à altura da tarefa.

13:37 Por isso, criamos algo chamado ParseBench, um benchmark abrangente de documentos empresariais para agents. Consideramos que é o benchmark mais abrangente de documentos empresariais. Ele contém 2.000 páginas verificadas por humanos. Mede tabelas, gráficos, fidelidade do conteúdo e formatação semântica. E é otimizado para avaliar como os AI agents realmente conseguem entender esses documentos, em vez de apenas a correção sintática. Se você acessar parsebench.ai,

14:11 que é uma página totalmente pública na internet, verá que também está disponível no Hugging Face e no Kaggle. Avaliamos provavelmente uns 50 modelos de fronteira diferentes, modelos open weight e soluções especializadas de OCR. A curva de Pareto deve ficar mais para a esquerda e para cima em termos de precisão: extremamente alta, mas também com custo extremamente baixo. Há muitos tipos diferentes de documentos: alguns são um pouco mais simples, outros talvez um pouco mais complexos. E, idealmente, você quer cobrir todos os pontos da curva para

14:43 lidar com a distribuição dinâmica dos vários tipos de documentos existentes. Fica bem claro, mesmo olhando para este gráfico, que é possível aumentar a complexidade do benchmark e que a compreensão de documentos definitivamente ainda não está 100% resolvida. Mas, fundamentalmente, é preciso avançar muitos dos recursos centrais para garantir que os modelos consigam processar e desbloquear o vasto acervo de contexto empresarial disponível. Há alguns pontos diferentes nessa curva de Pareto de precisão, custo e latência. Há o que chamo de regime de alta precisão, em que,

15:16 Sabe, algumas instituições basicamente precisam de uma precisão de 99% ou quase 100%, porque, no fundo, o prejuízo de uma extração incorreta é bagunçar completamente o modelo financeiro, acabar, sabe, sendo sinalizado por fraude ou enfrentar várias outras consequências muito, muito ruins. Vemos isso com bastante frequência em setores regulamentados, como seguros e serviços financeiros. Normalmente, isso significa que estão dispostas a pagar um pouco mais por página por um raciocínio mais aprofundado com tecnologia de agent, para pelo menos garantir que recebam as informações no formato correto. Também existe o regime de baixo custo. Digamos que você esteja tentando indexar mais de um milhão de documentos por dia na sua…

15:48 …que está sendo atualizado continuamente no seu SharePoint, apenas para uma busca em uma base de conhecimento com RAG. Nesses casos, obviamente, você não quer que seja terrivelmente impreciso, mas, se houver alguns erros, tudo bem também. Porque, no fim, se você tiver um agent suficientemente bom, ele sempre poderá se aprofundar no documento e apresentar as informações corretas, com as citações e a fundamentação adequadas. Portanto, nesses casos, conseguir criar algum tipo de pipeline escalável de indexação offline com as melhores condições de custo é o ideal. Um aspecto das abordagens baseadas em VLMs…

16:21 …porém, é que normalmente elas não são muito rápidas. E acho que muitas vezes, quando há uploads de arquivos em tempo real — digamos que você esteja usando Cloud Co-work, envie mil documentos e precise processá-los em um minuto —, fazer vários VLMs processarem tudo isso em escala é realmente difícil para basicamente todos os serviços de OCR. E, para ser justo, isso inclui o nosso também. Acho que, em geral, também há a necessidade de uma solução de latência extremamente baixa, para que seja possível processar as coisas em tempo real, mesmo quando há um processamento mais aprofundado habilitado por VLMs…

16:55 …para uma inspeção visual e uma análise mais aprofundadas. É isso que chamo de estar no ciclo do agent. Além do Lama Parse, nosso serviço comercial de processamento e extração de documentos, também criamos uma ferramenta chamada Light Parse. Ela é surpreendentemente muito, muito boa. Não sei se vocês têm acompanhado algumas das conversas no Twitter, mas ela é baseada em Rust. É o parser open source mais rápido que existe. É completamente gratuita e, basicamente, não tem nenhuma condição associada. Acho que a licença é MIT ou Apache. E, basicamente, é o parser de Markdown mais preciso que existe sem…

17:28 …usar um VLM ou algum tipo de modelo mais aprofundado. Isso é útil porque você pode usá-la como padrão no ciclo de assistência do agent. Digamos que você esteja enviando vários documentos para o Quad Code, o Quad Code Work ou o Codex e queira processar mil PDFs muito rapidamente. Você pode fazer isso e, então, equipar o agent com um parser baseado em VLM, como o Llama Parser, ou com outros modelos de ponta como ferramenta. O que esses agents fazem é primeiro passar rapidamente por todos os documentos, meio que…

17:58 …examinar todo o contexto de forma extremamente eficiente e, depois, se precisarem se aprofundar em uma página com tabelas ou gráficos e entender melhor os valores, usarão uma ferramenta baseada em VLM, com um processamento mais lento, para garantir que leiam as informações corretamente. Isso está disponível como uma skill instalável com um clique e complementa qualquer outra ferramenta de OCR baseada em VLM mais aprofundada que você queira usar. Nós a projetamos para ser o mais rápida possível e também fácil de integrar ao seu agent de IA favorito. Passei rapidamente por muitas dessas coisas, mas, basicamente, sabe…

18:32 …passamos bastante tempo na camada de parsing. Também há outros componentes gerais relacionados às camadas semântica e de armazenamento, no que diz respeito à extração e à busca de documentos, e, claro, aos workflows de documentos. Por causa do tempo, provavelmente vou pular algumas áreas que não explorei, como formatos de documentos nativos para agents, hill climbing como serviço e outras, mas vou compartilhar todos os slides online. Quanto à camada semântica e de armazenamento, além do parsing de documentos, muitos casos de uso também exigem obter informações estruturadas em escala a partir de…

19:04 …documentos. Seja para processar um milhão de faturas, relatórios de despesas, recibos ou sinistros, é preciso garantir que se obtenham resultados estruturados que possam ser inseridos em um banco de dados ou sistema subsequente. Muitos desses casos de uso giram em torno da seguinte questão: como automatizar várias tarefas que normalmente são feitas por pessoas ao examinar uma grande quantidade de documentos e inserir dados? Seja com faturas, sinistros, contratos, recibos ou outros documentos. Também criamos esses recursos no Llama Parse. Muitos dos nossos recursos são, na verdade…

19:37 …ajustados para ter baixo custo e, ao mesmo tempo, altíssima precisão. Você recebe citações detalhadas, que remontam ao documento de origem, para cada resultado extraído. E, claro, pode executar isso em um pipeline em escala, com pontuações de confiança e a capacidade de sinalizar se temos ou não certeza sobre determinado valor antes de decidir inseri-lo em algum sistema. Também há a busca em documentos, que é um conjunto de ferramentas ampliado, como mencionei, em torno de recuperação, BM25, grep, busca vetorial, leitura e rolagem.

20:08 E todos esses recursos estão disponíveis em algumas das nossas plataformas comerciais, assim como nas nossas ofertas open source. Mas eu também queria dar uma ideia dos conceitos gerais que existem hoje. Vou pular esta seção sobre o que vem a seguir e talvez ir direto para o final. Sei que passei um pouco do tempo. Agradeço muito a todos por terem vindo hoje. Agora, deixa eu ver como chego a esta parte rapidinho. Ah, certo. Vou pular esta parte. Vou publicar isso online. Nosso estande fica no LG 47. Se vocês tiverem interesse em passar por lá, estamos…

20:41 …organizando hoje um grande torneio de pickleball. Obrigado pelo seu tempo. >> [aplausos]

Transcrição original

[00:01] [music] >> I think we can get started. Hey everyone, I’m Jerry, co-founder and CEO of LlamaIndex, and today I’m excited to uh give a talk called building the document context layer for AI agents. Um really uh big shoutout to the AI Engineer World Fair for hosting. Um and if you’ve seen some of my earlier talks from the previous uh AI Engineer conferences, uh we’ve kind of traced

[00:31] through a lot of the evolution of how, you know, um agent advances have correlated with uh you know, how you inject context into evolving applications. Um and so today, in 2026, we’ll kind of talk about three main topics. One is, you know, what is RAG in 2026? Um two, uh basically that basically decomposes into an agent harness plus a context layer. So kind of going into the modern document context layer for agents, um and giving you a little bit of sense of kind of some of the core capabilities today, um especially uh unlocking, you know, the vast trove of document-based data today,

[01:01] and giving you a glimpse of what’s next. All right. RAG in 2026. But before that, just a little bit about the company, and I’ll kind of get on with the main talk. Um you might have seen us as a RAG framework. We started in 2023, got pretty popular, um kind of created a lot of techniques around like advanced RAG, that type of stuff. Um today, we’re basically the main document infrastructure for AI agents. Um we deliver the best platform for agents to actually read and operate over documents, and we see ourselves as unlocking basically the vast troves of document context even as agents and models themselves get better. All right. So, what does RAG actually

[01:35] mean in 2026, and how are agents actually inhaling and addressing context today? This is a snapshot from um actually 3 years ago, um when I first gave a talk on this, and naive RAG was basically just building a simple chatbot over your private corpus of data. If you flash back all the way to January of like 2023, um you know, this technique basically consisted of you have some corpus of documents, um you chunk it up, embed it, and put it into a vector database. You do some naive top K retrieval, and then you generate some stuff with an LLM. All the steps are

[02:05] fixed. You use kind of like a fixed set of techniques, and then with that you actually get some basic application results by just being able to chat over a corpus of documents. Of course, the agent landscape has changed quite a bit and quite dramatically since then. One is agent loops and tool use have gotten a lot a lot better, especially as both the models and agent harnesses have increased. And there’s basically a cleaner separation now between agent reasoning and how they actually interact with context. If you look at what I call kind of the modern generalized agents,

[02:36] which includes, you know, all your favorite applications and tools out there from Claude Code, Claude Code Work, Open Claw, Codex, and a few others, you know, the retrieval complexity has started to get baked into the agent layer. So, instead of coming up with a variety of hacks to really work around the limitations of naive top K retrieval, you can start getting the agent to really reason about, for instance, the best key best keyword to search for, best like, you know, search term to actually get back good results. Even if the retrieval tools are basic, the agent can input the right queries to basically loop upon itself and help

[03:07] solve the task at hand. Number two, context is moving up the stack. There’s been a lot of conversations, I think, for the first two and a half years of Gen AI of how do you actually manage the agent context window, make sure it doesn’t overflow, that type of thing. But, I think as, you know, a lot of the evolving techniques, compaction, long contexts have evolved, I think more and more of the conversation is actually how do you just hook up the right MCP servers and skills and tasks to the agent to enable it to do various types of tasks. And so, that also applies to agent

[03:38] orchestration, right? Coding agents have gotten better. Abstractions of actually defining what types of tasks and programs you want to build have moved a little bit upwards towards English as opposed to through code. And so, maybe in 2023 to 2025, you define programs and you still build stuff via like importing Python, using TypeScript through code. It’s pretty clear these days more and more people are just building stuff using English, whether you’re a software engineer or you’re a non-technical function like go-to-market marketing. And you’re defining runbooks through English and

[04:10] kind of like defining the right goals and making sure the AI is aligned on the right task. And we see that carrying over going forward as well. So, in terms of just like general evolving knowledge work patterns, and this kind of forms a foundation for what we how we think about the context layer. You know, in the past maybe you could use AI to just like ask simple questions, get it resolved. Today, you’re starting to be able to define and solve more end-to-end like tasks just through English and also use English to start

[04:40] compiling repeatable programs to actually execute something at scale. Obviously, there’s been a lot of discussion on how this will evolve even more, and we do see AI agents as behaving even more autonomously through solving long horizon tasks, looping upon themselves to be able to achieve a goal. So, the future will move towards a state where you actually might not even have to define the task in English, but actually more of the goal and a scoring rubric, and then the agent will use all available context available to it to actually solve the task. So, with that overall framing, let’s

[05:13] talk about what kind of what is a pretty core focus for us as a company, which is basically helping to unlock unstructured context to basically feed into these agents even as they get really, really good both in terms of the core model capabilities as well as the agent harness. And we’ll focus a lot on our core focus area, which is document context, but of course there’s plenty of other sources of context as well. In fact, we do think context really is everything. In the end, you could have a infinitely smart agents, but your ability to actually get value out of this

[05:44] infinitely AI agent um, able to do more and more stuff end to end, is actually, you know, giving it the right things to do. Um, and the right things to do include the actual task, uh, the goal, um, but also access to the vast troves of organizational context available to it. Whether that is web search, web context, whether that is connectors through, you know, like tools and skills and MCP servers, whether it’s connectors through Snowflake or Databricks warehouses, um, or for us, whether it’s access to the vast trove, like the 90%

[06:15] of documents that are stored within SharePoint, Box, Dropbox, S3, um, you know, all the unstructured, uh, data that’s locked up within document containers. Um, and so for us, you know, we care a lot about how do you actually build the right tools and unlock the right context here. We see documents as universal containers for unstructured context. Uh, there’s over 10 trillion plus pages of human native knowledge locked up within PDFs, PowerPoints, Word documents, and Excel sheets. And at the same time, agents are also starting to generate exponentially more data in terms of, you know, more

[06:47] agent native formats in terms of markdown and HTML. For us, building an agent native document platform contains three main pieces. Uh, it contains the document parsing layer, actually digitalizing, um, the vast troves of PDFs, PowerPoints, and Word documents into kind of accurate token efficient context, um, and feeding it, you know, either markdown, metadata, and other forms that actually enable agents to do stuff over your documents. The next is actually what we call the semantic and storage layer, um, which is kind of like this concept of document

[07:21] management for humans and agents. Instead of humans opening up Microsoft Word, using your file system or file storage, how do you create some sort of agent interface that actually captures, stores all your documents, and enables agents to actually manage and operate over them in various ways. Um, and then there’s still a room for actually kind of repeatable document workflows is agent layer they can actually encode within the uh within like this type of platform, too. If there is a repeatable workflow, like invoice processing, KYC, or claims,

[07:51] instead of always offloading it to a generalized agent, how do you actually develop some sort of specialized workflow for it and really carefully tune cost and accuracy to make sure that you achieve your goal. So, when we talk about like the concepts today in in terms of these three layers, uh we’ll talk about this concept of document OCR, which is one of the core concepts of this track, um to document extraction, document search, and document workflows. There’s still a variety of topics yet left unsolved from agent native document formats, document versioning, document editing, you know,

[08:22] hill climbing as a service, and just like a wide set of uh kind of remaining concepts to actually create a comprehensive piece of software where agents and humans can collaborate on documents and actually do work over them. So, we’ll start with the first section um and maybe start kind of with uh the document OCR RP. Um first off, uh you know, document OCR is hard. Um some of you might have seen a blog post that we put out a few months ago related to this topic. But, the reason this problem even exists is an agent cannot actually take the like the

[08:54] raw PDF like file binary and make sense of it. Um that’s because the like the way PDFs are actually stored as a format is it’s rendered for kind of like display purposes um and not really for uh you know, machine consumption in an interpretable manner. Um they’re designed for printing. So, basically text are represented as almost like individual glyphs with coordinates. Um tables are not represented as tables, they’re represented as like typically line segments uh drawn with various types of borders, and also text drawn at certain cell positions. And so, if

[09:28] you’re kind of an agent that’s trying to make sense of this like document, you’re going to have a really hard time actually trying to reason about what character and what shapes like map to what. Um so the whole point of document OCR, um, you know, it’s been around for like 20 plus years, is to really try to create some sort of, uh, digitalized well-interpretable, uh, representation um, that’s both interpretable to humans, um, as well as AI agents. Also, reading order itself, if you have a multi-column layout, there is no, uh, guarantee that the way it’s represented in the PDF, um, actually corresponds to

[09:59] the typical ways that humans would read it. Cuz again, it’s basically just an arbitrary sequence of characters drawn with uh, coordinate positions. Related to this, you know, even Word doc, uh, parsing is hard. Um, they’re a little bit more structured than PDFs, but they’re in kind of like this, uh, custom bespoke XML format, and this applies to PowerPoints as well. Um, it contains more structural information, but still there’s a ton of like fluff. Like you don’t actually need to ingest all the tags to actually have the agent make sense of the Word document. It still needs to infer a bunch of

[10:29] structure from it. It needs like the right, uh, kind of to lift the right metadata around like formatting, semantics, that type of stuff. But also being able to ignore the tags and actually be able to render the document so that the agent can see the overall structure of the page. Um, it’s still generally hard problem, and there’s a lot of uplift you can get by actually parsing it into a more interpretable format instead of just using the native, uh, OXML and feeding that to an agent. Um, if you’re familiar with document understanding, um, you know, it’s been around for quite a bit of time. Um,

[11:00] there’s a lot of these like heuristic and pipeline-based approaches, which, uh, focused on kind of more, uh, I guess like human-driven, hand-handwritten like techniques to analyze like kind of various pieces of text, group them into clusters, and identify tables, paragraphs, and be able to kind of like, uh, generate some sort of output representation. Um, a lot of basic techniques if you use open-source libraries like PyPDF, PyMuPDF, um, and of course like some of the, uh, more recent approaches, um, basically use this type of approach. There’s also, of course, using a VLM to

[11:31] one-shot a document um, into text, uh, that’s what we call like a vision-based approach. This works decently well. Obviously, you know, I think there’s kind of a lot of uplift you can get by being able to read the visual structure, but there’s a lot of sub-optimal pieces about it. It can hallucinate on text-only pages. It costs a ton of money, and also it still lacks a lot of the semantics and grounding that you typically expect with some sort of document processing tool. And so for us, we really think about combining both the pipeline-based

[12:02] approaches of deeply understanding the file containers and binaries with the vision-based approaches to help generate, you know, kind of a hybrid approach that we think is at the Pareto frontier of cost and accuracy. A quick note on this, I’ll probably just like skim the high level, but the Pareto frontier for document OCR will always be like much more accurate and cheap compared to the Pareto frontier for, you know, wherever the frontier models are in terms of document understanding. It’s because it’s a very specific data type, and there’s always ways to kind of like distill the latest

[12:35] visual understanding capabilities from, you know, Gemini, GPT, Opus into kind of a carefully tailored workflow that’s able to process your documents at scale and in a highly accurate manner. To some extent, that’s exactly what we do. You know, we both optimize underlying like PDF engines plus like Word, PowerPoint, and others. We have an agentic harness that’s like carefully tuned for auto routing between cheaper specialized models to frontier models, and also kind of specialized fine-tuned document VLMs that are parameter

[13:06] efficient and focus on specific classes of documents, elements like tables, charts, and others. That’s our commercial service called LlamaParse, which I’ll talk about in a bit. But I think in general, you know, we’re extremely committed to advancing the frontier of just document understanding cuz basically if you’re within an enterprise organization and you have a massive long tail of documents across financial services, insurance, manufacturing, legal, government, and a bunch of others, there’s just a lot of complexity in a

[13:37] lot of these document types. And if you’re actually trying to unlock context at scale, most of the models are not up for the task. And so, we’ve created this thing called ParseBench, which is a comprehensive enterprise document benchmark for agents. We we think about it as the most comprehensive enterprise document benchmark. You know, it contains 2,000 human-verified pages. It measures tables, charts, content faithfulness, semantic formatting. And it’s optimized for just how AI agents are actually able to understand these documents instead of like syntactic correctness. We’ve If you look at parsebench.ai,

[14:11] which is, you know, kind of the it’s a fully public page on the internet. It’s also available on Hugging Face and Kaggle. We benchmark probably like 50 different frontier models, open weight models, specialized OCR solutions. And you really want the Pareto curve to kind of be towards the left and up in terms of accuracy, like extremely high accuracy, but also extremely low cost. And there’s just so many different types of documents, where some are a little bit simpler, maybe some are a little bit more complex. And ideally, you want to cover all the points on the curve to

[14:43] deal with the dynamic distribution of various types of documents out there. It’s pretty clear, even if you look at this graph, that it’s like you can increase the complexity of the benchmark, and that document understanding is definitely not a 100% solved. But, you know, you fundamentally need to kind of advance a lot of the core capabilities to make sure they’re able to process, unlock the vast trove of enterprise context out there. There’s kind of like a few different points on this accuracy cost latency Pareto curve. There’s what I call like the high accuracy regime, where like,

[15:16] you know, some institutions basically need like 99 to almost 100% accuracy, because basically, the downside of an incorrect extraction is you completely mess up your financial model, you completely, you know, you basically get flagged for fraud or a bunch of other really really bad things. In regulated industries like insurance and financial services, we see this a decent amount. This typically means you’re willing to pay a little bit more money per page for like deeper agent tech reasoning to at least make sure that you get back the the information in the right format. There’s also like the low cost regime. Let’s say you’re just trying to index, you know, the million

[15:48] plus documents per day within your that’s you know, being continually updated within your SharePoint just for like rag knowledge base search. You know, in these cases, you obviously want it to be not like terribly inaccurate, but even if it’s a little bit messed up, it’s okay, too. Because in the end if you have a sufficiently good agent, it can always dive deeper into the document and surface the right information with the right citations and grounding. So for these, you know, being able to create some sort of scalable offline indexing pipeline that has the best like cost constraints is something that is optimal. One thing about VLMs based approaches

[16:21] though is that, you know, they’re typically not very fast. And I think a lot of times if you have like real-time file uploads, let’s say you’re using Cloud Co-work, you upload a thousand documents and you need to process it within a minute a minute, like having a bunch of VLMs process that at scale is really tough for basically every single OCR service out there. And and to be fair, that includes ours, too. I think in general, there’s also some sort of need for an extremely low latency solution so that you can actually process stuff in real-time even if you have like deeper VLM enabled processing

[16:55] for kind of like deeper visual inspection and analysis. And so that’s what I call kind of being in the agent loop. So besides Lama Parse, which is kind of our commercial service around like document processing and extraction, we also created this tool called Light Parse. It is surprisingly really really good. I don’t know if you’ve been following some of the Twitter threads, but it is Rust-based. It is the fastest open-source parser out there. It is completely free, um, and there is basically no strings attached. I think it’s like MIT or Apache license. Um, and it basically is the most accurate like markdown parser out there that doesn’t

[17:28] use a VLM or any sort of kind of like deeper model. Um, and so this is kind of nice because you can use it as a default in the assistive agent loop. Um, let’s say you’re uploading a a bunch of documents to Quad Code, Quad Code Work, Codex, and you want it to process like a thousand PDFs extremely quickly. You can always do that, um, and then, you know, equip a VLM-based parser like Llama Parser or other frontier models as a tool. So, what these agents will do is they’ll do like a fast pass over all the documents first, uh, uh, kind of like

[17:58] just scan through all the context extremely efficiently, um, and then if actually needs to dive into a page with like tables, with like charts, and actually needs to more deeply understand the values, um, it will use a VLM-based tool, slower processing, to actually make sure it reads the information correctly. This is available as a one-click installable skill, um, complements kind of any other deeper VLM-based OCR tool you want to use, um, and we kind of designed to make it as fast as possible and also easy to plug in to your favorite AI agent. So, I kind of speed ran through a bunch of this stuff, but basically, you know,

[18:32] uh, we spent a bunch of time on the, uh, parsing layer. There’s also other, um, general components around like the semantic and storage layer in terms of document extraction and search, and of course like document workflows. Um, and due to time, I’ll probably kind of just, uh, skip some of the, uh, unexplored areas like agent native document formats, hill climbing as a service, and others, but I’ll share the full set of slides online. In terms of the semantic and storage layer, you know, besides document parsing, um, a lot of use cases also require actually getting back, uh, structured information at scale from

[19:04] documents. Whether you’re processing, you know, a million invoices or expense reports or receipts or claims, you need to make sure that, you know, you want to actually get back structured outputs that you can put into a downstream database or system. And so, a lot of these use cases basically revolve around the form of, you know, how do you automate a lot of workloads that humans typically do in scanning a lot of paperwork and doing data entry. Whether it is kind of, again, invoices, claims, contracts, receipts, or others. We kind of created these capabilities within Llama Parse as well. A lot of our capabilities are actually

[19:37] tuned towards like low cost while extremely high accuracy. And you get back granular citations all the way back to the source document for every extracted output. And of course, you can run this in a pipeline at scale with confidence scores and also, you know, being able to actually flag whether or not we’re certain about a certain value before deciding to put it into some sort of system. There’s also document search, which is a basically expanded tool set as I mentioned around retrieval, BM25, grep, vector search, reading, and scrolling.

[20:08] And so, all these capabilities are available within some of our commercial platforms as well as open source offerings. But I also just wanted to paint a picture of the general concepts out there today. So, I’ll skip this section about kind of what’s next and then maybe just go all the way to the end. I know I’m a little bit over time. So, really appreciate you all spending time today and then let me just how do I get to this part really quick? Oh, right. I’m going to skip this piece. I’ll put put this online. Our booth is at LG 47. If you guys are interested in stopping by and we’re

[20:41] hosting a giant pickleball tournament today. So, thank you for your time. >> [applause]