De documentos brutos a dados prontos para IA — Leo Platzer e Jeff Koss

Ver no idioma original →

Autoria: AI Engineer (Collibra/Daisy) · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: From Raw Documents to AI-Ready Data — Leo Platzer & Jeff Koss · Canal: AI Engineer (Collibra/Daisy) · 20:57 · Assistir no YouTube

Tópicos: Agentes de IA, Dados, bancos de dados e embeddings, Privacidade e proteção de dados, RAG, busca e recuperação de informação

Resumo

Jeff Koss e Leo Platzer apresentam uma abordagem para preparar grandes coleções de documentos não estruturados para uso em IA, desde a descoberta e curadoria dos arquivos até a entrega e manutenção dos dados. A demonstração mostra como classificar documentos, detectar informações sensíveis, avaliar qualidade e atualidade e criar recortes de dados com metadados e evidências. Os palestrantes também explicam como duplicações e documentos desatualizados podem prejudicar o contexto recuperado por sistemas RAG e agentes. Por fim, demonstram como gerar arquivos de contexto a partir de pastas do SharePoint e destacam ganhos de precisão e redução do tempo de preparação.

Pontos-chave

• Um piloto com poucos documentos pode funcionar bem, mas escalar para dezenas de milhares de arquivos exige processos automatizados e repetíveis.
• A curadoria de documentos deve considerar relevância, duplicações, informações conflitantes, atualidade e completude dos metadados.
• A classificação com IA pode sugerir tags e valores, enquanto evidências, níveis de confiança e revisão humana ajudam a verificar os resultados.
• A detecção de informações sensíveis pode combinar IA com padrões e contexto para identificar dados como PII e PHI.
• Recortes de dados atualizados em uma agenda podem incorporar arquivos novos e refletir exclusões, mantendo os dados usados pelo chatbot mais atuais.
• Documentos duplicados ou desatualizados podem ocupar grande parte do contexto recuperado e prejudicar a qualidade das respostas.
• Na avaliação descrita, a curadoria quase dobrou o recall@1 e aumentou a conclusão das tarefas em 10 a 15%.
• Arquivos de contexto que descrevem o conteúdo e a finalidade das pastas podem ajudar agentes a localizar informações e reduzir o uso de tokens.

Capítulos

Início	Capítulo	Resumo
00:00	O cenário: preparar documentos empresariais para IA	Os apresentadores descrevem o caso de uma empresa com milhares de documentos no SharePoint e a necessidade de criar um chatbot jurídico confiável.
03:39	Desafios de qualidade e escala	A expansão de um piloto para mais de 80 mil arquivos traz dificuldades de descoberta, sensibilidade, qualidade e manutenção dos dados.
06:18	Demonstração de classificação e metadados	Jeff mostra como criar uma taxonomia, gerar tags com IA e filtrar documentos com evidências da classificação.
10:59	Qualidade, atualidade e recortes de dados	A demonstração aborda duplicações, informações conflitantes, atualidade, metadados obrigatórios e criação de recortes relevantes.
14:40	Como dados ruins afetam o contexto	Leo explica como duplicações e informações desatualizadas podem dominar o contexto recuperado e afetar as respostas.
17:15	Resultados de avaliação e preparação de contexto	Leo apresenta resultados de avaliação e inicia uma demonstração do SDK para criar arquivos de contexto a partir de pastas do SharePoint.
18:20	Arquivos de contexto para RAG e agentes	A demonstração mostra como resumir o conteúdo, a finalidade e os tópicos de cada pasta para orientar chatbots e agentes.
20:27	Encerramento e convite para demonstrações	Jeff encerra a apresentação e convida o público a levar casos de uso e dados de exemplo para uma prova de conceito.

Citações

O que fazemos é oferecer a capacidade de automatizar todo esse processo. — 05:12

Queremos garantir que seu chatbot nunca fique desatualizado. — 13:38

Quase dobramos o recall e melhoramos a precisão geral. — 17:15

Sei exatamente que tipos de documentos tenho, do que tratam e quando usar essa pasta. — 19:24

Conceitos e entidades

• Leo Platzer (pessoa): Ex-CTO da DZ Labs que apresenta os efeitos da qualidade dos dados no contexto de sistemas RAG e agentes.
• Jeff Koss (pessoa): Customer engineer que demonstra o processo de curadoria de documentos e dados da apresentação.
• Collibra (empresa): Empresa mencionada como adquirente da DZ Labs e fornecedora de ferramentas de governança de dados.
• DZ Labs (empresa): Empresa apresentada como especializada em curadoria de dados não estruturados para aplicações de IA.
• SharePoint (ferramenta): Repositório de documentos empresariais usado como fonte de dados no cenário e nas demonstrações.
• RAG (conceito): Abordagem de recuperação de informações usada para fornecer contexto a chatbots e outras aplicações de IA.
• Recorte de dados (conceito): Conjunto de arquivos selecionado segundo critérios de relevância, qualidade, atualidade e sensibilidade.
• Taxonomia (conceito): Estrutura hierárquica de tags usada para classificar documentos e gerar metadados.
• Dados prontos para IA (conceito): Dados curados e enriquecidos com metadados para uso em chatbots, sistemas RAG e agentes.

Tradução completa (pt-BR)

00:00 Tudo certo? [música] Vamos começar. Pessoal, todo mundo está me ouvindo? Tudo certo. Perfeito. Certo. Meu nome é Jeff CS. Sou engenheiro sênior de clientes na DZ Labs. Como vocês podem ver no slide, está escrito que esta apresentação é oferecida pela Calibbra. A Calibbra adquiriu a DZ

00:30 Labs no verão passado. A Calibbra é mais uma ferramenta de governança de dados para dados estruturados e agents e modelos de IA. [fungada] Então, a lacuna que a Calibbra tinha era que não trabalhávamos com dados não estruturados, e é justamente aí que a DZ se destaca. Hoje, está aqui comigo Leo Platzer. >> Sim. Oi, pessoal. Sou Leo. Eu era CTO da DZ Labs, que, como o Jeff já mencionou, foi adquirida no ano passado pela Calibbra. >> E vocês podem ver que nós dois também somos gêmeos. Temos os bonés que estamos distribuindo no nosso estande. Então, passem por lá

01:02 para pegar um. É por ordem de chegada. Hoje vamos falar sobre como passar de um projeto-piloto estagnado para a produção com a curadoria de dados da DZ. O foco é em dados não estruturados. O cenário da demonstração que costumo apresentar é o de uma empresa de manufatura, a North River Manufacturing. Como podem ver, ela tem 40 mil funcionários. Opera em 20 países diferentes. O que ela está tentando fazer é lidar com milhões de documentos no SharePoint, acumulados ao longo de muitos e muitos anos, e precisa

01:34 descobrir quais são relevantes para seu chatbot. A empresa investiu pesado em IA para melhorar a eficiência operacional. Seu grande objetivo para este ano é criar um chatbot de IA para operações jurídicas. Ela quer ajudar as equipes jurídica e de compras a responder perguntas sobre contratos com fornecedores e acordos de parceria, em tempo real. Algumas das perguntas que está tentando responder são: quais são as cláusulas de rescisão de um fornecedor específico? Quais acordos

02:05 vencem neste trimestre, quais vencem no próximo trimestre e quais parcerias têm cláusulas de exclusividade? Algumas das pessoas das equipes com quem temos trabalhado são Sarah, chefe de dados e IA. Ela é responsável pela precisão. Também tem o Jim, engenheiro de IA. Ele só precisa saber quais arquivos deve usar. Há milhares e milhares de arquivos no SharePoint. Ele precisa encontrar apenas os relevantes, sem dados confidenciais.

02:37 Priya é chefe de gestão do conhecimento. Ela quer garantir que nenhum dado confidencial seja exposto e que, se houver dados específicos classificados, eles também sejam ocultados. Depois, há Michael, diretor de operações jurídicas. Ele precisa de um chatbot que forneça respostas precisas à equipe. Ele representa a área de negócios. E, por fim, há Jackson. Jackson é líder de transformação empresarial, e este é o caso de uso principal dele

03:08 mas ele também tem outros 15 casos de uso com os quais precisa lidar. Então, ele quer ter uma estrutura, um processo repetível e bem-sucedido. Não quer fazer isso apenas uma vez; quer fazer para vários casos de uso diferentes. Até agora, o que conseguiram fazer foi pegar cerca de 40 arquivos pré-selecionados e criar um pequeno projeto-piloto

03:39 em que podem fazer análise sintática, divisão em chunks, OCR e embedding, e depois colocar os dados em um banco de dados vetorial e em um grafo de conhecimento. E obtiveram respostas bem boas. Parece bem fácil fazer isso com 40 arquivos, mas, quando tentam fazer com muitos arquivos diferentes, mais de 80 mil, de repente fica um pouco mais desafiador. Alguns dos problemas que enfrentaram foram: não consigo descobrir quais arquivos preciso. Não

04:12 sei onde estão os dados confidenciais no meu SharePoint. Não consigo confiar na qualidade dos dados. Minha experiência inclui trabalhos na Informatica e na data bricks. Para mim, a qualidade dos dados costuma ser avaliada por seis dimensões diferentes: completude, conformidade e precisão. Mas, quando se trata de documentos, é um pouco diferente. Quero saber se há informações duplicadas ou conflitantes, certo? O Leo vai falar sobre isso. Ele tem um ótimo slide que mostra

04:42 por que isso é tão importante, além da atualidade dos dados. E todo mundo está falando de contexto, certo? O que queremos fazer é usar os metadados que marcamos no nosso chatbot e no nosso banco de dados vetorial para torná-lo mais relevante e aumentar a precisão do chatbot. Dá para ver alguns dos problemas que enfrentaram, certo? Estão recebendo respostas incorretas. Há informações confidenciais

05:12 sendo expostas pelos chatbots. Leva muito tempo para chegar à produção porque não conseguem encontrar os arquivos. Estão gastando tempo demais procurando os arquivos, em vez de escrever código e fazer as coisas que realmente gostam de fazer, certo? É difícil manter. Estou trabalhando com outra empresa de telecomunicações que tem seis ou sete especialistas no assunto e está tentando fazer a curadoria de 20 mil arquivos HTML, mas não consegue acompanhar, certo? É um processo muito frágil e difícil. E o que fazemos é oferecer a capacidade de automatizar todo esse processo.

05:46 Aqui, vocês podem ver que querem tentar acessar e aproveitar mais de 80 mil arquivos diferentes. Passaram de 40 arquivos para mais de 80 mil. O que realmente querem fazer é descobrir quais arquivos são relevantes para o chatbot, quais têm alta qualidade e quais estão atualizados. Não querem usar uma versão em que o contrato esteja antigo e vencido, certo? E querem enriquecer o chatbot com os metadados que marcaram. E, claro, não

06:18 querem nenhum dado confidencial. Então, o que fazemos aqui é oferecer a capacidade de fazer isso. Podemos acessar os dados; aqui, podemos entender o que são, descobrir quais arquivos são relevantes e fazer OCR, divisão em chunks e coisas do tipo. Deixe-me mostrar uma breve demonstração. Aqui, vocês veem que, no SharePoint, assim como no caso da North River, há um site inteiro cheio de diferentes

06:49 tipos de arquivo: há transcrições de chamadas, PDFs, planilhas do Excel e documentos do Word. Eles não sabem quais são relevantes nem quais tratam de assuntos jurídicos. Aqui no DZ, já abrimos o aplicativo e vejo que já ingeri 339 arquivos. Agora posso ver tanto as páginas ou os chunks quanto os arquivos. Consigo ver todas as informações aqui. E isto aqui é o que chamamos de

07:20 taxonomia. Taxonomia é um agrupamento de tags ou uma árvore de marcação. Ingeri os 339 arquivos. Agora posso criar manualmente uma tag definida pelo usuário, usar tags reutilizáveis da minha biblioteca de tags ou usar IA para sugerir automaticamente quais tags devo ter. Posso usar IA para dizer: estas são as tags relevantes. Aqui, digito o nome da tag: categorização de documentos de dados, forneço um prompt, e é esse prompt que vamos enviar ao LLM para

07:51 determinar se este arquivo deve receber uma tag e qual tag devemos usar. Se eu souber o que estou procurando, posso inserir os valores de classificação. Isso é opcional. Também posso usar IA para sugerir automaticamente todas essas tags. Outra coisa a destacar: se eu já tiver minha taxonomia e os valores válidos, posso carregá-los por meio de um CSV. Depois de fazer isso, posso ver que comecei a criar essa árvore de marcação. Outra

08:23 coisa que posso fazer é definir condições na minha árvore de marcação. Lembram que eu disse que só quero documentos jurídicos e contratos? É isso que estão procurando. Agora posso criar subtags. Quero apenas arquivos jurídicos e contratos. Quero extrair mais dados sobre o tipo de contrato. É um contrato com fornecedor? Faz parte de um NDA? É um contrato de materiais e tempo?

08:53 E agora, o que podemos fazer ao adicionar isso: vocês podem ver que temos diferentes ramificações na nossa árvore de marcação. Também posso ter tags incondicionais. Posso ter qualquer número de tags diferentes. Agora, o que vamos fazer é gerar os metadados. Então, escolho os arquivos que quero. Posso escolher as tags que quero. Posso dizer para gerar os metadados. E vamos executar isso. Vocês verão os resultados aqui. Agora consigo ver a categoria do documento.

09:24 Posso passar o mouse por cima. Há documentos de engenharia. Há meus contratos e documentos jurídicos, certo? Tenho 68 arquivos diferentes. E, se clicar em qualquer um deles, ele filtra automaticamente para mim. Agora também consigo ver as evidências. Por que a IA marcou isso? Em que parte do documento ela encontrou evidências de que se trata de um contrato jurídico? Certo? Também posso dar um voto positivo ou negativo. Então, também há aprendizado com poucos exemplos. Posso dar um exemplo, se quiser. Agora vocês podem

09:55 notar que também tenho filtros. Tenho dois filtros diferentes. Rapidamente, fui de 339 arquivos para 20. Também temos a capacidade de verificar dados sensíveis. Então, sejam PII, PHI ou qualquer outra coisa. Eu estava em Londres, numa conferência da Gartner, há alguns meses, e algumas pessoas da Finlândia vieram perguntar se conseguíamos encontrar números de identificação nacional finlandeses. Não falo finlandês. Então, coloquei isso lá. Fiz

10:27 essa demonstração e, além de podermos fazer isso com IA, também podemos usar padrões com contexto. No fim, ele descobriu a sintaxe de regex para mim, mas também adicionou algumas palavras em finlandês que, na minha opinião, provavelmente estavam associadas ao número de identificação nacional finlandês. Assim, haverá menos falsos positivos também. Certo, vou continuar. Outra coisa que podemos fazer é verificar a qualidade. Para nós, temos um

10:59 painel de qualidade aqui, onde podemos analisar os diferentes agrupamentos de duplicatas e informações conflitantes. Depois, usamos IA para sugerir automaticamente quais manter. Outra coisa que também podemos fazer, no caso da atualidade dos dados, é dizer que só quero arquivos dos últimos X dias ou de um intervalo de datas específico. E a última coisa que podemos fazer em relação à qualidade dos dados é definir quais partes dos metadados

11:30 são absolutamente obrigatórias. Então, vamos determinar que, dos 339 arquivos, talvez você realmente precise de 200. A partir daí, pode criar um recorte de dados e também podemos fornecer contexto aqui. Vou mostrar mais um vídeo, e também temos uma demonstração ao vivo que Leo fará daqui a pouco. Neste caso, o que posso fazer é usar um recorte de dados. Esse recorte pode ser filtrado com base nos critérios específicos

12:03 que eu quiser. Neste caso, tenho 14 arquivos. São apenas os arquivos relevantes para a área jurídica. Agora estou copiando a descrição do meu caso de uso. Posso dizer: “Eis o que estou tentando criar”. Posso usar uma taxonomia plana ou vários níveis na minha árvore de marcação. E, quando executar isso, o sistema vai sugerir automaticamente essas tags para mim. Há uma pessoa no processo, então posso escolher quais prefiro, quais quero e quais são relevantes. Mas, novamente, tudo isso é feito para mim com base

12:35 no que estou tentando fazer. Demos contexto ao sistema e ele também se baseia no conteúdo dos próprios arquivos. Aqui, ele até monta os valores de classificação para mim. E, se quisermos, quando executarmos o trabalho de geração dos metadados, poderemos ver aqui todas as informações sensíveis, certo? Todas as diferentes informações que temos aqui. E, novamente, posso ver as evidências no

13:06 nível do arquivo e no nível do fragmento. Posso ver a pontuação de confiança. Assim, com o retorno da IA, o que o modelo retornou, não preciso adivinhar: “Está 100% confiante, 95% confiante”. Eis o motivo. Então, vocês podem ter bastante confiança no produto de dados preparado para IA que vão criar. Certo. E, por fim, o que podemos fazer para entrega e manutenção. Bem,

13:38 outra coisa muito importante é que, com nossa tecnologia de recorte de dados, temos workflows que podem ser configurados para seguir uma agenda e serem atualizados automaticamente. Queremos garantir que seu chatbot nunca fique desatualizado. Então, se novos registros — ou melhor, novos arquivos — forem adicionados ao SharePoint ou excluídos, vamos identificá-los automaticamente e adicioná-los, seguindo uma agenda definida, ao meu recorte de dados ou ao meu produto de dados preparado para IA. Depois, nosso SDK vai atualizar o chatbot, e, quando carregarmos o banco de dados vetorial, vocês sempre terão

14:09 os metadados mais atualizados. O que isso significa para a North River? Basicamente, eles conseguiram reduzir de quatro meses para alguns dias o trabalho de preparação dos dados. Conseguiram aumentar a utilização dos dados em IA. Aumentaram a precisão do chatbot porque não só conseguiram descobrir quais arquivos usar, mas também utilizar os metadados dos arquivos. Conseguiram injetá-los e usá-los no chatbot por meio do nosso SDK, certo? E outra coisa

14:40 que fizeram foi reduzir o risco de conformidade. Sabiam onde estavam todos os dados sensíveis e garantiram que eles não fizessem parte — que fossem todos filtrados — dos seus repositórios de dados. Certo, vou passar a palavra ao meu irmão de outra mãe, Leo, e ele vai falar sobre contexto. Isso mesmo. Oi, pessoal. Eu só queria basicamente mostrar o seguinte: tecnicamente, certo, vocês eliminam duplicatas nos dados e reduzem o espaço de busca,

15:10 certo? Vocês limpam os dados e os mantêm atualizados. O que isso significa na prática? Certo? Se olharmos para o espaço vetorial, quando vocês fazem uma pergunta, ela chega e vocês têm dados duplicados com a mesma informação ou talvez até uma versão diferente do documento, com informações conflitantes, certo? Pensem nas mensagens do Slack. Hoje, uma pessoa diz uma coisa; amanhã, outra diz outra, certo? A verdade muda com o tempo. Mas, se isso continuar na sua base de conhecimento, no seu espaço de busca,

15:42 seus principais K resultados estarão sempre cheios de informações praticamente irrelevantes, certo? Por exemplo, no DZ, algo considerado duplicado pode ser outro trecho de contexto — por exemplo, o banco de dados mudou e eu ainda posso usar essa informação — ou pode ser simplesmente redundante, e vamos removê-lo da base de conhecimento. O segundo ponto é parecido, pelo mesmo motivo de antes. Se suas informações estiverem antigas, certo? Se, de repente, você estiver trabalhando

16:12 com dados anteriores aos anos 2000, ou com informações que só eram relevantes na semana passada, mas não nesta semana, no futuro alguns casos de uso envolvendo agents em produção — vamos chamar de casos de uso de altíssimo risco — poderão ter efeitos prejudiciais. Fizemos muitas avaliações sobre o efeito de garantir que a qualidade dos seus dados não estruturados seja mantida, seja consistente e seja sempre

16:43 tratada de forma determinística e da mesma maneira, certo? E o que estamos vendo, essencialmente, é que, se o seu corpus bruto — vamos imaginar que você tenha mil arquivos e que 30% deles estejam desatualizados ou duplicados —, pode acontecer de até 80% do contexto que seu agent realmente usa para responder a uma pergunta estar preenchido com informações desatualizadas. Isso significa que ele, na verdade, usa 80% de

17:15 informações e conhecimentos completamente redundantes e inúteis, e isso precisa ser gerenciado. O que vimos é que, executando exatamente as mesmas tarefas — este é um chatbot RAG, não está executando uma tarefa real no Claude Code ou no Codex, por exemplo, uma tarefa de programação. Foi simplesmente uma avaliação de RAG multihop. E o que vimos é que, se olharmos para o recall@1, praticamente dobramos o recall e, no geral,

17:49 melhorar nossa precisão. Então, a conclusão de tarefas aumenta entre 10% e 15%. E por que isso é tão significativo? Isso é tão significativo porque não tem nada a ver com o caso de uso em que você está trabalhando. Isso é verdade independentemente do uso que você realmente faz dos dados. Certo? Porque, se você realmente sabe para que quer usar seus dados, pode aplicar relevância e outras dimensões de qualidade dos dados, certo? Mas duplicação e atualização são importantes em qualquer situação.

18:20 E ontem, certo, havia muitos tópicos de contexto, muitos sinalizadores de contexto por aqui. Eu queria fazer uma demonstração bem rápida de como usar o DZ SDK para preparar um repositório de contexto. Vou executar isso ao vivo. O que isso faz, essencialmente, é buscar todos os metadados que temos sobre um determinado site do SharePoint e, em seguida, contextualizar cada pasta desse site do SharePoint, além de

18:51 criar um índice de todas as pastas para que seu Claude Code, por exemplo, ou seu Codex nem precise olhar os arquivos individuais para descobrir o que procurar, mas simplesmente consulte o arquivo context.md. O que vocês estão vendo aqui é que, essencialmente, usando o DZY, vocês podem organizar arquivos de contexto e saber diretamente o que há exatamente em cada pasta, certo? Qual é a finalidade dela, certo? Quando

19:24 vocês querem usá-la. Por exemplo, esta é uma cópia idêntica do que tenho no SharePoint, mas agora, em vez de olhar estes 23 arquivos para descobrir se sequer devo consultar esta pasta, sei exatamente que tipos de documentos tenho, do que tratam, quais são os principais tópicos, quando usar esta pasta e quais são exemplos de perguntas. Então, estes são alguns dos tipos de casos de uso de hoje, certo? Como vocês podem usar o DZY em casos de uso como um chatbot RAG

19:56 ou usar o DZY para realmente melhorar o desempenho e reduzir, por exemplo, o custo de tokens dos seus agents. Mas, enfim, vou passar novamente para o Jeff para resumir toda esta apresentação. >> Obrigado, Leo. Certo, pessoal, estamos quase sem tempo. Nosso estande fica bem lá no fundo, perto do palco dois. Por favor, passem por lá e tragam os diferentes casos de uso que vocês têm. Ficaremos felizes em

20:27 conversar, fazer demonstrações ao vivo e falar sobre os desafios que vocês enfrentam com documentos não estruturados por aqui. Antes de irmos, só queremos avisar que fazemos POCs de uma semana. Ficaremos felizes em comprovar nossa tecnologia. Mais uma vez, tragam o problema de negócios que estão tentando resolver com IA, tragam alguns dados de exemplo, vários arquivos diferentes, e então poderemos gerar metadados para cada arquivo. Também podemos fazer um relatório completo de

20:57 sensibilidade dos seus dados e também um relatório de qualidade dos dados. Em seguida, mostraremos como podemos criar uma taxonomia completa com base nos seus casos de uso específicos e nos seus arquivos específicos. Com isso, pessoal, agradecemos por terem passado um tempo conosco. E, por último, só temos mais uma caixa destes chapéus, então passem por lá e peguem um. Estaremos lá no fundo. Obrigado, pessoal. Agradecemos.

Transcrição original

[00:00] All >> [music] >> right. Hey guys, let’s get going. Can everybody hear me? All good. Perfect. All right. My name is Jeff CS. I’m a staff customer engineer with DZ Labs. Um, as you can see from the slide, it says brought to you by Calibbra. Calibbra acquired DZ

[00:30] Labs last summer. Uh Calibbra is more of a data governance tool for structured and AI um agents and models. [snorts] So the gap that Calibbra had was we didn’t have unstructured and that’s really where uh DZ shines. So today uh with me is Leo Platzer. >> Yeah. Hi everyone. Uh I’m Leo. I was previously the CTO at DZ Labs which as Jeff has already mentioned was acquired last year by Calibbra. >> And you can see we’re both twins as well. We have our hats that we’re giving away at our booth as well. So come by

[01:02] and get them. First come, first serve. So today we’re talking about um how we can go from a stalled PC to production with DZ data curation. So really focus on unstructured data. So our demo scenario I typically talk about is a manufacturing uh company, North River Manufacturing. You can see that you know there’s 40 40,000 employees. They operate in 20 different countries. Uh really what they’re trying to do is they have millions of documents in SharePoint. They’ve accumulated them over years and years and they need to

[01:34] figure out which ones are relevant for their chatbot. They’re invested heavily in AI to improve operational efficiency. And their big objective this year is they want to build a legal ops AI chatbot. Now what they want to do is they want to help the legal and procurement teams answer questions around supplier contracts, partnership agreements, and it’s going to be real time. So some of the questions they’re trying to answer or what are the termination clauses for a specific supplier? Um which agreements

[02:05] expire this quarter, which agreements expire next quarter, and what partnerships have u exclusivity terms. So some of the folks in the teams that we’ve been working with um is Sarah. She’s a head of data and AI. So she’s responsible for the accuracy. Um also there’s Jim. He’s the AI engineer. He just needs to know which files do I need? I have tons and tons thousands and thousands of files in SharePoint. I need to find just the relevant ones with no sensitivity.

[02:37] Priya is the head of knowledge management. She wants to make sure that no sensitivity is leaked. um and make sure that if there if there is specific data that’s uh classified that it gets redacted as well. Then there’s Michael. He’s a director of legal ops. He needs a chatbot to deliver accurate responses to his team. So he’s from the business. And then finally there’s Jackson. So Jackson’s enterprise transformation uh lead and this is his flagship use case

[03:08] but also he has 15 other use cases that he needs to to deal with right so he wants to have a framework a repeatable successful process he doesn’t just want to do it for one time he wants to do it for multiple different use cases so what they’re able to do so far they were able to take 40 around 40 different files pre-curated files and build a small little PC small little mini pilot

[03:39] where they can do uh parsing chunking OCR embedding and then put it in a vector database and a knowledge graph and they got pretty good responses right seems pretty easy you can do that with 40 files but when they try to do it with many many different files with 80,000 plus files. Right now a sudden it’s a little bit more challenging. And so some of the challenges they had were I can’t discover the files that I need. I don’t

[04:12] know where the sensitive data is in my on SharePoint. I can’t trust the quality of the data. So my background um I used to work at both Informatica and data bricks. So for me data quality is typically the six different dimensions of data quality. Completeness, conformity, accuracy. But when you deal with documents, it’s a little bit different. It’s I want to see is there duplicate information, conflicting information, right? Leo’s going to talk about he has a really good slide about

[04:42] showing why it’s so important and also the freshness of the data and also everybody’s talking about context, right? So what we want to do is when we tag the metadata, we want to use that in our chatbot in our vector database to make it more relevant, have better accuracy in the chatbot. So you can see some of the challenges that they had, right? They’re getting incorrect answers. There’s sensitive

[05:12] information that’s being leaked out in the chat bots. It takes a ton of time to go to production because they can’t find the files. is spending too much time looking for the files instead of writing code and doing things that they they really like to do, right? It’s difficult to maintain. I’m working with another telecommunications company and they have six to seven different SME and they’re trying to curate 20,000 HTML files and they can’t keep up, right? So, it’s very brittle, very difficult. And what we do is we provide the ability to automate this entire process.

[05:46] So over here now you can see they want to they want to try to access and leverage over 80,000 different files. So they went from 40 files to over 80,000 files. And really what they want to do is they want to find which files are relevant for their chatbot, which have high quality, which ones are up to date with knowledge. They don’t want to use a a version where the contract is is old and expired, right? and they want to enrich their chatbot with the metadata that they’ve tagged and of course they

[06:18] don’t want any sensitive data and so what we do over here is we provide the ability to do that right we can access the data um over here we can understand what the data is we can figure out which files are relevant do the OCR the chunking and things like that so let me show you a little a brief demo So over here you see in SharePoint much like what North River has they have a whole SharePoint site full of different

[06:49] you know there’s call transcripts there’s PDFs there’s excel there’s word documents and I they don’t know which ones are relevant which ones are focused around legal now over here when we look at DZ we’ve already opened up the application right here and I can see you know I’ve already ingested 339 files and now I can see both the uh page page level or chunk level as well as a file level. I can see all the information right here. And then over here, this is what we call

[07:20] a texonomy. Taxonomy is a grouping of tags or a tagging tree. So I’ve ingested the 339 files. And now I can either manually create a userdefined tag. I can leverage tags that are reusable for my tag library or I can leverage AI to autosuggest what tags I should even have. Right? I can leverage AI to say you these are the tags are relevant. So here I just type in my tag name data document categorization give it a prompt and this prompt is what we’re going to send to the LLM to

[07:51] determine is this file how should we tag this file now if I know what I’m looking for I can put in the classification values it’s optional and again if I can leverage AI to autosuggest all these tags for me now also the other thing to point out if I have my uh my taxonomy here, my valid values um already. I can upload them through a CSV. And so once once we do this now, I can see I started to build this this tagging tree. Now the other

[08:23] thing I can do is I can have conditions on my tagging tree. So remember I said I only want legal and contracts. That’s what they’re looking for. Now what I can do is I can have have um subtagging. So only legal and contract files. I want to pull out more data around the contract type. Is it a supplier contract? Is it part of an NDA? Right? Is it materials and and time contract?

[08:53] And now what we can do when we add this, you can see we have different branches in our tagging tree. And I could have um unconditional tags as well. I can have any number of different tags. Now, what we’re doing is we’re going to generate the metadata. So, I choose what files I want. I can choose what tags I want. I can say generate metadata. And we’ll run this. And you’ll see the results over here. So now I can see the document category.

[09:24] I can hover my mouse. There’s engineering documents. There’s my contracts and legal, right? I have 68 different files. And if I click on any of those, it automatically filters for me. Now I can also see the evidence. Why did AI tag this? Where in the document did it find evidence that it’s a legal contract? Right? And I can also do thumbs up and thumbs down. So there’s fshot learning as well. So I can give it an example if I want to. Now you can

[09:55] notice I also have filters. So I have two different filters. I quickly went from 339 files down to 20 files. So, we also have the ability to scan for sensitivity as well. So, whether it’s PII, PHI, um could be anything. I was in uh in London at a Gartner conference uh a couple months ago and there was some folks from Finland that came up and they wanted to know, you know, can we find Finnish national ID? I don’t speak Finnish. So, I put it in there. I did

[10:27] this demo and not only can we do AI based, we can do patternbased with context and it ended up figuring out the the reax um syntax for me, but it also added some Finnish words which I thought were probably associated with Finnish national ID. So, it’s going to be less false positives as well. All right, let me keep going here. So the other thing we can do is we can do quality. So again for us we have a

[10:59] dashboard in here for quality where we can go through and see what are the different groupings for um for duplication for conflicting information. Um and then we’ll we’ll leverage AI to auto suggest which ones to keep. Now the other thing we can do too is again for freshness we can say I only want files within x number of days or within a specific date range and then the last thing we can do for data quality is you know here’s the the pieces of metadata

[11:30] that I absolutely have to have and then what we’ll do is we’ll figure out you know of the 339 files maybe you really need 200 files and then from there you can create a data slice and then we can also give it context as uh over here. So I’ll go through one more video and we also have a live demo for you that Leo is going to be doing in a second. So in this case now what I can do is I can I can leverage a a data slice. So my data slice could be filtered based on the specific criteria

[12:03] that I want. So in this case I have 14 files. These are only the files that are relevant for legal. And now what I’m doing is I’m copying my use case description. What I can do is I can say here’s what I’m trying to build and I can either do a flat uh tonomy or multiple layer levels in my tagging tree and then over there when I run it it’s going to autosuggest these tags for me. There’s human in the loop so I can choose which ones I like, which ones I want, which ones are relevant. But again, it’s all done for me based on

[12:35] what I’m trying to do. We gave it context and based on the content of the files themselves. And then over here it even builds out the classification values for me. And then if we want when we run when we generate the metadata we’re the job now we can see over here’s all the sensitive information right here’s all the different information that we have over here. And then again I can see the evidence at

[13:06] the file level and the chunk level. I can see the confidence score. So coming back from from AI what the model return I don’t have to guess you know it’s 100% confident 95% confidence. Here’s why. So you can have very a lot of confidence in the the um AI ready data product that you guys are going to be building. All right. And now finally what we can do uh for delivery and maintenance. So you know

[13:38] one other thing that that’s really important is with our data slice technology we have workflows where you can put on a set schedule so it’s auto refreshed. So we want to make sure that your chatbot never gets stale. So if there’s new records or sorry new files that get added to SharePoint or deleted, we’ll automatically pick those up and add those on a set schedule to my um uh to my data slice or my AI ready data product and then our SDK will pick that up in the chatbot and then when we load the Victor database, you’ll always have

[14:09] the most freshest uh metadata. So what’s it mean for North River? So basically they were able to go from four months of data prep work to down a days. They were able to increase their data utilization for AI. They increase their chatbot accuracy because they not only were able to figure out which files to use but also the metadata from the files. They were able to inject that and leverage that through our SDK in their chatbot. Right? And then the other thing

[14:40] they did was they reduced their compliance risk. they knew where all the sensitive data is and they made sure that they were not part of they were all filtered out in their u data stores. Okay, so I’m going to turn it over to my brother from another mother, Leo, and he’s going to talk about um context. Yeah. Hi everyone. Um I just wanted to basically like give this so what right technically okay you dduplicate your data, you reduce your search space,

[15:10] right? you clean it up, you have it fresh. What does it actually mean? Right? So, if we were looking at the vector space, right, when you ask a question, it comes in and you have duplicated data with the same information or potentially even a different version of the document with conflicting information now, right? Think of your Slack messages. Today, a person says this, tomorrow a person says that, right? The truth changes over time. If it ch if it stays however in your knowledge base in your search space

[15:42] your top K will always be full of pretty much irrelevant information right so in DZ for example something which is considered duplicative is either another piece of context like your database has changed and I can actually use it or it is simply redundant and we will remove it from the knowledge base. The second piece is like same as same reason as before. If your information is old, right? If you suddenly are working

[16:12] with data from before the 2000s, if you’re working with information which was only relevant last week is not relevant this week, in the future some of the use case when agents actually get into production for let’s call it the most high stakes use cases that has detrimental effects. And we have done um a lot of evaluation around what is the effect of making sure that your unstructured data quality is maintained, is consistent and is always

[16:43] handled deterministically in the same way, right? And what we’re essentially seeing is that if your raw corpus, okay, let’s imagine you have a thousand files and 30% of your files are stale or duplicative, it can happen that up to 80% of your actual context your agent uses to answer a question is filled up with stale information. which means like it actually uses 80% of

[17:15] completely redundant useless information and knowledge and this has to be managed. Um what we have seen is that by running on the exact same tasks. So this is a rack chatbot. It’s not um running an actual like let’s say cloud code task or codeex on a coding task. It was simply like multihop rag evaluation. And what we saw is that if we look at recall one like I mean we pretty much double uh the recall um and overall

[17:49] improve our accuracy. So like task completion by between 10 and 15%. And why is this so significant? This is so significant because this has nothing to do with the use case you’re working with. This is true independent of what you’re actually using the data for. Right? Because if you actually know what you want to use your data for, you can apply relevancy and all not other data quality dimensions, right? But duplication and freshness is true no matter what.

[18:20] And yesterday, right, there is a lot of context topic, a lot of context flags around here. Um, I wanted to give a very very quick demo on how you would use the DZ SDK to prepare a context repository. And I’m going to run this live. So what this is doing is essentially it’s going to fetch all of the metadata we have about a given SharePoint site and we will then contextualize each folder within that SharePoint site as well as

[18:51] create an index over all folders so that your claw code for example or your codeex does not even have to look at the individual files to figure out what to look for but simply looks at the context MD file. So what you’re seeing here is essentially really by using DZY you can curate context files where you are directly aware what exactly is within each folder right what is its purpose right when do

[19:24] you want to use it so for example this is one to one the mirror of what I actually have in SharePoint but now instead of actually looking at these 23 files figure out whether I even should look at this folder. I know exactly what document types I have, what it is about, what are the key topics, when to use this folder, and what are example questions. So this is how this is all the kinds of use cases today, right? How you can use the easy for use cases like your rack

[19:56] chatbot or use the easy to actually improve the performance and reduce, for example, the token cost for your agents. Um, but yeah, basically I’ll move over to Jeff again to summarize this whole presentation. >> Thanks, Leo. All right, so guys, um, we’re almost out of time. Our booth is way in the back by stage two. Please come by, bring any different use cases that you guys have. Um, we’re happy to

[20:27] have discussions, do live demos, um, talk about what your challenges are around unstructured documents. um over here. Um before we leave, just want to let you guys know we have oneweek PC’s. So, we’re happy to prove our technology. Uh again, you know, you guys bring your your business problem. Um you’re trying to solve with AI, bring some sample data, a bunch of different files, and then what we can do is we can get generate metadata for each different files. Um we could get a full

[20:57] sensitivity report on your on your data, data quality report as well. and then we’ll show you how we can build a full tonomy based on your specific use cases, your specific files. So with that, everybody, appreciate you guys spending time with us. And lastly, we only have one more case of these hats, so come on by and grab them. So we’ll be out in the back. Thanks, guys. Appreciate you.