Unstract: extraia dados de documentos não estruturados

Autoria: Data Science in your pocket · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Unstract : Extract Data from Unstructured Docs · Canal: Data Science in your pocket · 05:50 · Assistir no YouTube

Tópicos: Aplicações empresariais de IA, Dados, bancos de dados e embeddings, RAG, busca e recuperação de informação

Resumo

O vídeo apresenta o Unstract como uma ferramenta para extrair dados de PDFs, imagens, digitalizações e documentos manuscritos usando LLMs. Na demonstração, o apresentador faz perguntas em linguagem natural e obtém respostas e saídas estruturadas em JSON, inclusive a partir de um formulário preenchido à mão. A plataforma permite configurar diferentes LLMs e outros componentes, além de exibir informações como custo, tempo e tokens consumidos. Por fim, o vídeo mostra como criar um deploy da ferramenta como API e usá-la também em um pipeline ETL.

Pontos-chave

O Unstract extrai informações de documentos não estruturados, como faturas, PDFs, imagens e digitalizações.
O usuário descreve em linguagem natural o que deseja extrair.
A ferramenta pode gerar respostas estruturadas em JSON.
A demonstração inclui a extração de dados de um documento impresso e de um formulário parcialmente manuscrito.
É possível configurar diferentes LLMs e componentes, como um banco de dados vetorial.
A plataforma apresenta métricas de custo, tempo e tokens usados na extração.
O Unstract pode ser implantado como API e usado em um pipeline ETL.
O vídeo informa que a edição open source está disponível sob a licença AGPL.

Capítulos

Início	Capítulo	Resumo
00:00	O desafio de extrair dados de documentos	O apresentador descreve as dificuldades de extrair dados de PDFs, faturas e digitalizações com OCR baseado em modelos fixos.
01:03	Demonstração com um documento de cartão	A demonstração usa o Prompt Studio para extrair informações de um documento e obter respostas, incluindo um objeto JSON com dados de endereço.
02:35	Configurações e formulários manuscritos	O vídeo mostra opções de configuração e testa a extração em um formulário parcialmente preenchido à mão.
04:12	Saídas estruturadas e deploy como API	O apresentador demonstra respostas em formatos definidos e cria um deploy da ferramenta como API.
05:17	Uso da API e encerramento	O vídeo mostra o endpoint e um trecho de código para começar a usar a API, antes de recomendar a plataforma.

Citações

Você define o que quer extrair em linguagem natural e, pronto, obtém os resultados em segundos. — 00:31

Para o endereço do cliente, crie um objeto JSON simples com os seguintes campos: endereço completo, cidade e código postal. — 02:05

Não funciona apenas com PDFs impressos; também tem bom desempenho em documentos manuscritos. — 03:07

Agora você pode usá-lo como API ou em um pipeline ETL. — 05:17

Conceitos e entidades

Unstract (ferramenta): Plataforma demonstrada no vídeo para extrair dados estruturados de documentos não estruturados.
Unstract Cloud (ferramenta): Versão na nuvem do Unstract usada na demonstração.
Prompt Studio (ferramenta): Interface do Unstract apresentada para escrever solicitações e testar a extração de dados.
OCR (conceito): Tecnologia de reconhecimento de texto em documentos, citada no contexto das limitações de soluções baseadas em modelos fixos.
LLM (conceito): Modelo de linguagem usado pela plataforma para interpretar documentos e extrair informações.
JSON (conceito): Formato estruturado usado nas demonstrações para organizar os dados extraídos.
AGPL (conceito): Licença indicada no vídeo para a edição open source do Unstract.
ETL pipeline (conceito): Pipeline mencionado como uma das formas de usar o Unstract.
American Express (empresa): Emissora identificada pelo Unstract no exemplo de documento de cartão de crédito.

Tradução completa (pt-BR)

00:00 Olá, pessoal! Bem-vindos de volta ao Data Science in Your Pocket. Hoje vamos explorar uma ferramenta muito importante para ajudar você na sua jornada empresarial e no trabalho com documentos não estruturados. É muito difícil extrair dados de PDFs, faturas e digitalizações. Mesmo usando as melhores IAs, seja ChatGPT ou Claude, você encontrará alguns erros. Por que o OCR baseado em modelos falha quando os layouts mudam? Todos sabemos o motivo: ele funciona muito bem em uma das estruturas, mas

00:31 na outra simplesmente falha por completo. Hoje vou apresentar uma das melhores ferramentas para extração de dados não estruturados: a Unstract. Como o nome sugere, ela é usada por várias empresas e é ótima para usar LLMs na extração de JSON estruturado de documentos como PDFs, imagens e digitalizações. Você define em linguagem natural o que quer extrair e pronto: recebe os resultados em segundos. E pode usar qualquer LLM

01:03 e qualquer banco de dados vetorial que quiser. Toda a plataforma foi criada de modo que você possa conectar e usar várias opções. A edição open source é AGPL e também está disponível como um pipeline de API ETL. Vou começar mostrando como usá-la. Entrei na Unstract Cloud, e esta é a plataforma. Aqui está o Prompt Studio que temos agora, e este é outro documento disponível aqui. Como você pode ver, esse tipo de

01:34 de fatura que está vendo aqui. Esta foi a primeira pergunta que fiz: qual é o nome do emissor ou banco que emitiu este cartão de crédito? Aqui você pode ver que foram consumidos 4.700 tokens, o custo foi este e a extração foi Blue Cash, da American Express. Qual é o nome do cliente a quem pertence este extrato de cartão de crédito? Agora, vamos pressionar Enter e você verá que, em segundos, poderá obter a resposta. Joseph

02:05 Pollson. Assim, ela consegue fornecer as respostas exatas que você quer. Pode haver vários endereços no contexto fornecido. Primeiro, reúna todos os endereços. Para o endereço do cliente, crie um objeto JSON simples com os seguintes campos: endereço completo, cidade e CEP. Vou pressionar Enter para isso também. Vai demorar um pouco. E pronto, temos uma saída estruturada. O tempo gasto foi de apenas 3 segundos. E não é só

02:35 isso: não estamos usando apenas o GPT-4o. Você pode acessar esta seção e alterar várias coisas. Também pode mudar o LLM. Pode adicionar um novo perfil de LLM à sua escolha. Há também opções de sumarizador e vetor. Você também pode selecionar um LLM aqui. Desafio de LLM, dados personalizados, gramática, preâmbulo, pós-escrito, destaque: todos esses recursos estão disponíveis aqui, e o trabalho feito é impressionante. Também posso testar outros documentos. Vamos testar um formulário manuscrito. Eu

03:07 acho que, para documentos imprimíveis e PDFs impressos, é bem fácil, mas agora você pode conferir como funciona também com documentos manuscritos. Aqui você pode ver que o primeiro nome é um pouco difícil de ler. “Sou titular do cartão.” Há algumas datas. Metade foi preenchida à mão e metade está impressa. Vamos ver o que ela gera para nós. Qual é o nome do solicitante? Portanto, ela não funciona bem apenas com PDFs impressos e outros documentos: também se sai bem com documentos manuscritos e

03:40 isso pode ser muito útil na maioria das vezes para estruturar seus dados não estruturados. Talvez demore um pouco. Espere só um instante e você deverá conseguir uma resposta para este PDF também. Documento Cover 021. “Sou titular do cartão.” Como você pode ver, ela consegue extrair essa informação. Agora, você também pode extrair várias informações. Qual é a cidadania do solicitante? Responda com uma das seguintes opções: cidadão dos EUA, estrangeiro com residência permanente, estrangeiro sem residência permanente

04:12 ou cidadão dos EUA. Portanto, independentemente do texto escrito, ela consegue responder também no formato que você especificar. Crie um objeto JSON com as seguintes informações. Vamos pressionar Enter novamente. Ela começou a trabalhar. Também está fornecendo uma análise completa, com custo, tempo, tokens etc. Você também recebeu a saída desejada. É uma ótima ferramenta para todos usarem. E, além disso, como mostrei por último, ela também é independente do modelo. Você pode alterar várias coisas e implantá-la como uma API. Cliquei em “Implantar como API”, avancei, selecionei o projeto de exemplo “Cartão de crédito” e o nome da implantação da API é este. Vamos pressionar Enter. O mínimo e o máximo permitidos são 30 caracteres. Vou chamar de “test”. Próximo: configurações de ferramentas. Você pode ativar tudo aqui. Vou ativar esta opção. Estou usando a versão de avaliação gratuita do GPT-4 e criar

04:45 mostrou que era agnóstico ao modelo. Além disso, você pode alterar várias coisas e também pode implantá-lo como uma API. Clico em «Implantar como API» e prossigo. Projeto de exemplo de extração de dados de cartão de crédito. Nome da implantação da API do projeto: este. Vamos pressionar Enter. São permitidos de 1 a 30 caracteres. Vou chamá-lo de «test». Em seguida, configurações das ferramentas. Você pode habilitar tudo aqui. Vou habilitar isto. Estou usando a avaliação gratuita do GPT-4 LLM e criar

05:17 a implantação. Agora você pode usá-la como uma API ou um pipeline ETL. Veja a implantação da API. E aqui você pode ver que há um workflow; este é o endpoint da API, e você pode começar a usá-lo imediatamente. Se olhar o trecho de código sobre como usá-la, basta clicar aqui. Você pode informar seus dados. Há a chave da API, e também pode começar a usar a análise sintática. Portanto, esta é uma ótima plataforma empresarial para documentos não estruturados

05:50 e, meus amigos, esta plataforma é incrível. Você definitivamente deveria experimentá-la se trabalha com dados não estruturados. É isso. Espero que vocês experimentem. O link está na seção de comentários abaixo; cliquem nele e testem a ferramenta. Contem na seção de comentários o que acharam. Muito obrigado.

Transcrição original

[00:00] So hi everyone, welcome back to data science in your pocket and today we would be exploring a very crucial tool that would be helping you in your enterprise journey and with unstructured documents. The pain of pulling data out of PDFs, invoices, scans is big. Even if you use the best of the AIS, be chat, GPT or cloud, you’ll find certain errors in that. Why template based OCR breaks when layouts changes? We all know it because see on one of the structures it

[00:31] performs very well but on the other it just fails completely. So today I would be presenting you one of the best tools for unstructured data extraction that is unstruct as the name suggests it’s used by multiple enterprises and yes it’s great to use it use lms to extract structured JSON from document like PDF images and scan. You define what you want to extract in natural language and boom you get your results within seconds and use any LLM

[01:03] use any vector DB of your wish. The entire platform is built in such a way that you can plug and play multiple things. The opensource edition is AGPL and is available as an API ETL pipeline as well. So I’ll be starting off to show you how you can use it. I have signed into unstructed cloud and this is the platform that looks like this is a prompt studio that we have got right now and this is another document that is present here as you can see this kind of

[01:34] uh bill that you can see here so this is the first question that I’ve asked what is the name of the issuer or the bank who has issued this credit card and here you can see that token consumed was 4,700 cost was this and extraction was blue cash from enter American Express. What is the name of the customer to whom this credit card state belongs to? Now let’s hit enter and you’ll see within seconds you would be able to get your solution. Joseph

[02:05] Pollson. So it is able to give you exact replies as you want to have. So there might be multiple addresses in the context provided for you. First gather all addresses. For the customer address form a simple JSON object with the following fields. full address, city, zip. Let me hit enter for this also. This will take a while. And yes, there’s a structured output that we have got. Now, time consumed is just 3 seconds. And this is not just

[02:35] that you think that we are just using G40. You can go here. You can change out multiple things. You can change the LLM as well. You can add a new LM profile of your choice. You have summarizer vector also. So you can select an LM here too. LM challenge custom data grammar preamble post amble highlighting every single feature is present here and it’s crazy work done here. I can test you out with multiple other documents too. Handwritten form let’s test it out. I

[03:07] think for uh printable documents for printed PDFs it’s quite easy but here now you can need to check out how it works with handwritten documents too. Here you can see that the first name is a little difficult. I am a card holder. Some dates are present. It’s half uh filled by hand. Half is printed. Let’s see what it generates for us. What is the name of the applicant? So not just on printed PDFs and all. It performs well on handwritten documents also and

[03:40] which most of the time can be very helpful for you for structuring out your unstructured data. This is might taking a small while. Just wait for a while now and you should be able to get an answer for this particular PDF as well. Cover 021 document. I am a card holder. As you can see, it is able to extract that out. Now you can also extract out multiple things. What is citizenship of the applicant? Respond is one of the following. US citizen, PR alien, nonpr

[04:12] alien, US citizen. So even whatever is the text written it is able to answer in your format too. Form a JSON object with the following information. We’ll hit enter here again. Uh it has started working now. It it is also giving an entire analysis the cost time token etc. You’ve got the desired output here too. So quite a great tool for everyone to use. uh and not just that talking about the last thing as I

[04:45] showed it was model agnostic also you can change multiple things you can deploy it as an API too I click on deploy as API proceed sample credit card passing project API deployment name is this let’s hit enter minimum maximum 30 characters allowed let me name it as test next tool settings you You can enable everything here. Let me enable this. I’m using GP4 LM free trial and create

[05:17] the deployment. Now you can use it as an API or ETL pipeline too. View API deployment and yeah here you can see there is a workflow API endpoint is this and you can start using it ASAP. Now if you look at the code snippet how to use it just need to click here. You can mention your information. There’s the API key and you can get started with using the parsing here too. So this is a great platform for enterprise uh unstructured document

[05:50] generation and my friends this is a banger of a platform that you should definitely try out if you are into unstructured data arena. With this it’s a wrap. I hope you try it out. The link is in the comment section below and do click it out work on it. Let me know in the comment section how you feel about the tool. Thank you so much.