Esta pequena IA de 0,8B lê documentos melhor que o OCR?

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: This Tiny 0.8B AI Reads Documents Better Than OCR? · Canal: Prompt Engineer 48 · 05:53 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Modelos locais e open source, Modelos multimodais, RAG, busca e recuperação de informação

Resumo

O vídeo compara o LightOnOCR 3 de 0,8B com o Tesseract 5.4 em cinco tipos de documentos, usando uma RTX 4060 de notebook com 8 GB de VRAM. O modelo foi melhor em notas manuscritas, tabelas, faturas e gráficos, preservando a estrutura e extraindo dados com precisão; em páginas de pesquisa, também representou equações em LaTeX. Porém, o processamento foi extremamente lento no notebook: uma página levou cerca de 1.960 segundos, e o desempenho publicado pelo projeto foi medido em uma H100 com vLLM. A conclusão é que o modelo pode ser útil para converter documentos em texto estruturado quando executado em uma GPU de servidor, enquanto o Tesseract continua adequado para extração rápida de texto simples.

Pontos-chave

O LightOnOCR 3 é um modelo de visão e linguagem que transforma imagens de páginas em Markdown e tabelas HTML.
O modelo de 0,8B foi testado localmente com uma RTX 4060 de notebook com 8 GB de VRAM.
O teste cobriu nota manuscrita, tabela, fatura, página de artigo de pesquisa e gráfico.
O Tesseract perdeu a estrutura das tabelas e desorganizou itens de uma fatura, enquanto o LightOnOCR preservou essas relações.
No teste da nota, o Tesseract confundiu o número 6 com o símbolo de arroba; o LightOnOCR transcreveu os dados corretamente.
O modo grounding retorna rótulos e caixas de posição para blocos como título e tabela.
O LightOnOCR levou de 19 a cerca de 1.960 segundos por página no notebook, muito mais que o Tesseract.
A velocidade de 4,78 páginas por segundo citada no blog foi obtida em uma H100 com vLLM e não foi reproduzida pelo autor.
O modelo de 4B não foi testado porque não cabe em 8 GB de VRAM usando BFloat16.
O Tesseract segue sendo uma opção adequada para extrair texto simples e rapidamente de digitalizações limpas.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do LightOnOCR 3	O autor apresenta o modelo de 0,8B e explica que vai compará-lo ao Tesseract em cinco tipos de documentos.
01:35	Benchmark e configuração local	O vídeo contextualiza os resultados publicados e descreve a execução local em uma RTX 4060 com 8 GB de VRAM.
03:14	Testes com tabelas, faturas e documentos	O autor compara os resultados do modelo e do Tesseract em tabelas, faturas, páginas de pesquisa e gráficos.
04:51	Velocidade e recomendações de uso	O autor relata a lentidão no notebook, explica os limites da comparação de velocidade e indica quando usar cada solução.

Citações

O Tesseract me deu uma linha de texto sem estrutura. — 00:00

Isto não é um modelo de chat. É um leitor de documentos. — 01:04

Isso dá mais de meia hora para uma página. — 04:51

A precisão é ótima, mas a velocidade em um notebook como o meu não é utilizável. — 05:21

Conceitos e entidades

LightOnOCR 3 (modelo): Modelo de visão e linguagem para leitura de documentos, apresentado em tamanhos de 0,8B, 1B e 4B.
Tesseract 5.4 (ferramenta): OCR open source usado como referência para comparar extração de texto e velocidade.
OLMo CR bench (conceito): Benchmark citado no vídeo para comparar o desempenho de modelos de leitura de documentos.
Infinity Parser Pro (modelo): Modelo de 35,1 bilhões de parâmetros que aparece acima do LightOnOCR na classificação mencionada.
Surya (modelo): Modelo que aparece na comparação de resultados do benchmark.
Transformers (ferramenta): Biblioteca cuja versão 5.5.4 ou posterior é indicada para executar o modelo.
vLLM (ferramenta): Ferramenta usada na avaliação de velocidade citada pelo blog, executada em uma GPU H100.
RunPod (empresa): Serviço de GPUs mencionado pelo autor como opção para alugar recursos de computação.

Tradução completa (pt-BR)

00:00 Esta é uma tabela, e isto foi o que um modelo de 0,8 bilhão de parâmetros me devolveu a partir dela. Cada número, cada coluna, como uma tabela HTML de verdade. A mesma imagem, o mesmo laptop. O Tesseract me deu uma linha contínua de texto. Aqui, estou usando uma RTX 4060 de 8 GB, e o modelo ocupa 1,7 GB. Testei cinco tipos de documentos e, em um deles, o OCR antigo transformou seis ovos em arrobas de ovos. Fique por aqui, porque o número de velocidade no final não foi o que eu esperava. Então, este é o Light on OCR 3, e ele foi lançado

00:33 em 8 de outubro. Há três tamanhos: 0,8B, 1B e 4B. E você pode ver aqui que a licença é Apache 2.0, então você pode usá-lo no trabalho. Agora, o que o diferencia do OCR normal é que este é um modelo de visão e linguagem. Você fornece a imagem de uma página, e ele a reproduz em markdown, com tabelas em HTML. E, se você enviar uma única palavra como prompt de grounding, ele também fornece um rótulo e uma caixa para cada bloco, com coordenadas de 0 a 1.000. Então, texto, título, tabela, gráfico, fórmula, cada um

01:04 com sua posição. Vale lembrar que o model card diz que apenas estes dois prompts são aceitos: vazio ou grounding. Qualquer outra coisa está fora da distribuição. Portanto, este não é um modelo de chat. É um leitor de documentos. Agora, quanto à afirmação sobre o OLMo CR bench, o blog diz que o modelo 0.8B tem pontuação de 85,5, e o 4B, de 86,3. E você pode ver aqui que o 4B é apenas 0,8 ponto melhor, apesar de ter cinco vezes o tamanho. Mas espere, olhe para a primeira linha.

01:35 O Infinity Parser Pro tem pontuação de 87,6 e 35,1 bilhões de parâmetros. Então, este não é o melhor modelo. É o melhor modelo pequeno desta lista, à frente do Surya, com 83,3, e do Mr. OLMo CR, com 81,9. E mais uma coisa: estes são os números dos próprios desenvolvedores. Eles também dizem que mudanças simples de normalização de texto podem alterar as pontuações de forma perceptível. Então, considere 85,5 como uma referência, e foi por isso que fiz meu próprio teste. Agora, para executá-lo, vale lembrar que tudo aqui está no meu sistema local.

02:06 Esta é a GPU de laptop RTX 4060 com 8 GB. O model card diz que você precisa do Transformers 5.5.4 ou posterior. Então, criei um ambiente novo e instalei essa versão. Uma coisa que precisei fazer primeiro: minha GPU já estava usando 7,5 GB por causa de dois processos do llama. Então, encerrei esses processos e, assim, liberou espaço. Carreguei o modelo em BFloat16, e ele levou 5,5 segundos para carregar e ocupou 1,71 GB de VRAM. Como referência, usei o Tesseract 5.4, o padrão de OCR open source

02:38 As mesmas cinco imagens foram enviadas para os dois. Eu mesmo gerei as imagens, então sei qual é a resposta correta para cada palavra. Já aviso que o exemplo de escrita à mão usa uma fonte que imita escrita à mão, não uma caneta de verdade, então tenha isso em mente. Teste um: a nota com estilo manuscrito. O Tesseract retornou: “árvores com o Gigan 2K Abasmati rice e aquele ovos em um litro de leite”. Ele leu o número seis como o símbolo de arroba duas vezes. Então, até o horário da ligação virou “@ p.m.”. O Light on OCR acertou todas as linhas: 2 kg, 6 ovos, 6 p.m., sala 204.

03:14 Teste dois: a tabela. O Tesseract acertou os números, mas você pode ver que são apenas linhas de texto; as colunas desapareceram. O Light on OCR retornou uma tabela HTML de verdade, com a linha de cabeçalho, e todos os 15 números correspondem. A linha do total é 4.985, que está correta. Agora, no modo grounding, ele também me diz que o título está nesta caixa e que a tabela está nesta caixa. E você pode ver que a caixa da tabela se alinha com a tabela real na imagem. Teste três: a fatura. Foi aqui que achei que o Tesseract se sairia bem, e o

03:46 texto está todo lá, mas olhe a ordem. A coluna de itens, depois QRD, depois bill two, e então os valores. Os itens da fatura ficam separados, então não dá para saber qual preço corresponde a qual serviço. O Light on OCR manteve junto o bloco da fatura e a tabela de itens, com cada linha intacta. Horas de computação de GPU: US$ 41,2048; e o total é US$ 202,96, GST de US$ 30,96, e a conta bancária e o código IFSC estão exatos. Para qualquer coisa que vá para a contabilidade, essa é a diferença.

04:18 Teste quatro: uma página de artigo de pesquisa com duas colunas. O Tesseract se saiu bem aqui. O texto está na ordem correta, mas a equação saiu como QK {ponto de interrogação} T. O Light on OCR a escreveu em LaTeX, como softmax de QK transposto dividido pela raiz quadrada de D, e os títulos viraram cabeçalhos markdown de verdade. O teste cinco é aquele pelo qual eu estava esperando: o gráfico. O Tesseract encontrou o título, o número 85% e o modelo D. Só isso. O Light on OCR me forneceu uma tabela com os dados do gráfico: modelo A, 62; B, 71; C, 78; D

04:51 85. Ele leu as alturas das barras. E lembre-se: este não é o modelo 4B, é o 0.8B. Agora, o número da velocidade. O Tesseract levou menos de 1 segundo e meio por página no meu laptop. O Light on OCR levou 19 segundos para a nota, 131 para a tabela, 454 segundos para a fatura e cerca de 1.960 segundos para a página do artigo. Isso dá mais de meia hora para uma página. E essa é a resposta honesta no Windows.

05:21 Algumas camadas do modelo recorrem ao PyTorch puro porque os kernels rápidos não estão instalados. O blog informa 4,78 páginas por segundo para o modelo 0.8B, mas isso foi em uma H100 com vLLM. Não consegui reproduzir esse resultado aqui, então não vou afirmar que consegui. Também não pude testar o 4B. Ele não cabe em 8 GB em BF16. Então, a precisão é ótima, mas a velocidade em um laptop como o meu não é utilizável até que você o execute em um servidor adequado. Então, quem deveria usar isso? Se você precisa transformar tabelas, faturas ou gráficos em texto estruturado e consegue executá-lo em uma

05:53 GPU com vLLM, ele substitui boa parte do pipeline. Se você precisa de texto simples e rápido a partir de digitalizações limpas em uma CPU, o Tesseract ainda é a melhor opção. Se está procurando GPUs baratas e confiáveis, eu uso o RunPod, e o link está na descrição. Então, esse foi o Light on OCR 3 em cinco documentos. Conte nos comentários com que tipo de documento devo testá-lo a seguir, e nos vemos em outro vídeo.

Transcrição original

[00:00] This is a table, and this is what a 0.8 billion parameter model gave me back from it. Every number, every column as a real HTML table. Same image, same laptop. Tesseract gave me a flat line of text. It’s an 8 GB RTX 4060 here, and the model takes up 1.7 GB. Now, I tested five types of documents, and on one of them, the old OCR turned six eggs into at eggs. Stick around because the speed number at the end is not what I expected. So, this is Light on OCR 3, and it came

[00:33] out on October 8th. There are three sizes: 0.8B, 1B, and 4B. And you can see here that the license is Apache 2.0, so you can use it for work. Now, what’s different from normal OCR is that this is a vision language model. You give it a page image, and it writes the page back as markdown with tables as HTML. And if you send a single word grounding as the prompt, it also gives you a label and a box for every block with coordinates from 0 to 1,000. So, text, title, table, chart, formula, each

[01:04] with its position. Mind you, the model card says only these two prompts, empty or grounding, are supported. Anything else is out of distribution. So, this is not a chat model. It is a document reader. Now, the claim on OLMo CR bench, the blog says the 0.8B model scores 85.5, and the 4B scores 86.3. And you can see here that the 4B is only 0.8 points better at five times the size. But hold on, look at the top row.

[01:35] Infinity Parser Pro scores 87.6, and it’s 35.1 billion parameters. So, this is not the best model. It’s the best small one in this list, ahead of Surya at 83.3 and Mr. OLMo CR at 81.9. And one more thing, these are the developers’ own numbers. They also say simple text normalization changes can move scores noticeably. So, treat 85.5 as a guide, and that is why I made my own test. Now, for running it, mind you that everything here is on my local system.

[02:06] This is the RTX 4060 laptop GPU with 8 GB. The model card says you need Transformers 5.5.4 or later. So, I made a fresh environment and installed that. One thing I had to do first, my GPU had 7.5 GB already used by two llama processes. So, I stopped those, and then it had room. I loaded the model in BFloat16, and it took 5.5 seconds to load and 1.71 GB of VRAM, and the baseline is Tesseract 5.4, the standard open-source

[02:38] OCR. Same five images go to both. The images are ones I generated myself, so I know the right answer for every word. I’ll tell you now the handwriting one is a handwriting font, not a real pen, so keep that in mind. Test one, the handwritten style note. Tesseract gave “trees with the Gigan 2K Abasmati rice and that eggs in a liter of milk.” It read the number six as the at sign twice. So, even the phone call time became at p.m. Light on OCR gave me every line right, 2 kg, 6 eggs, 6 p.m., room 204.

[03:14] Test two, the table. Tesseract got the numbers right, but you can see that it’s just rows of text, the columns are gone. Light on OCR returned an actual HTML table with the header row, and all 15 numbers match, and the total row is 4,985, which is correct. Now, in grounding mode, it also tells me the title is at this box, and the table is at this box, and you can see the table box lines up with the real table on the image. Test three, the invoice. This is where I thought Tesseract would be fine, and the

[03:46] text is all there, but look at the order. The item column, then QRD, then bill two, then the amounts. The line items are split apart so you can’t tell which price belongs to which service. Light on OCR kept the bill to block together and the item table with each row intact. GPU compute hours $41.2048 and the total is $202.96, GST $30.96 and the bank account and IFSC code are exact. For anything that goes into accounting, that is the difference.

[04:18] Test four, a research paper page with two columns. Tesseract actually did well here. The text reads in the right order, but the equation came out as QK {question mark} T. Light on OCR wrote it as LaTeX, softmax of QK transpose over square root of D and the headings became real markdown headings. Test five is the one I was waiting for the chart. Tesseract found the title, the number 85% and model D. That’s all. Light on OCR gave me a table with the chart’s data. Model A 62, B 71, C 78, D

[04:51] 85. It read the bar heights. And remember, this is not the 4B model, this is the 0.8B. Now, the speed number. Tesseract took under 1 and 1/2 seconds for every page on my laptop. Light on OCR took 19 seconds for the note, 131 for the table, 454 seconds for the invoice and for the paper page about 1960 seconds. That’s over half an hour for one page. And that’s the honest answer on Windows.

[05:21] Some of the models layers fall back to plain PyTorch because the fast kernels aren’t installed. The blog reports 4.78 pages per second for the 0.8B, but that’s an H100 with vLLM. I could not reproduce that here, so I won’t claim it. Also, I could not test the 4B. It doesn’t fit in 8 GB at BF16. So, the accuracy is great and speed on a laptop like mine is not usable until you run it on a proper server. So, who should use this? If you need tables, invoices, or charts turned into structured text, and you can run it on a

[05:53] GPU with VLLM. This replaces a lot of pipeline. If you need fast, simple text from clean scans on a CPU, Tesseract is still the one. If you’re looking for cheap and reliable GPUs, I use RunPod, and the link is in the description. So, that’s light on OCR three on five documents. Tell me in the comments which document type I should break it with next, and I’ll see you in another one.