DeepSeek resolveu o problema de memória da IA

Autoria: Two Minute Papers · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: DeepSeek Solved AI’s Memory Problem · Canal: Two Minute Papers · 05:14 · Assistir no YouTube

Tópicos: Dados, bancos de dados e embeddings, Engenharia de prompts e contexto, Infraestrutura e hardware de IA, Modelos multimodais, Open source e ecossistemas de software

Resumo

O vídeo apresenta o DeepSeek OCR, uma abordagem que transforma documentos em imagens e os comprime em tokens visuais para reduzir o custo de armazenar informações. Segundo a transcrição, com compressão de 10× é possível recuperar mais de 96% do texto, enquanto em quase 20× a precisão do OCR cai para 60%. O sistema usa etapas de atenção local, compressão convolucional e processamento visual global para lidar com documentos de alta resolução. A técnica também pode gerar dados de treinamento em grande escala, mas testes indicam que o modelo talvez complete textos com base em padrões de linguagem, em vez de recuperar todo o conteúdo visual.

Pontos-chave

O DeepSeek OCR converte documentos em imagens e comprime essa representação em tokens visuais.
A compressão pode reduzir drasticamente o espaço ocupado por documentos.
Com compressão de 10×, o sistema recupera mais de 96% do texto; em quase 20×, a precisão do OCR cai para 60%.
O codificador combina atenção por janelas locais, um compressor convolucional de 16× e processamento visual global.
A arquitetura evita aplicar atenção completa a cada pixel: primeiro examina, comprime e depois processa o conteúdo.
O sistema pode gerar dados de treinamento para LLMs e VLMs a mais de 200 mil páginas por dia, usando uma GPU A100.
O OCR, por si só, não comprova que houve compressão real do texto; o modelo pode depender de padrões de linguagem para preencher lacunas.
O apresentador destaca o potencial da ferramenta para apoiar a criação de dados e de outros modelos open source.

Capítulos

Início	Capítulo	Resumo
00:00	A ideia de esquecer para economizar memória	O vídeo introduz o custo dos tokens e propõe comprimir documentos em imagens para reduzir o espaço necessário.
01:35	Compressão e recuperação de texto	O apresentador compara a técnica ao JPEG, relata resultados de recuperação de texto e questiona o que há de novo no método.
02:40	Como funciona o DeepSeek OCR	O vídeo explica a arquitetura do codificador, que combina atenção local, compressão convolucional e processamento visual global.
03:41	Geração de dados e limitações	O sistema é apresentado como ferramenta para gerar dados de treinamento em escala, mas o vídeo ressalta que o modelo pode recorrer a padrões de linguagem para completar trechos ilegíveis.
04:43	Encerramento e divulgação da Lambda	O apresentador destaca o potencial do sistema e promove a Lambda para executar experimentos e modelos.

Citações

E se a melhor maneira de uma IA se lembrar de um livro fosse parar de lê-lo? — 00:00

E se fizéssemos uma IA fazer isso também? — 00:30

O JPEG comprime pixels. Isto comprime memórias. — 02:40

Ela não examina cada pixel com atenção total. Primeiro examina, comprime e só então lê. — 03:11

Talvez não veja de verdade o texto que falta, mas adivinhe as palavras mais prováveis pelo contexto. — 04:13

Conceitos e entidades

DeepSeek OCR (modelo): Sistema apresentado no vídeo que transforma documentos em representações visuais comprimidas e pode reconstruir seu texto.
DeepSeek (empresa): Empresa cujos pesquisadores são apresentados como responsáveis pelo trabalho discutido.
OCR (conceito): Reconhecimento óptico de caracteres que converte conteúdo de documentos, inclusive manuscritos, em texto.
JPEG (conceito): Método de compressão de imagens usado como comparação para explicar a compressão visual do sistema.
A100 (ferramenta): GPU citada como o hardware usado para gerar mais de 200 mil páginas de dados de treinamento por dia.
LLM (conceito): Tipo de modelo para o qual o sistema pode gerar dados de treinamento.
VLM (conceito): Modelo de linguagem com capacidade visual para o qual o sistema pode gerar dados de treinamento.
Two Minute Papers (empresa): Canal do YouTube que apresenta e comenta o trabalho no vídeo.
Karolis Jonaityte (pessoa): Apresentador identificado no vídeo como Dr. Karolis Jonaityte.
Lambda (empresa): Serviço promovido no encerramento do vídeo para executar experimentos com GPUs Nvidia.

Tradução completa (pt-BR)

00:00 E se a melhor maneira de uma IA se lembrar de um livro fosse parar de lê-lo? Veja, cada palavra que uma IA lê se transforma em tokens, e tokens são caros. Quanto mais longo o livro, mais a IA fica sobrecarregada. Mas nós, humanos, fazemos algo estranho. Não nos lembramos de tudo perfeitamente. Alguns detalhes desaparecem. Quanto mais velho o vovô fica, melhor ele era na escola. E os cientistas da Deep Seek fizeram a seguinte pergunta: “E se fizermos uma IA fazer

00:30 isso também?” Pedir à inteligência artificial que esqueça artificialmente. Mas que proposta maluca. Por que fazer isso? Como isso sequer faz sentido? Bem, vamos ver juntos. À medida que continuamos conversando com um sistema de IA, quanto mais tempo conversamos e quanto mais documentos anexamos, mais caro fica mantê-lo funcionando, porque ele precisa se lembrar de tudo. Agora, o Deep Seek OCR diz para não se preocupar. Vamos pegar essa grande sopa de informações, até mesmo texto, e renderizá-la como uma imagem,

01:03 e então comprimir essa imagem, um pouco como a compressão JPEG faz com imagens. Mas isso é aprendido e baseado em tokens. E agora esses dados são drasticamente menores. Mas isso ainda não faz muito sentido. Então, como isso é bom? Quer dizer, perdemos muitas informações, certo? Bem, segurem seus papéis, colegas acadêmicos, e vamos ver quanta informação perdemos com uma taxa de compressão de 10x, que descarta quase tudo e usa 90% menos espaço.

01:35 Isso é muita compressão. E o que isso pode significar? Podemos recuperar mais de 96% do texto. Isso é insano. Então, por que não ir um pouco mais longe? Bem, quando chegamos a uma compressão de quase 20x, a precisão do OCR cai para 60%. Uau. Eu esperava um resultado muito, muito pior. Certo, agora uma pergunta importante. Isso é realmente novo? Quer dizer, a princípio, fiquei um pouco confuso com este trabalho, porque é um

02:08 artigo despretensioso sobre OCR. Sim, ele faz OCR. Então, você fornece um documento, talvez até uma anotação manuscrita, e ele devolve o texto. Formalmente, ele recebe uma pequena quantidade de tokens visuais comprimidos e os transforma em uma quantidade muito maior de tokens de texto. Mas isso é só JPEG? Quer dizer, essa tecnologia tem mais de 30 anos. A ideia é boa, mas isso é só JPEG conectado a um sistema de IA? Bem, não exatamente. Há um monte de novidades aqui. Caros colegas

02:40 acadêmicos, este é o Two Minute Papers com o Dr. Karolis Jonaityte. Veja, o JPEG comprime pixels. Isto comprime memórias. Primeiro, essas memórias são transformadas em uma imagem e, depois, comprimimos essa imagem. Mas ainda não terminamos. Não, não, não. Nem chegamos perto. O principal truque de engenharia é que eles criaram um encoder feito para lidar com documentos de resolução muito alta sem que os custos explodam. Para isso, primeiro, ele

03:11 usa atenção em janelas locais. Segundo, um compressor convolucional de 16x. E terceiro, faz processamento visual global. Certo, e o que isso significa? Bem, em outras palavras, ele não examina cada pixel com atenção total. Não: ele passa os olhos, comprime e só então lê. E aqui está algo brilhante. Quando conseguimos fazer isso a um custo baixo o suficiente, de repente, isso não se resume a lembrar dados

03:41 antigos. Espera, isso significa que ele não só consegue entender documentos, mas também ajudar a gerar novos dados? Sim. O artigo diz que ele pode gerar dados de treinamento para LLMs e VLMs a uma taxa superior a 200 mil páginas por dia, em uma única GPU A100, com velocidades razoáveis. Estamos entre colegas acadêmicos, então também analisamos as limitações. O próprio artigo diz que o OCR, por si só, não basta para provar uma verdadeira compressão de texto,

04:13 e um teste de estresse posterior sugere que o modelo pode depender muito de priors linguísticos, e não apenas da memória visual. Em outras palavras, quando a imagem fica comprimida demais, talvez ele já não consiga realmente ver o texto que falta, mas também adivinhe as palavras mais prováveis com base no contexto, um pouco como o preenchimento automático, só que melhor. No geral, isso é absolutamente fantástico. Não se trata apenas de um sistema aberto e gratuito para todos nós; ele também cria

04:43 dados de treinamento para ajudar outros modelos abertos a surgirem. Isso é absolutamente incrível. Que época para estar vivo. E não se esqueça: cada artigo de pesquisa leva a humanidade adiante. Mas o futuro pertence a quem o compreende. Talvez se inscreva e ative o sininho se tiver gostado. Costumo usar a Lambda para reproduzir artigos de pesquisa em IA, muitas vezes em questão de minutos. Também é ótima para treinar seus próprios modelos ou fazer fine-tune de um modelo existente. Execute inference ou geração de texto para

05:14 imagem ou vídeo, facinho. Executar um chatbot ou agent da Deep Seek é super-rápido e superconfiável. A Lambda oferece GPUs Nvidia poderosas para você fazer seus próprios experimentos. Testo ideias dos artigos que abordo e, momentos depois, tenho os resultados. Adoro. Sério, experimente agora em lambda.ai/papers.

Transcrição original

[00:00] What if the best way for an AI to remember a book is to stop reading it? You see, every word an AI reads becomes tokens, and tokens are expensive. The longer the book, the more the AI chokes on it. But, we humans do something strange. We don’t remember everything perfectly. Some details fade. The older grandpa is, the better he was at school. And scientists at Deep Seek asked the question, “What if we make an AI do

[00:30] that, too?” Asking artificial intelligence to do artificial forgetting. But, what a crazy proposition. Why would you do that? How does that even make sense? Well, let’s see together. As we keep talking to an AI system, the longer we talk, the more documents we attach, the more expensive it is to keep running because it has to remember everything. Now, Deep Seek OCR says not to worry. Let’s take this big soup of information, even text, and render it as an image,

[01:03] and then compress that image, a bit like what JPEG compression does to images. But, this is learned and token-based. And now, this data is drastically smaller. But, this still doesn’t make too much sense. So, how is that good? I mean, we lose a lot of information, right? Well, hold on to your papers, fellow scholars, and let’s see how much information we lose at 10x compression level that is throwing away almost everything and using 90% less space.

[01:35] That is a lot of compression. And what can that be? We can recover more than 96% of the text. That is insane. So, why not push it a bit further? Well, as we go up to nearly 20x compression, OCR accuracy falls to 60%. Wow. I expected much, much lower. Okay, now important question. Is this really new? I mean, at first I was a bit confused by this work because this is an

[02:08] unassuming paper about OCR. Yes, this does OCR. So, you give it a document, maybe even a handwritten note, and it gives you the text back. Formally, it takes a small amount of compressed vision tokens and turns them into a much larger number of text tokens. But, is this just JPEG? I mean, that technology is more than 30 years old. The idea is good, but is this just JPEG plugged into an AI system? Well, not quite. There is tons of new stuff here. Dear fellow

[02:40] scholars, this is Two Minute Papers with Dr. Karolis Jonaityte. You see, JPEG compresses pixels. This compresses memories. First, these memories are turned into a picture, and then we compress that picture. But, we are not done yet. No, no, no. Not even close. The key engineering trick is that they created an encoder that is built to survive very high-resolution documents without exploding in cost. To do that, one, it

[03:11] uses local window attention first. Two, a 16x convolutional compressor. And three, it does global visual processing. Okay, and what does that mean? Well, in other words, it does not stare at every pixel with full attention. No, it skims, it squeezes, and only then it reads. And here is something brilliant. Once you can do this cheaply enough, suddenly this is not just about remembering old

[03:41] data. Wait, does that mean that it can not only understand documents, but also help generate new data? Yes. The paper says it can generate training data for LLMs and VLMs at more than 200,000 pages per day on a single A100 GPU in sane speeds. Now, we are fellow scholars here, so we look at limitations, too. The paper itself says OCR alone is not enough to prove true text compression,

[04:13] and a later stress test suggests the model may rely heavily on language priors, not just visual memory. In other words, when the image becomes too compressed, it may not truly see the missing text anymore, but it also guesses the most likely words from the context, kind of like auto complete, but better. Overall, this is absolutely fantastic. This is not only an open system that is free for all of us, but it also creates

[04:43] training data to help other open models come into being. That is absolutely amazing. What a time to be alive. And don’t forget, every research paper pushes humanity forward. But, the future belongs to the ones who understand it. Perhaps, subscribe and hit the bell if you feel that you enjoyed this. I use Lambda to reproduce AI research papers often in minutes. It’s also great to train your own models or fine-tune an existing one. Run inference or text to

[05:14] image or video, easy peasy. Running a deep sea chatbot or agent, super fast, super reliable. Lambda gives you powerful Nvidia GPUs to run your own experiments. I test ideas from the papers I cover, and moments later, results. Love it. Seriously, try it out now at lambda.ai/papers.