A nova arquitetura insana da DeepSeek

Autoria: Two Minute Papers · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: DeepSeek’s Insane New Architecture · Canal: Two Minute Papers · 05:00 · Assistir no YouTube

Tópicos: Infraestrutura e hardware de IA, Modelos de IA, Open source e ecossistemas de software

Resumo

O vídeo apresenta o DeepSeek 4.1 Flash, destacando sua velocidade, a compreensão nativa de imagens e resultados que superam alguns modelos em certos testes. Sua principal inovação é a técnica CSA2, que compartilha memória entre camadas e reduz bastante o tamanho do KV cache. Apesar da eficiência e do custo menor para executar localmente em comparação com o DeepSeek 4.0 Pro, o modelo tem mais de 500 bilhões de parâmetros e pode consumir muitos tokens ao pensar. O apresentador também comenta experimentos com reprodução de artigos de pesquisa e defende que a publicação de pesquisas abertas ajuda a reduzir o custo da IA.

Pontos-chave

DeepSeek 4.1 Flash é apresentado como um modelo muito rápido, com compreensão nativa de imagens.
Em alguns testes, o modelo supera Claude Opus 5 e Kimi K3, mas não em todos.
O modelo supera o DeepSeek 4.0 Pro de forma confiável, segundo o vídeo, e pode ser executado por cerca de um quarto do custo local.
A técnica CSA2 permite que diferentes camadas compartilhem memória.
O KV cache do modelo é descrito como 437 vezes menor que o do V1 e quatro vezes menor que o do DeepSeek 4.0 Flash.
Apesar da redução no custo de execução, o modelo tem mais de 500 bilhões de parâmetros e não é viável para o apresentador executar em casa.
DeepSeek 4.1 Flash tende a usar muitos tokens por pensar bastante.
O apresentador afirma que a publicação de artigos de pesquisa pela DeepSeek contribui para reduzir o custo da IA.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do DeepSeek 4.1 Flash	O apresentador destaca a velocidade do modelo, seus resultados em testes e a compreensão nativa de imagens.
01:04	CSA2 e memória compartilhada	O vídeo explica como a técnica CSA2 compartilha memória entre camadas e reduz o tamanho do KV cache.
02:50	Escala do modelo e experimentos	O apresentador observa que o modelo tem mais de 500 bilhões de parâmetros e compara resultados de reprodução de pesquisas.
03:52	Consumo de tokens e acesso a GPUs	O vídeo comenta o alto consumo de tokens, o uso de APIs e GPUs, e o papel da pesquisa aberta em tornar a IA mais barata.

Citações

É incrivelmente rápido. — 00:00

Eles chamam essa técnica de CSA2, e finalmente estão no caminho certo. — 01:39

As camadas compartilham as memórias. — 02:14

O DeepSeek 4.1 Flash gosta de pensar bastante e consome muitos tokens. — 03:52

Ciência aberta em primeiro lugar. — 04:26

Conceitos e entidades

DeepSeek V4.1 Flash (modelo): Modelo apresentado no vídeo por sua velocidade, compreensão de imagens e arquitetura com memória compartilhada.
DeepSeek V4 Pro (modelo): Modelo que, segundo o vídeo, é superado de forma confiável pelo DeepSeek 4.1 Flash.
DeepSeek V4 Flash (modelo): Versão anterior usada como comparação para o tamanho do KV cache.
CSA2 (conceito): Técnica descrita no vídeo que permite compartilhar memória entre camadas da rede.
KV cache (conceito): Memória que armazena contexto durante o processamento e cujo tamanho pode exigir muita VRAM.
Claude Opus 5 (modelo): Modelo citado como referência que o DeepSeek 4.1 Flash supera em alguns testes.
Kimi K3 (modelo): Modelo citado na comparação de resultados em alguns testes.
GPT-6 Astra (modelo): Modelo que, no experimento relatado, reproduziu muito bem um artigo sobre estruturas em favo de mel.
Opus 5.1 (modelo): Modelo que apresentou resultados de física considerados fortes, mas resultados de renderização menos impressionantes.
Lambda (empresa): Serviço mencionado pelo apresentador para executar experimentos de IA usando GPUs Nvidia.

Tradução completa (pt-BR)

00:00 O novo DeepSeek chegou. 4.1 Flash, e uau. Olha só. É incrivelmente rápido. E também fiquei impressionado com isto. Olha, ele consegue superar Claude Opus 5 e Kimi K3 em alguns testes. Não em todos. Vamos ver. Mas há uma ressalva. Vou mostrar no final. Ele também supera de forma consistente o DeepSeek 4.0 Pro, o que é uma grande surpresa. Quer dizer, esse

00:31 sistema talvez custe 300 mil dólares para rodar localmente, e este pode ser executado por um quarto desse valor. Bem, ainda é muito dinheiro, mas a tendência é inegável. Talvez isso rode no nosso bolso daqui a um ano. Ele também tem compreensão visual nativa. Então, finalmente, você pode dar a ele imagens de um menu icônico de jogo e pedir que escreva um jogo que o reproduza. Vou contar mais sobre meus outros experimentos no final. E isso é enorme e pequeno ao

01:04 mesmo tempo. Como? Bem, preparem-se, caros colegas acadêmicos. É pequeno por causa do cache KV. Ele armazena o contexto e é 437 vezes menor do que o V1 era há três anos. Mas também é quatro vezes menor do que o 4.0 Flash anterior. E isso foi há apenas alguns meses. E vocês o comprimiram em 4 vezes. O que é isso? Como fizeram isso? Sabemos? Sim, sabemos. Caros colegas acadêmicos, este é o Two

01:39 Minute Papers com o Dr. Károly Zsolnai-Fehér. Por quê? Porque este é um modelo open source e há um artigo de pesquisa gratuito que explica [música] isso. Não sou especialista, sou apenas um estudante, mas vou tentar explicar. Eles chamam essa técnica de CSA2 e finalmente estão no caminho certo. Veja, uma rede neural é composta por muitas camadas de neurônios e, à medida que a informação se propaga por essas camadas, cada uma delas tem sua própria memória KV. Mas não aqui. O DeepSeek 4.1

02:14 Flash finalmente nos oferece memória compartilhada entre as camadas. Nem todo mundo precisa se lembrar de tudo. Não. Elas compartilham as memórias. [limpa a garganta] É um pesadelo fazer isso funcionar bem, porque diferentes camadas precisam de perspectivas diferentes do mesmo histórico. E, se abrirmos o capô e olharmos mais de perto, uau, olhem: uma estrutura encoder-decoder. O encoder cria uma memória global compartilhada, e o decoder lê dela. E tudo isso é o que finalmente nos dá um

02:50 cache KV muito menor, que é a ruína da minha existência, porque precisa de muita VRAM. Um avanço incrível. Agora, também disse que isso é enorme: mais de 500 bilhões de parâmetros. Então, não tenho a menor chance de rodar isso em casa. E, quando tentei reproduzir este belo artigo sobre estruturas em favo de mel, GPT-6 Astra acertou em cheio. Absolutamente impressionante. Uau.

03:21 Opus 5.1 não foi tão impressionante, mas a física é bastante formidável. A renderização, nem tanto. Agora, este aqui. Bem, ainda precisamos de mais alguns artigos para chegar a esse nível, mas isso vai acontecer. Disso, tenho certeza. E veja, estou aqui para mostrar a verdade, não apenas acreditar nas manchetes. Agora, como o YouTube parou de recomendar meus artigos sobre simulações de física, o que parte meu coração, pelo menos posso mostrar isto, que me enche

03:52 de alegria. Inscreva-se e ative o sino para ver mais. Além disso, a ressalva: o 4.1 Flash gosta de pensar bastante e consome muitos tokens. Felizmente, não é tão caro, mas, nossa, são muitos tokens. Mas, se você tiver o hardware, pode rodar tudo isso de graça. Eu não tenho, então uso a API ou a lambda, mas, considerando que toda vez que DeepSeek publica um novo artigo, a IA fica mais barata para todos nós, muito obrigado por isso. Uma enorme contribuição para a

04:26 humanidade. Isso vai ajudar muitos médicos e cientistas a fazerem seu trabalho. Ciência aberta em ação. Que época para estar vivo. Uso lambda para reproduzir artigos de pesquisa em IA, muitas vezes em poucos minutos. Também é ótimo para treinar seus próprios modelos ou fazer fine-tuning de um modelo existente. Rode inference, ou geração de texto para imagem ou vídeo — moleza. Rodar um chatbot ou agent do DeepSeek: super-rápido, superconfiável. Lambda oferece GPUs Nvidia poderosas para você fazer seus próprios experimentos. Testo ideias dos

05:00 artigos que abordo e, momentos depois, tenho os resultados. Adoro. Sério, experimente agora em lambda.ai/papers.

Transcrição original

[00:00] The new DeepSeek is here. 4.1 flash and it is wow. Look at that. It is incredibly fast. And I was also stunned by this. Look, it can outperform Claude Opus 5 Kimi K3 on some tests. Not everything. We’ll see about that. But there is a catch. I’ll show you at the end. It also reliably outperforms DeepSeek 4.0 Pro, which is a huge surprise. I mean, that

[00:31] system costs maybe 300k dollars to run locally and this one can be run for a quarter of that. Well, that’s still a lot of money, but the tendency is undeniable. This might run in our pocket in a year’s time. It also has native visual understanding. So, finally, you can give it images of an iconic game menu and have it write a game that reproduces it. I’ll tell you more about my other experiments at the end. And this is huge and small at the

[01:04] same time. How? Well, now hold on to your papers, fellow scholars. It’s small because of the KV cache. This contains the context and is 437 times smaller than V1 was 3 years ago. But also four times smaller than the previous 4.0 flash. But that was just a few months ago. And you compressed it 4x. That is what? How did they do that? Do we know? Yes, we do. Dear fellow scholars, this is Two

[01:39] Minute Papers with Dr. Károly Zsolnai-Fehér. Why? Because this is an open model and there is a free research paper explaining [music] it. I am not an expert, just a student, but I’ll try to break it down. They call this technique CSA2 and they are finally onto something here. You see, a neural network is given by a lot of layers of neurons, and as information is propagated through these layers, each of them has its own KV memory. But, not here. DeepSeek 4.1

[02:14] Flash finally gives us shared memory between the layers. Not everyone has to remember everything. No. They share the memories. [clears throat] It’s a nightmare to pull off well, because different layers need different views of the same history. And if we pop the hood and look closer, hohoho, look, an encoder-decoder structure. The encoder creates a shared global memory, and the decoder reads from it. And all that is what finally gives us a

[02:50] much smaller KV cache, which is the bane of my existence, because it needs too much video RAM. Incredible leap forward. Now, I also said this is huge, more than 500 billion parameters. So, I have no chance to run this at home whatsoever. And when I tried to reproduce this beautiful honeycombing paper, GPT-6 Astra nailed it. Absolutely stunning. Ooh.

[03:21] Opus 5.1, not as stunning, but the physics is quite formidable. Rendering a bit less so. Now, this one. Well, we still need to get a couple more papers down the line to match that, but it will happen. Of that, I am certain. And you see, I am here to show you the truth, not just believe the headlines. Now, also, since YouTube stopped recommending my physics simulation papers, which breaks my heart, at least I get to show you this, which fills me

[03:52] with joy. Subscribe and hit the bell to see more. Also, the catch, 4.1 flash likes to think a lot and burns a lot of tokens. Fortunately, it is not that expensive, but man, that’s a lot of tokens. But, if you have the hardware, you get to run all this for free. I don’t, so I run it through the API or lambda, but given that every time Deep Seek publishes a new paper, AI gets cheaper for all of us. So, thank you so much for that. Huge contribution to

[04:26] humanity. This is going to help a lot of doctors and scientists do their work. Open science for the win. What a time to be alive. I use lambda to reproduce AI research papers often in minutes. It’s also great to train your own models or fine-tune an existing one. Run inference or text to image or video, easy peasy. Running a Deep Seek chatbot or agent, super fast, super reliable. Lambda gives you powerful Nvidia GPUs to run your own experiments. I test ideas from the

[05:00] papers I cover, and moments later, results. Love it. Seriously, try it out now at lambda.ai/papers.