O que é o DeepSeek DeepInfer?

Autoria: Data Science in your pocket · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: What is DeepSeek DeepInfer ? · Canal: Data Science in your pocket · 05:11 · Assistir no YouTube

Tópicos: Inferência e otimização de modelos, Infraestrutura e hardware de IA, Modelos locais e open source

Resumo

DeepInfer é um framework de inference de alto desempenho, desenvolvido pela DeepSeek e disponibilizado como open source, voltado nesta versão à inference offline do DeepSeek V4.1 Flash. O vídeo explica como o engine otimiza as etapas de prefill e decode por meio de kernels especializados, paralelismo, speculative decoding e atenção de janela deslizante. Também apresenta recursos de escalonamento assíncrono, resultados determinísticos e saídas estruturadas. A versão não inclui toda a infraestrutura necessária para operar um serviço de produção completo, mas aproveita ideias de vLLM, SGLang e TensorRT-LLM.

Pontos-chave

O inference engine influencia a velocidade real de um modelo ao controlar o uso da GPU e da memória.
DeepInfer é voltado à inference offline e, no lançamento descrito, oferece suporte ao DeepSeek V4.1 Flash.
O prefill processa o prompt em paralelo e preenche o KV cache; o decode gera tokens um por vez.
Kernels especializados e paralelismo distribuem o trabalho entre GPUs e ajudam a evitar gargalos.
O speculative decoding usa um modelo menor para propor tokens que o modelo maior verifica em conjunto.
A atenção de janela deslizante e o replay limitado ajudam a manter previsível o processamento de contextos longos.
O escalonador assíncrono prepara lotes enquanto a GPU processa o lote atual.
A inference invariante a lotes, a amostragem determinística e as saídas estruturadas ajudam a garantir consistência.
DeepInfer tem como alvo GPUs Nvidia SM100 e MPUs Huawei Ascend 910, usando uma única base de código.
A versão não inclui toda a infraestrutura de um serviço de produção, como o sistema de KV cache e o balanceamento entre réplicas.

Capítulos

Início	Capítulo	Resumo
00:00	Por que o inference engine importa	O vídeo apresenta o papel do inference engine na velocidade real de um modelo e introduz o DeepInfer.
01:03	Prefill, decode e kernels	A explicação percorre as etapas de uma solicitação e apresenta os kernels especializados do DeepInfer.
02:36	Balanceamento, speculative decoding e contextos longos	O vídeo descreve o balanceamento de especialistas, a geração especulativa e o controle do custo de contextos longos.
03:39	Escalonamento, correção e hardware	São apresentados o escalonador assíncrono, os recursos de consistência e os aceleradores compatíveis.
04:40	Limites da versão e como começar	O vídeo esclarece o que não acompanha a versão, resume os requisitos de instalação e menciona sua licença e influências.

Citações

O modelo no gráfico de benchmark e o modelo em produção são duas coisas muito diferentes. — 00:00

O trabalho real do engine é manter o hardware ocupado nas duas etapas. — 01:03

Arrisque mais quando o modelo de rascunho estiver confiante. Recuе quando não estiver. — 03:08

O modelo recebe as manchetes, mas o engine determina o que você sente. — 05:11

Conceitos e entidades

DeepInfer (ferramenta): Framework de inference de alto desempenho da DeepSeek, apresentado como open source e voltado à inference offline.
DeepSeek (empresa): Empresa que desenvolveu o DeepInfer e cujo modelo é o foco do suporte descrito no vídeo.
DeepSeek V4.1 Flash (modelo): Modelo que a versão do DeepInfer apresentada no vídeo oferece suporte.
prefill (conceito): Etapa em que o modelo processa o prompt em paralelo e preenche o KV cache.
decode (conceito): Etapa de geração que produz um token por vez e é sensível à latência e ao uso de memória.
speculative decoding (conceito): Técnica em que um modelo menor propõe tokens e o modelo maior os verifica em uma única passagem.
vLLM (repo): Projeto que o DeepInfer reconhece como sua base, segundo os agradecimentos mencionados no vídeo.
SGLang (repo): Projeto citado como fonte de inspiração para o DeepInfer.
TensorRT-LLM (repo): Projeto citado como fonte de inspiração para o DeepInfer.

Tradução completa (pt-BR)

00:00 A cada poucos meses, um novo modelo ganha os holofotes. E, todas as vezes, surge a mesma pergunta: quão rápido ele é, de verdade? Porque um modelo em um gráfico de benchmark e um modelo em produção são coisas muito diferentes. Os mesmos pesos no mesmo hardware podem responder em meio segundo ou deixar você esperando. O que fica entre eles é o mecanismo de inferência. Ele decide como a GPU é alimentada, como a memória é usada e quanta velocidade você realmente obtém. A DeepSeek acabou de disponibilizar o dela como open source.

00:31 Ele se chama DeepInfer. DeepInfer é o framework de inferência de alto desempenho que impulsiona os serviços de produção em larga escala da DeepSeek. Este lançamento open source é voltado à inferência offline, mas traz o maquinário essencial do qual depende a execução em escala. Hoje, ele é compatível com um modelo: DeepSeek versão 4.1 Flash. A base de código é, em sua maior parte, Python, com C++ para os caminhos mais críticos. Tudo o que você está prestes a ver foi criado para tornar esse modelo rápido, estável e previsível.

01:03 Para entender por que um mecanismo é importante, acompanhe uma única solicitação. Seu prompt chega como tokens. No pré-preenchimento, o modelo lê todo o prompt de uma só vez, em paralelo, e preenche um cache de chave-valor. Então começa a decodificação, um token de cada vez. A cada etapa, o modelo relê esse cache. O pré-preenchimento é limitado pela capacidade de processamento. A decodificação é limitada pela memória e extremamente sensível à latência. O verdadeiro trabalho do mecanismo é manter o hardware ocupado durante as duas fases. Quase todas as otimizações deste lançamento

01:35 têm como alvo uma delas. Comecemos pela base: os kernels. Cinco são incluídos neste lançamento. O Flash-MLA cuida da atenção com pouco tráfego de memória. O DeepGMM oferece multiplicação de matrizes rápida, o cavalo de batalha de cada camada. O DeepEP move tokens entre especialistas durante o roteamento de mistura de especialistas. Os kernels Tile fornecem blocos básicos ajustados para o restante da pilha, e o Deep Select toma decisões de roteamento em alta velocidade. Individualmente, parecem micro-otimizações.

02:05 Juntos, eles determinam quanto do silício você realmente consegue usar. Uma GPU nunca é suficiente. Por isso, o DeepInfer escala em três direções. A atenção é executada com paralelismo de dados, e o paralelismo de contexto divide sequências longas entre dispositivos, com balanceamento para que nenhum rank faça mais trabalho que outro. A mistura de especialistas usa paralelismo de especialistas, colocando especialistas diferentes em GPUs diferentes. A parte difícil é o balanceamento, porque alguns especialistas ficam sobrecarregados enquanto outros ficam ociosos.

02:36 O EPLB, balanceamento de carga paralela de especialistas, monitora a distribuição do roteamento e realoca especialistas para que nenhum dispositivo se torne o gargalo. Essa é a diferença entre um cluster ocupado e um cluster à espera. A decodificação é ineficiente: um token por etapa, independentemente de quanto poder de processamento você tenha. A decodificação especulativa rompe esse padrão. Um pequeno modelo preliminar propõe vários tokens à frente. O modelo grande verifica todos eles em uma única passagem direta, e o prefixo aceito é mantido.

03:08 O DeepInfer acrescenta duas novidades. O D-Spark é seu caminho de decodificação especulativa, e a verificação com agendamento por confiança decide até que ponto especular com base na confiabilidade aparente do rascunho. Especule com ousadia quando o rascunho estiver confiante. Recuе quando não estiver. A taxa de aceitação é tudo. Contextos longos criam outro ponto de pressão. A atenção aumenta com o comprimento da sequência. A atenção de janela deslizante limita cada token a uma janela recente, o que restringe o custo. Mas, durante a reprodução,

03:39 essas janelas podem sair de sincronia. A reprodução limitada de SWA do DeepInfer mantém a janela consistente e limita o trabalho de reprodução, para que contextos longos continuem previsíveis em vez de se degradarem silenciosamente. Acima dos kernels, fica o agendamento. O DeepInfer executa um agendador assíncrono de lotes sem sobrecarga. A CPU prepara o próximo lote enquanto a GPU ainda trabalha no atual. Assim, o acelerador nunca fica ocioso à espera de tarefas administrativas. Depois, há a correção,

04:09 que costuma ser o ponto em que os sistemas de execução ficam descuidados. A inferência invariável a lotes significa que uma solicitação recebe a mesma resposta, independentemente do que mais compartilhe seu lote. A amostragem determinística torna as execuções reproduzíveis. E as saídas estruturadas restringem a geração a JSON válido ou a uma gramática dentro do amostrador. A história do hardware é incomum. O DeepInfer tem como alvo GPUs Nvidia SM100 e MPUs Huawei Ascend 910, a partir de uma única base de código e com uma única opção de compilação. Deixe-me

04:40 ser preciso sobre o que é este lançamento. Um serviço de produção completo também precisa de um sistema de cache KV, desagregação entre pré-preenchimento e decodificação e balanceamento de carga entre réplicas. Parte dessa lógica do mecanismo já está aqui. A infraestrutura ao redor não é incluída. Para começar, use um script de compilação. Linux, GCC 13, Python 3.12 e CUDA 13 ou CANN 9.2. Defina o acelerador, execute a compilação e, em seguida, execute o exemplo de inferência offline. O

05:11 checkpoint é baixado no primeiro uso. A licença é Apache 2.0. E, nos agradecimentos, o DeepInfer reconhece o vLLM como sua base, com inspiração no SGLang e no TensorRT-LLM. Essa linhagem importa. Isso não é um universo paralelo. É uma ramificação endurecida para produção de um ecossistema que você já conhece. A lição é simples. O modelo ganha as manchetes, mas o mecanismo determina o que você sente.

Transcrição original

[00:00] Every few months, a new model takes the spotlight. And every single time, the same question follows. How fast is it, really? Because a model on a benchmark chart and a model in production are two very different things. The same weights on the same hardware can answer in half a second or leave you waiting. What sits in between is the inference engine. It decides how the GPU is fed, how memory is used, and how much speed you actually get. DeepSeek just open-sourced theirs.

[00:31] It’s called DeepInfer. DeepInfer is the high-performance inference framework that powers DeepSeek’s large-scale production services. This open-source release is aimed at offline inference, but it carries the core machinery that serving at scale depends on. Today, it supports one model, DeepSeek version 4.1 flash. The code base is mostly Python with C++ for the hot paths. Everything you’re about to see is built around making that model fast, stable, and predictable.

[01:03] To understand why an engine matters, follow a single request. Your prompt arrives as tokens. In prefill, the model reads the whole prompt at once in parallel and fills a key-value cache. Then decode begins, one token at a time. Each step rereading that cache. Prefill is compute-bound. Decode is memory-bound and painfully latency-sensitive. The engine’s real job is to keep the hardware fed through both phases. Nearly every optimization in this release

[01:35] targets one of them. Start at the bottom with kernels. Five ship in this release. Flash-MLA handles attention with low memory traffic. DeepGMM delivers fast matrix multiplication, the workhorse of every layer. DeepEP moves tokens between experts during mixture of experts routing. Tile kernels provide tuned building blocks for the rest of the stack, and Deep Select makes routing decisions at speed. Individually, these look like micro-optimizations.

[02:05] Together, they decide how much of the silicon you actually get to use. One GPU is never enough. So, Deep Inf scales in three directions. Attention runs with data parallelism, and context parallelism splits long sequences across devices, balanced so no rank does more work than another. Mixture of experts uses expert parallelism, placing different experts on different GPUs. The hard part is balance, because some experts get hot while others go cold.

[02:36] EPLB, expert parallel load balancing, watches the routing distribution and relocates experts so no device becomes the bottleneck. That is the difference between a cluster that’s busy and a cluster that’s waiting. Decoding is wasteful. One token per step, no matter how much compute you have. Speculative decoding breaks the pattern. A small draft model proposes several tokens ahead. The large model verifies them all in a single forward pass, and the accepted prefix is kept.

[03:08] Deep Inf adds two twists. D-Spark is its speculative decoding path, and confidence scheduled verification decides how far ahead to speculate based on how reliable the draft looks. Speculate boldly when the draft is confident. Back off when it isn’t. Accept rate is everything. Long context creates another pressure point. Attention grows with sequence length. Sliding window attention limits each token to a recent window, which bounds the cost. But during replay,

[03:39] those windows can drift out of sync. Deep Inf’s bounded SWA replay keeps the window consistent and caps the replay work, so long context stays predictable instead of quietly degrading. Above the kernels sits scheduling. Deep Infer runs an asynchronous zero-overhead batch scheduler. The CPU prepares the next batch while the GPU is still working on the current one. So, the accelerator never idols waiting for bookkeeping. Then there’s correctness,

[04:09] which is usually where serving systems get sloppy. Batch invariant inference means a request gets the same answer regardless of what else shares its batch. Deterministic sampling makes runs reproducible. And structured outputs constrain generation to valid JSON or grammar inside the sampler. The hardware story is unusual. Deep Infer targets Nvidia SM100 GPUs and Huawei Ascend 910 MPUs from a single code base with one build flag. Let me

[04:40] precise about what this release is. A complete production service also needs a KV cache system, pre-filled decode disaggregation, and load balancing across replicas. Some of that engine logic already lives here. The surrounding infrastructure does not ship. Getting started is a build script. Linux, GCC 13, Python 3.12, and CUDA 13 or CANN 9.2. Set the accelerator, run build, then run the offline inference example. The

[05:11] checkpoint downloads on first use. It’s Apache 2.0 licensed. And in the acknowledgements, Deep Infer credits vLLM as its foundation with inspiration from SGLang and TensorRT-LLM. That lineage matters. This isn’t a parallel universe. It’s a production hardened branch of an ecosystem you already know. The lesson is simple. The model gets the headlines, but the engine decides what you feel.