Eagle 4 é mais rápido que DFlash, MTP e DFlash na inferência de LLMs

Autoria: Data Science in your pocket · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Eagle 4 Faster than DSpark, MTP, DFlash for LLM inferencing · Canal: Data Science in your pocket · 05:13 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Inferência e otimização de modelos, Open source e ecossistemas de software

Resumo

Eagle 4 é a quarta geração da família Eagle para speculative decoding: um draft model propõe tokens e o modelo principal os verifica em uma única passagem. O vídeo apresenta resultados de benchmark em que Eagle 4 alcança até 3,59× a velocidade do decoding convencional, superando MTP, D-SparK e DFlash em uma configuração testada. O pacote Eagle Harness integra o método a engines como SGLang e vLLM, com ganhos que variam conforme a carga e o hardware. O projeto tem limitações de uso e uma licença source available, não open source.

Pontos-chave

Eagle 4 combina um draft model com um harness que se integra a engines de inferência existentes.
No benchmark citado, Eagle 4 alcançou 3,59× a velocidade do decoding convencional, contra 2,22× para MTP, 2,57× para D-SparK e 2,80× para DFlash 2.
A aceleração depende da quantidade de tokens aceitos na verificação e do custo de gerar e verificar os candidatos.
O drafter usa uma camada de draft com janela deslizante, uma cabeça de candidatos de baixo rank e um cache de draft append-only.
A estratégia de dimensionamento da árvore de candidatos varia entre SGLang e vLLM.
Os ganhos em benchmarks do repositório variam conforme engine, hardware e concorrência; em vLLM, a aceleração cai para 1,35× com 64 solicitações simultâneas.
O projeto informa que mantém a distribuição de saída do modelo principal e publica métricas de correspondência exata e casos de quase empate separadamente.
As limitações incluem suporte apenas a texto, ausência de pipeline parallelism e, em árvores de vLLM, cache KV sem quantização.
Eagle 4 é source available, não open source; o uso comercial é permitido abaixo de um limite de receita de US$ 20 milhões, e uma oferta concorrente exige licença comercial separada.

Capítulos

Início	Capítulo	Resumo
00:00	Eagle 4 e speculative decoding	O vídeo apresenta Eagle 4 como um drafter integrado a engines existentes e explica a ideia geral do speculative decoding.
01:34	Benchmarks e arquitetura do drafter	Compara os resultados de Eagle 4 com MTP, D-SparK e DFlash e descreve os componentes do drafter.
03:07	Resultados práticos e instalação	Apresenta medições em diferentes engines, hardware e níveis de concorrência, além do processo de instalação.
04:10	Correção, limitações e licença	Aborda a preservação da distribuição de saída, as limitações técnicas, os termos de licença e o escopo dos resultados.

Citações

Toda stack de serving tem o mesmo gargalo: um token de cada vez. — 00:00

Eagle 4 chega a 3,59×. — 01:34

A aceleração cai para 1,35× com 64 solicitações concorrentes. — 03:39

Eagle 4 é source available, não open source. — 04:41

Conceitos e entidades

Eagle 4 (modelo): Método da família Eagle para speculative decoding, apresentado como um drafter integrado a engines de inferência.
Eagle Harness (ferramenta): Pacote instalável que adiciona o método Eagle 4 a engines de inferência compatíveis.
speculative decoding (conceito): Técnica em que um modelo menor propõe tokens que o modelo principal verifica em conjunto.
MTP (modelo): Método de speculative decoding comparado com Eagle 4 nos benchmarks apresentados.
D-SparK (modelo): Método de speculative decoding comparado com Eagle 4 nos benchmarks apresentados.
DFlash (modelo): Método de speculative decoding comparado com Eagle 4 nos benchmarks apresentados.
SGLang (ferramenta): Engine de inferência no qual Eagle Harness pode ser integrado.
vLLM (ferramenta): Engine de inferência compatível com Eagle Harness e usado nos benchmarks citados.
Qwen3.8 (modelo): Nome do modelo-alvo citado na transcrição para os benchmarks de Eagle 4.
eaglehq/eagle4 (repo): Repositório do projeto Eagle 4 no GitHub.

Tradução completa (pt-BR)

00:00 Toda stack de serving tem o mesmo gargalo: processar um token por vez. Eagle 4 ataca esse gargalo, e o artigo o coloca à frente de três drafters conhecidos: MTP, D Spark e D Flash. No Qwen 3.8, 27 bilhões, com uma única requisição em 4B 300s, ele alcança 3,59 vezes a velocidade da decodificação convencional, e não é um modelo com o qual você conversa. É um drafter mais um harness que se conecta ao mecanismo que você já usa.

00:30 Eagle 4 é a quarta geração da família Eagle para decodificação especulativa. A ideia é antiga e simples: deixar um modelo de draft pequeno tentar adivinhar os próximos tokens e, depois, deixar o modelo grande verificar todas essas tentativas em uma única passagem forward. Eagle 4 não é um checkpoint que responde a perguntas. Ele é distribuído como Eagle Harness, um pacote que pode ser instalado com pip e adiciona um método especulativo ao S Jiao Lang, ao vLLM ou ao Token Speed. O par medido é Qwen 3.8, 27 bilhões, com seu

01:02 draft do Eagle 4. A decodificação especulativa troca computação por latência. O draft propõe uma árvore de tokens candidatos. O modelo-alvo verifica cada nó dessa árvore em uma única passagem forward. O caminho aceito é confirmado, mais um token bônus. O ganho de velocidade é o produto de duas coisas: quantos tokens do draft sobrevivem à verificação e quanto custam o draft e a verificação. MTP, D Spark e D Flash otimizam essa mesma relação. As

01:34 diferenças estão na arquitetura do draft e em como o tamanho da árvore é definido. Esta é a figura 1 do artigo do Eagle 4. Qwen 3.8, 27 bilhões. Comparação qualitativa de desempenho. 4B 300s, uma única requisição, temperatura zero. MTP alcança 2,22 vezes a velocidade convencional. D Spark, 2,57. D Flash 2, 2,80. Eagle 4 alcança 3,59. Isso é cerca de 28% mais rápido que o melhor dos

02:04 outros três e 62% mais rápido que MTP. Repare no que está sendo comparado aqui: ganhos de velocidade em relação à mesma linha de base de decodificação convencional, não tokens por segundo brutos. Então, o que há dentro do drafter? Três componentes. Uma camada de draft com janela deslizante. Assim, cada tentativa considera apenas um trecho recente do contexto. Uma cabeça de candidatos de baixo rank. Nosso cálculo de rank pequeno seleciona uma lista curta de alguns tokens por fragmento do vocabulário, e só esses candidatos são pontuados novamente com a cabeça completa do modelo de linguagem. E

02:35 um cache de draft somente de acréscimo. Assim, cada rodada amplia o que veio antes, em vez de reconstruí-lo. O draft lê três estados ocultos do modelo-alvo, e há implementações de draft tanto para mistura densa de especialistas quanto para mistura latente de especialistas. Uma rodada de decodificação. O draft faz crescer uma árvore de tokens, um nível por vez, expandindo os melhores nós da fronteira, em número K. Um nó é classificado pelo escore do pai multiplicado pela sua própria probabilidade. Depois, o modelo de custo decide a largura da rodada com base nos custos medidos de draft e verificação para este

03:07 tamanho de lote e comprimento de contexto. No SG Lang, ele decide novamente a cada dois níveis. No VLLM, a árvore é estática, com um limite de profundidade calibrado. Uma passagem forward do modelo-alvo verifica a árvore inteira. O artigo é um tipo de evidência. O repo oferece outra. No SG Lang, 1B 300, com concorrência de um, passa de 103 para 343 tokens por segundo, 3,33 vezes. Para B300s, com concorrência de oito, 1,91 vezes. Na

03:39 AMD, 1MI 355X, com concorrência de oito, chega a 2,07 vezes. No VLLM, em 4B 300s, uma única requisição alcança 2,99 vezes. E, com 64 requisições concorrentes, o ganho cai para 1,35 vezes. A ideia é que colocar isso em serving seja algo simples. Instale um mecanismo corrigido a partir de um índice pinwheel e, em seguida, instale Eagle Harness pelo PyPI. Execute Eagle Harness, verifique se o mecanismo expõe

04:10 todos os hooks necessários para o plugin e, então, inicie o servidor. Para SGLang, alvo Aquinn 3.827B, paralelismo de tensores em quatro, profundidade de draft 12, top K quatro, verificação com 16. No vLLM, você calibra a árvore uma vez, offline, enquanto as GPUs estão ociosas. A decodificação especulativa só é útil se estiver correta, e Eagle four preserva a distribuição de saída do modelo-alvo. O projeto publica seu critério guloso, as correspondências exatas,

04:41 os quase empates e a arbitragem em FP32, reportados separadamente para cada configuração. Um quase empate não é igualdade bit a bit, e a documentação deixa isso claro. Os limites também são específicos. Apenas texto, sem paralelismo de pipeline e com cache KV não quantizado para árvores do vLLM. O uso em múltiplos nós não foi qualificado, e Token Speed ainda é experimental. E então, a licença, que é a parte que ninguém espera. Eagle four disponibiliza o código-fonte, mas não é open source. O uso comercial

05:13 é permitido para empresas com receita abaixo do limite de 20 milhões de dólares, e desenvolver uma oferta concorrente exige uma licença comercial separada. Portanto, a proposta é restrita e concreta. Um único drafter que se adapta ao tamanho do lote e ao hardware. Um ganho publicado de 3,59 vezes e um ganho medido de 1,35 com carga alta. O código está no GitHub, em eaglehq/eagle4.

Transcrição original

[00:00] Every serving stack has the same bottleneck, one token at a time. Eagle 4 attacks that bottleneck and its paper puts it ahead of three well-known drafters, MTP, D Spark, and D Flash. On Qwen 3.8, 27 billion, a single request across 4B 300s, it measures 3.59 times vanilla decoding and it is not a model you chat with. It is a drafter plus a harness that plugs into the engine you already run.

[00:30] Eagle 4 is the fourth generation of the Eagle family for speculative decoding. The idea is old and simple. Let a small draft model guess the next few tokens, then let the big model check all of those guesses in one forward pass. Eagle 4 is not a checkpoint that answers questions. It ships as Eagle Harness, a pip installable package that adds one speculative method to S Jiao Lang, to vLLM, or to Token Speed. The measured pair is Qwen 3.8, 27 billion, with its

[01:02] Eagle 4 draft. Speculative decoding trades compute for latency. The draft proposes a tree of candidate tokens. The target verifies every node of that tree in a single forward pass. The accepted path is committed plus one bonus token. Speed up is the product of two things. How many draft tokens survive verification and how little the draft and the verify cost. MTP, D Spark, and D Flash all optimize that same ratio. The

[01:34] differences are the draft architecture and how the tree is sized. This is figure one of the Eagle 4 paper. Qwen 3.8, 27 billion. The speed bench qualitative split. 4B 300s, a single request, temperature zero. MTP reaches 2.22 times vanilla. D Spark, 2.57. D Flash 2, 2.80. Eagle 4 reaches 3.59. That is about 28% faster than the best

[02:04] of the other three and 62% faster than MTP. Note what is compared here. Speed-ups over the same vanilla baseline, not raw tokens per second. So, what is inside the drafter? Three pieces. A sliding window draft layer. So, each guess only looks at a recent slice of context. A low-rank candidate head. A small rank our estimate short lists a few tokens per vocabulary shard and only those candidates are res-scored with the full language model head. And

[02:35] an append-only draft cache. So, every round extends what came before instead of rebuilding it. The draft reads three hidden states from the target and both dense and latent mixture of experts drafts are implemented. One decode round. The draft grows a token tree one level at a time, expanding the best K frontier nodes. A node is ranked by its parent’s score times its own probability. Then the cost model decides how wide the round should be for measured draft and verify costs at this

[03:07] batch size and context length. On SG Lang, it re-decides after every second level. On VLLM, the tree is static with a calibrated depth stop instead. One target forward verifies the whole tree. The paper is one kind of evidence. The repo ships another. On SG Lang, 1B 300 at concurrency one, goes from 103 to 343 tokens per second, 3.33 times. For B300s at concurrency eight, 1.91 times. On

[03:39] AMD, 1MI 355X at concurrency eight reaches 2.07 times. VLLM on 4B 300s, single request measures 2.99 times. And at 64 concurrent requests, the gain falls to 1.35 times. Serving it is meant to be boring. Install one patched engine from a pinwheel index, then install Eagle Harness from PyPI. Run Eagle Harness, check to confirm the engine exposes

[04:10] every hook the plugin needs, then start the server. For SGLang, Aquinn 3.827B target, tensor parallel four, draft depth 12, top K four, verify with 16. On vLLM, you calibrate the tree once, offline, while the GPUs are idle. Speculative decoding is only useful if it is correct, and Eagle four keeps the target’s output distribution. The project publishes its greedy gate, exact

[04:41] matches, near ties, and FP32 arbitration, reported separately for every configuration. A near tie is not bitwise equality, and the docs say so. The limits are equally specific. Text only, no pipeline parallelism, and unquantized KV cache for vLLM trees. Multi-node is not qualified, and token speed is still experimental. And then the license, which is the part nobody expects. Eagle four is source available, not open source. Commercial

[05:13] use is permitted under a $20 million revenue threshold, and building a competing offering needs a separate commercial license. So the pitch is narrow and real. One drafter that adapts to batch size and hardware. A published 3.59 times, a measured 1.35 at high load. The code is on GitHub at eaglehq/eagle4.