sparse attention
Estratégia que limita os tokens considerados pela atenção para reduzir custo computacional e problemas em contextos longos.
Mencionado em
Seção intitulada “Mencionado em”- Um modelo mais rápido é realmente mais rápido? Teste o trabalho completo — Morgan Suo, MiniMax
- Recuperação in-context com Siddharth Gollapudi — Weaviate Podcast #146
Relacionados
Seção intitulada “Relacionados”speculative decoding, KV cache, Mixture of Experts, MiniMax, Qwen, Weaviate, generative retrieval, MS MARCO