KV cache
Componente necessário para um serviço completo de inferência e apontado como uma possível fonte de problemas em hospedagem própria.
Mencionado em
Seção intitulada “Mencionado em”- Como o DeepSeek V4.1 Flash Consegue Ser TÃO barato?
- MiniCPM-V 4.7 1B: instale com Ollama e llama.cpp e teste seus limites
- Agentes que controlam a própria inferência — Du’an Lightfoot e Khaja Omer, Akamai Technologies
- O que há de novo em engenharia de inference — Philip Kiely, Baseten
- A nuvem de inference de ponta para agents — Byung-Gon (Gon) Chun, FriendliAI
- Unlimited OCR 2 chegou!
- O que torna os modelos abertos rápidos em produção — Sujee Maniyam, Nebius
- Vale a pena usar speculative decoding? Análise de desempenho do vLLM em NVIDIA Blackwell — Akamai
- Um modelo mais rápido é realmente mais rápido? Teste o trabalho completo — Morgan Suo, MiniMax
- Curso Jev – Inferência somente com prefill e decision models do zero
- DeepSeek V4.1 Flash 1017 é lançado
- DeepSeek V4.1 Flash vs. V4 Flash: mesmos prompts, mesmo hardware
- DeepSeek acaba de abrir o código de como atende 155 trilhões de tokens por dia
- MemT-1.0: memória de IA dentro do modelo é incrível (testei a ideia)
- DeepSeek no Claude Code (e o mecanismo que eles disponibilizaram)
- DeepSeek reduziu sua memória em 437 vezes em dois anos
- Strata vs. Llama.cpp vs. vLLM
- Tudo o que você precisa saber sobre o Muse Spark Open: uma conversa com Meta e Together AI
- Roteamento de inference de LLM em produção: dos sinais do engine à política — Qianru Lao e Lu Zhang, OpenAI
- Nanbeige 4.3-33B é incrível (no papel): testei em uma GPU alugada
- A nova arquitetura insana da DeepSeek
- O que é, afinal, um mecanismo de inferência? — Charles Frye, Modal
Relacionados
Seção intitulada “Relacionados”vLLM, speculative decoding, DeepSeek V4.1 Flash, DeepSeek, Mixture of Experts, prefill, llama.cpp, decode, continuous batching, DSpark, SGLang, RunPod