SGLang
Sistema de serving mencionado no vídeo em relação a um bug corrigido na versão 0.5.22 ou posterior.
Mencionado em
Seção intitulada “Mencionado em”- Eagle 4 é mais rápido que DFlash, MTP e DFlash na inferência de LLMs
- Domando a explosão cambriana de hardware de IA — Abdul Dakkak, Modular
- Este mecanismo open source afirma ser 2x mais rápido que o llama.cpp
- Modelos de linguagem de contexto: seu agent não precisa de compactação
- Workshop: treinamento de agents na fronteira da indústria de IA
- Microsoft FrogNano 4B para quem tem pouca GPU: engenheiro de software de IA econômico
- Unlimited OCR 2 chegou!
- Um modelo de 35B em um iPhone usando 3 GB? Verifiquei a alegação
- Modelo de imagem 100% open source permite posicionar texto com JSON
- Novo modelo: Reflection Beam é um novo modelo de pesos abertos
- O que é o DeepSeek DeepInfer?
- Clusters grandes para modelos pequenos — Daniel Svonava, Superlinked
- DeepSeek no Claude Code (e o mecanismo que eles disponibilizaram)
- O que é, afinal, um mecanismo de inferência? — Charles Frye, Modal
Relacionados
Seção intitulada “Relacionados”vLLM, llama.cpp, speculative decoding, Transformers, KV cache, Hugging Face, PyTorch, Ollama, Claude Code, reinforcement learning, Apache License 2.0, decode