GSQ

Ver no idioma original →

Método descrito no vídeo que mantém opções de quantização em avaliação para aprender a melhor escolha de arredondamento dos pesos.

Mencionado em

• Underdog Saluki 27B 1.0 localmente: além de Qwen e GSQ+RCO
• DeepSeek-V4.1-Flash-1017 GSQ+RCO GGUF: rode localmente com menos de 12 GB de VRAM

Relacionados

llama.cpp, RCO, Fahd Mirza, Qwen, Hugging Face, DeepSeek V4.1 Flash, GGUF