AWQ

Ver no idioma original →

Método de quantização citado como incapaz de reduzir a tabela de embedding mantida em 16 bits.

Mencionado em

• INSANO: este modelo de IA de 46 MB roda 5 vezes mais rápido no meu laptop (embeddings congelados testados)
• OCR ilimitado da Baidu em um laptop com 8 GB: 25 testes

Relacionados

Zig, llama.cpp, embedding, Gemma 3, GitHub, Hugging Face, Baidu, RunPod