quantização de 4 bits
Redução da precisão do modelo que permitiu executá-lo inteiramente na GPU do notebook.
Mencionado em
Seção intitulada “Mencionado em”- O seletor de raciocínio INSANO do Spark-X2.6-4B: 180 testes em uma GPU de 8 GB
- 70B em uma GPU de 4 GB? Eu testei (2 minutos por token)
Relacionados
Seção intitulada “Relacionados”llama.cpp, Ollama, Hugging Face, GGUF, RTX 4060, NVIDIA-SMI, RunPod