NVIDIA-SMI

Ver no idioma original →

Utilitário usado para observar o uso de memória da GPU durante a execução.

Mencionado em

• Amos 1 Small: 69,5% de precisão, zero tokens e 5 GB de VRAM
• 70B em uma GPU de 4 GB? Eu testei (2 minutos por token)

Relacionados

RunPod, Python, UV, Apache License 2.0, RTX 4060, PyTorch, quantização de 4 bits, llama.cpp