Edge0

Ver no idioma original →

Framework apresentado no vídeo para executar modelos MoE com pesos armazenados no SSD e predição de roteamento.

Mencionado em

• Edge0 35B testado: 0 tokens em uma 4090, 187 tokens/s do jeito convencional
• IA de 35B em um laptop com 15 GB de RAM — direto do SSD

Relacionados

MLX, llama.cpp, RTX 4090, Apache License 2.0, RunPod, Qwen3.6 35B A3B, Mixture of Experts, RTX 4060