llama.cpp
Engine usado como comparação no vídeo, que, segundo as medições citadas, executou o modelo a cerca de 15 tokens por segundo no mesmo PC de referência.
Mencionado em
Seção intitulada “Mencionado em”- Execute o LFM3 1.7B localmente: um modelo para aplicações especializadas
- MiniCPM-V 4.7 1B: instale com Ollama e llama.cpp e teste seus limites
- Agentes que controlam a própria inferência — Du’an Lightfoot e Khaja Omer, Akamai Technologies
- Tencent reduziu um modelo de IA de 1,5 TB para 214 GB — veja o truque
- 8 modelos locais de IA em um Raspberry Pi 5: só 3 são utilizáveis
- Este modelo local de OCR com 1,2B supera o GPT-5.2 e roda em GPU de 8 GB — TeleOCR
- Domando a explosão cambriana de hardware de IA — Abdul Dakkak, Modular
- Este mecanismo open source afirma ser 2x mais rápido que o llama.cpp
- Bonsai 2 27B localmente: compressão quase sem perdas em um modelo 9 vezes menor
- Underdog Saluki 27B 1.0 localmente: além de Qwen e GSQ+RCO
- NVIDIA Nemotron-3.5 Bolt-74B-A9B Localmente: Ainda Não Acabou
- Flint — o primeiro modelo de programação com autoaperfeiçoamento recursivo?
- A Microsoft entra na corrida pela IA local
- Modelo de memória da Tencent “supera Claude Opus 5”. Aluguei uma GPU para conferir
- INSANO: este modelo de IA de 46 MB roda 5 vezes mais rápido no meu laptop (embeddings congelados testados)
- Flint 40B: o melhor LLM de médio porte
- Como criar seu próprio agente de IA (como PewDiePie)
- IA local 202: acelere muito a geração com speculative decoding
- Qwen 3.8 27B é o melhor modelo para rodar localmente? Resultados absurdos
- MiniMax M3.1 Flash vs. Opus 5.5: mais lento, mas 11 vezes mais barato
- A Apple ainda não colocou um LLM no seu relógio. Então eu coloquei.
- A mesma IA local, dois agentes — só um detectou os próprios erros
- Julia: 144 milhões de parâmetros, escolhe respostas em 44 ms na CPU (vs. Jev)
- Flint: vale trocar o Qwen 35B por esse modelo americano de 40B?
- Edge0 35B testado: 0 tokens em uma 4090, 187 tokens/s do jeito convencional
- Testei o Drex V1.5 da Nace.AI localmente (llama.cpp, Q4_K_M e demonstrações reais)
- Um modelo de 35B em um iPhone usando 3 GB? Verifiquei a alegação
- Como usar o agente Hermes 100% grátis, com apenas um clique
- IA de 35B em um laptop com 15 GB de RAM — direto do SSD
- Indo ao ULTRA com RTX Spark e os novos dispositivos Surface | Merge Conflict ep. 537
- DeepSeek-V4.1-Flash-1017 GSQ+RCO GGUF: rode localmente com menos de 12 GB de VRAM
- Este pequeno modelo de programação não deveria ser tão bom (MiniCPM5)
- Execute Ornith-1.5 122B localmente: mais forte, rápido e enxuto
- Como criar seu próprio agent harness?
- Ternary Bonsai 2 9B em GGUF: um modelo de 2,4 GB localmente
- O seletor de raciocínio INSANO do Spark-X2.6-4B: 180 testes em uma GPU de 8 GB
- Finalmente dá para usar IA local no dia a dia?
- Novo modelo: Reflection Beam é um novo modelo de pesos abertos
- 70B em uma GPU de 4 GB? Eu testei (2 minutos por token)
- LFM2.5 24B-A2B: a Liquid AI conseguiu superar o Qwen? Teste local
- Nokia lançou uma alternativa gratuita ao Jev (AnyJev)
- Quais modelos locais de IA um computador comum consegue executar?
- Qwen 27B com 6 GB de VRAM…
- llama.cpp no Windows nativo | Isso é ENORME
- Esta pequena IA de 2B contra a conta de tokens do Claude Code (teste real)
- Recursive Flint: este modelo open source local para programação é insano! (testado com Pi, OpenCode e PandaCode)
- Strata vs. Llama.cpp vs. vLLM
- O modelo pequeno da NVIDIA: Nemotron-3.5 Bolt E4B roda localmente com 4 GB
- O novo modelo open weight alemão de 78B (Kolibri-1) roda a 126 tokens/s em uma GPU (testei a fundo)
- Treinaram uma IA por apenas US$ 146 — Eu testei!
- Qwen3.8-27B roda em uma placa de vídeo de 8 GB: minha configuração gratuita exata
- Este modelo open source pensou por 88 mil caracteres… e não escreveu nenhum código
- Execute o Saluki 27B em menos de 8 GB
- Pi Durable EXPLICADO: crie agents sempre ativos com modelos locais
- Testei o novo decision model da Liquid em um laptop com 8 GB. Veja o que aconteceu
- Saluki 27B: modelo de 54 GB compactado para 7,89 GB (88 contra 84 em tool calling)
- Claude Haiku 5.5 vs. Qwen 3.8 27B local: ainda vale a pena usar IA local?
- O que é Strata? 6× mais rápido que llama.cpp para IA local
Relacionados
Seção intitulada “Relacionados”Hugging Face, GGUF, vLLM, Mixture of Experts, Fahd Mirza, MLX, Ollama, Qwen3.8 27B, RunPod, speculative decoding, Apache License 2.0, SWE-bench Verified