SWE-bench Verified

Ver no idioma original →

Benchmark baseado em issues reais do GitHub, no qual o Bonsai 2 manteve cerca de 75% da pontuação original, segundo o vídeo.

Mencionado em

• Flint 40B vs Qwen3.8 27B
• Este pequeno modelo de programação não deveria ser tão bom (MiniCPM5)
• LFM2.5 24B-A2B: a Liquid AI conseguiu superar o Qwen? Teste local
• Qwen 27B com 6 GB de VRAM…
• Execute o Saluki 27B em menos de 8 GB
• Saluki 27B: modelo de 54 GB compactado para 7,89 GB (88 contra 84 em tool calling)

Relacionados

llama.cpp, Qwen3.8 27B, Terminal-Bench 2.1, MLX, GGUF, Berkeley function calling leaderboard, Saluki 27B, Hugging Face, Underdog, Recursive, Mixture of Experts, Flint