Saluki 27B: modelo de 54 GB compactado para 7,89 GB (88 contra 84 em tool calling)

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Saluki 27B: a 54 GB model squeezed into 7.89 GB (88 vs 84 on tool calling) · Canal: Prompt Engineer 48 · 09:23 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Modelos locais e open source, Privacidade e proteção de dados

Resumo

O vídeo apresenta o Saluki 27B, uma versão compactada de um modelo de 27 bilhões de parâmetros, reduzida de cerca de 54 GB para 7,89 GB e voltada a uso local. Nos testes apresentados, ele resolveu 88 de 120 tarefas de tool calling, contra 84 do modelo original, embora o próprio vídeo ressalte que a amostra é modesta e que há variação entre execuções. A análise percorre o site da Underdog, os resultados de benchmarks e as instruções de instalação no Hugging Face, além de apontar limitações em matemática, quebra-cabeças de letras e formatação de chamadas paralelas. O vídeo também observa diferenças entre as páginas quanto ao suporte a imagens e recomenda conferir qual arquivo está sendo baixado.

Pontos-chave

O Saluki 27B ocupa 7,89 GB, aproximadamente um sétimo do tamanho do modelo original de 54 GB, e é apresentado como adequado para um laptop com 16 GB.
No benchmark de tool calling descrito no vídeo, o Saluki resolveu 88 de 120 tarefas, enquanto o modelo original resolveu 84.
A Underdog apresenta seu aplicativo como local e privado, com recursos para e-mail, calendário, anotações de reuniões, ditado e tarefas do dia a dia.
O aplicativo estava em beta por convite; o apresentador não o instalou e baseia a descrição nas informações do site.
O benchmark usa cinco categorias de tarefas, mas os próprios responsáveis reconhecem que 120 tarefas constituem um teste modesto e que parte da diferença pode decorrer da variação entre execuções.
O Saluki teve desempenho inferior ao modelo completo em tarefas de programação do SWE-Bench Verified e em matemática competitiva do AIME.
A ficha do Hugging Face indica licença Apache 2.0 e disponibiliza um arquivo GGUF principal de cerca de 7,9 GB, além de arquivos de visão.
Para chamadas rápidas de ferramentas, a ficha recomenda desligar o modo de pensamento e ajustar a temperatura para zero.
O vídeo alerta que trechos de código gerados automaticamente mencionam f16, o que não corresponde ao arquivo de 7,89 GB.
Há uma diferença entre as páginas sobre imagens: uma descreve o lançamento como incompatível com imagens, enquanto a ficha do Hugging Face menciona um complemento opcional de visão.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do Saluki e do aplicativo Underdog	O vídeo introduz a compactação do modelo e percorre os recursos, as promessas de privacidade e o estado beta do aplicativo.
03:04	Modelos da Underdog e resultados de tool calling	O apresentador compara os modelos da empresa e detalha os resultados do Saluki em diferentes categorias de benchmark.
07:18	Instalação local e configurações recomendadas	A ficha do Hugging Face apresenta o arquivo GGUF, os comandos de instalação, as configurações e os aplicativos compatíveis.
08:20	Limitações e conclusão	O vídeo aborda os pontos fracos em matemática e tarefas de letras, observa a divergência sobre imagens e conclui com o resumo do modelo.

Citações

Um modelo com um sétimo do tamanho teve uma pontuação maior em tool calling. — 00:00

O modelo roda no seu computador, então seu conteúdo não é enviado para um serviço de IA na nuvem. — 01:32

Eles mesmos dizem que não afirmam que ele seja mais inteligente que o original. — 05:42

Com o modo de pensamento ligado, ele pode raciocinar por bastante tempo antes de responder. — 08:51

Conceitos e entidades

Saluki 27B (modelo): Modelo de 27 bilhões de parâmetros compactado para um arquivo GGUF de aproximadamente 7,89 GB.
Underdog (empresa): Empresa que desenvolve o aplicativo de IA local e apresenta o Saluki e outros modelos.
Wolf 4B (modelo): Modelo da Underdog descrito como sua opção rápida, com velocidade estimada de 115 tokens por segundo.
Underdog 27B (modelo): Modelo da Underdog apresentado como sua opção mais inteligente, com resultados atribuídos no vídeo ao modelo-base.
llama.cpp (ferramenta): Projeto usado para executar o Saluki localmente e servir um endpoint compatível com a API de chat da OpenAI.
Hugging Face (empresa): Plataforma que hospeda a ficha do modelo, os arquivos e as instruções de instalação do Saluki.
Berkeley function calling leaderboard (conceito): Referência do conjunto de tarefas de chamadas de ferramentas usado no benchmark apresentado.
SWE-bench Verified (conceito): Benchmark de programação baseado em issues reais do GitHub, usado para comparar quantos problemas os modelos resolvem.
Apache License 2.0 (conceito): Licença indicada para o Saluki na ficha do Hugging Face.
IQ2_Mix.GGUF (modelo): Arquivo principal do Saluki indicado na seção de arquivos e versões, com tamanho aproximado de 7,9 GB.

Tradução completa (pt-BR)

00:00 Certo. Neste vídeo, vamos conhecer o Saluki, um modelo de 27 bilhões de parâmetros que a underdog comprimiu de cerca de 54 GB para 7,89 GB, como vocês podem ver aqui na página deles. Vale lembrar que esse arquivo é pequeno o suficiente para um laptop de 16 GB e ainda resolveu 88 das 122 tarefas de tool calling, enquanto o modelo completo de 54 GB do qual ele veio resolveu 84. Então, um modelo com 1/7 do tamanho teve uma pontuação maior em tool calling. Quero passar por tudo no site deles: a página inicial da underdog,

00:31 a publicação do blog sobre o Saluki e o cartão do modelo no Hugging Face, incluindo as partes em que dizem onde ele fica aquém. Vamos dar uma olhada. Primeiro, quem é a underdog? Este é o site underdog.ai, e a manchete é “A IA mais leal”. É um aplicativo que oferece sua própria IA para e-mail, calendário, anotações de reuniões, ditado e tarefas do dia a dia. E a frase logo abaixo diz: “IA 100% local, 100% privada”. Aqui, vocês podem ver seis itens. O primeiro são tarefas sensíveis: consultas médicas, renovação de receitas e documentos fiscais. A ideia é encontrar o que você precisa e deixar a próxima etapa pronta para sua

01:02 aprovação. Depois temos tarefas do dia a dia, e-mail, calendário, anotações de reuniões e ditado. À direita, vocês podem ver uma demonstração de conversa. Alguém pede para agendar um check-up com o Dr. Park, e a IA procura a clínica no e-mail, verifica o calendário e redige uma solicitação. Mais abaixo, a seção de downloads lista Mac e Windows, ambos marcados como beta; Linux, iPhone e Android estão a caminho. No topo, diz que o beta é somente por convite, então, por enquanto, você precisa de um link de convite para entrar. Vale lembrar que não instalei o aplicativo para este vídeo. Tudo o que estou dizendo sobre ele é o que a página

01:32 diz. Então, vou apontar para a página a cada vez. Esta parte da página explica por que eles o chamam de leal. Há um bloco intitulado “Leal significa leal”, que lista pontos específicos. O modelo é executado no seu computador, então seu conteúdo não é enviado para um serviço de IA na nuvem. O e-mail sincroniza diretamente entre seu computador e seu provedor de e-mail. As memórias salvas ficam na sua máquina, e você pode vê-las, editá-las ou excluí-las nas configurações. Ele remove imagens remotas, scripts e pixels de rastreamento dos sites. Cada conta tem seu próprio cofre, e a chave nunca sai do seu computador. E há uma opção chamada

02:03 “modo naval”, um único botão, e a underdog nunca se conecta à empresa. Agora, é fácil escrever uma página sobre privacidade, então vamos olhar o bloco seguinte: quem verificou? Leviathan Security Group; avaliação da App Defense Alliance, com os 20 requisitos aprovados; Google aprovou a underdog para ler seu Gmail e calendário. Depois, há dois itens marcados como em andamento: uma equipe que hackeou a OpenAI tentando invadir o sistema todos os dias, e Jane Manchun Wong desmontando o aplicativo para Mac. Aprovado significa aprovado. Em andamento significa que não terminaram, e vou dizer exatamente isso. Voltando para cima, há uma faixa de apoiadores e investidores recentes:

02:34 Horowitz, Hustle Fund, Hummingbird, Anthology Fund em parceria com a Anthropic, SV Angel e Breakneck, além de investidores-anjo, incluindo Patrick Collison, Naval Ravikant, Guillermo Rauch e Noam Brown. Eles dizem que esta primeira rodada de investimentos foi captada em abril de 2026. Há um mural de apoio com publicações de várias pessoas. Ben Horowitz diz que sempre torce por quem está em desvantagem. Guillermo Rauch diz que todo ser humano e toda empresa devem ser donos da própria pilha de inteligência. E Thomas Wolf, do Hugging Face, diz que a maior parte da IA pessoal deveria funcionar no seu dispositivo. Depois, há o

03:04 cartão do manifesto: “Seja dono da sua IA. Não deixe que ela seja dona de você”, com uma observação de que o criador, Sigil, está construindo isso para si mesmo. E a seção da equipe diz que é uma equipe pequena, formada por pessoas que vieram da Apple, Meta, Amazon, Baidu, Google Brain, Ramp, Mr. Beast, Teal Fellowship e Meta Superintelligence Labs. Eles estão contratando. Agora, os modelos. A página apresenta três. Wolf 4B, o rápido: 115 tokens por segundo, o que, segundo eles, é 21 vezes mais rápido do que você consegue ler. Saluki 27B, o leve: 96% do

03:36 modelo completo de 27B com um sétimo do tamanho, 7,89 GB, cabe em um laptop de 16 GB. É sobre ele que trata este vídeo. E Underdog 27B, o inteligente. Eles mostram uma pontuação de 33,7, contra 31,9 do Claude Opus 4.6 Max, a 28 tokens por segundo. Há uma observação em letras pequenas logo abaixo que quero mostrar a vocês. As velocidades são estimativas; as pontuações vêm do índice de inteligência da Artificial Analysis. O Underdog 27B é baseado no Trend 3.8 27B, e as pontuações

04:08 são pontuações do Trend. E os 96% do Saluki são a média dele em nove benchmarks em comparação com o Trend 3.8 27B de tamanho completo. Agora, na publicação do blog, datada de 7 de outubro de 2026, eles começam com uma afirmação da Artificial Analysis de que o Trend 3.8 27B supera o Claude Opus 4.6 Max, o modelo de ponta de seis meses atrás. Eles o comprimiram para 7,89 GB, para funcionar no llama.cpp padrão, e chamaram o resultado de Saluki. Ele é open source

04:39 e eles dizem que você pode usá-lo mesmo sem citá-los. Também o chamam de checkpoint de prévia, e dizem que o treinamento completo será publicado em breve. A lista “ideal para” inclui agents que usam ferramentas, assistência local que segue instruções à risca e trabalho privado offline. E a seção “bom saber” é sincera: ele foi feito para agents, não para olimpíadas de matemática. Ele gosta de pensar nas coisas com cuidado, então, para tool calling ágil, desative o raciocínio. A entrada e a saída são texto. Aqui está a manchete: a underdog avaliou 120 tarefas do Berkeley Function Calling Leaderboard, 24 em cada um dos cinco tipos de

05:10 uso de ferramentas, selecionadas e fixadas em 27 de setembro, antes de qualquer um desses modelos ser testado. E vocês podem ver as barras: a outra versão deles, chamada Main, marcou 91; Saluki, 88; Mia de 2 bits, 85; o Trend de tamanho completo, 84; ISTA de 2 bits, 76; Bonsai 2 ternário, 70. A tabela tem mais uma coluna: quantas das 84 tarefas resolvidas pelo modelo completo cada um ainda resolve. Saluki, 76 — isso é 90%; Main, 77; Bonsai, 68; Mia e ISTA, 63. E vejam a discriminação por tipo de tarefa em

05:42 tool calling: escolher a função certa. O Saluki acertou 24 de 24. Na escolha da função certa entre várias, acertou 23. Isso dá 47 de 48, contra 31 da Mia. Agora, eles mesmos dizem que não afirmam que ele seja mais inteligente que o original. 120 tarefas é um teste modesto, e parte da vantagem provavelmente se deve à variação entre execuções. Em seguida, várias chamadas de ferramenta de uma vez, como consultar o tempo em Paris, Londres e Tóquio, em 100 tarefas. Com avaliação rigorosa, Saluki marcou 42, o modelo completo, 35; Bonsai, 11. Com uma avaliação mais tolerante a pequenos

06:13 deslizes de formatação, o Saluki sobe para 55. E eles dizem claramente que a Mia é a líder disparada aqui: 69 com avaliação rigorosa e 70 com avaliação tolerante, usando um arquivo maior, de 9,1 GB. Gosto que tenham incluído isso na tabela. Depois, o teste de programação: 50 issues reais do GitHub, do SWE-Bench Verified. O Saluki corrigiu 30, o modelo completo, 33, e o Saluki ainda corrigiu 27 das 33 que o modelo completo corrigiu. Navegação na web: Web Walker Q&A, 150 perguntas. O Saluki respondeu 60, ou seja, 40%. O Bonsai,

06:44 55, e a própria versão Main deles, 48 — o que, segundo eles, é um dos motivos para lançarem o Saluki. E no IFEVAL, com 541 prompts, o Saluki marcou 93,5 com avaliação permissiva e 90,9 com avaliação rigorosa, contra 91,5 de pontuação pública do modelo completo; eles contam seis prompts inacabados como erros. Agora, a página no Hugging Face: Conway Research/Underdog Saluki 27 B1.0, 250 curtidas e cerca de 59.000 downloads no mês passado. Licença Apache 2.0 e tags para GGUF, llama.cpp, 2 bits,

07:18 tool calling e agents. Em “Arquivos e versões”, vocês podem ver o arquivo principal, IQ2 mix.GGUF, com 7,9 GB, e dois arquivos de visão, com 928 MB e 629 MB. O início rápido consiste em dois comandos, e estou lendo diretamente do cartão. Não os executei para este vídeo. Primeiro, o download pela Hugging Face CLI com o nome do arquivo; depois, llama-server -m <arquivo> --jinja -ngl --flash-attn --ctx-size 32768.

07:48 Essa opção --jinja ativa o modelo de conversa que lida com chamadas de ferramenta e raciocínio, e o servidor oferece a API de chat da OpenAI na porta 8080. Para as configurações, o uso geral é com o raciocínio ativado, temperatura 0,6, top p 0,95 e top k 20. Para chamadas de ferramenta rápidas, desative o raciocínio e defina a temperatura como zero. O cartão também lista aplicativos locais: llama.cpp, LM Studio, Jan, vLLM, oobabooga no Slot Desktop e PI; o link “ver todos os aplicativos locais” mostra mais opções, como Lemonade,

08:20 Hermes Agent e Open Claw. Um ponto para observar: esses trechos gerados automaticamente dizem :f16, o que não corresponde ao arquivo de 7,89 GB. Então, verifique qual arquivo eles baixam. Agora, as limitações, porque o cartão as lista: em matemática competitiva, no AIME 2025, ele marca 79,2, contra 96,7 de pontuação pública do modelo completo; e 80,0, contra 94,6, no AIME 2026. Isso equivale a 82% a 85% da pontuação do modelo completo. No MUSR, marca 67,5, contra 79,6.

08:51 Ele é mais fraco em quebra-cabeças no nível das letras, como palíndromos; cerca de um quinto das respostas a chamadas paralelas tem pequenos deslizes de formatação; e, com o modo de pensamento ativado, ele pode raciocinar por bastante tempo antes de responder. Mais uma coisa: há uma pequena divergência entre as próprias páginas deles. O bloco diz que esta versão não aceita imagens; o cartão do Hugging Face diz que aceita texto por padrão e imagens com um complemento opcional de visão, aqueles arquivos MM proj. Então, confira o cartão para saber o que você está baixando de fato. Então, esse é o Saluki: 7,89 GB, 88 de 120 em tool calling, Apache 2.0,

09:23 e roda no llama.cpp padrão, graças a e à equipe trend, que a Underdog credita nas duas páginas. Se tiver interesse, experimente no seu próprio sistema e me conte como foi. Vejo você em outro vídeo. Confira o próximo vídeo.

Transcrição original

[00:00] All right. In this video, we will see Saluki, a 27 billion parameter model that underdog squeezed from about 54 GB down to 7.89 GB, and you can see that right here on their page. Now, mind you, that file is small enough for a 16 GB laptop, and it still solved 88 out of 122 calling tasks, while the full 54 GB model it came from solved 84. So, a model 1/7 the size scored higher on tool calling. I want to go through everything on their website, the underdog homepage,

[00:31] the Saluki blog post, and the Hugging Face model card, including the parts where they say it falls short. Let’s go ahead and look at it. First, who is underdog? This is underdog.ai, and the headline is the most loyal AI. It’s an app that gives you your own AI for email, calendar, meeting notes, dictation, and errands. And the line under it says, “100% local AI, 100% private.” If you look here, there are six items. Number one is sensitive tasks, doctor’s appointments, prescription refills, tax paperwork. The idea is that it finds what you need and gets the next step ready for your

[01:02] approval. Then we have errands, email, calendar, meeting notes, and dictation. And on the right, you can see a chat demo. Someone asks it to schedule a checkup with Dr. Park, and it searches the mail for the clinic, checks the calendar, and drafts a request. Down here, the download section says Mac and Windows, both marked beta, Linux, iPhone, and Android are on the way. And at the top, it says invite-only beta, so you need an invite link to get in right now. Mind you, I have not installed the app for this video. Everything I’m telling you about it is what their page

[01:32] says. So, I’ll point at the page each time. This part of the page is the reason they call it loyal. There’s a block titled “Loyal Means Loyal,” and it lists specific things. The model runs on your computer, so your content isn’t sent to a cloud AI service. Mail syncs directly between your computer and your email provider. Saved memories stay on your machine, and you can see, edit, or delete them in settings. It strips remote images, scripts, and tracking pixels on site. Every account gets its own vault, and the key never leaves your computer. And there’s a switch called

[02:03] naval mode one switch, and underdog never calls home. Now, a privacy page is easy to write, so look at the next block who has checked Leviathan Security Group, the app defense alliance assessment, all 20 requirements passed, Google approved underdog to read your Gmail and calendar. Then two marked underway, a team that hacked OpenAI trying to break it every day, and Jane Manchun Wong taking the Mac app apart. Passed means passed. Underway means they haven’t finished, and I’m going to say it exactly like that. Scrolling up, there’s a backer strip, and recent

[02:34] Horowitz, Hustle Fund, Hummingbird, Anthology Fund in partnership with Anthropic, SV Angel, and Breakneck, plus angels including Patrick Collison, Naval Ravikant, Guillermo Rauch, and Noam Brown. They say this first round was raised in April 2026. There’s a wall of love with posts from people. Ben Horowitz says he always loves an underdog. Guillermo Rauch says every human and every company must own their intelligence stack. And Thomas Wolf from Hugging Face says most personal AI should run on your device. Then the

[03:04] manifesto card own your AI. Don’t let it own you with a note that the creator Sigil is building it for himself. And the team section says a tiny team that comes from Apple, Meta, Amazon, Baidu, Google Brain, Ramp, Mr. Beast, Teal Fellowship, and Meta Superintelligence Labs. They’re hiring. Now, the models. The page introduces three. Wolf 4B, the fast one, 115 tokens a second, which they say is 21 times faster than you can read. Soluki 27B, the light one, 96% of

[03:36] the full 27B at a seventh the size, 7.89 GB, fits a 16 GB laptop. That’s the one this video is about. And Underdog 27B, the smart one. They show a score of 33.7 against 31.9 for Claude Opus, 4.6 max at 28 tokens a second. There’s a fine print line under it that I want you to see. Speeds are estimates, the scores come from the artificial analysis intelligence index. Underdog 27B is built on trend 3.8 27B and the scores

[04:08] are trend scores. And Saluki’s 96% is its average across nine benchmarks against the full-size trend 3.8 27B. Now, the blog post dated 7 October 2026 they start with a claim from artificial analysis that trend 3.8 27B beats Claude Opus 4.6 max, the frontier model from 6 months ago. They squeezed it into 7.89 GB that runs on standard Llama CPP and they call the result Saluki. It’s open

[04:39] source and they say you’re welcome to use it even without citing them. They also call it a preview checkpoint with full training to be published soon. The best for list agents that use tools, local assistance that follow instructions closely and private offline work. And good to know is honest, built for agents, not math Olympiads. It likes to think things through, so for snappy tool calls you turn thinking off and it’s text in text out. Here’s the headline, Underdog Bench 120 tasks from the Berkeley function calling leaderboard, 24 in each of five kinds of

[05:10] tool use, picked and frozen on 27 September before any of these models were tested. And you can see the bars, their other build called main 91 Saluki 88, Mia 2-bit 85, the full-size trend 84 ISTA 2-bit 76, ternary bonsai 2 70. The table has one more column, how many of the full models 84 solved tasks each one still solves. Saluki 76, that’s 90%, main 77, bonsai 68, Mia and ISTA 63. And look at the breakdown by task type on

[05:42] calling the one right function, Saluki got 24 out of 24 on picking the right function from several 23. That’s 47 of 48 against 31 for Mia. Now, they themselves say they don’t claim it’s smarter than the original. 120 tasks is a modest test, and part of the lead is likely run-to-run variation. Next, several tool calls at once like checking the weather in Paris, London, and Tokyo on 100 tasks. Strict scoring, Saluki 42, the full model 35, Bonsai 11. With forgiving scoring for small formatting

[06:13] slips, Saluki goes up to 55. And they said plainly Mia is the clear leader here. 69 strict and 70 forgiving with a bigger 9.1 GB file. I like that they put that in the table. Then the coding test, 50 real GitHub issues from SWE-Bench verified. Saluki fixed 30, the full model 33, and Saluki still fixed 27 of the 33 the full model fixed. Web browsing, Web Walker Q&A, 150 questions. Saluki answered 60, that’s 40%. Bonsai

[06:44] 55, and their own main build 48, which they say is one reason they’re launching Saluki. And on IFEVAL, 541 prompts, Saluki scores 93.5 loose and 90.9 strict against 91.5 public for the full model, and they count six unfinished prompts as failures. Now, the Hugging Face page, Conway Research {slash} Underdog Saluki 27 B1.0, 250 likes, about 59,000 downloads last month. License Apache 2.0 and tags for GGUF. Llama CPP, 2-bit,

[07:18] tool calling, and agents. Under files and versions, you can see the main file IQ2 mix.GGUF, 7.9 GB, and two vision files, 928 MB and 629 MB. The quick start is two commands, and I’m reading them off the card. I have not run them for this video. First, Hugging Face CLI download with the file name, then llama.server {dash} m the file {dash} {dash} tinja {dash} ngl –faon, –c32768.

[07:48] That ginger flag turns on the chat template that handles tool calls and thinking, and the server speaks the OpenAI chat API on port 8080. For settings, general use is thinking on, temperature 0.6, top p 0.95, top k 20. For fast tool calls, turn thinking off and set temperature to zero. The card also lists local apps, llama.cpp, LM Studio, Jan vLLM, oobabooga on slot desktop, and PI, and the view all local apps link has more, like Lemonade,

[08:20] Hermes Agent, and Open Claw. One thing to watch, those auto-generated snippets say colon f16, which doesn’t match the 7.89 GB file. So, check which file they pull. Now, the limitations, because the card lists them on competition math, AIME 2025, it scores 79.2 against 96.7 public for the full model, and 80.0 against 94.6 on AIME 2026. That’s 82 to 85% of the full score. MUSR is 67.5 against 79.6.

[08:51] It’s weakest on letter-level puzzles, like palindromes, about a fifth of parallel call replies have small formatting slips, and with thinking on, it can reason at length before it answers. One more thing, and this is a small mismatch between their own pages. The block says this release doesn’t take images, the Hugging Face card says text by default and images with an optional vision add-on, those MM proje files. So, check the card for what you actually download. So, that’s Saluki, 7.89 GB, 88 out of 120 on tool calling, Apache 2.0,

[09:23] and runs on stock llama.cpp, thanks to and the trend team, which Underdog credits on both pages. If you’re interested, go ahead and try it on your own system, and let me know how it goes. I’ll see you in another one. Check out the next video.