Underdog Saluki 27B 1.0 localmente: além de Qwen e GSQ+RCO

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Underdog Saluki 27B 1.0 Locally: Beyond Qwen and GSQ+RCO · Canal: Fahd Mirza · 08:42 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Engenharia de software com IA, Inferência e otimização de modelos, Modelos de IA, Modelos locais e open source

Resumo

Fahd Mirza avalia com cautela o Saluki 27B 1.0, um modelo quantizado em 2 bits, e questiona a alegação de que ele mantém 96% do desempenho do modelo completo. Em testes locais, o modelo demonstra criatividade, gera uma animação em HTML impressionante e responde corretamente a uma questão de física com cálculos em várias etapas. A avaliação também aponta limitações: a visão não funcionou e o modelo inventou detalhes sobre empréstimos imobiliários australianos. O apresentador conclui que é importante verificar as respostas factuais de modelos em 2 bits e diz que ainda prefere o Qwen original.

Pontos-chave

A alegação de 96% do desempenho original é uma média de nove benchmarks, mas os resultados individuais variam.
O teste de tool calling citado usa apenas 120 tarefas, e as pontuações públicas do modelo completo vêm de um harness diferente.
O Saluki 27B 1.0 é baseado em uma quantização de 2 bits anterior, mas não é explicado como o ajuste preservou o tool calling.
No teste criativo, o modelo produz respostas imaginativas sobre filósofos e a vida conjugal.
O modelo gera um arquivo HTML autocontido com uma animação de doner kebab e uma lista de variedades de diferentes países.
O projetor de visão não funcionou nos testes locais, então o apresentador limitou os testes a perguntas de texto.
O modelo responde corretamente a uma questão sobre a órbita da ISS, incluindo velocidade, período orbital e gravidade.
Na pergunta sobre empréstimos imobiliários australianos, o modelo apresenta motivos plausíveis, mas inventa detalhes sobre empréstimos fixos de 15 e 25 anos.
O apresentador recomenda verificar as afirmações factuais de modelos quantizados em 2 bits e prefere o Qwen original.

Capítulos

Início	Capítulo	Resumo
00:01	Alegações e ressalvas sobre o modelo	O apresentador questiona a alegação de 96% do desempenho original e explica as limitações dos números divulgados.
02:05	Teste criativo	O modelo responde a um exercício criativo sobre filósofos e interpretações da vida e do casamento.
03:13	Código e animação em HTML	O modelo cria uma página com um doner kebab animado e uma lista de variedades de diferentes países.
05:53	Raciocínio científico e matemático	O modelo resolve uma questão sobre a órbita da ISS, mas não consegue processar imagens nos testes locais.
07:01	Fatos sobre empréstimos e conclusão	O modelo dá razões plausíveis sobre os empréstimos australianos, mas inventa detalhes, levando o apresentador a recomendar cautela.

Citações

Não tenho muita certeza sobre este modelo. Nem sei por que estou falando dele. — 00:01

Acho que a criatividade é muito boa. — 03:13

Alucinou com confiança, exatamente por isso você deve sempre verificar os fatos de modelos em 2 bits. — 08:07

Conceitos e entidades

Saluki 27B 1.0 (modelo): Modelo avaliado no vídeo, descrito como uma quantização de 2 bits.
Qwen (modelo): Família de modelos que o apresentador usa como referência e diz preferir na versão original.
GSQ (conceito): Abordagem de quantização mencionada na comparação com trabalhos anteriores.
RCO (conceito): Abordagem mencionada pelo apresentador ao comparar quantizações anteriores.
llama.cpp (ferramenta): Ferramenta usada para executar o modelo localmente.
Fahd Mirza (pessoa): Apresentador que conduz os testes e comenta os resultados do modelo.
Hugging Face (empresa): Plataforma cuja model card é citada para comparar resultados de benchmarks.

Tradução completa (pt-BR)

00:01 Eu realmente não tenho certeza sobre este modelo. Nem sei por que estou falando dele. Talvez hoje esteja um dia parado na área de IA e eu não tenha encontrado outro modelo para abordar. Mas hoje vou falar deste azarão, o Saluki 27 billion. Mas, de novo, quero ser sincero desde o início: não tenho certeza sobre este modelo. O cartão diz que ele é um 3.8 de 27 billion, reduzido de 54 GB para 7,89 GB, mantendo 96% do desempenho do modelo completo.

00:32 Mas esses 96% são uma média de nove benchmarks, e os números individuais contam uma história bem diferente, como você pode ver no cartão do Hugging Face. Um exemplo: o AME 2025 cai de 96,7 para 79,2. O resultado positivo em tool calling vem de um pequeno teste com 120 tarefas, e as pontuações públicas do modelo completo vêm de um harness bem diferente. Agora, o que acontece é o seguinte:

01:02 nós já falamos do modelo completo, o Coin 3.827 827 billion, um modelo incrível, incrível, apesar de pensar demais. E olhem só: também já falamos do GSQ e do RCC da Dashlab, há bastante tempo — do RCO, desculpe —, em que ele simplesmente deu mais um passo com 23.827 827 billion. O que esses caras fizeram foi levar isso a outro nível. Pelo que o cartão nos diz, este modelo é

01:34 baseado em uma quantização de dois bits já existente do modelo da Dashlab. Mas não explicam de jeito nenhum como o ajustaram para manter o tool calling intacto. E, com dois bits, quero ver se ele se sai bem além de respostas isoladas. Então vamos testá-lo de verdade. Eu sou Fahad Miraa e dou as boas-vindas a você ao canal. Já coloquei este modelo para funcionar com visão no meu sistema local usando llama.cpp, como você pode ver na tela. Além disso, este é o consumo de VRAM neste momento no meu

02:05 sistema. Este é o servidor. Vamos começar com um teste criativo. Neste teste criativo, estamos pedindo a ele… Deixe-me apertar Enter aqui, porque às vezes o llama.cpp simplesmente não funciona direito. Estou perguntando o que é a vida; alguns filósofos dão suas respostas e, então, há uma reviravolta: Fahad Ma diz que é uma assinatura do meu canal. Depois, pergunto o que esses filósofos diriam se perguntássemos o que é uma esposa. E então executamos o modelo.

02:38 E o modelo ainda está pensando. Vamos esperar pela resposta e conferir. Olhem só esses filósofos incríveis, incríveis, aliás. Ele diz que, para Sócrates, ela é uma companheira no sofrimento; para Sócrates, é uma parceira na investigação. Para Nit, é a mente total da casa que você precisa dominar. Muito bom. E não tenho certeza sobre esse trecho de Fian… Slip aqui. Shopopenhar. Certo, isso é legal. Muito bom. Paciência em movimento. Acho que essa é a melhor, e ela é sua assinante mais

03:13 fiel. Acho que a criatividade é muito boa. Lembrem-se: é uma quantização de dois bits em cima do modelo da Dashlab, que por sua vez é baseado no 3.827 billion. Então, na minha opinião, o primeiro teste valeu o tempo que levou para instalar o modelo, pelo menos até agora. Vamos fazer outro teste de programação. Este é o nosso segundo teste. Como vocês podem ver, estamos pedindo ao modelo que crie um arquivo HTML autocontido com um döner kebab animado em chamas e, em outra aba, uma lista de variedades de döner

03:46 pelo mundo. Estamos testando a capacidade de programação e animação com dois bits, além de quanto conhecimento geral este modelo preservou. Vamos esperar que ele termine e conferir a resposta. O modelo gerou o arquivo. Deixe-me mostrá-lo no navegador. Aí está. Olhem só. Há duas abas, como vocês podem ver: Döner em chamas e Döner pelo mundo. Já vamos chegar à outra. Mas olhem esta aqui. Ficou muito bom. A aba do fogo agora tem um döner giratório e afunilado, com um painel de aquecimento atrás dele.

04:19 As chamas sobem pelos dois lados. Também há faíscas, fumaça e um controle deslizante de intensidade. Deixe-me mexer nele. Uau. Está deslumbrante. O que vocês acham? Vou diminuir a intensidade. Ficou muito legal. Está bem próximo do modelo Coin original. Ficou muito bom. Muito bom. Até a rotação me parece bem feita. Agora, é aqui que ele

04:50 apresentou vários nomes. E vocês podem ver que ele nos deu muitos países e muitas variedades de döner kebab. Então, deem uma olhada e me digam o que acham: está correto para o seu país ou não? Se não conseguirem ler, vou aumentar um pouco para vocês. Vejam só: na Austrália, halal snack pack. Acho que está correto. E é muito famoso e muito gostoso por aqui, aliás. E, na Alemanha, há dois, como

05:21 o de Berlim, eu acho, e o döner de Durum. E há um terceiro também. Então, parece ser bastante popular na Alemanha também. A Turquia também está repleta desses döner kebabs. Sim, muito bom. Então, me contem sobre o seu país. Mas, de novo, este ficou muito bom. Acho que a renderização é impressionante. Vamos fazer outro teste. Agora, vamos a uma pergunta de raciocínio científico com um pouco de matemática. Aliás, tentei usar imagens com este modelo,

05:53 porque, supostamente, ele tem um projetor de visão, mas não está funcionando. Tentei até usar código Python no llama.cpp, mas não funciona de jeito nenhum. Então, por enquanto, vou me limitar às perguntas de texto. O prompt que vocês estão vendo pede ao modelo que calcule a velocidade orbital da ISS, o período, o número de nasceres do sol por dia e a gravidade na altitude dela. Depois, que explique por que os astronautas flutuam. Assim, estamos testando se o raciocínio matemático e físico em várias etapas sobreviveu à redução para dois bits

06:26 ou não. Vamos esperar e conferir. E o modelo respondeu. E sabem de uma coisa? Mais uma vez, a resposta é muito impressionante, especialmente pela maneira como ele pensou. Queria poder mostrar a vocês o raciocínio enquanto acontecia. É um pensamento tão profundo, amplo e detalhado, com verificações em vários níveis. E a resposta acertou todos os números: velocidade, período, gravidade e a explicação da queda livre, tudo de acordo com

07:01 os cálculos. Conferi tudo de novo com um modelo juiz. Simplesmente incrível. Isso é um ótimo sinal para um modelo de dois bits. Ficou muito bom. Agora, vamos fazer uma pergunta final. Estou perguntando: por que os bancos australianos não oferecem empréstimos imobiliários com taxa fixa por 30 anos? Assim, não estamos apenas avaliando o raciocínio, mas também se ele conhece outras regiões, quão atualizados são os dados e se consegue inferir, a partir dos dados de treinamento, por que esse é o caso.

07:37 Certo. Acho que desta vez o modelo respondeu, mas teve um pouco de dificuldade para raciocinar. Os motivos que apresentou são, em sua maioria, razoáveis. Se vocês lerem, verão que os credores assumem o risco da taxa de juros, o financiamento deles é de curto prazo e a Austrália não tem um mercado secundário no estilo de Fannie Mae e Freddie Mac, como nos EUA. Mas, perto do fim, acho que ele errou, porque a conclusão está totalmente errada. Ele diz que os bancos oferecem empréstimos com taxa fixa por 15 e 25 anos como uma

08:07 opção popular e vantajosa. Isso está totalmente errado. Eles não fazem isso. Sério, os bancos australianos são tão ricos, mas tão mesquinhos e tão rigorosos, eu diria. Não vi nenhum prazo fixo, talvez de dois anos, talvez de cinco anos com alguns credores, mas não com todos. Então, acho que explicou bem o motivo, mas inventou um detalhe com confiança no final. Ou seja, alucinou com confiança — exatamente por isso você deve sempre verificar os fatos de modelos de dois bits. É isso. Deixe-me

08:42 saber o que vocês acham deste modelo. E, de novo, eu ainda ficaria com o Quen 3.827 billion original e com as quantizações originais do Quen. Obrigado por todo o apoio. Inscrevam-se no canal, por favor. Texto.

Transcrição original

[00:01] I am really not sure about this model. I even don’t know why I am covering this. Maybe it’s a slow day in AI and I didn’t find any other model to cover. But today I’m covering this underdog Saluki 27 billion. But again, I want to be upfront. I’m not sure about this model. The card says it is 3.8 27 billion shrunk from 54 gig down to 7.89 89 GB with 96% of the full model’s

[00:32] performance. But that 96% is an average across nine benchmarks and the individual numbers tell a very different story as you can see from their hugging face card. Just one example, AME 2025 drops from 96.7 to 79.2. The tool calling win comes from a small 120 task test and the public scores for the full model come from a very different harness. Now here is the thing

[01:02] we already have covered the full coin 3.827 827 billion an amazing amazing model despite of its overthinking and then look at this we have also covered this Dashlab um GSQ and this RCC long time back where RCO sorry where um it just took another step with 23.827 827 billion. What these guys have done, they have taken it to another level. As far as the card tells us, some this model is

[01:34] built on an existing twobit quant from this dashlab model. But how they tuned it to keep tool calling intact is not explained at all. And at two bits, I want to see whether it holds up beyond single shots or not. So let’s test it out for real. This is Fad Miraa and I welcome you to the channel. I already have served this model with vision on my local system with llama.cpp as you can see on your screen plus this is the vramm consumption at the moment on my

[02:05] system. This is the server. Let’s first start it out with a creative test. Now this creative test is asking it let me just press enter here because sometime lama.cpp is just uh not play the ball. I’m asking it what is life and then few philosophers are giving their answers and then there is a twist there where Fahad Ma says it’s membership to my channel then I’m asking it what would these philosophers say if we ask it what is wife and then we have run the model

[02:38] and the model is still thinking let’s wait for it response and we will check so look do those whiskey amazing amazing philosophers by the way it says it’s a companion in suffering Socrates It is partner and inquiry. It is total mind of the household nit power you must master. Very nice. And I’m not sure about fian um slip here. Shopopenhar. Okay, this is cool. Very nice. Patience in motion. I think this is the best one and it is your most

[03:13] loyal subscriber. I think creativity is really good. remember two bit quant on top of the dashlab which is on top of 3.827 billion. So first test in my opinion I think at least it was worth the time to get it installed so far. Let’s do another coding test now. So this is our second test that you can see we are asking the model to build a self-contained HTML file with an animated donor kebab on fire and then another second tab listing donor

[03:46] varieties from across the world. We are testing its coding and animation ability at two bits plus how much world knowledge this one keeps. Let’s wait for it to finish and we will check out the response. The model has generated the file. Let me show it to you in the browser. There you go. So, look this. There are two tabs as you can see. Donor on fire and donor around the world. We’ll get to the other one shortly. But look at this one. This is so good. The fire tab now has a rotating tapered donor with a heating

[04:19] panel behind it. Flames are licking up both sides. Sparks, smoke, intensity slider is also there. Let me move it. Oh, wow. This looks sublime. What do you think? Let me decrease the intensity. This looks so cool. Very close to the original uh coin model. This is so good. This is so good. Even the rotation looks pretty good to me. Now, this is where it

[04:50] has come up with a lot of names. Um and you can see that it has given us lot of countries, lot of varieties of donut kebab. So, please check it out. Let me know what do you think from your country if it is correct or not. If you cannot read it, let me make it bit bigger for you. Now check it out. Australia halal snack snack pack. I think this is correct. And this is so famous, so yummy here by the way. And uh from Germany, there are two of them like

[05:21] from Berlin I guess and from Durham Donor. And there is third one too. So seems quite popular in Germany too. Turkey is also riddled with uh these donor kebabs. Yep, pretty good. So, please let me know your country. But again, this one is really good. I think very impressive rendering. Let’s do another test. Next up, let’s do a scientific reasoning question with a touch of math. By the way, I have tried images with this model

[05:53] because supposedly the vision projector is there but it’s not working. So I have tried even in Python code in llama.cpp doesn’t work at all. So I’m just going to stick with the text questions at the moment. The prompt in front of you is asking the model to work out the ISS orbital speed period sun rises per day and gravity at altitude. Then explain why astronauts float. So we are testing whether it’s multi-step math and physics reasoning survived the twowbit squeeze

[06:26] or not. Let’s wait for it and we will check it out. And the model has come back with the response. And you know what? It is again a very impressive answer especially in terms of the way it has thought. Uh I wish I could show you the thinking while it was going on. It is such a profound thinking broad deep and then verification at multiple levels. But the answer it got every number right speed period gravity and the freef fall explanation all matching

[07:01] the calculations. I have rechecked it with um judge model. Simply amazing. Now this is really a good sign for a two- bit model. Um this is so good. Now let’s ask it a final question. I’m asking it. Why don’t Australian banks offer 30-year fixed rate home loans? So this is not only checking out its uh thinking but also if it knows about other regions and how fresh the data is and if it could infer from its training set as why is uh that the case.

[07:37] Okay. And I think this time model has come back with a response but I guess struggling a bit reason uh the reasons which it has given are mostly sound like if you read through it lenders carry the interest rate risk funding it’s short-term and Australia has no Fenny and Freddy style secondary market like they have in US. Um but towards the end I think it has faulted because the ending is totally wrong. It says banks offer 15 and 25 year fixed loan as a

[08:07] popular value play. Um which is totally wrong. They don’t do it. Seriously, the Australian bank are so rich uh but they are so miser and so uh tight hours I would say um I haven’t seen any fixed term maybe 2 years um maybe maybe 5 years by some lenders but not everyone. So I think it explained the why well but made up a confident detail at the end. So hallucinated with a confidence which is exactly why you should check a twobit models facts always. That’s it. Let me

[08:42] know your thoughts about this model and again I would still stick with the original Quen 3.827 billion and the original quads from Quen. Thank you for all the support. Uh please subscribe to the channel. text.