Ternary Bonsai 2 9B em GGUF: um modelo de 2,4 GB localmente

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Ternary Bonsai 2 9B in GGUF: A 2.4 GB Model Locally · Canal: Fahd Mirza · 09:24 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Inferência e otimização de modelos, Modelos de IA, Modelos locais e open source, Modelos multimodais

Resumo

Fahd Mirza testa o Ternary Bonsai 2 9B em GGUF, um modelo multimodal baseado no Qwen 3.5 9 billion, comprimido de cerca de 17,9 GB para 2,4 GB. O vídeo apresenta a quantização ternária, a execução com llama.cpp e testes de programação, conhecimento de gírias, multilinguismo, raciocínio científico e interpretação de imagens. O modelo se sai bem em algumas tarefas, mas mostra limitações em idiomas menos comuns, detalhes numéricos e lógica narrativa. A conclusão é que ele é um leitor de imagens competente, mas ainda pode alucinar e não deve ser considerado confiável em todos os detalhes.

Pontos-chave

O modelo gera uma animação de um espeto de donair a partir de uma foto real e de um prompt.
O Ternary Bonsai 2 9B é baseado no Qwen 3.5 9 billion e aceita imagens e texto.
A quantização ternária representa os pesos com três valores: -1, 0 e +1, reduzindo o modelo de cerca de 17,9 GB para 2,4 GB.
O modelo mantém um context window de 262K; reduzir esse valor pode diminuir o uso de VRAM.
No teste de Nadsat, o modelo inseriu palavras reais, mas errou muitos significados.
No teste com 28 idiomas, o desempenho foi melhor em idiomas mais comuns e caiu nos menos usados.
Ao analisar um infográfico científico, identificou inconsistências gerais, mas errou números e inventou detalhes.
No teste de imagem e narrativa, descreveu bem a cena, mas falhou na lógica do enredo e no uso de urdu.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação e tamanho do modelo	O vídeo mostra uma animação gerada pelo modelo e apresenta o Ternary Bonsai 2 9B e sua base multimodal.
01:04	Como funciona a quantização ternária	O apresentador explica como a representação ternária reduz o tamanho do modelo e mostra sua execução com llama.cpp.
03:09	Testes de Nadsat e multilinguismo	O modelo usa algumas palavras corretas de Nadsat, mas apresenta erros, e seu desempenho multilíngue cai em idiomas menos comuns.
05:46	Raciocínio científico e análise de gráficos	O modelo identifica problemas gerais em um infográfico, mas comete erros ao ler números e verificar cálculos.
07:50	Interpretação de imagem e conclusão	O modelo descreve bem uma cena, mas falha na narrativa, levando o apresentador a destacar seus limites de criatividade e lógica.

Citações

Ternário significa comprimir cada um desses pesos em apenas três valores: -1, 0 ou +1. — 02:07

A qualidade cai à medida que o idioma fica mais raro. — 05:46

Um modelo de 2,4 GB pode raciocinar sobre um gráfico complexo e chegar a uma conclusão sensata, mas você nunca deve confiar nos números exatos. — 07:19

É um bom leitor de imagens e um falante razoável de italiano, mas fraco na lógica do enredo. — 08:52

Conceitos e entidades

Ternary Bonsai 2 9B (modelo): Modelo multimodal comprimido em formato GGUF, avaliado em tarefas de programação, idiomas, raciocínio e interpretação de imagens.
Qwen3.5 9B (modelo): Modelo no qual o Ternary Bonsai 2 9B é baseado, segundo o vídeo.
GGUF (conceito): Formato em que o modelo apresentado está disponível para execução local.
quantização ternária (conceito): Método descrito no vídeo que representa cada peso com um dos valores -1, 0 ou +1 para reduzir o tamanho do modelo.
llama.cpp (ferramenta): Ferramenta usada no vídeo para executar o modelo.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável por avaliar o modelo em diferentes testes.
Nadsat (conceito): Gíria fictícia de A Clockwork Orange usada como desafio para testar o conhecimento linguístico do modelo.
Prism ML (empresa): Organização associada no vídeo aos modelos ternários Bonsai.

Tradução completa (pt-BR)

00:01 Você está vendo um espeto de donair kebab girando diante de uma chama de gás, ao vivo no meu navegador. Agora, a parte interessante: um modelo com apenas 2,4 GB de pesos escreveu este código. Primeiro, ele analisou uma foto real de um donair e, depois, criou toda a animação a partir dela. Vou mostrar onde ele fez isso. Então, como você pode ver, forneci este prompt e esta foto, e ele raciocinou. Depois do raciocínio, gerou este código que

00:34 acabei de mostrar para você. Eu sou Fahad Mirza, e dou as boas-vindas ao canal. Venho cobrindo esses modelos bonsai há bastante tempo, desde o primeiro dia, eu diria. E eles são um acerto e um erro. Às vezes são ótimos, e às vezes simplesmente falham por completo, sabe, não funcionam com nenhum prompt. Então, estou muito curioso para ver exatamente como este novo bonsai 2 9 billion se sai. Dá para ver que a programação ficou muito

01:04 boa. Vamos testá-lo mais. Antes disso, vou dar uma introdução bem rápida sobre o que são exatamente esses modelos ternários e o que a prism ML está fazendo com esses modelos bonsai ternários. Este é um modelo de 9 bilhões no formato GGUF, como você pode ver. Eles também têm outras variantes menores. Ele é baseado no Qwen 3.5 9 billion. Então, entende imagens e texto, e mantém intacta a enorme context window de 262K.

01:36 O modelo original tem cerca de 17,9 GB — estou falando do Qwen. Este tem cerca de 2,4 GB, só isso. É aproximadamente sete vezes menor, e os pesos estão sob Apache 2, então você pode usá-los livremente. Eles também compartilharam alguns dos benchmarks, que vou mostrar daqui a pouco, mas antes disso, quero recapitular como exatamente eles reduziram tanto este modelo. À esquerda está o original, de 13,59

02:07 bilhões. Dentro de cada camada, cada peso é um número preciso de 16 bits, como 0,82 ou -0,07. Ternário significa que comprimimos cada um deles em apenas três valores: -1, 0 ou +1. É só isso. Apenas três opções. Um número de escala pequena é armazenado para cada grupo de 128 pesos, para manter os tamanhos adequados. Menos bits por peso significam um arquivo muito menor, e é assim que 17,9 GB

02:38 viram cerca de 2,4 GB. Então, veja. É aqui que ele está rodando com llama.cpp, como mencionei antes, e este é o consumo de VRAM neste momento, com a context window completa de 262K. Se você não precisa de tanto, basta reduzir o comprimento do contexto aqui, alterando este parâmetro C, e o consumo de VRAM vai diminuir. E sim, estou usando uma GPU maior porque estou apenas reutilizando esta VM.

03:09 Se você está procurando alugar uma GPU por um preço muito bom, pode encontrar o link para Mass Compute na descrição do vídeo. Assine também esta newsletter semanal gratuita de IA em fahadmirza.substack.com. E, se quiser ajudar o canal, basta ir à página inicial ou ao primeiro comentário fixado e clicar neste link para se tornar membro. Certo, isso já foi. Vamos testar mais um pouco. Vou fazer outra pergunta interessante. Este prompt pede ao modelo que

03:40 reconte um acontecimento histórico real em Nadsat, uma gíria inventada de A Clockwork Orange, para testar se um modelo muito comprimido ainda conhece o Nadsat de verdade ou se apenas se transforma em um texto com sonoridade poética. Aliás, o raciocínio deste modelo é bem interessante. Apesar do tamanho, ele realmente pensa muito bem. Enfim, o que importa é o resultado. Então, vamos esperar. Certo, ele produziu o resultado. E

04:11 mais uma vez, eu diria que ficou meio a meio. Ele usou palavras reais de Nadsat, mas, na maioria das vezes, acho que com significados errados. Só drug, malchik e moloko estão certas, mas várias outras estão erradas. Então, eu diria que é por isso que estou falando em um resultado talvez 60/40 ou 50/50. Mas as 11 palavras também vieram do prompt, aliás. Então, ele está salpicando o texto com essas palavras. Não acho que esteja realmente falando Nadsat, mas, se você souber se está certo ou errado, me avise nos comentários. Além disso, essa ideia veio de um

04:44 membro do canal. Então, eu realmente gostaria de esperar pelo feedback dele para ver se o resultado é bom ou não. Vamos fazer outro teste. O próximo teste é sobre multilinguismo. Então, veja o prompt. Dei ao modelo uma cena de restaurante e pedi que respondesse em 28 idiomas de vários continentes. Idiomas importantes, como espanhol e português, ficaram bem fortes no resultado, assim como o mandarim, eu diria. Mas acho que houve alguns deslizes no

05:15 coreano e também no indonésio. E idiomas com recursos intermediários, como hindi, urdu, grego e também alguns idiomas africanos, saíram truncados, com palavras soltas em russo e chinês aparecendo no meio. E há também alguns idiomas raros. Deixe-me rolar a tela para baixo primeiro. Dá para ver que estão razoáveis, mas, de novo, os europeus estão, em sua maioria, razoáveis, eu diria. E estes são alguns dos norte-americanos. Mas dá para ver que todos esses idiomas raros viraram uma sequência de disparates repetidos.

05:46 Acho que isso foi injusto com o modelo também. É um modelo de dois bits. Mas, de qualquer forma, queríamos levá-lo ao limite. Então, no geral, eu diria que o padrão está muito claro. A qualidade cai à medida que o idioma fica mais raro. Esse é o multilinguismo para vocês. Certo, agora vamos fazer um teste de raciocínio científico. Para este teste, mostrei ao modelo este infográfico carregado sobre um túnel de vento e pedi que o analisasse como um aerodinamicista experiente. Lesse os números, comparasse uns com os outros e também verificasse a

06:18 física, alguns cálculos e outras coisas, como podem ver neste prompt. Agora, sabe de uma coisa? Vamos dar uma olhada rápida neste raciocínio. Gostei muito de acompanhar esse raciocínio. Está muito, muito bem elaborado para este modelo comprimido. Ele não deixou passar nada. Mas, se você olhar a resposta, o que ele fez foi acertar, o que é realmente impressionante. Ele detectou números de Reynolds conflitantes,

06:49 apontou o texto ilegível e as fórmulas sem sentido, porque aquilo foi gerado por IA, e concluiu que o relatório não era confiável, o que é uma avaliação justa para esta imagem cheia de bobagens. Mas os detalhes eram duvidosos. Especialmente aqui, o que você está vendo na tela. Ele leu números pequenos de forma errada. E até inventou um ângulo de estol inferior a 90, que não consigo encontrar na imagem de jeito nenhum. A própria verificação de física também teve um erro aritmético com 100 m/s — quer dizer, mi/s

07:19 e alguns outros números que estavam realmente errados. Então, acho que um modelo de 2,4 GB consegue raciocinar sobre um gráfico complexo e chegar a uma conclusão sensata, mas você nunca deve confiar nos números exatos dele. Então, acho que as alucinações continuam acontecendo. Mas ele melhorou em comparação com os modelos anteriores desta família. Certo, agora vamos fazer um teste situacional. Como podem ver, dei ao modelo esta

07:50 foto gerada por IA de um solteiro rico com uma grande mancha de molho na camisa, preso entre duas futuras sogras rivais: uma nonna italiana segurando uma lasanha e uma foto de bebê, e uma tia paquistanesa segurando um frango assado e um álbum de família. Cada uma quer que ele se case com a filha dela. Então, neste prompt, que podem ver na tela, pedi ao modelo que descrevesse a imagem e depois escrevesse uma cena engraçada com referências culturais autênticas, frases em italiano e urdu, e um

08:21 final inesperado. Agora, se você olhar a resposta, o raciocínio também é bem interessante. Enfim, se você olhar a resposta, a parte visual foi excelente. Ele descreveu corretamente cada pessoa, prato e a mancha. E as frases em italiano também ficaram boas, com uma fala realmente engraçada: “Não olhe para a lasanha como se ela lhe devesse dinheiro.” Mas a história desmoronou. O urdu ficou duvidoso; acho que não estava realmente bom, e havia bastante repetição. As

08:52 filhas e o casamento nem sequer foram mencionados. De repente, o homem estava usando um terno em vez da camisa azul, e a reviravolta da foto de bebê não fazia sentido nenhum. Então, eu diria que é bom para interpretar imagens e razoável falando italiano, mas fraco em lógica de enredo. Criatividade não é o seu forte. Então, vejam, aqui está o bonsai ternário. Houve uma queda de desempenho bastante grande, como podem ver, especialmente se vocês assistiram ao meu vídeo sobre o modelo de 23,59 bilhões. Confiram e comparem com

09:24 este vídeo. Você saberia do que estou falando, mas foi um bom esforço da Prisma ML. Me conte o que achou. Obrigado por todo o apoio.

Transcrição original

[00:01] You are looking at a donair kebab skewer spinning in front of a gas flame running live in my browser. Now the interesting part, a model with only 2.4 GB of weights wrote this code. It first looked at a real photo of a donair, then built the whole animation from that. Let me show you where it did that. So you see, I provided it this prompt and this photo, and then it reasoned. After the reasoning, it generated this code which

[00:34] I just showed you. This is Fahad Mirza, and I welcome you to the channel. I have been covering these bonsai models for the long time, I would say from the day one. And they are hit and a miss. Sometimes they are great, and sometimes they just totally fail at, you know, don’t work at all on any prompt. So I’m very curious to see how exactly this new bonsai 2 9 billion performs. You can see that the coding was really a

[01:04] good one. Let’s test it more. Before that, let me give you a very quick intro as what exactly these ternary models are and what this prism ML is doing with these ternary bonsai models. So this one is a 9 billion in GGUF format as you can see. They also have other smaller variants. It is built on Qwen 3.5 9 billion. So it understands images as well as text, and it keeps the huge 262K context window intact.

[01:36] The original model is about 17.9 gig, the Qwen I mean. This one is about 2.4 gig, that’s it. That is roughly seven times smaller, and the weights are Apache 2, so you can use them freely. They also have shared some of the benchmarks which I I be showing you shortly, but before that, I just want to recap how exactly they have shrunk this model this much. On the left is 13.59

[02:07] billion, the original. Inside every layer, each weight is a precise 16-bit number like .82 or - .07. Ternary means we squeeze every one of those just into three values, -1, 0, or +1. That is it. Three choices only. A small-scale number is stored for each group of 128 weights to keep the sizes right. Fewer bits per weight means a much smaller file, and that is how 17.9 gig

[02:38] turns into about 2.4 GB. So, look. This is where it is running with llama.cpp, as I mentioned earlier, and this is a VRAM consumption at the moment with full 262K context window. If you don’t want that much, just reduce that context length here by just changing this C parameter, this VRAM consumption will come down. And yes, I’m using a bigger GPU because I’m just reusing this VM.

[03:09] If you’re looking to rent a GPU on very good price, you can find the link to Mass Compute in video’s description. Please also subscribe to this free weekly AI newsletter at fahadmirza.substack.com. And if you want to help out the channel, just go to the home page or in the first pinned comment and click on this link to become a member. Okay, so that’s out of the way. Let’s test this thing bit more. I’m going to ask it another interesting question. Now, this prompt asked the model to

[03:40] retell a real historical event in Nadsat, which is a made-up slang from A Clockwork Orange to test whether a heavily compressed model still knows real Nadsat or just turns into poetic sounding text. By the way, the reasoning is pretty interesting of this model. Despite of its size, it actually thinks quite nicely. Anyway, what depends on the success is the result. So, let’s wait. Okay, so it has produced the result. And

[04:11] again, I would say it’s a 50/50. It used real net set words, but mostly I think with wrong meanings. Only drug, malchik, and moloko are right, but there are various which are wrong. So, I would say that is why I’m saying maybe 60/40 or 50/50 result. But all 11 words came from the prompt two, by the way. So, it is sprinkling the words in. I don’t think so it is really speaking net set, but if you know if it is right or wrong, let me know in the comment. Also, this idea actually came from a

[04:44] member of the channel. So, I would actually wait for his feedback to see if the result the result is good or not. Let’s do another test. Next test is all about multilinguality. So, look at the prompt. I gave the model one restaurant scene and asked it to reply in 28 languages across the continents. Big languages like Spanish and Portuguese in the result have come out quite strong and also Mandarin, I would say. But I think there are small slips in

[05:15] Korean and also Indonesian. And then mid-resource languages like Hindi, Urdu, Greek, and also a few of the African ones came out garbled with stray Russian and Chinese words leaking in. And then there are some rare languages, too. Let me just first scroll down. They see they are okay, but again, European ones are more mostly okay, I would say. And these are some of the North American. But you see, all of these rare ones, they have collapsed into repeated nonsense.

[05:46] Uh, think this was unfair to model two. It’s a two-bit model. But anyway, we just wanted to stretch it. So, overall, I would say the pattern is very clear. Quality drops as the language gets rarer. So, this is multilinguality for you. Okay, now let’s do a scientific reasoning one. So, for this test, I showed the model this busy wind tunnel infographic and asked it to review it like a senior aerodynamicist. Read the numbers, check them against each other, and then also check out the

[06:18] physics and some maths and few other things as you can see from this prompt. Now, you know what? Quickly have a look at this reasoning. I actually enjoyed going through this reasoning. This is a very very well-crafted one for this condensed model. It didn’t really miss a beat. But then, if you look at the response, what it has done is that it has got it right, which is really impressive. It spotted conflicting Reynolds number,

[06:49] called out garbled text and nonsense formulas, cuz that was an AI-generated one, and ruled the report non-credible, which is a fair call for this image full of gibberish. But the details were shaky. Especially here, what you [clears throat] are looking at your screen. It misread small numbers. Um, and it invented even a stall angle of less than 90 that I cannot find in the image at all. Its own physics check also had an arithmetic slip with 100 m/ Sorry, mi/s

[07:19] and some other numbers which were really not correct. So, I think a 2.4 GB model can reason about a complex chart and reach a sensible conclusion, but you should never trust its exact numbers at all. So, I think hallucination is still there. Um, but it has improved as compared to the previous models in this family. Okay, now let’s do a situational test. So, you see, I gave the model this

[07:50] AI-generated photo of a rich bachelor with a big gravy stain on his shirt trapped between two rival would-be mothers-in-law, an Italian nonna holding a lasagna and a baby photo and a Pakistani aunty holding a roast chicken and a family album. Each wanting him to marry her daughter. So, I have asked the model in this prompt, which you can see on your screen, to describe this image, then write a funny sketch with real cultural touches, Italian Urdu phrases, and a

[08:21] twist ending. Now, if you look at the response, um, you know, reasoning is also quite interesting. Anyway, if you look at the response, the vision part was excellent. It described every person, dish, and the stain correctly. And the Italian phrases were fine, too, with one genuinely funny line, “That don’t look at the lasagna like it owes you money.” But, then the story really fell apart. The Urdu was shaky, um, really, I think it was not really good enough, and quite repetition there. The

[08:52] daughters and the marriage were never mentioned at all. The man suddenly wore a suit instead of his blue shirt, and the baby photo twist made no sense at all. So, look, I would say it’s a good image reader and a decent Italian speaker, but weak, um, at plot logic. So, creativity is not its forte at all. So, look, this is in front of you, the ternary bonsai. There have been quite a heavy loss in performance, as you can see, especially if you have seen my 23.59 billion video. Check it out and then compare it with

[09:24] this video. You would know what I’m talking about, but a good effort from Prisma ML. Let me know your thoughts. Thank you for all the support.