Bonsai 2 27B localmente: compressão quase sem perdas em um modelo 9 vezes menor

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Bonsai 2 27B Locally: Near-Lossless Compression in a 9x Smaller · Canal: Fahd Mirza · 17:08 · Assistir no YouTube

Tópicos: Agentes de IA, Engenharia de software com IA, Inferência e otimização de modelos, Modelos locais e open source, Modelos multimodais

Resumo

O vídeo apresenta o Bonsai 2 27B, uma versão comprimida do Qwen 3.8 que, segundo seus criadores, ocupa menos de 6 GB e mantém 98% do desempenho em benchmarks. O apresentador explica a quantização ternária, a atenção linear e a rotação usada para preservar a precisão, além de mostrar o consumo de VRAM ao executar o modelo localmente. Nos testes, o modelo não encontra um bug importante em uma aplicação e falha repetidamente ao corrigir uma interface de geração de código, mas tem um desempenho razoável em uma tarefa de visão. A tentativa de tradução para vários idiomas parece travar, e o apresentador conclui que esta versão é pior que a anterior.

Pontos-chave

O Bonsai 2 27B é baseado no Qwen 3.8 e reduz o tamanho anunciado de 54 GB para menos de 6 GB.
A compressão usa pesos ternários com valores -1, 0 ou 1, atenção híbrida e uma rotação aplicada aos pesos e aos dados durante a inference.
O modelo oferece uma context window de 262.000 tokens e requer uma versão específica do llama.cpp.
Com quatro slots paralelos, o uso de VRAM mostrado fica pouco acima de 12 GB; com um slot, o apresentador estima que pode ficar abaixo de 8 GB.
Em uma aplicação de monitoramento de vida selvagem, o modelo corrigiu uma discrepância diferente da falha plantada e deixou o bug principal intacto.
Na geração de uma simulação de preparo de latte em HTML, a interface parecia adequada, mas o botão para iniciar a sequência não funcionou mesmo após tentativas de correção.
O teste de visão produziu uma descrição e uma carta de reclamação consideradas boas, embora inferiores às do modelo original.
Na tarefa de tradução para vários idiomas, o modelo pareceu travar e gerar conteúdo incoerente.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação do Bonsai 2 27B	O apresentador introduz o modelo, suas dimensões anunciadas, a context window e o plano de testá-lo localmente.
04:10	Instalação e explicação da compressão	O modelo é servido localmente, e o vídeo explica a quantização ternária, a atenção e a rotação usadas para reduzir seu tamanho.
09:19	Teste de correção de código	O Bonsai encontra uma discrepância não relacionada, mas deixa sem correção o bug de fuso horário plantado na aplicação.
12:24	Geração de uma interface para preparar latte	A página gerada tem aparência razoável, mas o botão que deveria iniciar a sequência continua sem funcionar após várias tentativas.
14:30	Teste de visão	O modelo descreve uma imagem e redige uma carta de reclamação com resultado considerado bom pelo apresentador.
16:03	Teste multilíngue e conclusão	A tradução para vários idiomas parece travar, levando o apresentador a avaliar o modelo como inferior à versão anterior.

Citações

cerca de um nono do tamanho, mantendo, segundo a alegação, 98% do desempenho original em benchmarks. — 00:33

O Bonsai encontrou uma discrepância real no gráfico de tendência de 14 dias e a corrigiu. Mas não era o bug que plantamos. — 09:19

Então, vocês veem: este teste falhou. — 13:58

Vocês viram o modelo sem exageros nem floreios. — 17:08

Conceitos e entidades

Bonsai 2 27B (modelo): Modelo comprimido apresentado no vídeo como uma versão muito menor do Qwen 3.8.
Qwen3.8 (modelo): Modelo-base de 27 bilhões de parâmetros usado pelo Bonsai 2 27B, conforme identificado na transcrição.
llama.cpp (ferramenta): Ferramenta usada para servir o modelo, com uma versão específica necessária para os kernels personalizados do Bonsai.
Hermes Agent (ferramenta): Ferramenta de agente usada pelo apresentador para testar a análise e a correção de código.
quantização ternária (conceito): Representação dos pesos do modelo por três valores: -1, 0 e 1.
atenção linear (conceito): Método de atenção mais leve que, segundo a explicação do vídeo, ajuda a acelerar a geração e a suportar contextos longos.
rotação Hadamard (conceito): Transformação matemática aplicada antes da compressão e também aos dados durante a execução para ajudar a preservar a precisão.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável pelos testes demonstrados.

Tradução completa (pt-BR)

00:01 Uma árvore bonsai não é uma espécie pequena. É uma árvore de tamanho normal, podada e moldada ao longo do tempo até se tornar a mesma árvore, só que em miniatura. Essa é a ideia por trás de toda essa família de modelos. E hoje temos a segunda versão: Bonsai 2 27 billion. Ela é baseada no Qwen 3.8, um modelo de 27 bilhões de parâmetros que normalmente precisa de 54 GB só para carregar. O Bonsai 2 reduz esse tamanho para menos de 6 GB,

00:33 aproximadamente um nono do tamanho, alegando manter 98% do desempenho do modelo original em benchmarks. Ele funciona com uma context window de 262.000 tokens, usa uma configuração híbrida de atenção, que combina atenção rápida e precisa, e é distribuído sob a licença Apache. Já falamos das versões anteriores, que eram bastante impressionantes, há 5 meses. Então, eles levaram cerca de 5 a 6 meses para apresentar esta segunda versão e, o melhor de tudo,

01:03 ela é baseada no nosso querido Qwen. Então, vamos instalá-la e testá-la. Vou usar este sistema Ubuntu. Tenho uma GPU enorme, mas não se preocupe com isso. Vou mostrar o consumo real de VRAM. Estou reutilizando este sistema porque já o tinha. Aliás, você precisa instalar o llama.cpp a partir do fork específico deles, que pode ser encontrado no cartão do modelo. Então, vou baixar o modelo rapidinho. Só preciso instalar o hugging face

01:35 CLI, já que estou usando uma VM nova. Pronto. Agora, vou fazer o download. Deve funcionar. Aí está. Enquanto o download acontece, se esta for a primeira vez que você ouve falar do Bonsai ternário, deixe-me explicar em palavras bem simples o que isso significa. Este diagrama mostra principalmente do que o modelo é composto e o que isso permite fazer. No topo está a base: o Qwen 3.8, um modelo de 27 bilhões

02:06 de parâmetros em precisão normal. A partir daí, três coisas acontecem. Primeiro, todos os pesos do modelo são reduzidos a apenas três valores: -1, 0 ou 1. Essa é a parte ternária, ou de três valores. É por isso que tudo cabe em menos de 6 GB, com 1,76 bit por peso, em vez dos 16 habituais. Segundo, o mecanismo de atenção. Como sabemos, essa é a parte do modelo

02:37 que decide a que prestar atenção no texto. Ela funciona principalmente com um método linear mais barato, em vez do método completo, que é caro, o que significa geração mais rápida sem o gargalo habitual da atenção. Terceiro, como essa atenção linear é muito mais leve, o modelo consegue manter uma context window de 262.000 tokens, o que o torna realmente utilizável para documentos longos ou bases de código inteiras, em vez de apenas conversas curtas. E é isso que

03:08 também vamos testar. Então, juntando essas três coisas, temos um modelo mais de nove vezes menor do que o modelo em precisão total, que alega manter intactos 98% da pontuação original em benchmarks. Isso é realmente incrível e impressionante. Mas não vamos acreditar no hype. Vamos testá-lo de verdade em uma base de código real, na geração de código e em alguns outros testes. Aqui é Fad Miraza, e dou as boas-vindas a você ao canal. Se quiser ajudar o canal, basta acessar a página inicial

03:38 do canal e se tornar membro por meio deste link, porque é isso que mantém as luzes acesas. E um enorme agradecimento a todos estes membros do canal. Recentemente, também comecei esta newsletter semanal gratuita sobre IA, na qual você pode se inscrever em vahadhatza.substack.com. Se estiver procurando alugar uma GPU por um preço muito bom, você encontrará o link para a Mass Compute na descrição do vídeo, junto com um código de desconto. O modelo foi baixado. Agora, vou servi-lo com o Llama server e habilitei

04:10 o Shinja para que possamos usar chamadas de ferramentas. O modelo está sendo servido, e você pode ver que aumentei o número de slots aqui. Deixe-me mostrar o consumo da VM. Está consumindo pouco mais de 12 GB de VRAM. Ainda é mais do que o esperado, e isso acontece porque o tamanho bruto do modelo passa um pouco de 7 GB. Além disso, ele também reserva cache KV para quatro slots de solicitações paralelas, por padrão. Então, se quiser reduzir o consumo, basta voltar e diminuir este número aqui. Também reduza o

04:41 número de slots. Basta definir d-p parallel como um, e o consumo ficará abaixo de 8 GB de VM, facilmente. E uma versão quantizada mais comprimida consumiria ainda menos, de qualquer forma. Então, agora sabemos quais são as especificações do nosso sistema. Vamos começar a testar. Também configurei este modelo com o Hermes agent. Para o primeiro teste, vou apresentar a ele este aplicativo muito interessante chamado Sereniti Watch, um monitor ao vivo da migração da vida selvagem

05:13 em parques da África Oriental. Os guardas registram avistamentos em campo, e este painel reúne tudo: total de avistamentos, animais contabilizados, uma tendência de 14 dias, um indicador de atividade ao vivo das últimas 24 horas, alertas de pressão migratória, detalhamento por espécie e uma classificação dos parques. E, se você olhar o backend, verá que não é um aplicativo de brincadeira. É um aplicativo real, baseado em Docker, com PostgreSQL e FastAPI, e este painel, que atualiza automaticamente, tudo conectado

05:43 com Docker Compose. Já o executei. Ele tem um banco de dados real em funcionamento. Tudo carrega corretamente. Não há erros em lugar nenhum, como você pode ver aqui. Certo? Mas há um grande, porém muito sutil, bug neste aplicativo, e é do tipo bem desagradável. Está no indicador das últimas 24 horas, como você pode ver na tela. O backend calcula o limite usando o horário local do servidor, em vez de UTC, enquanto cada avistamento é armazenado em UTC. Os contêineres estão

06:14 três horas adiantados em relação ao UTC. Então, o limite descarta silenciosamente os avistamentos reais mais recentes, das últimas 3 horas. O indicador e o alerta de migração estão subestimando os valores agora, mostrando um nível moderado. E você pode ver o impacto que isso teria nos turistas ou até mesmo na gestão geral do parque, ou talvez na segurança dos animais e das pessoas. Então, deixe-me voltar e acessar o Hermes agent. Vou pedir que ele corrija esse erro, porque é uma tarefa grande.

06:45 Vou colar o pedido aqui para mostrar o que estou solicitando. Estou pedindo que ele examine este aplicativo, encontre um bug e o corrija. Não estou dizendo qual é o bug nem como corrigi-lo; vou deixar tudo por conta dele. Vamos ver como ele se sai. Se ele tiver 90% da qualidade do Qwen original, deverá conseguir encontrar e corrigir esse bug o mais rápido possível. Enquanto ele trabalha,

07:16 queria mostrar mais uma coisa. Não se assuste com este diagrama. Vou explicá-lo de maneira bem simples. O diagrama mostra principalmente o segredo do que acontece dentro do modelo para deixá-lo tão pequeno. No topo, temos esses 27 bilhões de parâmetros divididos em três partes. O backbone principal de linguagem, a camada de embedding e de saída, e uma torre de visão separada para imagens. Tudo, exceto a torre de visão, é comprimido de forma ternária

07:46 a esses três valores, como conversamos. Antes de os pesos serem reduzidos a -1, 0 ou 1, eles são primeiro rotacionados, embaralhados matematicamente usando algo chamado rotação de Hadamard, que é como embaralhar um baralho antes de distribuí-lo. Assim, nenhum número precisa fazer trabalho demais. Essa rotação fica incorporada permanentemente. Não custa nada em armazenamento extra. Depois, no momento da inferência, exatamente a mesma rotação é aplicada aos dados em tempo real que fluem

08:16 pelo modelo. Assim, tudo se alinha corretamente. E por que isso importa? Sem esse truque de rotação, comprimir os pesos a esse ponto geralmente quebra o modelo. Essa etapa é o que mantém a precisão. Para que tudo isso funcione, são necessários kernels personalizados especiais, que não funcionam com o llama.cpp padrão. Por isso, recompilhei o llama.cpp a partir da versão que eles compartilharam no cartão do modelo. Eles também compartilharam um white paper muito bem escrito. Se tiver interesse, leia-o. Caso contrário, este diagrama é suficiente para nós, meros mortais, que não temos doutorado em aprendizado de máquina. E, assim como o Qwen original, ele também está pensando bastante, mas você vê que já encontrou o bug e está indo direto para a solução. Ainda está em execução. Só estou mostrando o raciocínio, ou o excesso de raciocínio. Ele já fez bastante coisa. Enfim, ainda está em execução. Vamos esperar. E o modelo voltou depois de mais

08:48 Leia; caso contrário, este diagrama é suficiente para nós, meros mortais que não temos doutorado em aprendizado de máquina. E, assim como o Qwen original, ele também pensa bastante, mas veja: já encontrou o bug e está se dedicando muito, muito a resolvê-lo. Ainda está em execução. Só estou mostrando o raciocínio — ou o excesso de raciocínio. Ele já fez bastante coisa. Enfim, ainda está em execução. Então, vamos esperar. E o modelo voltou depois de mais

09:19 do que uma hora. O mesmo tempo que o original leva. Mas aqui vem a parte divertida. O Bonsai encontrou uma discrepância real no gráfico de tendência de 14 dias e a corrigiu. Mas esse não era o bug que plantamos. O bug de verdade está no indicador de 24 horas. E, curiosamente, o próprio raciocínio do modelo chegou bem perto dele, como mostrei antes. Bem perto. Ele até fez as contas do fuso horário e depois se convenceu do contrário. Essa é a parte divertida. Concluir que estava tudo certo quando não estava.

09:51 Então, ele não encontrou o bug real, mas, sabe, corrigiu umas coisas aleatórias que realmente não precisavam ser corrigidas. E, se eu atualizar esta página completamente, vocês ainda vão ver que, no indicador das últimas 24 horas, continua aparecendo a mesma coisa. E mesmo se eu, sabe, abrir outra janela e executar o curl aqui. Vou executar este comando docker compose exec. Assim, vocês veem que ele mostra as configurações reais: 25 e recentes

10:23 animais: 2430. Então, o resultado final é que o bug foi corrigido, mas não o bug que plantamos. Esse continua lá. Vamos fazer outro teste. Desta vez, vamos testar a geração de código. Para isso, vou dar este prompt, pedindo que crie um único arquivo HTML que simule o preparo de um latte no estilo de um barista. Deve haver cinco ou seis etapas, como moer os grãos de café, compactar o pó, extrair um espresso,

10:53 vaporizar e espumar o leite e depois despejá-lo na xícara, além de um botão de reinicialização para começar toda a sequência novamente. Vamos ver o que ele cria. Ele também vai nos mostrar os tokens por segundo e todas essas informações. Vamos esperar que isso volte. Já dá para ver que está indo muito bem em termos de tokens por segundo. Vamos ver quanto tempo ele leva para pensar e responder. Enquanto isso, vou dar uma visão geral bem rápida deste benchmark. Este benchmark é do próprio

11:23 site deles. Então, considerem todos os números como alegações deles, não como resultados verificados por nós. A história que ele conta é a seguinte: em seis categorias — uso de ferramentas por agents, programação, seguimento de instruções, raciocínio, matemática e visão —, este modelo comprimido fica próximo do Qwen 3.8 8 em tamanho completo, no qual se baseia, e até supera o Qwen 3 mais novo — a nova versão, cujo nome esqueci — na média geral. Mas, de novo, o Qwen 3.6 é o mais antigo. Como vocês podem ver, a diferença

11:53 entre o modelo comprimido e o completo é pequena em todas as áreas. Isso me parece um pouco interessante. Nenhuma categoria desmorona. Se isso se sustenta e corresponde ao que vimos nos nossos próprios testes é outra questão. Esta tabela mostra apenas as alegações deles antes dos testes. Não dou muito peso a esta tabela. E, depois de bastante tempo, ele criou este arquivo. O resultado final foi este: 76,6, 63 e 14 minutos e 21 segundos. Deixe

12:24 eu abri-lo aqui para vocês. Vou simplesmente arrastar e soltar. Já o salvei aqui. A interface está boa. Nada mal. Todas as etapas estão aqui. Vou iniciar a sequência. Ele diz para pressionar reset para começar a extração. Cadê o reset? E por que eu deveria pressionar reset para fazer isso? Estou clicando aqui e não vejo botão de reset nenhum. Aqui diz

12:55 “iniciar sequência”. Nada mais. O som também está ligado. Então, vou voltar. Isso é uma falha, porque o Qwen original nunca faz isso. Vou dizer a ele que nada acontece quando clico no botão de sequência. Vamos esperar que ele corrija e depois testamos de novo. Ele diz que

13:26 corrigiu. Vou atualizar a página completamente e iniciar a sequência de novo. Continua sem acontecer nada. Certo. Mais uma tentativa e vou voltar e pedir para corrigir. Está funcionando de novo. Vamos esperar. Certo, desta vez, por fim, ele diz que encontrou o bug e também outro erro de digitação. Como vocês viram, já copiei o código. Vou substituir o código inteiro aqui, não o script. Deixe-me copiar o

13:58 código todo. Salvei. Agora vou recarregar a página. Atualizar sequência. Não, ainda não acontece nada. Então, como veem, este teste falhou. Vamos fazer rapidamente um teste de visão. Vou dar a ele esta imagem, que foi gerada, claro, em que um homem está cortando a grama e algo supostamente está acontecendo neste trampolim. Estou pedindo que descreva exatamente o que está acontecendo e também escreva uma carta de reclamação curta e exagerada para a associação de moradores, escrita por alguém que presenciou a cena.

14:30 Vamos ver como o modelo interpreta isso. Felizmente, o modelo voltou bem rápido. Esta é uma narração passo a passo do que aconteceu. Se eu passar os olhos pelo texto, ele diz que temos um veterano experiente do gramado, um veterano em crescimento usando uma camisa polo cáqui — e é cáqui? Desculpem, não esta imagem. Esta aqui. Sim, eu diria que é mais ou menos isso. E aí

15:01 sabe, na outra imagem, à direita, ele também descreveu esta cena incrível: o trampolim e a rede de segurança. Eu diria que está bom, embora não seja de nível mundial. O Qwen original é muito melhor neste caso, mas, fora isso, não está ruim. Leiam isto: “cai de volta na plataforma azul com a graça e a alegria de um ginasta olímpico”. Isso é bom. E

15:32 agora esta é uma reclamação: “A quem possa interessar: guerra não autorizada no gramado e acrobacias aéreas”. Então, o formato está certo e o timing também. “Acrobacias aéreas sem licença” é basicamente uma alfinetada respeitosa nos humanos, “com a mão trêmula”. Esse é um toque legal. Impressionante. E vocês veem que esta também ficou bem legal. Então, é uma resposta muito boa. Eu

16:03 acho que passou com louvor. Vamos finalmente fazer um teste de multilíngue. Vou pedir ao modelo que traduza esta frase — “gaste menos do que você ganha e invista a diferença” — para todos estes idiomas. E, como de costume, vou pedir que, quando o modelo responder, vocês confiram a resposta. Até agora, só de olhar para o raciocínio, acho que está quebrado. Vocês podem ver que ele travou aqui no tâmil e em alguns outros idiomas.

16:35 E o raciocínio também simplesmente travou. Enfim, vou deixá-lo rodar um pouco e ver se consegue avançar. Até agora, ele está apenas alucinando. Vejam, está seguindo nesta linha. Está tudo quebrado. Então, não vai acontecer nada aqui. Olha, acho que este modelo é pior que a versão anterior. A versão anterior foi realmente impressionante, como mostrei antes, mas, quanto a esta, não acho que haja algo digno de nota. Então, vocês acabaram de ver o modelo sem

17:08 hype nem enrolação. Digam o que acham nos comentários.

Transcrição original

[00:01] A bonsai tree isn’t a small species. It’s a full-size tree pruned and trained over time until it’s the same tree just shrunk down. That’s the idea behind this whole model family. And today we have got the second version, Bonsai 2 27 billion. It’s built on quen 3.8, which is a 27 billion parameter model that normally needs 54 GB just to load. Bonsai 2 prunes that down to under 6 GB,

[00:33] roughly a ninth of the size, while claiming to hold on to 98% of the original’s benchmark performance. It runs a 262,000 token context window, uses a hybrid attention setup, mixing fast and precise attention, and ships under Apache license. We already have covered the previous versions which were quite impressive 5 months ago. So it has taken them around 5 to 6 months to come up with this second version and what’s best

[01:03] it is based on our beloved Quen. So let’s get it installed and test it out. I am going to use this Ubuntu system. I have massive GPU card but don’t worry about it. I’m going to show you the actual VRAM consumption. I’m just re reusing this system as I already had it. By the way, you would need to install llama.cpp from their specific fork which you can find on their model card. So let me just download the model quickly. So I just need to install that hugging face

[01:35] up CLI as it’s a new VM I’m using. That’s done. So let me now download. That should work. There you go. So while it downloads, if this is the first time you’re hearing about turnary bonsai, let me explain in very simple words what exactly this means. So this diagram primarily breaks this model into what it’s made of and what that actually buys you. At the top is the base which is quen 3.8 a 27 billion

[02:06] parameter model at normal precision. From there three things happen to it. First every weight in the model gets crushed down to just three values -1 0 or one. That’s the turnary part or three part. It’s the reason the whole thing fits in under 6 GB at 1.76 bits per weight instead of the usual 16. Second, the attention mechanism. This is, as we know, the part of the model

[02:37] that decides what to pay attention to in the text runs mostly on a cheaper linear method instead of the expensive full method, which means faster generation without the usual attention bottleneck. Third, because that linear attention is so much lighter, the model can hold on to a 262,000 token context window, which is what makes it actually usable for long documents or entire code bases instead of just short chats. And that is

[03:08] what we are going to test out too. So, if you put all three together and you get a model that’s over nine times smaller than full precision while claiming to keep 98% of the original’s benchmark score intact, that is really awesome and impressive. But we are not going to fall for the hype. We are going to actually test it out on real codebase and code generation and few other tests. This is Fad Miraza and I welcome you to the channel. If you want to help out the channel, please just go to the homepage

[03:38] of channel and become a member by following this uh link because that is what keeps the lights on. And huge shout out to all of these members of the channel. Recently, I also have started this free weekly AI newsletter which you can subscribe at vahadhatza.substack.com. If you’re looking to rent a GPU on very good price, you can find the link to mass compute in video description with a discount coupon code. model is downloaded. Let me now serve it with Llama server and I have enabled

[04:10] Shinja so that we will be able to use tool calls. The model is being served and you can see that I have increased the number of slots here. Let me show you the VM consumption. So consuming just touch over 12 gig of VRAM. It is still higher and it is higher because the model raw size is just over 7 gig. Plus it also reserves gave cache for four parallel request slot by default. So if you want to reduce it just go back reduce this number here plus um just reduce the

[04:41] number of slot just put in d-p parallel one and it is going to be consuming around under 8 gig of vm easy and quantise version more contise would be even lower anyway. So now we know what our system spec look like. Let’s now start testing it out. I have also configured this model with Hermes agent. For the first test, I’m going to give it this very interesting application which is called a Sereniti watch, a live wildlife migration monitor

[05:13] for East African parks. Rangers log sightings on the ground. And this dashboard pulls it together. total sightings, animal counted, a 14-day trend, a live 24-hour activity gauge, migration pressure alerts, species breakdown, and a park leaderboard. And if you look at the back end, this is not a toy application. This is an actual application, which is Docker based, Postgress, fast API, and this dashboard which is auto refreshing wired together

[05:43] with Docker Compose. I have already run it. It has got a real database which is running. Everything loads clean. No errors anywhere as you can see here. Right? But there is a one huge but very very subtle bug in this application and it’s a nasty kind. It’s in the last 24 or gauge as you can see on your screen. The back end computes its cutff using local server time instead of UTC while every sighting is stored in UTC. The containers runs

[06:14] three or ahead of UTC. So the cutoff silently drops the most recent 3 hours of real sightings. The gauge and migration alert are under reporting right now which shows moderate and you can see that what effect would that be on tourists or even the park management overall or maybe for the animal and human safety. So, let me take you back and I’m just going to go to Hermes agent and give it this goal to fix this error because it’s a big

[06:45] goal. So, I’m just going to paste it here to show you what I’m asking it to do. So, I’m asking it to just go through this application, find a bug, and fix it. I’m not telling it what the bug is, how to fix it, and um I’m just leaving everything to this thing. So let’s see how it goes about it. Because if it is a 90% quality of the original Quen, it should be able to find this bug and fix it as soon as possible. While that runs

[07:16] through, I just wanted to show you one more thing. This diagram, don’t be scared. Let me explain it very simply. This diagram is primarily showing you the secret sauce as what what’s actually happening inside the model to make it that small. At the top you have got this 27 billion parameters split into three chunks. The main language bo backbone, the embedding and output layer and a separate vision tower for images. All of it except the vision tower gets turnary

[07:46] compressed down to these three values as we talked about. Before the weights get crushed down to - 1 0 or 1, they are rotated first mathematically shuffled using something called a header rotation. um which is something like reshuffling a deck before you deal. So no single number is doing too much work. That rotation is baked in permanently. It cost zero extra storage. Then at infant’s time, the exact same rotation gets applied to the live data flowing

[08:16] through the model. So everything lines up correctly. Now why does that matter? Without that rotation trick, squeezing weights down this hard usually breaks the model. This is a step that keeps it accurate and running all this needs special custom kernels which doesn’t work with stock lama.cpp CPP that is why I have rebuilt it um from the version they have shared in their model card they have also shared a very very finely written white paper if you’re interested

[08:48] read it otherwise this diagram is sufficient enough for us mere models who don’t have PhD in machine learning and just like original coin it is also thinking a lot but you see it has already um found the bug and very very goes to solving it. It is still running. I’m just showing you the thinking or overthinking. It has already done a lot. Anyways, it is still running. So, let’s wait. And the model has come back after more

[09:19] than an hour. Same amount of time which the original takes. But here is the fun part. Bonsai actually found a real discrepancy in the 14-day trend chart and fixed it. But that wasn’t the bug we planted. The actual bug is in the 24hour gauge. And interestingly, the model’s own reasoning walked right up to it as I showed you earlier. Right up to it. Even did the time zone math and then talked itself out of it. That’s the fun part. Concluding it was fine when it wasn’t.

[09:51] So, it missed the actual real bug, but just, you know, fixed a random stuff which was really not necessary. And if I just do a hard refresh on this one, you will still see that it for the last 24-hour gauge, it still shows the same thing. And even if I, you know, let me open another window and do the curl here. And I’m just going to, you know, run this docker compour exit. So you see it shows the real settings 25 and recent

[10:23] animals 2430. So end result, the bug was fixed but not the bug we planted. That still stays there. Let’s do another test. We will do the code generation this time. So for the code generation, I’m going to give it this prompt to create me a single HTML file which is going to simulate making a latte barista style. And there should be five or six steps in it like grinding coffee beans, temping the grounds, pulling an espresso shot,

[10:53] steaming and frothing and then pouring the milk into cup and then a reset button to start the whole sequence again. So let’s see what it creates. It is also going to show us token per second and all that information. So let’s wait for u this to come back. You can see already looks pretty good in terms of token per second. So let’s see how long does it think and come back. Meanwhile, let me give you a very quick overview of this benchmark. So and this benchmark is from their own

[11:23] website. So treat every numbers as their claim, not our verified result. The story it’s telling. By the way, across six categories, agentic tool use, coding, instruction following, reasoning, math, and vision. This compressed model stays close to the fulls size coin 3.8 8 it’s based on and even beats the newer coin 3 um the new version I forgot the name on the overall average but again um coin 3.6 Six is the older one. As you can see, the gap

[11:53] between compressed and full is small across support. That is uh bit interesting for me. Nothing collapses in any one category. Whether that holds up matches what we actually saw in our own test is a separate question. This table is just their claim going in. I really don’t give much weightage to this table. And after a long time, it has created this file. And this is end result like 76.6. 63 and 14 minutes 21 seconds. Let

[12:24] me open it in front of you. So, I’m just going to drag and drop. I already saved it here. The interface looks good. Not bad. All the steps are here. Let me start the sequence. It says press reset to begin the pore. Where is the reset? And why should I press the reset when I’m doing this? I’m just clicking here and I don’t see any reset button whatsoever. Here it says

[12:55] start sequence. Nothing else. Sound is on to. So I’ll just go back. So this is a miss because the original coin never does that. I’ll just tell tell it that um nothing happens when I click on dot sequence button. So let’s wait for it to fix it and then we will test again. It says that it has

[13:26] fixed it. Let me hard refresh and let me start sequence again till nothing happens. Okay. So one last try and I will go back and tell it to fix it. It is working again. So let’s wait. Okay, final time it says that it has caught the bug and also another typo. So I already have copied it as you saw. I’m just going to replace this whole code here and not the script. Let me copy the

[13:58] whole thing. Saved. And let me now reload it. Refresh sequence. No, still nothing happens. So you see this one is a fail. Let’s do a vision test quickly. So I am going to give it this uh image of course a generated one where this man is mowing the lawn and something is happening on this trampoline supposedly. I’m asking it to describe exactly what is happening and then also write a short over-the-top neighborhood homeowner

[14:30] association complaint letter from someone who witnessed this. So let’s see how model interprets this and thankfully med model came back fairly quickly. So this is a playbyplay where it is telling us what happened there. If I quickly read through it, it is saying that we have a seasoned veteran of the lawn, a growing veteran in Kaki polo and is that kakipo? Sorry, not this one. This one. Yeah, sort of I would say. And then you

[15:01] know in the other you know on the right it has also described this you know amazing scene trampolines safety net and then um I would say it is okay if not world class. The actual coin is much better on this one but other than that it is not bad. Look read through this. drops back down onto that blue pad with a grace and joy of an Olympic gymnast. So that is good. And

[15:32] now this is a complaint that to whom it may concern unsanctioned lawn warfare and aeriallessness. So the format is right and then timing is there. um unlicensed aerial acrobatics that is basically bit of a touch on human respectfully and with a trembling hand. This is a nice touch. Impressive. And you see this one is also quite nice. So this is quite a good response. I

[16:03] think this is a pass with flying colors. Let’s finally do a multilinguality. So I’m going to ask the model to translate this sentence, spend less than what you earn and invest the difference in all of these languages. And of course as usual I will request you once the model comes back check out the response. And so far by just looking at the reasoning I think this is broken. You can see it is stuck at uh Tamil here and few other languages.

[16:35] And the reasoning is also just stuck. Anyway, I will let it run a bit and see if it is able to proceed further. So far, it is just hallucinating. You see, it is just going in this line. It’s all broken. So, nothing is going to happen here. So, look, I think um this model is worse than the previous version. The previous version was actually quite impressive, which I showed you earlier, but this one really I don’t think so there’s anything to write home about. Um, so you just saw the model without

[17:08] any hype or fluff. Let me know your thoughts in the comments.