Nanbeige4.3 33B: ótimos benchmarks, mas fracassou completamente nos meus testes

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Nanbeige4.3 33B: Great Benchmarks, But It Failed My Tests Royally · Canal: Fahd Mirza · 08:05 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Engenharia de software com IA, Inferência e otimização de modelos, Modelos de IA

Resumo

O vídeo avalia o Nanbeige4.3, um modelo denso de 33 bilhões de parâmetros que, segundo seu laboratório, supera modelos maiores e teria nível comparável ao Claude. O teste principal pede que o modelo encontre e corrija um bug no sistema de custos de um restaurante, mas, após mais de uma hora, ele não identifica o problema e aponta vários bugs inexistentes. Em seguida, o modelo também tem dificuldade para gerar um arquivo HTML simples, atingindo o limite de tokens após mais de 45 minutos. O apresentador conclui que, apesar dos resultados divulgados em benchmarks, o modelo não é utilizável nem está pronto para produção na forma testada.

Pontos-chave

O Nanbeige4.3 tem 33 bilhões de parâmetros e é apresentado como um modelo capaz de superar concorrentes maiores.
O apresentador testa a alegação de que o modelo teria nível comparável ao Claude.
No sistema do restaurante, o custo da carne deveria considerar o rendimento após o preparo; o painel, porém, exibe custos muito baixos.
Após mais de uma hora, o modelo não encontra o bug principal e relata diversos problemas que não existiam.
O modelo também não consegue concluir uma simulação simples em um único arquivo HTML após mais de 45 minutos.
A execução local com vLLM consome quase 88 GB de VRAM; em precisão total, o apresentador estima que seriam necessários cerca de 60 a 62 GB.
O vídeo contrasta os resultados favoráveis de benchmarks divulgados pelo laboratório com o desempenho ruim nos testes práticos do apresentador.
O apresentador considera o modelo não utilizável na forma testada e afirma que ele não está pronto para produção.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação do modelo e teste do restaurante	O apresentador introduz o Nanbeige4.3 e prepara um teste para verificar se o modelo consegue corrigir um bug nos custos de um restaurante.
02:46	Execução local e benchmarks divulgados	O vídeo mostra o consumo de VRAM com vLLM e apresenta os resultados favoráveis do laboratório em comparações com outros modelos.
04:55	O modelo não encontra o bug	Após mais de uma hora de raciocínio, o modelo aponta vários bugs inexistentes, mas não resolve o problema principal.
06:29	Falha na geração de código e conclusão	O modelo também não conclui uma simulação simples em HTML, levando o apresentador a considerá-lo inadequado para uso e produção.

Citações

Ele diz que é um modelo de nível Claude, e é exatamente isso que quero testar. — 00:35

O sistema acha que compramos menos carne do que servimos. — 02:15

Ele encontrou 14 ou 15 bugs diferentes, embora o aplicativo tivesse apenas um. — 05:57

Isto não está pronto para produção, muito menos é um modelo de nível Claude. — 07:34

Conceitos e entidades

Nanbeige4.3 (modelo): Modelo de linguagem de 33 bilhões de parâmetros avaliado no vídeo.
Nanbeige LLM Lab (empresa): Equipe de IA associada ao desenvolvimento do Nanbeige4.3.
Claude (modelo): Modelo usado como referência para avaliar a alegação de desempenho do Nanbeige4.3.
Hermes Agent (ferramenta): Ambiente em que o apresentador carregou o modelo para realizar os testes.
Wildfire (conceito): Aplicativo de restaurante usado no teste prático de correção de bugs.
vLLM (ferramenta): Tecnologia usada para servir o modelo localmente.
Mass Compute (empresa): Serviço mencionado pelo apresentador como opção para alugar uma GPU.
Gemini 4 (modelo): Um dos modelos comparados pelo laboratório nos resultados de benchmarks exibidos.
Muse Glimmer (modelo): Modelo citado como concorrente e comparado ao Nanbeige4.3.
Gemini 3.8 (modelo): Modelo citado nas comparações de benchmarks e tarefas profissionais.
Fahd Mirza (pessoa): Apresentador do vídeo e autor dos testes práticos.

Tradução completa (pt-BR)

00:01 Este é o Nan Beach 4.3, com 33 bilhões de parâmetros. Ele é do Nan Beach LLM Lab, a equipe de IA da Boss Zhaopin, uma grande plataforma chinesa de recrutamento. Temos acompanhado os modelos deles há bastante tempo, desde o primeiro dia, como vocês podem ver. Principalmente, a alegação deles sempre foi que conseguem superar modelos maiores com seus modelos menores. Mas, desta vez, a alegação deles ficou ainda maior. Deixe-me mostrar rapidamente o que eles estão

00:35 dizendo no Hermes Agent, que já deixei carregado. Diz que é um modelo do nível do Claude, e é exatamente isso que quero testar: o quanto este modelo se aproxima do Claude, porque já vimos essa alegação muitas vezes. Então, o que vou fazer é dar a ele uma aplicação do mundo real. Esta aplicação é o Wildfire, um restaurante em Surrey Hills que serve crocodilo, canguru, emu, carne de veado, camelo, wallaby, coelho e muitas outras

01:07 carnes exóticas. O sistema operacional da cozinha calcula o custo de cada prato com base nas receitas e nos preços dos fornecedores, confere o estoque com o que foi entregue e transmite ao vivo os pedidos feitos nos tablets do salão. As carnes exóticas perdem bastante peso quando são aparadas, desossadas e esfoladas. A cauda de crocodilo, por exemplo, mantém apenas 58% do peso. Aliás, tem um gosto muito bom. O pernil de wallaby rende 46%, e o coelho, 44%. Então, a cozinha precisa comprar mais carne do que

01:39 serve, e o mecanismo de cálculo de custos deveria levar isso em conta. Agora, veja este painel. O custo dos alimentos é de 18,9%, classificado como excelente, bem abaixo da meta de 32%. O Margin Watch não mostra nenhum prato acima da meta. Todas as barras estão verdes. Mas há um enorme bug. Veja, por exemplo, este pernil de wallaby. Vou clicar nele aqui. Agora, se você olhar este gráfico, são 220 g no prato, com rendimento de 46%, mas só

02:15 101 g para comprar. Então, o sistema acha que compramos menos carne do que servimos, o que faz todos os custos dos alimentos parecerem muito baixos, e este restaurante vai à falência por causa disso. É isso que vou fazer. Vou pedir a este modelo que encontre e corrija o bug e, depois, me conte após testar tudo a fundo. Aqui é Farhat Mirza, e dou as boas-vindas a vocês ao canal. Primeiro, deixe-me voltar rapidinho e mostrar exatamente como consegui

02:46 instalá-lo. Então, como podem ver, este é o vLLM, servindo o modelo localmente com este comando. No momento, ele está consumindo pouco menos de 88 GB de VRAM. O motivo desse consumo tão alto é que ele está usando este tamanho de context window. Você pode aumentá-lo — desculpe, diminuí-lo — para reduzir esse valor, mas não acho que, em precisão total, você ainda precisaria de cerca de 60 a 62 GB de VRAM. Além disso, se estiver procurando alugar uma GPU por um preço muito bom, você encontra o link

03:18 para a Mass Compute na descrição do vídeo. E, se não souber instalar o vLLM e os pré-requisitos, basta pesquisar no meu canal. E não se preocupe, não vou embora sem falar desta melhor newsletter de todos os tempos, em farhatmirza.substack.com, na qual você precisa se inscrever hoje, por favor. Certo, enquanto o modelo trabalha nisso, vamos falar um pouco mais sobre ele. Aliás, também existe um modelo base, e este foi fine-tuned a partir daquele modelo base. Então, veja primeiro esta imagem

03:52 O laboratório comparou seu modelo com três concorrentes de tamanho semelhante: Gemini 4, Muse Glimmer e Gemini 3.8, de 27 bilhões. E, nos oito testes mostrados, a barra verde-azulada é a mais alta. As diferenças são enormes nas tarefas difíceis de programação e terminal, nas quais alguns concorrentes mal pontuam. As disputas mais acirradas são nas tarefas relacionadas a telefone, em que o Gemini 3.8 fica logo atrás. Então, sabe, veja isto: realmente mostra que este modelo é muito, muito melhor que os

04:25 concorrentes. Agora, este teste avalia trabalhos reais em 35 ocupações, de TI e engenharia a finanças, saúde e direito. No geral, o Nan Beach tem pontuações bem acima do Gemini 3.8 e muito acima do Muse Glimmer. Ele vence com folga em profissões como administrador web e advogado, aproximadamente dobrando a pontuação do Gemini. Mas não é perfeito. O Gemini ainda vence em algumas áreas, como gerentes de saúde e consultores financeiros pessoais. Mas a diferença não é tão grande. Enfim,

04:55 vamos voltar e conferir o que está acontecendo. Desculpem, aqui. Vamos esperar que termine. Já se passaram uns 20 minutos, e eu só queria mostrar esta saída enquanto o modelo ainda trabalha no nosso primeiro teste. Dá para ver que ele pensou muito, muito, quando digo muito. O que está fazendo é ficar compactando o context window, porque está pensando bastante; aí avança um pouco, pensa bastante e depois avança

05:26 mais um pouco. Até o modelo Haiku do Claude é muito melhor do que isto. E não dei este teste ao Claude Haiku. Talvez faça isso se demorar mais. Mas, até agora, pelo que estou vendo, não tem como ser um modelo do nível do Claude, mesmo nesse raciocínio, que não é bom o suficiente para mim. O Going é muito melhor. Até o [fungada] Music Glimmer é bem bom quando se trata de raciocínio. Então, sim, a tarefa é difícil, mas, por outro lado,

05:57 é um modelo denso de 33 bilhões, então esperamos algo melhor. Certo, já passou mais de uma hora, e ele não conseguiu encontrar o bug. Até agora, o que fez foi encontrar 14 ou 15 bugs diferentes, embora a aplicação tivesse apenas um bug, que ele nunca conseguiu encontrar. Fica andando em círculos, pensando de forma muito errática. Enquanto isso, até a carne de crocodilo já cozinhou completamente. Então, vou cancelar, e este teste é um

06:29 fracasso. Agora vamos testar a geração de código. Certo, precisava mostrar isto a vocês. No próximo teste, o que eu estava tentando fazer era pedir que ele escrevesse um único arquivo HTML que simulasse uma fileira de bandeirolas mexicanas, sabe, penduradas atravessando uma praça, com algumas cores vibrantes, pombas e coisas assim. E elas deveriam apenas balançar. Não é uma simulação tão difícil assim. E foi isto que ele fez. Então, ele tem uma execução

07:02 Vou mostrar mais. Já passaram mais de 45 minutos. Em vez de concluir, ele simplesmente atingiu o limite máximo de tokens de saída e todo o tamanho da context window, e pensou bastante, como podem ver, ficando em círculos. Está realmente com muita dificuldade para criar um arquivo HTML simples, até mesmo a folha de estilos CSS e todas as funções JavaScript. Está com muita dificuldade. Então, não acho que este modelo seja

07:34 realmente utilizável assim, nesse formato. Fiz o melhor que pude. Já faz quase 3 horas que estou tentando fazer essa coisa funcionar. Isto não está pronto para produção, muito menos é um modelo do nível do Claude, e estou apenas mostrando como está. Ele vai começar de novo e depois pensar como louco por mais uma hora, e eu realmente não tenho tempo para isso. Temos muitos outros modelos para testar e seguir em frente. Então, este está completamente fora de questão. Me contem o que acham nos

08:05 comentários também. E, mais uma vez, obrigado por todo o apoio.

Transcrição original

[00:01] This is Nan Beach 4.3 in 33 billion parameters. This is from Nan Beach LLM Lab, the AI team inside Boss Zhaopin, which is a big Chinese hiring platform. We have been covering their models for quite some time from day zero, as you can see. Primarily, their claim was always that they can beat larger models with their smaller models. But this time, their claim has even got bigger. Let me quickly show you what they are

[00:35] saying in Hermes Agent, as I already have loaded it. It says that it is a Claude-level model, and that is exactly I want to test out how close this model is to Claude, because we have seen that claim a lot. So, what I’m going to do, I’m going to give it a real-world application. So, this application is Wildfire, a Surrey Hills restaurant serving crocodile, kangaroo, emu, venison, camel, wallaby, rabbit, and much more

[01:07] exotic meats. Its kitchen OS costs every plate from recipes and supplier prices, reconciles stock against delivered, and streams live order from the floor tablets. Exotic meat loses a lot of weight when it is trimmed, boned, and skinned. Crocodile tail keeps only 58% for example. Taste really good, by the way. Wallaby shank 46% and rabbit 44%. So, the kitchen must buy more meat than

[01:39] it serves, and the costing engine is supposed to handle that. Now, look at this dashboard. Food cost is 18.9% labeled excellent, way under the 32% target. Margin Watch shows zero dishes over target. Every bar is green. but there is a huge bug. So, you see, for example, if you look at this wallaby shank. So, let me click on this wallaby shank here. Now, if you look at this chart, 220 g on the plate, 46% yield, yet only

[02:15] 101 g to buy. So, the system thinks we buy less meat than we serve, which makes every food cost look far too low, and this restaurant is going to go down just because of this. That is what I’m going to do. I’m going to ask this model to go and fix this bug, and then tell me after testing thoroughly. This is Farhat Mirza, and I welcome you to the channel. Now, first up, let me quickly take you back and show you how exactly I got it

[02:46] installed. So, this is vLLM, as you can see, serving the model locally with this command. And at the moment, it is consuming just under 88 gig of VRAM. The reason why it is so high is because that it is using this context length. You can increase it uh sorry, decrease it to get this lower, but I don’t think so that in full precision, you would still need around 60 to 62 gig of VRAM. Also, if you’re looking to rent a GPU on very good price, you can find the link

[03:18] to Mass Compute in video’s description. And if you don’t know how to install vLLM and prerequisites, just search on my channel. And don’t worry, I’m not going to go away without telling you about this greatest of all time newsletter at farhatmirza.substack.com, which you must subscribe today, please. Okay, while the model works through it, let’s talk a bit more around this model. And by the way, there is also a base model, and this one is fine-tuned from that base model. So, look at this image

[03:52] first. The lab has put its model against three rivals of similar size, Gemini 4, Muse Glimmer, and Gemini 3.8 in 27 billion. And all eight tests shown that teal bar is the tallest. The gaps are huge on the hard coding and terminal tasks where some rivals barely register. The only close races to the phone where Gemini 3.8 is just behind. So, you know, look at this and this really shows that this model is way, way better than the

[04:25] rivals. Now, this one tests real job, 35 occupations from IT and engineering to finance, healthcare, and law. Overall, Nan beats scores well above Gemini 3.8 and far above Muse Glimmer. It wins big in jobs like web admin and lawyers, roughly doubling Gemini’s score. It is not perfect, though. Gemini still wins in a few like healthcare managers and personal financial advisers. But the gap is not that far. Anyway,

[04:55] let’s go back and check what is happening. Sorry, here. Let’s wait for it to finish. So, it’s been around 20 minutes and I just wanted to show you this output as the model still works through our first test. You can see that it has thought a lot, a lot when I say. Now, what it it is doing, it keeps just sort of compacting the context because it is thinking a lot and then it moves forward a bit, then thinks a lot, then moves

[05:26] forward a bit. Now, even Claude’s Haiku model is way better than this. And I haven’t given this test to Claude Haiku. I might do that if it takes more time. But so far, there is no way it is a Claude-level model what I am looking at even in this thinking, which is not really good enough for me. Going is way more better. Even [snorts] Music Glimmer is quite good when it comes to thinking. So, yes, the task is hard, but then

[05:57] again, it’s a 33 billion dense model, so we expect better. Okay, so it’s been more than an hour, and it couldn’t really find the bug. So, what it has done so far, it has found 14 or 15 different bugs, whereas the application had only one bug, which it couldn’t ever find. Just going in circle, thinking, you know, very wildly. So, meanwhile, even the crocodile meat has cooked fully. So, I’m just going to cancel that, and this test test is a

[06:29] fail. So, let’s now try out code generation. Okay, I needed to show you this. So, for the next test, what I was trying to do is to ask it to write the single HTML file, which is going to simulate a string of Mexican banners for, you know, they’re hanging across a plaza, some bright colors, and some doves and stuff. And they should just sway. So, it is not that hard a simulation at all. And this is what it did. So, it has a run

[07:02] I’ll just go and show more more than 45 minutes now. Now, instead of completing it, what it did, it just hit it max output tokens and the whole context length of and it has thought a lot, as you can see, just going in circle. Uh really really struggling to create a simple HTML file, even the cascading style sheet, all the JavaScript function, really struggling a lot. So, I don’t think so this model is

[07:34] really usable um at all in this shape and form. I really tried my best. I I it’s been around 3 hours almost for me to just getting this thing to work. This is not production ready, let alone cloud level model, and I’m just showing you as is. So, it is going to start again and then think like crazy for another hour, which I don’t really have time for. We have lot of other models to test and go for. So, this one is a big no-no. Let me know your thoughts in the

[08:05] comments, too. And again, thank you for all the support.