O modelo pequeno da NVIDIA: Nemotron-3.5 Bolt E4B roda localmente com 4 GB

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: NVIDIA’S Small Model: Nemotron-3.5 Bolt E4B 4GB Locally · Canal: Fahd Mirza · 10:50 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Engenharia de software com IA, Modelos de IA, Modelos locais e open source, Modelos multimodais

Resumo

Fahd Mirza testa o Nemotron-3.5 Bolt E4B, um modelo pequeno da NVIDIA, em tarefas locais de programação, escrita criativa, raciocínio matemático, agendamento e geração multilíngue. No teste de programação, o modelo não encontra um bug em um aplicativo e afirma incorretamente que o corrigiu; também não produz a cena pedida em um arquivo HTML. Ele se sai melhor em uma charada, em um problema de matemática e em um quebra-cabeça de escala. A avaliação final é que o modelo pode ser útil para tarefas cotidianas, mas programação não parece ser seu ponto forte.

Pontos-chave

O Nemotron-3.5 Bolt E4B é apresentado como um modelo pequeno, com 4 bilhões de parâmetros ativos, voltado para uso local e em dispositivos.
O modelo não identifica um erro no cálculo de esforço de um aplicativo de corrida e declara falsamente que concluiu a tarefa.
Em uma tarefa de geração de HTML, entrega um arquivo, mas o resultado não corresponde à cena solicitada.
Resolve uma charada sobre um galo e produz um texto criativo considerado razoável pelo apresentador.
Responde corretamente a um problema de queda livre, com cálculos de tempo, velocidade e energia.
Resolve bem um quebra-cabeça de escala de funcionários, apesar de alguns deslizes.
Na tarefa com 82 idiomas, segue a ordem solicitada, mas repete nomes e oferece escolhas pouco específicas para algumas línguas.
O apresentador considera o modelo aceitável para algumas tarefas cotidianas, matemática e escrita geral, mas fraco em programação.

Capítulos

Início	Capítulo	Resumo
00:01	O aplicativo de corrida e o bug	O apresentador descreve o Corima Live e mostra que o aplicativo calcula o esforço usando as descidas em vez das subidas.
02:12	O modelo e o teste de programação	Apresenta as características e o benchmark do modelo e mostra que ele não encontra o bug nem verifica corretamente a tarefa.
04:18	Testes de HTML, lógica e matemática	O modelo falha ao criar a cena solicitada em HTML, mas acerta a charada e responde bem a um problema de queda livre.
08:39	Agendamento, idiomas e avaliação final	O modelo resolve bem um quebra-cabeça de escala, apresenta falhas na geração multilíngue e recebe uma avaliação geral mista.

Citações

O bug ainda está lá. — 04:52

Ele acertou a charada, mas não questionou o relato. — 07:34

Programação não parece ser o forte deste modelo. — 08:39

Para o tamanho que tem, não é um modelo ruim. — 10:50

Conceitos e entidades

Nemotron 3.5 Bolt E4B (modelo): Modelo pequeno da NVIDIA testado no vídeo em tarefas locais e em diferentes tipos de avaliação.
NVIDIA (empresa): Empresa responsável pelo modelo apresentado e pelo benchmark mencionado no vídeo.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável pelos testes do modelo.
llama.cpp (ferramenta): Ferramenta usada para servir o modelo no sistema local do apresentador.
Hermes (ferramenta): agent configurado pelo apresentador para pedir ao modelo que investigue o bug no aplicativo.
Gemma 4 E4B (modelo): Modelo do Google a partir do qual, segundo o vídeo, o modelo testado foi pós-treinado.
Corima Live (conceito): Aplicativo fictício de controle de corrida usado no teste de depuração.
Rarámuri (conceito): Povo do México cuja tradição de corrida a pé inspira a corrida fictícia apresentada no vídeo.

Tradução completa (pt-BR)

00:01 Conheça a tribo Rarámuri, no México, cujo nome significa “os corredores a pé”. Eles atravessam o Copper Canyon a pé, muitas vezes usando sandálias simples, e correr faz parte da cultura deles, não é um esporte. E este é o Corima Live, o controle de corrida do Barrancas 80K, uma corrida fictícia de 80 km do Canyon Ultra Marathon inspirada nessa tradição Rarámuri. Ele acompanha 36 corredores e prevê quando

00:34 cada um termina, quem não vai passar do tempo limite e quanto tempo a equipe médica e a equipe de varredura precisam esperar na linha de chegada. No momento, o aplicativo está funcionando bem, está tudo certo, ninguém vai ultrapassar o tempo limite e a equipe pode ir para casa às 19h18. Mas o problema é que este aplicativo tem um bug. O bug está na forma como ele mede o esforço. Olhem estas caixas aqui. Agora,

01:05 se vocês olharem para a última, verão o bug de verdade. Este trecho tem uma subida de 760 m, mas mostra um número baixo de esforço, e este aqui é quase plano, mas mostra um número alto. O aplicativo conta os metros de descida em vez dos metros de subida, então o canyon parece mais fácil do que é, e todas as previsões saem cedo demais. Então, vamos ver se este novo modelo da Nvidia consegue corrigir isso. É um modelo pequeno, com 4 bilhões de parâmetros efetivos, feito para ser um assistente local rápido para seus sistemas locais ou dispositivos de borda, e no momento estou executando-o no meu sistema local. Este é o llama.cpp, que está servindo o modelo, e este é o consumo de VRAM neste momento, pouco mais de 4 GB de VRAM neste formato de contexto que a Nvidia lançou. Já o configurei com meu agent Hermes, para o qual vou dar o objetivo de encontrar esse bug no aplicativo e depois me dizer exatamente como

01:38 executar isso de novo. Então, vamos ver o que ele faz. Enquanto isso, deixe-me voltar ao benchmark, e também vamos conferir os detalhes do modelo. Aliás, este é o aplicativo que está rodando no meu sistema local: uma aplicação full stack, com muitas camadas no backend e no frontend, além de bastante Redis. A propósito, este sou eu, Fahad Mirza, e dou as boas-vindas a vocês ao canal. Eu devia ter dito isso antes, mas enfim. Também comecei recentemente esta

02:12 newsletter semanal gratuita sobre IA, na qual vocês podem se inscrever em fahadmirza.substack.com. Então, vamos voltar e falar um pouco mais sobre este modelo: afinal, o que ele é? Como vocês podem ver, é um small language model que passou por pós-treinamento a partir do Gemma 4 E4B do Google. Ele tem 8 bilhões de parâmetros no total, dos quais 4 bilhões são ativos. E as versões Q4KM que estamos usando ocupam apenas cerca de 6 GB. Ele foi desenvolvido para ser um assistente rápido de voz e de dispositivo, executado localmente. Portanto, foi ajustado para usar pouca memória e gerar o primeiro

02:43 token rapidamente, com foco no uso de ferramentas em várias interações, no seguimento de instruções e em manter o foco. A entrada é processada rapidamente e ele dá suporte a uma context window de 64 mil tokens sem dificuldade. Se vocês olharem esta imagem de benchmark da Nvidia, a ideia é bem simples. Quanto mais alto, mais inteligente; quanto mais à esquerda, mais rápido para responder. O Bolt fica no canto verde, que representa inteligência e velocidade, o que significa que supera os outros modelos pequenos ao redor em pontuação, incluindo o

03:16 modelo Gemma 4 do qual foi desenvolvido, e responde mais ou menos tão rápido quanto o menor deles. Apenas um modelo no gráfico tem pontuação maior: o Gemma 4 26 billion A4B. Mas, claro, o círculo dele é bem maior, então usa muito mais memória e responde mais devagar. E, se vocês olharem o maior, à extrema direita, ele é o mais lento de todos e ainda assim tem uma pontuação menor. Então, o que a Nvidia está tentando dizer aqui é que este é um modelo pequeno que rende mais do que se esperaria pelo seu tamanho. Vamos ver se isso

03:47 se confirma neste bug real. Vamos voltar ao nosso agent Hermes. Ele ainda está trabalhando nisso, então vamos esperar. O modelo respondeu. E, olhando o resultado e o raciocínio dele, vejo que não percebeu o problema de jeito nenhum. O modelo leu os arquivos, mas não chegou a abrir nada, especialmente o arquivo onde está o bug. Também planejou ler alguns arquivos, mas nunca leu. Então, só verificou se as respostas de cores tinham dados, não se os

04:18 valores estavam certos. Nem sequer comparou um número de esforço com a fórmula. Então, vou aqui e pressionar Control+F5 na frente de vocês. Vamos rolar para baixo e vocês vão ver que nada mudou. O bug continua lá. Mas, se vocês olharem a resposta, ele até declarou vitória. Vou descer e mostrar. Aí está. Estão vendo? Ele estava instalando alguma coisa e depois simplesmente seguiu em frente. E, sabem, diz que o objetivo

04:52 foi alcançado, o que está completamente errado. Então, estou mostrando a vocês uma avaliação honesta e direta deste modelo. Já usei o Gemma 4. Vocês podem conferir esse vídeo no canal, até no formato de competição; é um modelo bem antigo, além do Coin. Nenhum dos dois fez isso de simplesmente alucinar e dar uma resposta falsa. Enfim, vamos fazer outro teste antes de julgar. Certo, o próximo foi quando pedi ao modelo que criasse um único arquivo HTML

05:25 com uma chapa de teppan de aço vista de cima, uma pilha de macarrão yakisoba e, basicamente, o macarrão sendo cozido, misturado e dourando aos poucos. Não é um pedido difícil, porque entendi que é um modelo pequeno, então vamos manter as coisas simples. Ele pensou um pouco. Depois de pensar, dá para ver que o raciocínio não é muito profundo nem elaborado, o que também é aceitável. E então diz que escreveu o arquivo e também o verificou. E foi isto que ele criou. Então, vejam: não há

05:59 pilha de macarrão, nem repolho, nem cenoura, nem vapor, nem textura alguma: só um fundo cinza liso com alguns pontos brancos, dois objetos meio cinzentos, parecidos com palitos, fazendo as vezes de espátulas, e uma curva vermelho-escura para o molho, acho. Então, o modelo entregou um arquivo, mas não a cena que pedimos. Vocês também podem decidir se este teste passou ou não. Certo, agora vou fazer um enigma capcioso. Como vocês podem ver, estou perguntando a ele: “Um

06:30 galo… desculpem, tenho 11 galinhas no meu quintal. Nos últimos dias, nenhuma delas botou ovos. E hoje fiquei bem chateado. Com raiva, entrei no galinheiro, e todas ficaram assustadas e botaram dois ovos cada, exceto uma, que botou apenas um. Fiquei surpreso e perguntei àquela galinha: ‘Por que você botou só um? Não está com medo de mim?’ A galinha disse: ‘Desculpe, sou um galo, e foi só isso que consegui fazer.’ Minha pergunta é: como isso é possível? Além disso, escreva um parágrafo criativo no estilo de Mark Twain.”

07:03 Então, claro, estou só verificando se este modelo sabe que um galo não pode botar um ovo. E vocês veem que o modelo subiu um pouco. Basicamente, estou testando se consegue seguir a lógica e também escrever de forma criativa. O modelo percebeu a pegadinha: um galo não pode botar ovos. E então vocês veem que ele me deu esta resposta. Desculpem, vou até aqui. Aí está. Posso dizer que é uma voz convincente à Mark Twain. Ele parou na pegadinha óbvia e não questionou o relato.

07:34 Então, passou no enigma, mas acho que não conseguiu fazer a análise mais profunda, o que é esperado deste modelo. Portanto, este teste passou. A escrita criativa parece boa, o que significa que, para casos de uso do dia a dia, como perguntas gerais e respostas no celular, acho que esta não é uma escolha ruim. Em seguida, estamos testando o raciocínio científico com matemática. Soltamos uma bola de 2 kg de um prédio de 45 m e pedimos ao modelo o tempo de queda, a velocidade no impacto e a energia do impacto. E então vocês veem que também estamos fazendo com que ele

08:07 Então, ele passa no enigma, mas acho que não conseguiu fazer a verificação mais aprofundada, o que é esperado deste modelo. Então, este teste foi aprovado. A escrita criativa parece boa, o que significa que, para casos de uso do dia a dia, como responder a perguntas gerais no seu dispositivo móvel, acho que esta não é uma escolha ruim. Em seguida, estamos testando o raciocínio científico com matemática. Soltamos uma bola de 2 kg de um prédio de 45 m e perguntamos ao modelo o tempo de queda, a velocidade no impacto e a energia do impacto. E então você vê que, uh, também estamos chegando a

08:39 comprovar a própria resposta. E veja o resultado: 3 segundos, 30 m/s e 900 J. Cada etapa foi mostrada, e a verificação da energia bate em 900 dos dois lados. Para um modelo de 4 bilhões, acho que esta é uma resposta muito boa em raciocínio científico e matemática. Então, programação não parece ser exatamente o forte deste modelo, mas raciocínio científico e matemática, embora não em um nível muito sofisticado, são decentes. Além disso, parte da escrita criativa geral é razoável.

09:10 E agora estou fazendo um teste de escala de turnos. Como você pode ver, é basicamente um quebra-cabeça de agendamento: é preciso organizar a equipe para dois eventos todos os sábados, um que precisa de um garçom que fale francês e outro de um garçom que fale hindi, levando em conta a disponibilidade de cada chef e garçom e evitando os pares de dois chefs e um garçom que não se dão bem. O modelo concluiu que só Luca fala os dois idiomas e o colocou com o Chef Liam nos dias 15 e 29, além de descartar corretamente os dias 1, 8 e 22. E acho que o modelo se saiu maravilhosamente

09:43 bem aqui. Houve alguns deslizes em que o modelo deu uma observação, mas, no geral, é uma aprovação clara. Esse foi bom. Por fim, vou fazer um teste multilíngue. Então, vou executar isto. O que estou pedindo ao modelo aqui é que gere o melhor nome possível para um menino em todos os idiomas a seguir, e estes são todos os idiomas do mundo. Vamos ver se ele consegue fazer isso ou não. Como você pode ver, o modelo pelo menos seguiu a instrução. Contou os 82 idiomas, na mesma ordem. Mas, se você olhar para a resposta,

10:18 há bastante variação nas respostas. Há muitos deslizes aqui. Muitos nomes se repetem. E, por exemplo, para urdu e saraiki, o mesmo nome se repete. O mesmo acontece com malaiala e nepalês, italiano e esperanto. Então, o conjunto de treinamento não parece muito profundo. Bjorn para islandês e gutnês. Algumas escolhas são bem genéricas, em vez de específicas do idioma. Mas me diga também o que você achou depois de conferir os idiomas que conhece. Então, veja, acho que não é um modelo nada ruim

10:50 da Nvidia, considerando o tamanho e a versão de competição. Programação não é seu forte. Escrita criativa, matemática e raciocínio científico em um nível médio decente são razoáveis. Conte de novo o que você achou nos comentários. Se quiser ajudar o canal, torne-se membro. Obrigado por todo o apoio.

Transcrição original

[00:01] Meet the Rarámuri tribe in Mexico whose name means the foot runners. They cross the Copper Canyon on foot, often in simple sandals, and running is part of their culture, not a sport. And this is Corima Live, race control for the Barrancas 80K, a fictional 80-km run from the Canyon Ultra Marathon inspired by this Rarámuri tradition. It tracks 36 runners and forecasts when

[00:34] each one finishes, who will miss the cut off, and how long the medics and sweep crew must wait at the finish line. Right now, the application is running fine, all clear, nobody will miss the cut off at all, and the crew can go go home at 19.18. But, the thing is that this app has a bug. The bug is that how it measures effort. Look at these boxes here. Now,

[01:05] if you look at the very last one, that is the actual bug. This leg has a 760-m climb, but shows a low effort number, and this one is almost flat, but shows a high one. The app counts the downhill meters instead of the uphill ones, so the canyon looks easier than it is, and every forecast comes out too early. So, let’s see if this a new model from Nvidia can fix this or not. This is a small 4-billion effective parameter model built for fast

[01:38] local assistant for your local systems or edge devices, and I’m currently running it on my local system. This is llama.cpp, which is serving the model, and this is my VRAM consumption at the moment, which is just over 4 gig of VRAM in this context of format which Nvidia has released. Now, I already have configured it with my Hermes agent where I’m going to give it this goal to go and find this bug in app and then tell me how exactly

[02:12] to run this again. So, let’s see what it does. While that happens, let me take you back to the benchmark and we will also check out the model detail. And by the way, this is the application which is currently running on my local system, a full stack application with lot of, you know, tiers around back end, front end, and lot of Redis, too. Now, this is Fahad Mirza, by the way, and I welcome you to the channel. Should have said said it earlier, but anyway. Also, I have recently started this free

[02:43] weekly AI newsletter which you can subscribe at fahadmirza.substack.com. So, let’s go back and talk bit more around this model as what exactly is this. So, as you can see that it is a small language model which is post-trained from Google’s Gemma 4 E4B. It has got 8 billion total parameters of which 4 billions are active. And the Q4KM versions we are running is only about 6 gig. It is built for fast local voice and device assistant. So, it is tuned for low memory use and quick first

[03:16] token with a focus on multi-turn tool use, instruction following, and sticking to the point uh where you input is fast through and then it just supports 64K tokens of context quite easily. If you look at this benchmarking image from Nvidia, the idea is very simple. Higher up means smarter, further left means faster to respond. Bold lands in the green smart and fast corner, which means that it is beating the other small models around it on score including the

[03:47] Gemma 4 model it was built from while responding about as fast as the smallest one. Only one model on the chart scores higher, which is Gemma 4 26 billion A4B, but of course it is a much bigger circle, so it uses far more memory and responds slower. And if you look at the big one on the far right, that is the slowest of all and still scores lower. So, what Nvidia is trying to say here is that this is a small model that punches above its weight. So, let’s see if that

[04:18] holds up on this real bug or not. Let’s go back to our Hermes agent. It is still working through it, so let’s wait. The model has come back with the response. And if I look at the result and also thinking from this, it has missed it completely. The model uh read the files but never really opened anything, uh especially the file where it the bug lives. It also planned to read some files but never did. So, it only checked that the color responses had data, never whether the

[04:52] values were right. It never even compared an effort number to the formula. So, even if I just go here and I will just do control of five in front of you. So, let’s scroll down and you will see that nothing has changed. The bug is still there. But if you look at the response, it has even declared victory. I’ll just go down and show you. There you go. You see? So, it was installing something, then it just moved along. And the you know, it says that a goal

[05:25] has been achieved, which is totally wrong. So, I’m just giving you the honest straight picture out of this model. Now, I have used Gemma 4. You can check out that video on the channel even in contest format, quite an old model, plus the coin one. Both of them never did this thing where they just hallucinated and gave us the false response. Anyway, let’s do another test before we make any judgment. Okay, next one was where I asked the model to create me a single HTML file

[05:59] where a steel teppan griddle seen from above, a pile of yakisoba noodles, and then basically a noodle is being cooked, mixed in, and then browning slowly. So, it is not a hard one because I understood that it is a small model, so let’s keep it simple. And then it has thought a bit. After thinking, uh you can see that the thinking is not too deep and profound, which is also acceptable. And then it says that it has written the file and verified it, too. And this is what it has created. So, you see there

[06:30] is no pile of noodles, no cabbage, no carrot, no steam at all, and no texture at all, just a flat gray background with a few white dots, two gray sort of sticks standing in for spatulas, and one dark red curve for the sauce, I guess. Um so, the model has delivered a file, but not the scene we asked for. So, you can make your guess, too, if this test is a pass or fail. Okay, now let’s me do a trick riddle. So, you can see I’m asking it that a

[07:03] rooster uh you sorry, I have 11 chickens in my yard. For the last few days, none of them was laying any egg. And I became quite upset today. Angrily, I went into their den, and all of them got scared and laid two eggs each, except one who just laid one. I was surprised and asked that chicken, “Why did you lay only one? Are you not scared of me?” Chicken said, “Sorry, I am a rooster, and that’s all I could do.” My question is, how is that possible? Plus, write a creative paragraph in Mark Twain’s style.

[07:34] So, of course, I mean, I’m just checking if this model knows that a rooster cannot lay an egg. And then, um you see that model has risen a bit. So, basically I’m testing if it can follow the logic plus creative writing. The model spotted the trick that a rooster cannot lay egg. And then you see that it has given me this answer. Sorry, I’ll just go here. There you go. So, this is a believable mark to an voice. I can say that. It stopped at the obvious catch and never questioned the account.

[08:07] So, it passes the riddle, but I think it couldn’t do the deeper check, which is expected of this model. So, this test is a pass. Creative writing seems good, which means that for day-to-day use cases, general answer question on your mobile device, I think this is not a bad choice at all. Next, we are testing scientific reasoning with math. We dropped a 2 kg ball from a 45 m building and asked the model for the fall time, the impact speed, and the impact energy. And then you see that uh we are also making it to

[08:39] prove its own answer. And look at the result. 3 seconds, 30 m/s, and 900 J. Every step shown, and the energy check matches at 900 on both hands. For a 4 billion model, I think this is a very good answer for scientific reasoning and math. So, coding doesn’t really seem a forte of this model, but scientific reasoning, math, not a very high-fi, but a decent one. Plus, some of the creative general writing is okay.

[09:10] And now I am doing a rostering test. So, you see this is basically a scheduling puzzle that staff two events every Saturday, one needing a French-speaking waiter and one a Hindi-speaking waiter, using each chef’s and waiter’s availability while avoiding two chefs and waiter pairs who don’t get along. The model worked out that only Luca speaks both languages and put him with Chef Liam on the 15th and 29th and correctly ruled out the first, eighth, and 22nd. And I think model has done wonderfully

[09:43] well here. There were a couple of slips where a model note was given, but overall it’s a clear pass. That’s a good one. Finally, let me do a multilingual test. So, I’ll just run this. So, what I’m asking the model here, generate the best possible name of baby boy in all following languages, and these are all the languages of the world. So, let’s see if it is able to do that or not. The model has at least followed the instruction, as you can see. It counted all 82 languages in the same order. But if you look at the response,

[10:18] there is a varied response. Lot of slip is here. Lot of repetition of name. Um and then for example, for Urdu Saraiki, same name is being repeated. Same for Malayalam and Nepali, Italian and Esperanto. So, the training set doesn’t you know, seem too profound. Bjorn for Icelandic and Gutnish. So, some picks are quite generic rather than language-specific. But let me know your thoughts too after checking out your languages. So, look, I think not a bad model at all

[10:50] from Nvidia given its size and the contest version. Coding is not a forte. Creative writing, math, scientific for a decent average level is okay. Let me know your thoughts in the comments again. If you want to help out the channel, please become a member. Thank you for all the support.