NVIDIA Nemotron-3.5 Bolt-74B-A9B Localmente: Ainda Não Acabou

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: NVIDIA Nemotron-3.5 Bolt-74B-A9B Locally: It’s Not Over · Canal: Fahd Mirza · 11:53 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Engenharia de software com IA, Inferência e otimização de modelos, Modelos locais e open source, Modelos multimodais

Resumo

Fahd Mirza testa localmente o NVIDIA Nemotron-3.5 Bolt-74B-A9B em tarefas de correção de código, geração visual, raciocínio sobre imagens, tradução e raciocínio científico. O modelo falha ao encontrar um erro de cálculo de gestação em um aplicativo real e também não consegue corrigir uma animação gerada em HTML. Em contrapartida, demonstra bom desempenho em perguntas sobre uma cena visual e em um teste de circuito desenhado à mão. O apresentador conclui que o modelo é forte em interpretação de imagens e raciocínio passo a passo, mas não é confiável por conta própria para programação e uso geral em produção.

Pontos-chave

O aplicativo de criação de cavalos usa 330 dias como período de gestação, embora a média real mencionada no vídeo seja de cerca de 340 dias.
O Nemotron não identificou o erro de cálculo e ainda alterou outros elementos do aplicativo.
Em uma tarefa de criar uma animação de kebab em HTML sem bibliotecas, o modelo não produziu o resultado esperado e não conseguiu corrigi-lo após receber uma captura de tela.
No teste de raciocínio visual sobre uma cena de cafeteria, acertou as nove respostas, incluindo perguntas sobre as crenças dos personagens e a localização do laptop.
Na tradução de uma manchete turca para mais de 80 idiomas, apresentou resultados variados e alucinações; o apresentador considerou o desempenho geral mediano.
No teste de raciocínio científico com um circuito desenhado à mão, respondeu corretamente às sete perguntas e interpretou a fiação em vez de confiar nos rótulos incorretos.
O modelo tem 74 bilhões de parâmetros totais, com 9 bilhões ativos por token, e usa quantização de 2 bits nos especialistas.
A conclusão é que o modelo tem capacidades impressionantes para interpretar imagens e raciocinar passo a passo, mas não deve ser usado sozinho para programação ou produção.

Capítulos

Início	Capítulo	Resumo
00:01	Teste de correção de bug em um aplicativo real	O apresentador descreve o erro no cálculo da gestação e testa se o Nemotron consegue encontrá-lo e corrigir o aplicativo.
04:44	Geração de animação e raciocínio visual	O modelo falha ao criar e corrigir uma animação em HTML, mas acerta as respostas sobre a localização de um laptop em uma cena de cafeteria.
08:47	Tradução de manchete em vários idiomas	O modelo traduz uma manchete turca para mais de 80 idiomas, com qualidade irregular e sinais de alucinação.
10:20	Raciocínio científico e conclusão	O modelo interpreta corretamente um circuito desenhado à mão e responde às perguntas, mas o apresentador recomenda cautela para programação e uso em produção.

Citações

No primeiro teste, o modelo falhou. — 04:44

Nove de nove corretas, de acordo com as respostas do prompt e da imagem. — 08:17

No geral, não é algo de que se possa se orgulhar. — 10:20

O raciocínio é impressionante, mas eu não confiaria nele sozinho para programação e uso geral em produção. — 11:53

Conceitos e entidades

NVIDIA Nemotron-3.5 Bolt-74B-A9B (modelo): Modelo de visão e linguagem testado localmente, com 74 bilhões de parâmetros totais e 9 bilhões ativos por token.
llama.cpp (ferramenta): Ferramenta usada no vídeo para executar o modelo localmente e demonstrar decodificação especulativa.
Docker Compose (ferramenta): Ferramenta usada para executar localmente os serviços do aplicativo de criação de cavalos.
PostgreSQL (ferramenta): Banco de dados usado pelo aplicativo apresentado no vídeo.
Flask (ferramenta): Tecnologia usada para a API do aplicativo de criação de cavalos.
Redis (ferramenta): Serviço executado localmente como parte do ambiente do aplicativo.
Vast Compute (empresa): Serviço mencionado como opção para alugar uma GPU.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável pelos testes do modelo.
Bursa Hakimiyet (empresa): Jornal turco cuja manchete é usada no teste de tradução.

Tradução completa (pt-BR)

00:01 Este é um gerenciador de registros de criação, um painel de operações de reprodução para um haras. Ele acompanha garanhões, éguas e coberturas. Prevê a data do parto de cada égua e faz a contagem regressiva dos dias para que a equipe saiba quando começar a monitorar o parto. Nos bastidores, há um número errado. O aplicativo considera uma gestação de 330 dias, mas a média real para um cavalo é de cerca de 340.

00:33 Todas as datas previstas ficam 10 dias adiantadas, e esta égua, que ainda está a vários dias do parto, aparece destacada em vermelho vivo como se estivesse atrasada. Em um haras de verdade, a equipe que monitora os partos, os veterinários e os preparativos ficam todos agendados para as datas erradas. Então, isso gera um custo enorme e talvez seja um fator decisivo para qualquer haras. Além disso, este aplicativo não é um brinquedo nem apenas uma demonstração. É um aplicativo full-stack de verdade

01:03 com um banco de dados Postgres, uma API Flask e um frontend Nginx, com um pouco de Redis rodando localmente no meu sistema com Docker Compose, como vocês podem ver aqui. Vou testar a correção desse bug com este novo modelo da NVIDIA, o NeMo Tron Bolt, que já está sendo servido no meu sistema local com este comando do llama.cpp com dspark. E, se você não sabe o que é dspark ou llama.cpp, basta pesquisar no meu canal. No

01:35 momento, ele está consumindo esta quantidade de VRAM, quase 30 GB de VRAM nesta GPU. Se você está procurando alugar uma GPU por um preço muito bom, pode encontrar o link para a Vast Compute na descrição do vídeo. Então, vou dar a este modelo o objetivo de encontrar e corrigir o bug sem nenhuma dica, sem nenhuma orientação. Vamos executar. É um modelo de raciocínio. Enquanto ele roda, deixa eu apresentar

02:06 este modelo a vocês. Como eu disse, este é o NVIDIA NeMo-1 3.5 Bolt, um modelo de visão e linguagem com 74 bilhões de parâmetros no total, mas apenas 9 bilhões ativos por token. A NVIDIA o criou comprimindo seu irmão maior, de 120 bilhões de parâmetros, e depois quantizando os especialistas para 2 bits com treinamento com reconhecimento de quantização, ou QAT. O resultado é um arquivo de modelo de cerca de 22 GB, projetado para caber em 24 GB a 48 GB de

02:39 VRAM e rodar junto com outros aplicativos. É um híbrido de Mamba-2 e Transformer com mistura de especialistas. Ele aceita texto, imagens e vídeos, com contexto de até 256 K tokens, segundo a própria tabela da NVIDIA, que vou mostrar rapidamente. Este é um benchmark. Ele superou o GPT-3.6 35 bilhões, seu irmão NeMo-1, na maioria dos benchmarks, especialmente em tarefas de terminal, navegação e

03:09 uso do computador. Ele também vem com um pequeno modelo auxiliar para speculative decoding, que é o que estamos usando aqui com llama.cpp. Também vou mostrar rapidamente onde ele está fazendo uma previsão e depois a descartando. Aí está. É isso que está acontecendo. Então, o preditor e o modelo auxiliar selecionam alguns tokens. E, como eu disse, confira o canal se quiser saber mais sobre speculative decoding com modelo auxiliar. A propósito, eu sou Fahad Mirza, e

03:40 sejam muito bem-vindos ao canal. Se quiser apoiar o canal, torne-se membro. Inscreva-se também nesta newsletter semanal gratuita de IA em fahadmirza.substack.com. Certo, o modelo respondeu. E sabem de uma coisa? Este resultado me diz que o modelo, na verdade, não encontrou o bug real. Ele calculou os valores esperados usando 330 dias. Então, verificou o número errado e considerou correta a indicação de atraso de Crimson Empress

04:12 como atrasada. Se eu voltar a esta tela, vocês verão que Crimson Empress está com menos cinco dias restantes, o que está errado: é um bug. Mas o modelo não percebeu. Mesmo olhando para o raciocínio, ele ficou meio dando voltas. Fez o melhor que pôde, mas acho que não conseguiu descobrir o problema. E mudou outras três coisas, como agrupar por um painel do banco de dados. Além disso, meu painel carregava normalmente antes da execução. Então,

04:44 ele já iniciou o Docker, então vou fazer uma atualização forçada na frente de vocês. Aí está, estão vendo? Continua igual. Deveria dizer que faltam cinco dias, não que está atrasada. Então, o modelo falhou no primeiro teste. Vamos fazer outro. No próximo teste, vamos pedir ao modelo para criar um espeto de döner kebab girando em frente a um aquecedor a gás, tudo em um único arquivo HTML e sem bibliotecas. Vamos testar o quanto ele consegue transformar um briefing criativo em um visual animado realista usando apenas código puro de canvas.

05:14 Já iniciei a tarefa, então vamos esperar para ver o que ele produz. O modelo demorou bastante e planejou a ordem de desenho e verificou se havia sobreposições antes de escrever; depois, revisou a lógica do próprio código linha por linha. Então, o raciocínio parece muito bom e, sinceramente, ainda nem conferi o que ele produziu. Vou abrir aqui na frente de vocês.

05:44 Vou colar o link e executar. Aí está. Foi isso que ele criou. Se vocês olharem o código, vou mostrar rapidinho. Este é o arquivo index. Como podem ver, o código parece limpo. E aí, sabem, ele simplesmente não conseguiu fazer nada aqui, de verdade. Então, sabem o que vou fazer? Vou tirar uma captura de tela e dar essa imagem ao

06:14 modelo, porque ele é um modelo de visão, e então vamos dizer que precisa corrigir o resultado. Vamos fazer isso. Esta é a captura de tela, como podem ver. Vou enviar a imagem ao modelo na mesma sessão. Depois, vou passar este prompt, dizendo que esta é uma captura de tela e que ele precisa compará-la com o briefing original e corrigir o resultado. Então, esta é a última chance do modelo. Vamos esperar. Certo, na segunda tentativa, o modelo diz que

06:46 encontrou o bug e o corrigiu. Vamos conferir, porque, de novo, o raciocínio parece bom. Mas será que realmente corrigiu ou o que aconteceu? Aí está. Não, não aconteceu nada. Vou até abrir o arquivo do controlador, só para fazer uma atualização forçada, mas nada muda. Então, o segundo teste de geração de código também falhou. Vamos fazer um terceiro. Para o próximo teste, vamos a Acra,

07:16 em Gana. Vocês podem ver uma cena de uma cafeteria na Oxford Street. O laptop de Nella desaparece da mesa, depois aparece em outro lugar e, ao fim da história, três amigos diferentes acreditam que ele está em lugares distintos. Vou dar ao modelo esta foto da mesa e depois fazer esta pergunta. Deixa eu mostrar o prompt. Desculpem, aqui está. Este prompt faz várias perguntas sobre quem pensa que, sabem, pegou o laptop, para ver se o modelo consegue dizer onde ele realmente está, com base em onde cada pessoa acredita que ele está. Vocês podem ler o prompt. Vou executá-lo e ver como o modelo se sai no raciocínio visual. Vamos esperar a resposta. Deve ser divertido. E, a propósito, todas as imagens que estou usando, menos esta que mostrei, foram geradas por IA. Certo, finalmente há algo para

07:46 comemorar para o Nemo Tron. Nove respostas corretas em nove, de acordo com as respostas esperadas pelo prompt e pela imagem, incluindo as mais difíceis, como a mochila de Coffee, as crenças de Aqua e Coffee uma sobre a outra e o laptop prateado ser de Coffee. Então, cada resposta segue a cadeia correta de quem viu o quê. Uma resposta muito boa do Nemo Tron. E sabem de uma coisa? Venho acompanhando os modelos Nemo Tron desde o primeiro dia e já tive experiências muito boas,

08:17 especialmente também com programação. Não sei o que aconteceu com o Bolt. Enfim, vamos fazer outro teste. Para o próximo teste, vamos à Turquia, ou Türkiye. A imagem é uma captura de tela de uma notícia do jornal turco Bursa Hakimiyet. Sei que não estou pronunciando corretamente, e vou mostrar ao vivo. Este é o jornal de onde tirei a imagem. Então, um grande agradecimento e crédito a eles. Nesta imagem, vocês podem ver algumas manchetes

08:47 especialmente em programação também. Não tenho certeza do que aconteceu ali com o Bolt. Enfim, vamos fazer outro teste. Para o próximo teste, vamos para a Turquia, ou Türkiye. A imagem é uma captura de tela de uma notícia de um jornal turco chamado Bursa Hakimiyet. Sei que não estou pronunciando o nome direito e vou até mostrar isso ao vivo. Então, este é o jornal de onde tirei a imagem. Então, um enorme agradecimento e crédito a eles. Nesta imagem, vocês veem que há algumas manchetes

09:18 e algumas outras coisas. Estou pedindo ao modelo que traduza apenas o título para cada um dos idiomas a seguir. Também vou mostrar isso a vocês. Pronto. Então, são mais de 80 idiomas que ele está processando neste momento. Quando terminar, por favor, me ajudem. Confiram o idioma de vocês. Digam o que acham da tradução desse título. Mas já dá para ver que ele está alucinando. Então, acho que está desmoronando nesta tarefa.

09:50 Então, isso não é bom, mas ele já fez alguns outros. Vou mostrar rapidamente alguns deles e parar, porque agora está entrando em um loop. Certo, enfim, desculpe. É que quero mostrar tudo em tempo real, sem editar. Pronto. Então, aqui estão alguns deles. Digam o que acham. Os que eu conheço, acho que são respostas bem medianas, mas também vou levar em conta a opinião de vocês. Algumas das principais línguas estão corretas,

10:20 mas, no geral, não é algo de que se possa se orgulhar. As principais línguas estão boas, mas, sabe, em 2026, isso já é esperado. Enfim, digam o que acham. Agora vamos fazer um teste de raciocínio científico. Neste teste, vou fornecer a ele um circuito desenhado à mão, com um rótulo incorreto, um fio solto e um medidor marcando 0 V, sem nenhum fio conectado a ele. Então, o que estamos

10:51 testando com este prompt é se o modelo interpreta as conexões reais, em vez de confiar nas anotações, e se acerta os números. Certo, de novo, o raciocínio científico parece bem sólido. Todas as sete respostas que ele deu, com todos os números, estão corretas. Não vou ler esses números, mas vou passar por eles para que vocês possam ver e conferir. Sintam-se à vontade para pausar. Ele também interpretou o desenho corretamente

11:22 em vez de confiar nos rótulos: identificou incorretamente R1 e R2 e considerou que não há corrente no fio solto. Então, olha, no geral, ele é muito bom em interpretar imagens e em raciocinar passo a passo. Algumas respostas foram realmente de nível mundial, mas ele é bem fraco em programação aberta, com agents, e criativa, e em multilinguismo, como vocês já viram pelos resultados. Mas, de novo, para um modelo de 2 bits neste

11:53 formato de competição, o raciocínio é impressionante, mas eu não confiaria nele sozinho para programação nem para uso geral em produção. Digam o que acham. Obrigado por todo o apoio.

Transcrição original

[00:01] This is a stud book manager. A breeding operations dashboard for a horse stud farm. It tracks stallions, mares, and coverings. Predicts each mare’s falling date, and counts down the days so staff knows when to start a falling watch. Hidden in the back end is a one wrong number. The app assumes 330 days of gestation, but the real average for a horse is about 340.

[00:33] Every due date is 10 days early, and this mare, who is still days away from falling, is a flagged bright red as overdue. In a real stud, falling watch staff, vets, and prep are all booked for the wrong dates. So, that is a huge cost and maybe a deal breaker for any farm out there. Also, this app is not a toy or just a showy app. This is a real full-stack app

[01:03] with a Postgres database, a Flask API, and an engine X front end with some Redis running locally on my system with Docker Compose, as you can see here. I’m going to test this bug fixing with this new Nvidia’s NeMo Tron Bolt model, which is already being served on my local system with this llama.cpp command with dspark. And if you don’t know what dspark is or llama.cpp is, just search my channel. At

[01:35] the moment, it is consuming this much VRAM, close to 30 GB of VRAM on this GPU. If you’re looking to rent a GPU on very good price, you can find the link to Vast Compute in video’s description. So, let me give this model a goal to go fix the bug after finding it without any hint, without any hand-holding. So, let me run this. It’s a reasoning model. While it runs, let me introduce

[02:06] you to this model. So, as I said, this is NVIDIA’s NeMo-1 3.5 Bolt, a vision language model with 74 billion total parameters, but only 9 billion active per token. NVIDIA built it by compressing its bigger 120 billion parameter sibling, then quantizing the experts to 2-bit with quantization-aware training or QAT. The result is a model file of about 22 GB, designed to fit in 24 GB to 48 GB of

[02:39] VRAM and run alongside other apps. It’s a Mamba-2 and Transformer hybrid with mixture of expert. It takes text, images, and videos with up to 256 K tokens of context on NVIDIA’s own table, and which I will show you quickly. This is a benchmark. It has beaten gpt-3.6 35 billion, NeMo-1 sibling on most benchmarks, specially terminal work, browsing, and

[03:09] computer use. It also ships with a small drafter model for speculative decoding, which is what we are using here with llama.cpp. I will also quickly show you where it is making some prediction, and then it is discarding. There you go. That is what is happening. So, predictor and drafter are selecting few of the tokens. And as I said, please check out the channel if you are looking to learn more around drafter speculative decoding. By the way, this is Fahad Mirza, and I

[03:40] really welcome you to the channel. If you want to support the channel, please become a member. Please also subscribe to this free weekly AI newsletter at fahadmirza.substack.com. Okay, so the model has come back with the response. And you know what? This result tells me that model has actually missed the real bug. It computed its expected values using 330 days. So it verified the wrong number and called Crimson Empress’s overdue status

[04:12] correct. So if I go back to this screen, you see the horse Crimson Empress has minus five days left, which is wrong, which is a bug. But model has missed it. Even if you look at the reasoning, it was just sort of going in circles. It has tried its best, but I think it was not able to actually figure it out. And it changed three other things like group by a grand DB board. Even, you know, my dashboard loaded fine before the run. So

[04:44] it has already started the docker, so I’m just going to do the hard refresh in front of you. There you go, you see? It is still there. It should say that five days left, not overdue. So first test, the model has failed. Let’s do another one. So in the next test, we are asking the model to build a doner kebab skewer rotating in front of a gas heater as one HTML file with no libraries. We are testing how well it turns a creative

[05:14] brief into a realistic animated visual using only plain canvas code. I already have started it, so let’s wait for it to see what it produces. The model took fair bit of time, and it planned the draw order and checked for overlaps before writing, then reviewed its own code logic line by line. So the reasoning looks pretty good, and hand on heart, I haven’t even checked it myself yet what it has produced. So let me open it in front of you.

[05:44] I’m just pasting the link and running it. So there you go. So, this is what it has created. If you look at the code, the code I’ll actually quickly show you. So, this is the index file. So, you see the code actually looks clean. And then you know, it just couldn’t do anything here, really. So, you know what I’m going to do? I’m just going to take a screenshot of this and I will give that screenshot as an

[06:14] image to the model because it’s a vision model and then we’ll tell it that it needs to fix it. Let’s do that. So, this is the screenshot, as you can see. I’m going to give it as an image to this model in the same session. And then I’m going to give it this prompt telling it that this is a screenshot and it needs to compare it with original brief and then go fix it. So, this is the last chance for the model, so let’s wait. Okay, second time the model says that it

[06:46] has found the bug and fixed it. Let’s check it out because again, you know, the reasoning looks good. But did it actually fix it or what happened? There you go. No, nothing happened there. I’ll even do the controller file just to say you know, hard refresh, but nothing really happens. So, even the second code generation test has failed. Let’s do third one. For the next test, let’s go to Accra,

[07:16] Ghana. You can see that this is a scene of a coffee shop on Oxford Street. Nella’s laptop disappears from the table, then moves again, and by the end of the story, three different friends each believe it is somewhere else. I’m going to hand the model this photo of the table and then I am going to ask it this prompt, which is let me show you the prompt. Sorry, there you go. This is a prompt which is asking a lot of questions that

[07:46] who think it, you know, took the laptop to see if it can tell where the laptop really is from where everyone believe it is. So, you can just read through this prompt. Let me run it and see how exactly model does the vision reasoning. Let’s wait for it to come back. Should be fun. And by the way, all of these images which I’m using, not this one, which I showed you, all AI generated. Okay, at last, there is something to

[08:17] celebrate for Nemo Tron. Nine out of nine correct against the answers as per prompt and image including the hard one like Coffee’s backpack, Aqua’s and Coffee’s beliefs about each other and the silver laptop being Coffee. So, each answer following follows the right chain of who saw what. A really good answer by Nemo Tron. And you know what? I have been covering Nemo Tron model from day one and I have seen really good experiences

[08:47] especially in coding, too. I’m not sure what happened there with the bolt. Anyway, let’s do another test. For the next test, let’s go to Turkey or Türkiye. The image is a screenshot of a news article from a Turkish newspaper Bursa Hakimiyet. I know I’m not pronouncing it right and I’ll actually show you live. So, this is a newspaper where I have taken this. So, huge shout-out and credit to them. In this image, you see that there are some headlines

[09:18] and few other things. I’m asking the model to go and then translate only the headline into each of the following languages. I’ll also show you that. There you go. So, there are 80 plus languages which it is doing at the moment. Once it finishes, please help me out. Check your language. Let me know what do you think about the translation of that headline. But you can already see that it is hallucinating. So, I think it is filling apart on this thigh.

[09:50] So, which is not good, but it has done few others. So, these are the ones I’ll just quickly show you and stop it because it is going into the loop now. Okay, even sorry. Because I just want to show you in real time without editing. There you go. So, these are few of the ones. Let me know what do you think. The ones which I know, I think it it is quite an average response, but I will also take your advice. Some of the major languages are correct,

[10:20] but overall, it is not uh something to write home about proudly. Major languages are good, but you know, in 2026, that is a given. Anyway, let me know your thoughts on this. Let’s now do a scientific reasoning test. For this one, what I’m doing, I’m giving it a hand-drawn circuit with a wrong label, a dangling wire, and a meter reading 0 V or 0 V with no leads drawn. So, what we are

[10:51] testing here with this prompt is to see if the model reads the real wiring instead of trusting the annotations and then gets the numbers right. Okay, again, the scientific reasoning looks pretty solid. All the seven answers which it has given with every number are correct. I’m not going to read those numbers, but I’ll just scroll through so you can see and calculate. Feel free to pause it. Um it has also read the drawing correctly

[11:22] instead of trusting the labels, where it is calling R1 R2 wrong and treating the dangling wire as carrying no current. So, look, overall, it is quite strong at reading images and step-by-step reasoning where, you know, a couple of the answers were really world-class, but it is quite weak at, I would say, open-ended, agentic, and creative coding, multilinguality because you already saw the results. But again, for a 2-bit model in this

[11:53] contest format, the reasoning is impressive, but I wouldn’t really trust it on its own for coding and general production use. Let me know what do you think. Thank you for all the support.