Nemotron 3.5 Super VL com speculative decoding nativo

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Nemotron 3.5 Super VL with Native Speculative Decoding · Canal: Fahd Mirza · 11:00 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Engenharia de software com IA, Modelos multimodais

Resumo

Fahd Mirza testa o Nemotron 3.5 Super VL em tarefas de programação, leitura multilíngue de imagens, raciocínio científico e geração de arte em HTML. O modelo encontra e corrige um bug importante em um aplicativo de óculos, mas também altera arquivos que não precisavam de correção. Ele se sai bem na leitura de circuitos e em idiomas de maior circulação, enquanto falha em vários idiomas com menos recursos e produz um dragão pouco convincente. O apresentador destaca a velocidade do modelo e seu desempenho em contextos longos, embora ressalte que ele não lidera todos os benchmarks de programação e agentes.

Pontos-chave

O aplicativo Lumen RX calculava de forma diferente as lentes e os preços para pacientes com prescrições equivalentes, devido à falta de atualização de esfera na conversão de cilindro positivo para negativo.
O modelo identificou e corrigiu o bug, verificou o resultado e reconstruiu o container, mas também fez três alterações adicionais consideradas desnecessárias.
Na leitura de uma imagem em português, captou a ideia central e seguiu o formato solicitado, mas teve resultados fracos em vários idiomas de baixa disponibilidade de dados.
Ao analisar um circuito Sallen-Key desenhado à mão, leu os valores, fez os cálculos e percebeu que as entradas do amplificador operacional estavam invertidas.
A geração de uma tatuagem em HTML incluiu vários elementos pedidos, mas não representou bem o dragão, que era o tema principal.
O modelo tem 120 bilhões de parâmetros, dos quais 12 bilhões são usados por vez, e aceita um context window de até um milhão de tokens.
Segundo o apresentador, o modelo é rápido em GPUs da Nvidia e se destaca em tarefas de contexto longo, mas não é o líder geral nos benchmarks citados.

Capítulos

Início	Capítulo	Resumo
00:01	Bug no aplicativo de óculos	O apresentador demonstra que pacientes com olhos equivalentes recebem cálculos de lentes e preços diferentes, e pede ao modelo que corrija o aplicativo.
02:06	Correção do bug e teste multilíngue	O modelo corrige o problema no Lumen RX, mas também altera outros arquivos, e depois é avaliado em uma tarefa de leitura e criação de títulos em vários idiomas.
05:19	Compreensão de idiomas e raciocínio científico	O modelo entende a ideia de um texto em português, falha em diversos idiomas menos comuns e analisa um circuito Sallen-Key desenhado à mão.
08:27	Geração de arte em código e avaliação geral	O modelo cria uma tatuagem em HTML, com resultados limitados para o dragão, e o apresentador comenta benchmarks, velocidade e desempenho geral.

Citações

Ele lida com até um milhão de tokens no context window. — 03:08

Daniel agora coincide com Maya em todas as linhas. — 04:46

Ele conferiu o desenho em relação à forma como o circuito deveria ser ligado e percebeu que as entradas do amplificador operacional estavam invertidas. — 07:25

Acho que é um modelo versátil e rápido; no geral, não é nada mau. — 10:30

Conceitos e entidades

Nemotron 3.5 Super VL (modelo): Modelo de visão da Nvidia testado em programação, compreensão de imagens, raciocínio científico e geração de código.
NVIDIA (empresa): Empresa responsável pelo modelo e pelos benchmarks apresentados no vídeo.
Hermes Agent (ferramenta): Agent integrado ao modelo para executar tarefas e interagir com ferramentas durante o teste de programação.
Lumen RX (ferramenta): Aplicativo de óculos de prescrição usado para demonstrar um bug nos cálculos de lentes e preços.
Mamba 2 (conceito): Arquitetura citada como um dos componentes combinados no modelo.
Mixture of Experts (conceito): Abordagem de arquitetura mencionada como parte da composição do modelo.
Sallen-Key filter (conceito): Circuito desenhado à mão usado para avaliar leitura visual e raciocínio de engenharia.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável pelos testes demonstrados.

Tradução completa (pt-BR)

00:01 Temos um aplicativo novinho em folha para um modelo consertar. Este é o Lumen RX, um estúdio online de óculos de sol com lentes de prescrição. O paciente escolhe uma armação e uma tonalidade, e o aplicativo calcula qual material de lente é necessário, qual será a espessura das lentes, se a armação comporta a prescrição, o preço e a ficha do pedido que vai para o laboratório onde as lentes são cortadas. Agora, neste momento, o aplicativo está impecável, mas há

00:32 um bug muito crítico nele. Deixe-me mostrar primeiro. Aqui, no canto superior esquerdo, está uma paciente, Maya Okonko. Estou clicando no nome dela na aba e, no meio, vou selecionar a armação Apex Sport. Depois, clico uma vez em fixar para comparar. Em seguida, seleciono Daniel Reyes. De novo, a mesma armação, e também clico em fixar para comparar. Como você pode ver, o preço subiu 548.

01:05 Vou rolar até o fim, onde uma nova tabela deveria ter aparecido. Aí está. Estamos comparando os dois. Aqui está Maya, com a prescrição escrita em cilindro negativo, na armação Apex Sport: lente de 1,59, com 6,39 mm de espessura, compatível. Agora, veja Daniel. A prescrição dele está escrita em cilindro positivo, mas os olhos dele são idênticos aos de Maya. Olhe a linha enviada ao laboratório. É aí que as coisas ficam

01:36 muito, muito engraçadas. O que acontece é que Maya tem valores negativos, Daniel também tem valores negativos, mas o preço varia, e os dois estão recebendo armações diferentes. Isso tem implicações enormes, como você provavelmente pode imaginar, porque duas pessoas com olhos idênticos recebem lentes diferentes e pagam preços diferentes. Um cliente míope acaba recebendo lentes mais grossas e caras. Um cliente hipermétrope recebe uma lente com um grau inteiro

02:06 mais fraco. Então, paga por óculos que não corrigem a visão, e um deles ainda está pagando mais. Nada trava, tudo funciona, mas o estúdio inteiro está uma bagunça. É aí que vou usar este novo modelo da Nvidia, que vou mostrar rolando a tela: Nemotron 3.5 Super VL, um modelo de visão. No momento, o aplicativo está rodando localmente no meu sistema com Docker, várias coisas: Postgres, frontend, backend, Redis, como você pode ver.

02:37 E o modelo está integrado ao Hermes agent. Vou dar um objetivo ao modelo sem dizer o que precisa ser consertado, qual é o bug nem nada disso. Assim, estou verificando o uso de ferramentas, o raciocínio e quanto tempo ele leva para corrigir o bug. Enquanto o modelo trabalha nisso, vamos falar um pouco mais sobre o que a Nvidia fez com ele. Este é um modelo com 120 bilhões de parâmetros, mas que usa apenas 12 bilhões de cada vez. Segundo a Nvidia, assim ele continua rápido para o seu tamanho.

03:08 O principal é que ele combina Mamba 2, mixture of experts e camadas de atenção, e tanto vê quanto lê. Entram textos, imagens e vídeos; sai texto. Ele lida com uma context window de até um milhão de tokens. Então, pode manter uma base de código inteira de uma vez, mas vamos ver. Ele foi criado para agents de longa duração que combinam raciocínio, uso de ferramentas e compreensão visual, exatamente o que estamos testando. Ele tem pesos abertos e foi lançado há poucos dias. Este é

03:41 Fahad Mirza, e dou as boas-vindas a você ao canal. Inscreva-se também nesta newsletter semanal gratuita sobre IA em fahadmirza.substack.com. Se você está procurando alugar uma GPU por um preço muito bom, pode encontrar o link para Mass Compute na descrição do vídeo. E, se estiver se sentindo generoso, fique à vontade para se tornar membro do canal. O modelo respondeu. Como você pode ver aqui, ele encontrou o bug de verdade: a atualização de esfera ausente na conversão de cilindro positivo para negativo nos mecanismos. Corrigiu o problema, reconstruiu o contêiner e

04:14 também verificou o resultado, o que é ótimo. Mas o problema é que ele também relatou mais três correções em outros arquivos, que, na minha opinião, não eram necessárias. Nada estava quebrado. Então, ele simplesmente exagerou, o que não é bom. Mas enfim, vou aqui e atualizar o aplicativo. Vou pressionar Control+F5. Vamos recarregar. Pronto. Agora, vou selecionar Maya. E vou escolher Apex Sport. Vamos fixar para comparar.

04:46 Depois vou selecionar Daniel. E, na Apex de Daniel, fixar para comparar. Vamos rolar para baixo. Como você pode ver na comparação, o bug foi corrigido. Agora Daniel corresponde a Maya em todas as linhas: todas as medidas e também o preço. Mesma armação, mesmos olhos; agora a ficha de Daniel para o laboratório está correta. O bug foi corrigido. Então, o modelo se saiu bem. O único problema é que também corrigiu o que não estava quebrado, mas enfim, vamos fazer outro teste.

05:19 Agora, para o próximo teste, estou dando ao modelo esta imagem com um texto em português e pedindo que leia o parágrafo nessa imagem, entenda o significado e escreva um título de três palavras em 82 idiomas, incluindo alguns raros. Vamos ver se o modelo consegue traduzi-lo, captar a essência do parágrafo que acabei de mostrar e depois traduzi-lo. Então, estamos avaliando seguimento de instruções, multilinguismo, semântica e criatividade. Avisem quando terminar,

05:53 porque eu já comecei o teste ou ele já terminou. É rápido. Vou mostrar o resultado para vocês e, depois, podem dar sua opinião nos comentários. Quanto à imagem em português, ele leu corretamente e captou a ideia central, que é contentamento em vez de felicidade. E, sabe, inglês, espanhol e francês parecem todos muito bons para mim. Ele seguiu perfeitamente o formato: um idioma e um título por linha, sem nada a mais. Alguns dos títulos têm quatro palavras,

06:23 aliás. Enfim, mas, de novo, se você olhar os idiomas com poucos recursos ou raros, ele falha miseravelmente. O birmanês está uma porcaria, há uma palavra em inglês no meio do malaiala, e pashto e sindi estão todos errados. Vários idiomas africanos parecem estranhos. Então, acho que realmente precisaria de falantes nativos para confirmar esses idiomas, mas acho que esta é uma resposta mediana, porque hoje em dia todo modelo consegue lidar com os

06:54 principais idiomas europeus e por aí vai. E agora vamos fazer raciocínio científico com um pouco de matemática. Este é um circuito de filtro Sallen-Key desenhado à mão. Estou testando três coisas: o modelo consegue ler os valores escritos à mão? Consegue fazer os cálculos de engenharia? E consegue perceber que o próprio desenho está completamente conectado errado? Veja a resposta do modelo. Ele leu corretamente todos os rótulos, identificou o circuito e fez os cálculos com precisão.

07:25 Ele também calculou uma frequência de corte de cerca de 750 Hz e alguns outros valores, que coincidem com os meus próprios cálculos, aliás. Então, tudo certo. Depois, fez a parte difícil. Conferiu o desenho com a forma como o circuito deveria ser conectado e percebeu que as entradas do amplificador operacional estavam invertidas. Portanto, o filtro não funcionaria como foi desenhado. Isso é raciocínio científico de verdade, não apenas leitura de números em uma página, e ele não demorou muito, aliás. Então, acho que foi muito bom. Sim, podemos argumentar que a explicação das conexões é

07:56 um pouco imprecisa, porque ele diz que não há realimentação da saída para a entrada negativa, mas, no desenho, a saída na verdade retorna para a entrada positiva. Então, não é uma resposta perfeita, mas, considerando que o modelo foi tão rápido e realmente captou a essência, eu diria que passou no teste. Portanto, um bom resultado geral. Para o próximo teste, estou pedindo ao modelo que crie uma tatuagem de dragão usando apenas código, em um único arquivo HTML, com um tema americano emocionante: um dragão protegendo uma bandeira dobrada

08:27 e placas de identificação militar em memória de um pai, com um sol nascente e uma faixa com a frase “nunca esquecido”. Sem imagens, só código. Dei este prompt ao modelo, e você pode ver que ele gerou o resultado depois de pensar não por muito tempo. E foi isso que ele criou. Vou clicar em redesenhar tatuagem. Ele está redesenhando. Quanto aos elementos da história, acho que acertou a maioria. A bandeira dobrada com o azul

08:57 campo e listras, as plaquetas e o sol brilhante, o estandarte com o coração e o buraco da fechadura, e os dois botões de visualização também estão lá. E a bandeira e o estandarte também estão lá. Claro, há muitas… A propósito, isso não é um software de geração de imagens. Lembre-se disso. Mas há muitos pontos fracos, como você pode ver. O dragão… nem sequer vejo um dragão. Talvez isto seja um dragão. Não há garras, bigodes nem qualquer corpo sinuoso. Então, eu diria que o tema e o layout estão bons, mas o assunto principal fica aquém do nível mundial…

09:28 …que esperaríamos de um modelo com 120 bilhões de parâmetros. Se você olhar esta tabela de benchmark da Nvidia, vou tentar aumentá-la um pouco. Olha, eu realmente não me preocupo muito com esses benchmarks, porque, se você olhar, por exemplo, para isto… Então, entre seus concorrentes open source, este modelo não é o vencedor geral nos testes de agent e de programação. Quincy 3.8 Flash, depois GLM 5.2 Flash e Deep Seek Before All estão à frente dele, embora ele claramente tenha superado o Quincy 3.5, que agora é um modelo bem antigo.

09:59 Mas ele se destaca em contextos longos, nos quais lidera o grupo. A única coisa em que realmente se destaca é que, em GPUs Nvidia, a velocidade é muito boa: cerca do dobro de tokens em comparação com seus concorrentes mais próximos. E vimos isso em primeira mão, porque ele conclui a tarefa muito, muito rapidamente. Agora, este gráfico compara as próprias ferramentas de agent, e Hermes se sai muito bem…

10:30 …como acabamos de testar diante de vocês no Terminal-Bench: ele ficou em segundo lugar, logo atrás de Codex e à frente de Claude Code e Sweep Bench Pro. A competição é acirrada, com Hermes bem no meio do grupo. Então, olha, acho que é uma espécie de modelo rápido e versátil e, no geral, não é nada ruim. Então, me contem o que acham deste modelo. Mais uma vez, inscrevam-se nesta newsletter e, se quiserem se tornar membros, será ótimo.

11:00 Obrigado por todo o apoio.

Transcrição original

[00:01] We have a brand new sizzling application to be fixed by a model. This is Lumen RX, an online prescription sunglasses studio. A patient picks a frame and a tint, and the app works out which lens material they need, how thick the lenses will be, whether the frame can take their prescription, the price, and the order sheet that goes to the lab that grinds the lenses. Now, at the moment, the application looks mint, but there is

[00:32] a very critical bug in it. Let me first show you. So, here on the top left is a patient, Maya Okonko. I am clicking on her name on the tab, and then in the middle, I’m going to select the frame, which is Apex Sport. And then, I’m clicking on pin to compare one time. Next up, I’m selecting Daniel Reyes. Again, the same frame, and then I’m also clicking on pin to compare. You see, the price has gone up 548.

[01:05] I’ll just scroll down to the bottom where a new table would have appeared. There you go. So, we are comparing both of these. So, here is Maya written in minus cylinder on the Apex Sport frame, lens 1.59 6.39 mm thick compatible. Now, look at Daniel. His prescription is written in plus cylinder, but his eyes are identical to Maya’s. Look at the row sent to lab. Now, that is where the things get

[01:36] really, really funny. So, what happens is that Maya is minus minus minus, Daniel is also minus, but um the price varies, and both are getting different frames, and there are huge implications to that, as you can probably imagine, because the thing is that two people with identical eyes get different lenses and different prices. A short-sighted customer is up sold to thicker, pricier lenses. A long-sighted customer gets a lens a full

[02:06] diopter too weak. So, they pay for glasses that do not fix their vision, and they one of them is even paying more. Nothing is crashing a everything is working, but the whole studio is a mess. That is where I’m going to use this new model from Nvidia, which I will scroll through to show you Nemotron 3.5 Super VL, which is a vision model. And the app is at the moment running locally on my system with a docker, lot of things post grads, front end, back end, redis, as you can see.

[02:37] And the model is integrated with Hermes agent. So, I’m going to give this model a goal without telling it anything what needs to be fixed, what is the bug in and all that. So, I’m checking tool use, reasoning, and how soon it is able to fix this bug. As the model works through it, let’s talk a bit more around what Nvidia has done with it. So, this is a 120 billion parameter model that only uses 12 billion at a time. So, it stays fast for its size as per Nvidia.

[03:08] The main thing is that it mixes Mamba 2, mixture of experts and attention layers, and it sees as well as reads. Text, images, and video go in, text comes out. It handles up to a million token context window. So, it can hold a whole code base at once, but we will see. It is built for long-running agents that combine reasoning, tool use, and visual understanding, which is exactly what we are testing. It is open weights, which was released just few days back. This is

[03:41] Fahad Mirza, and I welcome you to the channel. Please also subscribe to this free weekly AI newsletter at fahadmirza.substack.com. If you’re looking to rent a GPU on very good price, you can find the link to Mass Compute in video’s description. And if you’re feeling too generous, feel free to become a member of the channel. The model has given the response. It has found the real bug as you can see from here, the missing sphere update in the engines plus to minus conversion, fixed it, rebuilt the container, and

[04:14] also has verified the result, which is great. But the problem is that it also reported three more fixes in other files, which I don’t think so was needed. Nothing was broken. So, it has just, you know, uh overdone it, which is not good. But anyway, let me go here and refresh this app. I’ll just do control of five. Let’s reload. That’s done. From there, let me select Maya. And I’m going to do the Apex sport. Let’s spin to compare.

[04:46] And then I’m going to do Daniel. And from the Daniel Apex, spin to compare. Let’s scroll down. And you can see the comparison that the bug is fixed. Daniel now matches Maya on every row. All the measurements plus the price. So, same frame, same eyes, Daniel’s lab sheet now reads correctly. The bug is fixed. So, the model has done well. And the only three problem is that it has also fixed what was not broken, but anyway, let’s do another test.

[05:19] Now, for the next test, I’m giving the model this image of some Portuguese and then asking it to read this paragraph from this image, understand its meaning, and write a three-word title in these 82 languages, including some of the rare ones. So, let’s see if the model is able to translate it, if it is able to capture the essence of this paragraph, which I just showed you, and then if it is able to translate it. So, instruction following multi-linguality, semantics, creativity is there. Let me know once it is done

[05:53] because I already have started it or it is already done. It is fast. So, let me show you and then you can give me your opinion in the comments. So, as far as Portuguese image is concerned, it has read it correctly and got the core idea, which is contentment over happiness. And, you [clears throat] know, English, Spanish, French, they all look quite good to me. It followed the format perfectly, one language and title per line, nothing extra. Some of the titles are four words, by

[06:23] the way. Anyway, but again, if you look at the, you know, low-resource languages or rare languages, it is failing miserably. Like Burmese is garbage, Malayalam has an English word stuck in it, Pashto, Sindhi, all gone. Several African languages look off. So, I think I would really need some of the native speakers to confirm their languages here, but I think this is an average response because every model these days can go with the

[06:54] main European languages and so and so. And let’s do now scientific reasoning with a touch of math. This is a hand-drawn Sallen-Key filter circuit. I’m testing three things here. Can the model read the handwritten values? Can it do the engineering maths? And can it catch that the drawing itself is wired totally wrong? Look at the response of the model. It read every label correctly, identified the circuit, and did the maths cleanly.

[07:25] It also has cut off around 750 Hz and few other values, which match my own calculations, by the way. So, all good. Then it did the hard part. It checked the drawing against how the circuit should be wired and caught that the op amp inputs are the wrong way around. So, the filter would not work as drawn. So, this is a real scientific reasoning, not just reading numbers off a page, and it didn’t think long, by the way. So, I think it is quite good. Yes, we can argue that the explanation of the wiring is

[07:56] slightly loose because it says there is no output feedback to the minus input, but in the drawing, the output actually loops back to the plus input. So, it is not a perfect answer, but given that the model has been so fast and it has actually got the essence of it, I would call it a pass. So, a good result overall. For the next test, I’m asking the model to design me a dragon tattoo in pure code in one HTML file with a touching American theme, a dragon guarding a

[08:27] folded flag and dog tags in memory of a father with a rising sun and a never forgotten banner. No images, just code. I gave this prompt to this model, and you can see that it has generated it after thinking not for too long, and this is what it has generated. I’ll just click on redraw tattoo. So, it is redrawing it. Now, as far as the story pieces are concerned, I think it has got mostly right. The folded flag with the blue

[08:57] field and stripes, the dog tags and the glowing sun, the banner with the heart and keyhole, and both view buttons are also there. And the flag and banner is there. Of course, there are a lot of It’s not an image generation software, by the way. Remember that. But there are a lot of weak spots, as you can see. The dragon I don’t even see a dragon. Maybe this is a dragon. No claws, whiskers, or any coiling body whatsoever. So, I would say the theme and layout are okay, but the main subject falls short of a world-class

[09:28] stuff, which we would expect from a 120 billion parameter model. If you look at this benchmark table from Nvidia, I will try to make it bit bigger. Look, these benchmarks I really don’t worry too much about them because if you for example look at this. So, against its open rivals, this model is not the overall winner on the agentic and coding test. Quincy 3.8 flash, next GLM 5.2 flash, and deep seek before all

[09:59] are ahead of it while it clearly has beaten Quincy 3.5 quite an old model now. But it does shine in long context where it leads the pack. Um the only thing where it is really shining is that on Nvidia GPUs, the speed is quite good, roughly double that tokens of its nearly rivals and we saw it at first hand because uh it really completes the task very very quickly. Now, this chart compares the agent tools themselves and Hermes holds up very well

[10:30] as we just tested it out in front of you on terminal batched it land second just behind Codex and ahead of Claude, code, and sweep bench pro. The whole field is packed tightly with Hermes right in the middle of the pack. So, look, I think it’s a fast all-rounder sort of model and overall not a bad model at all. So, let me know your thoughts about this model. Again, please subscribe to this newsletter and if you want to become a member, that

[11:00] would be swell. Thank you for all the support.