Limit 1B Violetto: um pequeno especialista em matemática testado localmente

Ver no idioma original →

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Limite 1B Violetto: A Tiny Math Specialist, Tested Locally · Canal: Fahd Mirza · 08:27 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Inferência e otimização de modelos, Modelos de IA, Modelos locais e open source

Resumo

O vídeo instala e testa localmente o Limit 1B Violetto, um modelo denso de 1 bilhão de parâmetros, treinado do zero e especializado em matemática. Nos testes, ele resolve corretamente uma questão simples e uma questão de nível competitivo, embora a segunda exija bastante tempo de raciocínio. Quando recebe perguntas ou pedidos que não são de matemática, o modelo desvia do escopo em vez de responder como um assistente geral. Os benchmarks apresentados pela equipe do modelo indicam bom desempenho em matemática competitiva, mas não uma vantagem em todas as tarefas ou comparações.

Pontos-chave

• O Limit 1B Violetto tem 1 bilhão de parâmetros e uma context window de 131 mil tokens.
• O modelo foi treinado do zero com menos de 300 bilhões de tokens selecionados e recebeu apenas um ajuste leve para seguir instruções.
• Na configuração testada, o modelo usou pouco menos de 2 GB de VRAM.
• Ele resolveu corretamente uma questão simples e uma questão de matemática competitiva cuja resposta era 1080.
• A solução da questão difícil levou bastante tempo, mas apresentou um raciocínio que o autor considerou correto.
• Ao receber uma pergunta sobre fotossíntese, o modelo respondeu sobre divisão celular e transferência de energia.
• Quando solicitado a escrever um haicai, inventou uma definição própria de haicai em vez de produzir o poema pedido.
• Os benchmarks divulgados mostram força em matemática competitiva, mas desempenho menos destacado em algumas tarefas de matemática de pesquisa.
• O autor ressalta que os benchmarks e as comparações apresentados são da própria equipe do modelo e não foram verificados de forma independente.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação e instalação do modelo	O vídeo apresenta o Limit 1B Violetto e mostra a instalação do ambiente e a inicialização do servidor local.
02:35	Execução local e primeiros testes	O modelo carrega com pouco uso de VRAM, resolve uma questão simples e apresenta desvios ao responder a uma pergunta fora do domínio matemático.
05:14	Teste de escopo e comparação de benchmarks	O vídeo testa um pedido de haicai e analisa benchmarks que mostram bons resultados em matemática competitiva, mas desempenho desigual em outras tarefas.
07:24	Resultado do teste de haicai e conclusão	O modelo inventa uma definição de haicai em vez de escrever o poema, reforçando a conclusão de que é um especialista em matemática, não um assistente geral.

Citações

Ele desafia a ideia de que um modelo precisa ter uma personalidade de assistente para ser útil. — 00:01

Um modelo de apenas 1 bilhão de parâmetros resolveu um problema de nível competitivo e chegou à resposta correta: 1080. — 04:43

É um pequeno especialista que supera o que seu tamanho sugere em matemática competitiva, não um modelo que vence em tudo. — 06:52

Dê a ele um problema difícil e ele entrega. Dê um poema e ele inventa as próprias regras. — 07:56

Conceitos e entidades

• Limit 1B Violetto (modelo): Modelo denso de 1 bilhão de parâmetros especializado em matemática, testado no vídeo em execução local.
• Paradma (empresa): Organização apresentada no vídeo como responsável pelo Limit 1B Violetto e pelos benchmarks divulgados.
• vLLM (ferramenta): Ferramenta usada no vídeo para servir o modelo localmente.
• Ubuntu (ferramenta): Sistema operacional usado no ambiente local de instalação e teste.
• NVIDIA RTX A6000 (ferramenta): GPU com 48 GB de VRAM usada para executar o teste local.
• Apache License 2.0 (conceito): Licença mencionada no vídeo para os pesos e plugins do modelo.

Tradução completa (pt-BR)

00:01 Conheça um modelo matemático italiano: Limit 1B Violetto. O primeiro modelo da Paradma desafia a ideia de que um modelo precisa ter personalidade de assistente para ser útil. É um transformer denso de 1 bilhão de parâmetros, treinado do zero com menos de 300 bilhões de tokens selecionados e uma context window de 131 mil tokens. Ele recebeu apenas um ajuste leve de instruções, então funciona melhor com um problema matemático difícil por

00:32 turno. E pode até transformar uma pergunta que não é de matemática em um problema matemático. Vamos instalá-lo e testá-lo. Os pesos e os plugins VLM estão sob a licença Apache 2. Vamos começar. Vou usar este Ubuntu. Tenho uma placa de GPU Nvidia com 48 GB de VRAM, uma RTX A6000. Se você quer usar uma GPU por um preço muito bom, pode encontrar o link para a Master Compute na descrição do vídeo.

01:02 A instalação é um pouco diferente. Então, vamos dar uma olhada rápida. Primeiro, você precisa clonar o repo e depois abrir esse repo. A partir daí, precisamos criar um novo ambiente virtual e instalar o plugin Limit, o VLLM, o CUDA, o PyTorch e o Transformer usando o arquivo de bloqueio. Como você pode ver, é isso que está acontecendo. Aliás, recentemente comecei este boletim informativo semanal gratuito sobre IA, que você pode acessar pela página inicial do meu canal. O endereço é fad.substack.com.

01:35 Certo, vamos voltar e conferir a instalação. Está tudo pronto. Em seguida, vamos iniciar o servidor VLM. Na primeira vez que você inicia, ele também baixa o modelo, que é bem leve. Enquanto ele atende às solicitações, vamos falar de um dado muito interessante que eles compartilharam. Este gráfico mostra a pontuação no AIME 2026 em relação à estimativa do poder computacional de treinamento, em escala logarítmica. O Limit 1B fica bem à esquerda, com 94,01%, usando cerca de 1,71 × 10^? operações de ponto flutuante, enquanto modelos com pontuações próximas, como Neotron Cascade, Vinker, Neotron 3 Super e Coen 3.5 9 billion, ficam de uma a três ordens de magnitude acima.

02:05 mais à direita. Em outras palavras, eles afirmam que o modelo alcançou a mesma precisão com uma fração do poder computacional. Observe também a nota de rodapé deles.

02:35 O poder computacional é estimado, o RL é excluído e as etapas contabilizadas variam de modelo para modelo. Portanto, esta é uma comparação feita pela própria Paradma, e não algo que verificamos com fontes externas. E é exatamente por isso que estamos instalando o modelo e testando-o com VLM. Eles também disponibilizaram este plugin completo e tudo mais neste repo do GitHub, que você pode acessar pela página do Hugging Face. Vou deixar o link na descrição do vídeo. E este é o consumo de VRAM. Você pode

03:07 ver que são pouco menos de 2 GB de VRAM, e tudo está carregado na nossa GPU. O modelo está sendo servido. Vamos testá-lo. Para o primeiro teste, escrevi este script, que envia três prompts separados, cada um com um único turno, ao servidor Limit em execução aqui. Uma pergunta fácil, um problema de cálculo difícil do próprio blog da Paradma, cuja resposta conhecida é 1080, e uma pergunta que não é de matemática. Como você pode ver aqui, a última pergunta não é de matemática. O objetivo é

03:40 ver como ele lida com matemática e se sai do escopo quando recebe uma pergunta que não é de matemática. Então, vou mostrar meu terminal. Vou para a próxima etapa e executo este script. O resultado chegou e é bem interessante. Como você pode ver, ele resolveu corretamente a questão de matemática fácil. X é igual a 5. Vou rolar a tela para mostrar. Aí está. A resposta está correta. Para o problema difícil, ele raciocinou por bastante tempo, como

04:11 você pode ver. Este é todo o bloco de pensamento. Ele continua pensando, continua pensando. E o raciocínio me parece bastante correto. O único problema é que, depois de pensar por muito tempo, ele me deu o resultado, mas a resposta foi cortada. Então, não sei mesmo se estava correta ou não. Vamos executá-lo de novo separadamente. Enfim, vou até o fim para mostrar algo muito interessante. Na pergunta que não era de matemática, ele não respondeu corretamente sobre fotossíntese. Em vez disso, descreveu

04:43 a divisão celular e a transferência de energia, que é o desvio de escopo sobre o qual a Paradma alerta no blog. No fim, também inventou “metade das fotos”. Vou executar agora esse problema de matemática difícil separadamente. Depois de bastante tempo, o modelo respondeu. Como você pode ver, um modelo de apenas 1 bilhão de parâmetros resolveu um problema de nível competitivo e chegou à resposta correta, 1080, como aparece no fim. Levou bastante tempo

05:14 pensando, como eu disse, mas a resposta final está bem clara. Se você examinar os detalhes, verá que ele percebeu que só funcionam os pares em que a é igual a b e a é coprimo de 2025. Depois, contou-os usando a função totiente de Euler, o que acho realmente impressionante. Então, essa foi uma única execução. Vamos fazer outro teste. Neste próximo teste, vamos enviar uma solicitação simples que não é de matemática. Como você pode ver aqui, escreva um haicai

05:46 sobre o servidor C do Limit e imprima apenas a resposta final. O objetivo é testar o limite de escopo. A Paradma alerta que um especialista em matemática talvez não consiga escrever um haicai e pode transformá-lo em outra tarefa, como aconteceu com a pergunta sobre fotossíntese. Então, vou até lá e executo. Enquanto isso, vamos falar rapidamente sobre o benchmark. A tabela à sua frente compara o Limit 1B com modelos de 1 bilhão a 753 bilhões de parâmetros em sete benchmarks de matemática.

06:20 Nos testes competitivos mais recentes, AIME 2026, HMMT 2026 e Beyond AIME, o modelo de 1 bilhão fica no topo ou perto dele, ao lado de modelos de 25 a 30 vezes o seu tamanho, e à frente de todos os outros modelos pequenos listados na seleção mais difícil do Apex. Ele se mantém próximo dos modelos de tamanho médio, embora os muito grandes, como GLM 5.2, ainda fiquem à frente, o que é razoável. Mas também não vence em tudo

06:52 nos concursos mais antigos de 2025. Ele fica atrás de alguns concorrentes pequenos e, especialmente, nos testes Archive Math, que são de matemática no estilo de pesquisa, fica claramente para trás. Então, acho que podemos dizer que é um especialista minúsculo que supera bastante o que seu tamanho sugere em matemática competitiva, não um modelo que vence em tudo. Eles também montaram esta tabela, e os resultados marcados com uma adaga, como nesta linha,

07:24 vieram de cartões de modelo ou do Math Arena, em vez de novas execuções feitas por eles. Então, encare-a como mais uma comparação feita por eles. Enquanto isso, você pode ver que já estamos testando o modelo por conta própria. E aqui está outro resultado muito interessante. Se você ler com atenção, ele não escreveu de fato um haicai. Inventou sua própria definição de haicai como uma escrita em forma de estrela. Se eu rolar até o fim, deixe-me descer rapidinho para mostrar. Aí está.

07:56 Ele simplesmente nos deu uma descrição em destaque. Então, o prompt sobre o servidor C teve o mesmo desvio de escopo que a pergunta sobre fotossíntese. O próprio raciocínio do modelo mostra que ele recebeu uma instrução adicional para explicar passo a passo, que parece vir do template de chat incluído por eles. Mas, de qualquer forma, eu diria que é um modelo bem interessante: um especialista afiado em matemática, não um assistente. Dê a ele um problema difícil e ele entrega. Dê um poema e ele inventa as próprias

08:27 regras. É isso. Conte o que achou nos comentários. Se quiser ajudar o canal, torne-se membro. Obrigado por todo o

Transcrição original

[00:01] Meet an Italian math model. Limit 1 billion vito. The first model from Paradma and it challenges the idea that a model needs an assistant personality to be useful. It is a 1 billion parameter dense transformer trained from scratch on under 300 billion curated tokens with a 131k context window. It is only lightly instruction tuned, so it works best on one hard math problem per

[00:32] turn. And it can even turn a non-math question into a math problem. We are going to install it and we are going to test it. Weights and VLM plugins are Apache 2. Let’s get started. I’m going to use this Ubuntu. I have 1 GPU card which is Nvidia with 48 GB of VRAM RTX A6000 and if you’re looking to run the GPU on very good price you can find the link to master compute in video’s description.

[01:02] Installation is slightly different. So let’s have a quick look at it. First you need to get clone the repo and then you just need to open that repo. From there we need to create a new virtual environment and install the limit plug-in VLLM CUDA pytor and transformer from the lock file. As you can see that is what is happening. By the way recently I have started this free weekly AI newsletter which you can access from my channel’s homepage. It is fad.substack.com.

[01:35] Okay let’s go back and see the installation. That is all done. Next up, let’s start the VLM server. And the first time when you start this, it also downloads the model which is quite lightweight. So while it serves, let’s talk about one very interesting bit of data they have shared. This chart plots me 2026 score against estimated training compute on a log scale. Limit 1 billion sits at the

[02:05] far left with 94.01% 01% at about um you know 1.71 into 10 flops while the model near its score like Neotron Cascade, Vinker, Neotron 3 Super and Coen 3.5 9 billion sit one to three orders of magnitude further higher. In other words, they are saying that it reached the same accuracy with a fraction of compute. Also note their own footnote.

[02:35] compute is estimated RL is excluded and the stages counted differ by model. So this is Paradma’s own comparison and not something we have verified from another external parties and that is exactly we are getting it installed and test with VLM. They have also shared this whole plug-in and everything in this GitHub repo which you can access from hugging face page which I will drop the link in video’s description. And this is a VRAM consumption. You can

[03:07] see just under 2 gig of VRAM and it is all loaded onto our GPU. The model is being served. Let me test it out. So for the first test, I have written this script which is sending three separate single turn prompts to the limit server running here. on easy question, a hard computation problem from paradigma’s own blog with a known answer of 1080 and a non-math question. As you can see here, this last one is a non-math question. The goal here is to

[03:40] see how it handles math and whether it drifts off scope when asked something is at math. So, let me take you to my terminal and I will just go to the next one and run this script. The result has come back and it is quite interesting. Easy math as you can see it solved correctly. X is equal to 5. I’ll just scroll down to show you. There you go. So the answer is correct. For the hard bath it reasoned for a long time as

[04:11] you can see. And this is the whole think block. It is keep thinking keep thinking. And the thinking seems quite correct to me. The only thing is that after thinking for a long time, it gave me the result but it got caught off. So I really don’t know whether it was correct or not. We will rerun it separately. So anyway, I’ll just go to the bottom to show you something very interesting. The non-math one, it did not answer photosynthesis correctly. It described

[04:43] cell division and energy transfer instead which is the scope drift parame paradigma warns about in their blog. It also invented photos half at the end. So let me now run that hard math problem separately. And after a long time the model has come back and you can see that just a 1 billion parameter model solved a competition level problem and landed on the correct answer 1080 as you can see at the bottom. It took a long time

[05:14] thinking as I said but the final answer is clean. If you go through this detail, it spotted that only pairs where a equals b with a co-prime to 2025 work. Then counted them using uler’s um toient which I think is really impressive. So only one run. Let’s do another test. For this next test what we are doing, we are sending one plain non-math request. As you can see here, write a hyperrow

[05:46] about the C to the limit server and prints only the final answer. The point is to test the scope limit. Paradma warns about a math specialist may not may not write a haiku and may turn it into a different task as it did happen with photosynthesis one. So let me go here and run this. While it runs, let’s talk about benchmark very quickly. So, the table in front of you lines up limit 1 billion against models from 1 billion up to 753 billion across seven math

[06:20] benchmarks. On the newest competition tests, AME 2026 and then HMMT 2026 and beyond AM, the 1 billion model sits at or near the top level with models 25 to 30 times its size and ahead of every other small model listed on the harder Apex short list. It stays close to the midsized models, though the very large ones like GLM 5.2 still pull ahead, which is reasonable. It is not a clean sweep

[06:52] either on older 2025 contest. It slips behind a few small rivals and especially if you look at it on archive math which is a research style math it falls clearly behind. So I think we can say that a tiny specialist that punches far above its weight on competition math not a model that wins at everything. And they have also ran this table themselves and the result marked with dagger as here like in this row

[07:24] they came from model cards or math arena rather than their own reruns. So just treat it as their own comparison again. And meanwhile you can see that we already are testing it uh by ourselves. And here you go another very interesting result. If you read through it, it never actually wrote a high code. It invented its own definition of a haiko as a star- shaped writing. And then if I scroll down uh towards the end, let me quickly go down and show you. So there you go.

[07:56] So it has just given us you know a boxed description of it. So the C prompt got the same scope drift as photosynthesis. The model’s own thinking shows it received an extra reason stepby-step um you know some sort of instruction which appears to come from their own bundled chat template but anyway look fairly interesting model I would say it’s a sharp math specialist not an assistant give it a hard problem and it delivers. Give it a poem and it invents its own

[08:27] rules. That’s it. Let me know your thoughts in the comments. If you want to help out the channel please become a member. Thank you for all the