NeoHorse-1-4B: o modelo que treina a si mesmo — execute localmente

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: NeoHorse-1-4B: The Model That Trains Itself - Run Locally · Canal: Fahd Mirza · 10:26 · Assistir no YouTube

Tópicos: Agentes de IA, Engenharia de software com IA, Geração de conteúdo com IA, Modelos de IA, Modelos locais e open source

Resumo

O vídeo apresenta o NeoHorse-1-4B, um modelo de 4 bilhões de parâmetros baseado em Qwen 3.5, cuja proposta de treinamento usa registros de um sistema de roteamento de modelos e correções de um modelo professor. O apresentador testa o modelo localmente em uma aplicação de alerta de enchentes glaciais, onde ele identifica e corrige um erro que indicava falsamente que não havia pessoas em risco. A demonstração também mostra o raciocínio do modelo e comenta resultados de benchmarks em comparação com outros modelos pequenos. Em uma tarefa de escrita criativa, o texto produzido é fluente e bem estruturado, mas apresenta inconsistências de país, idioma e relações familiares.

Pontos-chave

O diferencial do NeoHorse-1-4B está no método de treinamento, não em uma arquitetura nova.
O treinamento usa registros de decisões de roteamento entre modelos, organizados de tarefas mais fáceis para mais difíceis.
Uma etapa adicional usa um modelo professor para observar tentativas do NeoHorse e corrigi-las.
O ciclo recursivo ocorre durante o treinamento: o modelo gera novos registros de interação que podem servir para treinar versões futuras.
Em um teste local, o modelo encontrou e corrigiu um bug de falsa indicação de segurança em um painel de alerta de enchentes.
O apresentador observa que o modelo realizou verificações recursivas nos endpoints antes de concluir a tarefa de programação.
Segundo os benchmarks exibidos, o modelo fica entre os primeiros em várias categorias e tem desempenho consistente entre tarefas.
Na escrita criativa, o resultado é fluente e tem recursos estilísticos, mas confunde países, idiomas e relações familiares.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação do modelo e da demonstração	O apresentador introduz o NeoHorse-1-4B e prepara um teste em uma aplicação de alerta de enchentes glaciais.
03:42	Treinamento recursivo e correção do bug	O vídeo explica como registros de roteamento e correções de um modelo professor alimentam o treinamento e mostra o modelo corrigindo uma falsa indicação de segurança.
06:46	Teste de escrita criativa e benchmarks	O apresentador inicia uma tarefa de escrita criativa e comenta a comparação do NeoHorse com outros modelos pequenos.
08:22	Resultados e limitações	O vídeo avalia o bom desempenho em programação e a fluência do texto, mas aponta inconsistências na narrativa criativa.

Citações

O que o torna diferente não é a arquitetura. É a forma como foi treinado. — 01:04

Eles pegaram esse registro e o transformaram em dados de treinamento. — 04:12

Tudo isso de recursividade acontece no treinamento, não na inference. — 05:13

Agora ele mostra o número correto: mais de 41 mil pessoas na zona de inundação. — 06:46

Conceitos e entidades

NeoHorse-1-4B (modelo): Modelo de 4 bilhões de parâmetros apresentado no vídeo, com foco em treinamento recursivo a partir de interações de roteamento.
Qwen3.5 (modelo): Modelo sobre o qual o NeoHorse-1-4B é descrito como tendo sido construído.
Token Rhythm (empresa): Organização citada como responsável pelo NeoHorse-1-4B.
recursive self-improvement (RSI) (conceito): Abordagem em que registros gerados durante o uso do modelo podem alimentar o treinamento de versões futuras.
vLLM (ferramenta): Ferramenta usada no vídeo para servir o modelo localmente.
Hermes Agent (ferramenta): agent usado para dar ao modelo a tarefa de encontrar e corrigir bugs na aplicação demonstrada.
GlaciWatch (ferramenta): Painel de alerta antecipado de enchentes glaciais usado no teste prático do modelo.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável pelas demonstrações do modelo.
Master Compute (empresa): Serviço mencionado pelo apresentador como opção para alugar uma GPU.

Tradução completa (pt-BR)

00:01 Quero começar este vídeo agradecendo muito a todos os membros do canal. São eles que mantêm as luzes acesas. É graças a essas pessoas que consigo instalar esses modelos localmente e mostrá-los a vocês todos os dias, porque elas não ficam só na conversa: ajudam com o próprio dinheiro. E sou muito, muito grato por isso. Se você também quiser ajudar o canal para que eu continue fazendo estes vídeos, que não são

00:32 realmente baratos, então torne-se membro. Custa só de US$ 4 a US$ 5 por mês. É só isso. Obrigado por todo o apoio. O modelo de hoje é este novo modelo Horse de 4 bilhões, da Token Rhythm, baseado no Qwen 3.5. Não se preocupe. Sim, é um modelo antigo. Mas espere, deixe-me explicar por que estou falando dele. O que o diferencia não é a arquitetura. Essa é antiga. É a forma como ele foi treinado. Em vez de

01:04 aprender com exemplos estáticos, ele aprendeu observando um sistema de roteamento ao vivo decidir qual modelo de IA deveria lidar com cada tarefa e estudou essas decisões para melhorar. Vamos instalá-lo e testá-lo. Aqui é Fad Miraza, e dou as boas-vindas a vocês ao canal. Já falamos bastante sobre aquele modelo de 3,5 bilhões, como vocês podem ver na tela. Recentemente, também comecei esta newsletter semanal gratuita sobre IA, na qual vocês podem se inscrever em vahadma.substack.com.

01:36 Então, vejam este aplicativo, que está rodando localmente no meu sistema neste momento. Este é o Glaci Watch, um painel de alerta antecipado de enchentes glaciais para um vale montanhoso com seis cidades rio abaixo. Vou mostrar a vocês essas seis cidades rio abaixo que estão sob ameaça. Então, isto não é uma demonstração falsa; como podem ver, ele está recebendo dados em tempo real do meu aplicativo. Há muitos avisos e estatísticas sendo atualizados aqui no aplicativo, que já iniciei com meu frontend do Docker. O backend e várias outras coisas estão rodando, incluindo o banco de dados Redis no backend.

02:09 Agora, se vocês olharem para este aplicativo, neste momento ele diz que há zero pessoas na zona de inundação. Se eu simular o rompimento e descer a página, ela vai rolar para baixo até aqui. Vejam, agora o rompimento está acontecendo. A geleira está derretendo, e essas cidades logo estarão

02:42 sob ameaça, como vocês podem ver nestes avisos. Mas, se forem até o topo, ainda verão que ele mostra zero pessoas na zona de inundação e zero diques transbordando. Isso é um bug bastante lógico, mas cujas implicações são enormes. Esse é o pior tipo de bug em um sistema como este: um falso sinal de que está tudo bem. É aí que vou entrar em ação. Já configurei este modelo com o Hermes

03:12 agent e vou dar a ele este objetivo: encontrar e corrigir todos os bugs. Não vou dizer nada sobre qual é o bug nem onde está. Ele só precisa encontrá-lo e corrigi-lo usando sua nova técnica de autorrecursão, que vou explicar agora. Este modelo está rodando localmente, como podem ver, com o vLLM, e vou mostrar rapidamente como estou servindo-o. Deixem-me mostrar também o consumo de VRAM, que inclui o cache KV. Ele está

03:42 consumindo esta quantidade neste momento. Enquanto ele roda, vamos falar um pouco mais sobre este modelo. Qual é exatamente a diferença? Vou falar desse benchmark daqui a pouco. Mas, antes disso, esta é a ideia principal por trás do modelo, explicada: autoaperfeiçoamento recursivo. Imaginem um roteador diante de vários modelos de IA diferentes, decidindo em tempo real qual deles deve responder a cada solicitação. Sempre que ele

04:12 faz essa escolha, também registra discretamente que tipo de tarefa era, qual modelo foi selecionado e se deu certo. Normalmente, isso é apenas registro operacional. Os treinadores do NeoHorse pegaram exatamente esse registro e o transformaram em dados de treinamento. Eles alimentaram o modelo com essas interações reais, ordenadas da mais fácil para a mais difícil. Assim, ele desenvolve capacidades como alguém desenvolveria uma habilidade, em vez de ser jogado direto no fundo do poço. Depois, uma segunda etapa permite que um modelo professor mais forte

04:43 observe o NeoHorse tentando realizar tarefas ao vivo e o corrija. Ou seja, faz isso no momento, em vez de simplesmente fornecer respostas pré-escritas. Esse é o ponto principal. E aqui está o ciclo que, acredito, é o cerne de tudo isso. Quando o modelo aprimorado volta ao serviço, começa a gerar seus próprios novos registros de interação, que podem treinar a próxima versão. Então, todo esse processo autorrecursivo

05:13 acontece durante o treinamento, não durante a inference, aliás. Talvez isso aconteça no próximo ano ou algo assim, mas essa é a proposta: o sistema observa a si mesmo trabalhando, e isso serve de combustível para que ele melhore cada vez mais. Vamos voltar. Esta é minha placa GPU. Se estiverem procurando alugar uma GPU, aliás, vocês podem encontrar o link para a Master Compute na descrição do vídeo. Vamos conferir. Ele ainda está raciocinando e verificando. Vamos esperar. Lembrem-se: é um modelo de apenas 4 bilhões de parâmetros.

05:45 Não resisti e quis mostrar este raciocínio. Acho que ele está bem extenso para um modelo de 4 bilhões de parâmetros, o que demonstra bastante melhoria. Ele está fazendo muita recursão. Como podem ver, ele verifica e depois rejeita. Agora há bastante raciocínio. Estou só rolando a tela para mostrar que há muita recursão acontecendo em cada endpoint. E, por fim, acredito que ele verificou

06:16 todos os endpoints e retornou 200. E aí está. Mas vocês podem ver que, durante essa recursão, o que está faltando é que ele mudou para… isso é russo ou o quê? Isso também aparece no raciocínio dele. Enfim, vou descer a tela para mostrar que continua igual. Certo, acredito que terminou. Vamos conferir o aplicativo.

06:46 E vou fazer uma reinicialização completa deste aqui. Assim que atualizei, vocês podem ver que agora ele mostra o número correto: mais de 41 mil pessoas na zona de inundação. E estes são os diques que transbordaram; tudo está em amarelo. E vocês podem ver nesta simulação qual é o problema em cada cidade. E aí está. Nossa. Freeboard vermelho. Então, ele achou que o loop recursivo estava

07:20 se estendendo demais, mas, de novo, corrigiu esse erro. Um modelo de 4 bilhões de parâmetros realmente entregando muito mais do que se esperaria depois de programar. Vamos fazer um teste de escrita criativa. Agora leiam este prompt, porque ele é bem diferente. Este teste avalia se o modelo consegue transformar coisas banais do dia a dia — lixo eletrônico, spam e contas — em algo emocionalmente real sobre a solidão. Então, estou pedindo que escreva um texto de não ficção perspicaz, centrado em

07:51 um imigrante que vive sozinho, usando como elemento central as mensagens de WhatsApp que recebe ao longo de uma semana, como lixo eletrônico, contas eletrônicas e todo esse tipo de coisa. O texto deve explorar temas como solidão e conexão na sociedade moderna, buscando ser ao mesmo tempo agradável de ler e profundo. Vamos executar agora. Enquanto ele processa e cria algo, uma observação rápida sobre os benchmarks. Ele compara este NeoHorse com outros cinco modelos pequenos da

08:22 mesma categoria de tamanho: 4 bilhões de parâmetros, aproximadamente o mesmo porte. Acho que, no geral, o panorama é bastante interessante. O NeoHorse está no topo ou perto do topo em quase todas as categorias: tarefas com agents, programação e seguimento de instruções. Ele não vence por ser o maior modelo; vence por causa da forma como foi treinado. E, à direita, está a pontuação média nos 10 benchmarks. Acho que esse é um número que faz sentido aqui, porque

08:53 mostra que este não é um modelo bom em apenas uma coisa específica. Ele é consistentemente forte em todas as áreas, e também estou constatando que isso é bem verdade. Pronto. Vamos ler. Acho que foi aqui que realmente levamos o modelo ao limite. Ele se saiu bem, mas também há muitos problemas. Então, acho que, estruturalmente, está bem bom

09:24 Tecnicamente, é bastante fluente, sem problema. Também apresenta características estéticas da ficção literária, como fragmentos, espaços em branco e reticências. Muita coisa boa está acontecendo aqui, muita coisa boa. Há emojis, o texto é bem amarrado, e estou só passando por ele. Você pode pausar e ler. Também há uma menção à China e a alguns outros lugares. O problema é que ele nunca se fixa de verdade em um país, em um idioma ou em uma relação familiar consistente, como se…

09:55 …saltasse de mãe para filho, filha e neto, e tudo acabasse se confundindo na mesma pessoa. Isso é um pouco confuso. Então, acho que foi aí que perdeu a fluência do Qwen depois do pós-treinamento recursivo. Mas o que estou percebendo é que, ao contrário do que os benchmarks dizem, ele é muito bom em programação, sem dúvida. Mas, quando se trata de escrita criativa, acho que não é tão bom quanto o modelo de 4 bilhões de parâmetros da

10:26 Qwen. É isso. Este é o NeoHorse. Olha, meu trabalho é apresentar o modelo a vocês, mostrar como instalá-lo, o que ele pode fazer, o que não pode fazer e, na minha opinião, no que ele é bom. Mas, claro, não posso realmente abordar o seu caso de uso nos vídeos, porque você conhece melhor o seu próprio caso de uso. Entenda que fique à vontade para explorar mais e depois desenvolver algo com base no que aprendeu neste vídeo.

Transcrição original

[00:01] I want to start this video by giving a huge shout out to all the members of the channel. These are the people who keep the lights on. These are the people that I am able to get these models installed locally and show you every day because these people don’t just talk, they help out with their own money. And I’m very very grateful for that. If you also want to help out the channel so that I could keep making these videos which are not

[00:32] really cheap then please become a member. It is just $4 to5 a month. That’s about it. Thank you for all the support. The model in question today is this new horse 4 billion a model from token rhythm built on top of quen 3.5. Don’t worry. Yes, it’s an old model. But wait, um, for me to describe why exactly I’m covering this. What makes it different isn’t the architecture. That’s old. It’s how it was trained. Instead of

[01:04] learning from static examples, this one learned from watching a live routing system decide which AI model should handle which task, and it studied those decisions to get better. Let’s get it installed and test it out. This is Fad Miraza and I welcome you to the channel. We already have covered that 3.54 billion by the way a lot as you can see on your screen. Recently I also have started this free weekly AI newsletter which you can subscribe at vahadma.substack.com.

[01:36] So look at this application which is at the moment running locally on my system. This is Glaci watch a glacial flood early warning dashboard for mountain valley with six towns downstream and I will show you these are the six towns downstream which are under threat. So this is not a toad demo as you can see it is getting the realtime data from my application. Lot of advisory, lot of statistics are happening getting updated

[02:09] here in this app which I have already launched with my docker front end, back end and lot of other stuff is running including radius actual database at the back end. Now if you look at this application at the moment it says zero people in inundation zone. If I just simulate the breach and go down, it is going to scroll down here. You see now the breach is happening. The glacier is melting and these towns will soon be

[02:42] under threat as you can see from these advisories. But if you go at the top you can see still it shows zero pe people in inund in inundation zone and zero levies over top. This is a bug which is very logical but the implications are huge. That’s the worst kind of bug in a system like this a false all clear. That is where I am going to go and I already have configured this model with Hermes

[03:12] agent and I’m going to give it this goal where it need to find and fix every bug. I’m not telling it anything what the bug is, where that is. It just needs to find and do that by using its new technique of self-recursive which I’m going to explain now. This model is running locally as you can see with V LLM and I’ll quickly show you this is how I am serving it. Let me quickly show you the VRAM consumption too which includes KV cache. It is uh

[03:42] this is how much it is consuming at the moment. Now while it runs let’s talk bit more around this model. What exactly is difference? I’ll talk about this benchmark in a minute. But before that this is uh the headline idea behind this model. which is recursive self-improvement explainer. Picture a router sitting in front of a bunch of different AI models deciding in real time which one should answer which request. Every time it

[04:12] makes the call, it’s also quietly taking notes what kind of task was this, which model got picked and did it actually work out. Normally that’s just operational logging. Neo horse trainers took that exact log and turned it into training data. They fed those real interactions back into the model ordered from easy to hard. So it builds up capability the way you would build up a skill not thrown into the deep end. Then a second pass lets a stronger teacher

[04:43] model, you know, watch Neo horse attempt tasks itself live and correct. and it is um in the moment instead of just handing it pre-written answers. That’s the main thing. And here is the loop that you know I believe is the core of this whole thing. Once that improved model goes back into service, it starts generating its own new interaction logs which can train the next version. So all this self-recursive

[05:13] happening in training not in in inference by the way maybe that is in uh in the next year or so but that is the whole pitch here the system watching itself work because the fuel for it getting better and better. Let’s go back and this is my GPU card. If you’re looking to rent a GPU by the way you can find the link to master compute in videos description. Let’s check out it is still reasoning and checking it out. Let’s wait for it. Remember just a 4 billion parameter

[05:45] model. I couldn’t resist but to show you this thinking. I think the thinking is really stretched for a 4 billion parameter model which is sort of um showing lot of improvement. It is doing lot of recussion. As you can see it checks and then rejects. Now there is lot of thinking. I’m just scrolling through to show you there is lot of recursion happening on each and every endpoint. And then finally I believe that it has checked

[06:16] all the end points and returned 200. And there you go. But you can see that during that recursion what is missing is that it has turned to um is this Russian or what? So that is also appearing in its um thinking. Anyway, I’ll just go down to show you still the same. Okay, I believe it is done. Let’s check out the application.

[06:46] And I’m just going to do a hard reset on this one. And as soon as I have refreshed it, you can see now it shows us the correct number that more than 41,000 people in inundation zone. And these are the levies which are over topped and everything is in yellow. And you can this see this simulation that which town is in which issue. And there you go. Wow. Red freeboard. So it thought more it recursive loop was

[07:20] um stretching a lot but again it has fixed this error. 4 billion parameter model really really punching above its weight after coding. Let’s do a creative writing test. Now read through this prompt because this is very different. This is testing whether the model can turn boring everyday junk, spam, and bills into something emotionally real about lonely loneliness. So, I’m asking you to write an insightful non-fiction piece centered on

[07:51] an immigrant living alone using the WhatsApp messages he receives in a single week like junk, e billills, and all the stuff as the core. The piece should explore themes of loneliness and connection in modern society, aiming to be both readable and profound. Let’s run this now. While it runs through it and creates something, a very quick note on the benchmarks. So, it is comparing this Neo horse against five other small models in its

[08:22] weight class. 4 billion parameters, roughly the same size. And I think overall the picture is quite interesting and as new horse is on top or near the top across almost every category agentic task coding following instructions it’s not winning by being the biggest model it’s winning because of how it was trained and on the far right that average score across all 10 benchmarks. Um I think that is one number that actually is making sense here because it

[08:53] tells you that this isn’t a model that’s good at one narrow thing. It consistently strong across the board and that is I’m also finding it that this is uh quite true. So it is done. Let’s read it out. So I think this is where we have really stretched the model. Um it has done well but there are a lot of issues too. So I think structurally it is quite good

[09:24] technically quite fluent no problem and it also has performed aesthetics of literary fiction like fragment white spaces ellipses lot of good stuff is happening here lot of good stuff emojis are there it is well knitted and I’m just scrolling through you can pause and read through it there is um also a mention of China and few others now the issues is that it really never settles on one country. One language or one consistent family relationship like it

[09:55] jumps from mother, son, daughter, grandchild all blur into same person. Um which is bit confusing. So I think this is where it has lost the fluency of coin uh after post training in recursive. But what I’m finding that unlike what benchmarks are saying this is really good at coding no doubt about that. But when it comes to creative writing, I think it is not as good as we saw in this 4 billion parameter model from

[10:26] Coen. So that’s it. Um, this is what Neoor is. And look, my job is to introduce you to the model, show you how to get it installed, what it can do, what it can’t do, and in my opinion, what it is good at. Um, but of course, I cannot really do your use case in the videos uh because you would know your use case is better. Please understand that um feel free to explore further and then build on top of what you have learned in this video.