Pular para o conteúdo

Treinaram uma IA por apenas US$ 146 — Eu testei!

Ver no idioma original →

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: They Trained an AI for Just $146 — I Tested It! · Canal: Prompt Engineer 48 · 09:52 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Modelos de IA, Modelos locais e open source, Privacidade e proteção de dados

A equipe da UGEAM Labs afirma ter treinado do zero o modelo de chat Laghu por US$ 146,26, e o vídeo testa o modelo em um laptop com RTX 4060. O Laghu é pequeno, rápido e pode ser executado localmente, mas os testes revelam erros em aritmética, memória, idiomas e seguimento de instruções. O apresentador também destaca a transparência do projeto, que publicou código, checkpoints, dados e relatos de falhas. A conclusão é que o modelo serve para aprendizado e experimentação, mas não para substituir chatbots maiores quando qualidade e confiabilidade são importantes.

  • A equipe relata que o pré-treinamento principal custou US$ 146,26 e usou oito GPUs A100 por 13,2 horas.
  • O Laghu tem 152 milhões de parâmetros e um arquivo de cerca de 163 MB; pode ser executado localmente e em um navegador.
  • Nos testes do apresentador, o modelo foi rápido, mas errou contas simples e o problema do taco e da bola.
  • O modo de raciocínio piorou o resultado de um problema simples de multiplicação.
  • O modelo acertou a capital da Austrália e produziu uma função básica para verificar números primos, mas acrescentou erros na explicação e no código.
  • O Laghu não conseguiu manter informações de uma conversa nem responder adequadamente a um pedido em hindi.
  • Os desenvolvedores publicaram o código de treinamento, checkpoints, conjuntos de dados, avaliações e registros de falhas.
  • O apresentador recomenda o modelo para aprendizado, pesquisa e experimentação local, não para tarefas que exijam alta confiabilidade.
Início Capítulo Resumo
00:00 O modelo de US$ 146 O vídeo apresenta o Laghu, seu custo declarado de treinamento e a proposta de executar um modelo de chat localmente.
03:09 Como executar e primeiros testes O apresentador mostra opções para rodar o modelo e avalia seu tamanho, velocidade e respostas em tarefas básicas.
04:12 Testes de capacidade e limitações Os testes revelam resultados variados em matemática, fatos, código, idiomas, memória e seguimento de instruções.
07:49 Resultados publicados e para quem serve O vídeo compara os resultados relatados pelos desenvolvedores, destaca a transparência sobre falhas e delimita os usos apropriados do modelo.

A execução principal de pré-treinamento custou US$ 146,26. — 01:34

Ele soa confiante e está errado. — 04:12

Esta é uma amostra pequena, não um benchmark. — 07:19

Quase nunca vi um lançamento tão aberto sobre as coisas que deram errado. — 08:51

O que você abre mão é da qualidade. — 09:22

  • Laghu (modelo): Modelo pequeno de chat em inglês, com 152 milhões de parâmetros, apresentado no vídeo.
  • UGEAM Labs (empresa): Equipe responsável pelo desenvolvimento e treinamento do Laghu.
  • Hugging Face (empresa): Plataforma onde os desenvolvedores anunciaram o modelo e disponibilizaram recursos para testá-lo.
  • Ollama (ferramenta): Ferramenta usada no vídeo para baixar e executar o Laghu localmente.
  • LM Studio (ferramenta): Aplicativo indicado como uma das opções para executar o modelo.
  • llama.cpp (ferramenta): Projeto compatível com o Laghu, listado como uma opção para executá-lo.
  • Gemma (modelo): Modelo do Google cuja arquitetura serviu de referência para a estrutura do Laghu.
  • Falcon (modelo): Modelo de 90 milhões de parâmetros que, segundo a comparação citada, superou o Laghu em três categorias de chat.
  • RunPod (empresa): Serviço de GPUs mencionado pelo apresentador ao final do vídeo.
  • RTX 4060 (ferramenta): GPU usada pelo apresentador para testar o modelo em seu laptop.

00:00 US$ 146. É isso que a equipe diz que custou treinar esse modelo de IA inteiro do zero — não fazer fine-tuning, mas treiná-lo partindo de um ponto aleatório. Ele se chama LLaMA. Tem 152 milhões de parâmetros, e o arquivo tem 163 megabytes. Ele roda em uma aba do navegador. Agora, veja o problema que isso pretende resolver. Sempre que você pergunta algo a um chatbot, suas palavras saem do seu laptop, vão para um servidor que você não controla, e você paga por isso com dinheiro ou privacidade. E, se algum dia você quis criar seu próprio modelo, o valor que as pessoas costumam citar é de milhões de dólares. A maioria de nós nem sequer tenta.

00:31 O LLaMA é a resposta de uma pequena equipe: um modelo de chat que você pode executar na sua própria máquina, com um modo de raciocínio que pode ativar ou desativar. E eles publicaram tudo: o código, os checkpoints e até as tentativas que deram errado. Mas ele é realmente bom? Vou executá-lo no meu laptop, com uma RTX 4060 de 8 GB, e testá-lo com honestidade, inclusive nos momentos em que falha. >> [música] >> Oi, sou Prompt Engineer. Vamos descobrir o que um modelo de IA de US$ 146 consegue fazer de verdade. Primeiro, quem o criou? A equipe se chama UGEAM Labs, e LLaMA é a palavra em sânscrito

01:03 para pequeno ou leve. O anúncio foi publicado no Hugging Face em 22 de outubro de 2026. Tudo o que eu citar desta página é o que os desenvolvedores relatam. Não reproduzi o treinamento deles. O que posso verificar é o que roda na minha própria máquina. Em termos simples, LLaMA é um modelo de chat pequeno, em inglês. Ele mantém conversas com várias interações. Aceita até 16.000 tokens de entrada e, quando você ativa o modo de raciocínio, expõe seu raciocínio antes de responder. O arquivo recomendado tem 163 megabytes. Ele também roda no Ollama, no LM Studio, no llama.cpp e no MLX da Apple. Agora, o número que

01:34 me fez parar: a principal rodada de pré-treinamento custou US$ 146,26. Foram oito GPUs A100 por 13,2 horas. O projeto inteiro, incluindo as tentativas fracassadas, chegou a cerca de US$ 194. Compare isso com os milhões de dólares que as pessoas costumam mencionar para modelos grandes. O que esse dinheiro comprou? O modelo leu 52,6 bilhões de tokens de texto, extraídos de 14 fontes públicas cujas licenças permitem treinamento. Eles treinaram seu próprio tokenizer com 32.768 tokens e, antes do treinamento, removeram todos os documentos que se sobrepunham

02:05 aos dados de teste. Eles relatam 21.000 documentos, então as pontuações não são contaminadas. São três etapas. Primeiro, o pré-treinamento, em que ele aprende a prever o próximo trecho de texto. Depois, uma extensão de contexto longo, para que possa lidar com entradas extensas. Por fim, o ajuste para chat com 41.467 conversas de exemplo, que é o que o transforma de um continuador de texto em algo que responde a você. A arquitetura foi emprestada de propósito. O Lagu usa o Gemma do Google como base, em escala reduzida, para que as ferramentas que já executam o Gemma também executem o Lagu sem código personalizado. Ele tem 28 camadas; em três de cada quatro camadas, ele

02:37 só considera os últimos 512 tokens, o que mantém o uso de memória muito baixo. Eles relatam que o servidor inteiro precisa de cerca de 154 MB com contexto de 4.000 e 264 MB com 16.000. E, então, o que está aberto? Sete repositórios de modelos, dois conjuntos de dados, um espaço ao vivo, o código de treinamento no GitHub, um relatório técnico e cada resposta da avaliação, item por item. Você pode ler as conversas exatas usadas no ajuste do modelo de US$ 146. Isso é um nível real de transparência. Se quiser experimentar por conta própria, há quatro caminhos fáceis. A página no navegador, udgmlabs.com/models/lagu,

03:09 não precisa instalar nada; o modelo é baixado uma vez e roda no seu dispositivo. A página do Hugging Face, que roda em uma CPU gratuita e tem uma caixa de seleção para pensar primeiro. Ollama: uma linha de comando, e você adiciona –think=false para o chat normal. E llama.cpp, em que você precisa manter –jinja, porque, sem isso, o servidor falha. Certo, chega de leitura. Vamos executá-lo. Uma linha no Ollama: ollama run hf.co/udgmlabs/lagu-gguf:q8_0. Ele baixou 162 MB. Para um modelo de linguagem, isso é quase nada. Com ele carregado,

03:40 minha GPU mostrava 461 MB de uso no total. Primeiro, um simples olá. Perguntei: “Oi, em que você pode me ajudar?” Ele respondeu: “Estou aqui para ajudar com uma ampla variedade de tarefas.” Depois, listou resolução de problemas e escrita repetidamente, seis vezes, com palavras um pouco diferentes. Respondeu ao que foi perguntado, foi educado e um pouco repetitivo. Em seguida, perguntei: “Quem é você e quem criou você?” Ele disse: “Sou o Lago, um pequeno modelo de linguagem criado pela Uqbar Labs.” Correto. Agora, a velocidade. O Ollama informa a velocidade em tokens por segundo. Nos meus 13 testes, ficou entre cerca de 300 e 426 tokens por segundo na 460. As respostas aparecem quase

04:12 instantaneamente. Esse é o objetivo de um modelo tão pequeno. Agora, o primeiro teste de verdade, um simples. Quanto é 84 * 3 / 2? A resposta correta é 126. O Lagu respondeu 66. Sem etapas, sem ressalvas, apenas o número errado. Então, aqui está o primeiro resultado honesto: ele soa confiante e está errado. Em seguida, o clássico problema do taco e da bola. Um taco e uma bola custam US$ 1,10. O taco custa US$ 1 a mais que a bola. Quanto custa a bola? A resposta certa é 5 centavos. O Lagu monta uma equação em que o taco é 1,10 * B e conclui que a bola custa 0,10 B.

04:45 Isso não é uma resposta. Está errado. Com as configurações padrão do Ollama, ele respondeu 5 centavos, e vou voltar a isso. Agora, o botão de raciocínio. A mesma pergunta nas duas vezes. Um caderno custou US$ 3. Quanto custam sete? Com o raciocínio desativado, ele diz que 7 * 3 é US$ 21. Correto. Com o raciocínio ativado, ele calcula três vezes 0,07 e responde 3 centavos. Errado. O próprio artigo alerta que o raciocínio só ajuda em contas simples e que prejudica a conversa. Então, nos meus testes, deixei-o desativado. Ativar o raciocínio piorou o resultado. Depois, fatos. Pedi um fato interessante

05:16 sobre o universo. Ele não me deu nenhum. Respondeu: “Claro. De que tema você tem interesse?” E ofereceu quatro opções: buracos negros, galáxias, estrelas e a radiação cósmica de fundo. Não está errado, mas pedi um fato e recebi um menu. Uma pergunta factual curta: qual é a capital da Austrália? Ele respondeu Camberra. Depois, acrescentou que Sydney é a maior cidade e Melbourne, a segunda maior. Tudo isso está correto. Um acerto limpo. Código. Pedi uma função em Python que verifica se um número é primo. A função que ele escreveu está correta. Ela percorre os números até a raiz quadrada e verifica a divisibilidade.

05:46 Depois, acrescentou uma linha que causaria um erro porque a variável n não está definida ali e uma explicação dizendo que a raiz quadrada fornece o maior número par, o que não faz sentido. Então, ele consegue gerar um trecho de código conhecido, mas não consegue explicá-lo com confiabilidade. Idiomas. A palavra laghu é sânscrita. Então, pedi uma história curta em hindi escrito com letras latinas. Ele não escreveu uma história. Disse: “Mujhe é o nome da pessoa e choti é o nome do prato.” Mujhe significa “para mim” e choti significa “pequeno”. O modelo é

06:17 descrito como exclusivo para inglês, então isso não surpreende, mas é bom saber antes de prometer a alguém que ele é multilíngue. Memória em várias interações. Eu disse: “Meu nome é prompt e minha cor favorita é verde. Lembre-se disso.” Depois, perguntei: “Qual é o meu nome e minha cor favorita?” Ele não conseguiu responder. As duas respostas falavam sobre o nome prompt ser um trocadilho e sugeriam nomes como pretty. Ele não se lembrou da cor. Os desenvolvedores relatam que essa categoria está no mesmo nível que a do modelo pequeno semelhante e, no meu teste pequeno, ele falhou. E uma instrução: “Dê exatamente três tópicos com marcadores sobre por que o sono

06:48 é importante. Nada mais.” Ele deu exatamente três tópicos, e o conteúdo faz sentido, mas depois acrescentou uma frase dizendo que eles não somam três tópicos. Então, descumpriu a regra de não incluir mais nada. Isso corresponde ao que eles dizem: “O seguimento de instruções é fraco.” Vou montar minha própria tabela de resultados. 13 testes. Acertos limpos em “quem é você?”, na capital e no problema do caderno com o raciocínio desativado; resultados mistos em “olá”, que se repete, nos três tópicos com uma frase extra, no código, no pedido de um fato sobre o universo e em computação quântica. E falhas de verdade na aritmética e no problema do taco e da bola com o raciocínio ativado

07:19 memória em várias rodadas e hindi. Esta é uma amostra pequena, não um benchmark, mas corresponde ao que os desenvolvedores relatam. Algumas limitações dos meus próprios testes: 13 prompts é uma amostra minúscula. Usei uma temperatura de 0,3, não o padrão de 0,7, então as respostas variam de uma execução para outra. O Llama ativa o raciocínio por padrão, então forcei a desativação, como o artigo recomenda. Quando executei os mesmos prompts pela primeira vez com a configuração padrão, a resposta do taco e da bola saiu, certo? Mas deu 5 centavos; o raciocínio estava confuso e a resposta sobre a capital acrescentou uma afirmação errada. Mesmo modelo, configurações diferentes, resultados diferentes. Também não

07:49 verifiquei o custo do treinamento nem as pontuações nos benchmarks. Só conferi se ele baixa, executa e o que diz na minha máquina. Veja o que eles relatam. Mais uma vez: modelo Small LM 2 instruct, com 135 milhões de parâmetros. O Laghu vence 51% das comparações de chat avaliadas. Em matemática do ensino fundamental, fica no mesmo nível quando o raciocínio está ativado: 7,9% contra 1,8%. Mas a pontuação deles em seguimento de instruções é 26,1, o que eles classificam como fraco, e 7,9% em matemática é baixo em termos absolutos. E esta é a parte que mais respeito. Antes do treinamento, eles definiram o nível que um resultado precisava alcançar. O Laghu não alcançou

08:20 nenhuma das três categorias. Um modelo da Falcon, com 90 milhões de parâmetros, treinado com cerca de 12 vezes mais poder computacional e uma etapa de ajuste por preferências, fica à frente nas três categorias de chat. Mesmo assim, eles publicaram o Laghu sem alegar que era o melhor da categoria. E listaram o que deu errado. Uma execução de aprendizado por reforço falhou. Houve vazamento na divisão de validação: cerca de 37% das conversas de validação tinham uma cópia quase idêntica no treinamento. Uma limpeza de armazenamento em 21 de outubro apagou a maioria dos checkpoints de pré-treinamento, e eles dizem que isso foi erro deles. A execução principal chegou a morrer na etapa zero, o que custou cerca de US$ 2.

08:51 Raramente vejo um lançamento tão aberto sobre as coisas que deram errado. Então, para quem é isso? Com base nos meus testes, não é para substituir um chatbot grande. Não confie nele para aritmética, raciocínio longo ou memória. É para quem quer aprender como um modelo é realmente construído, porque todos os checkpoints e receitas estão abertos. É para pesquisadores que querem fazer fine-tuning de um modelo minúsculo e para desenvolvedores que precisam de algo que funcione offline no navegador a 300 tokens por segundo, e em que uma resposta errada tenha baixo custo. Voltemos ao problema inicial. O preço para começar a treinar seu próprio

09:22 modelo acabou de cair para o custo de um jantar razoável para quatro pessoas. O custo para a privacidade de um assistente local minúsculo é zero, porque nada sai do seu dispositivo. O que você abre mão é da qualidade, e agora sabe exatamente quanto, porque também mostrei as respostas erradas. O que eu tentaria em seguida é um fine-tune, porque os modelos-base e os dados de ajuste estão todos disponíveis, e o Space no Hugging Face executa o modelo em uma CPU gratuita, se você quiser testá-lo por conta própria. Conte nos comentários: qual é a única pergunta que você faria a um modelo com 150 milhões de parâmetros? Se você está procurando GPUs baratas e confiáveis

09:52 , eu uso RunPod, e o link está na descrição. Se isso foi útil, o comando do Ollama e todas as páginas que mostrei estão na descrição. Obrigado por assistir, e até a próxima.

Transcrição original

[00:00] $146. That is what the team says it cost to train this whole AI model from scratch, not fine-tune it, train it from a random starting point. It is called LLaMA. It has 152 million parameters, and the file is 163 megabytes. It runs inside a browser tab. Now, here is the pain this is aimed at. Every time you ask a chatbot something, your words leave your laptop, they go to a server you do not control, and you pay for it in money or in privacy. And if you ever wanted to build your own model, the number people quote is millions of dollars. Most of us never even try.

[00:31] LLaMA is one small team’s answer, a chat model you can run on your own machine with thinking you can switch on or off, and they published everything, the code, the checkpoints, and even their failures. But is it actually any good? I’m going to run it on my laptop, an RTX 4060 with 8 GB, and test it honestly, including the parts where it breaks. >> [music] >> Hey, I’m Prompt Engineer. Let’s find out what a $146 AI model can really do. First, who made it? The team is called UGEAM Labs, and LLaMA is the Sanskrit

[01:03] word for small or light. The announcement went up on Hugging Face on October 22nd, 2026. Everything I quote from this page is what the developers report. I have not reproduced their training. What I can check is what runs on my own machine. In plain words, LLaMA is a small English chat model. It holds multi-turn conversations. It takes up to 16,000 tokens of input, and when you switch thinking on it writes out its reasoning before it answers. The recommended file is 163 megabytes. It also runs in Ollama, LM Studio, llama.cpp, and Apple’s MLX. Now, the number that

[01:34] made me stop, the main pre-training run cost $146.26. That was eight A100 GPUs for 13.2 hours. The whole project, including the failed attempts, came to about $194. Compare that with the millions of dollars people usually talk about for big models. What did that money buy? The model read 52.6 billion tokens of text taken from 14 public sources whose licenses allow training. They trained their own tokenizer with 32,768 tokens, and before training, they removed every document that overlapped

[02:05] with the test. They report 21,000 documents, so the scores stay clean. There are three stages. First, pre-training, where it learns to predict the next piece of text. Then, a long context stretch, so it can handle long inputs. And last, chat tuning on 41,467 example conversations, which is what turns it from a text continuer into something that answers you. The shape is borrowed on purpose. Lagu uses Google’s Gemma for layout, scaled down, so the tools that already run Gemma for run Lagu with no custom code. It has 28 layers in three of every four layers. It

[02:37] only looks back over the last 512 tokens, and that keeps memory tiny. They report that the whole server needs about 154 MB at 4,000 context and 264 at 16,000. And then, what is open? Seven model repositories, two data sets, a live space, the training code on GitHub, a technical report, and every evaluation answer item by item. You can read the exact conversations it was tuned on for 146 dollar model. That is a real amount of transparency. If you want to try it yourself, there are four easy paths. The browser page, udgmlabs.com/models/lagu,

[03:09] nothing to install, the model downloads once and runs on your device. The Hugging Face page, which runs on a free CPU and has a think first tick box. Ollama, one line and you add {dash} {dash} think equals false for normal chat. And llama.cpp, where you must keep {dash} {dash} ginger because without it, the server fails. Okay, enough reading. Let’s run it. One line in Ollama, Ollama run hf.co/udgmlabs/lagu-gguf:q8_0. It pulled 162 MB. For a language model, that is almost nothing. With it loaded,

[03:40] my GPU showed 461 MB in use in total. First, a simple hello. I asked, “Hi, what can you help me with?” It says, “I’m here to help with a wide range of tasks.” And then lists problem solving and writing again and again six times with slightly different words. On topic, polite, a bit repetitive. Then I asked, “Who are you and who made you?” It said, “I’m Lago, a small language model built by Uqbar Labs.” Correct. Now, speed. Ollama reports its own tokens per second. Across my 13 tests, it landed between about 300 and 426 tokens per second on the 460. Answers appear almost

[04:12] instantly. This is the whole point of a model this small. Now, the first real test, a simple one. What is 84 * 3 / 2? The correct answer is 126. Lago answered 66. No steps, no hedge, just the wrong number. So, here is the first honest result. It sounds confident and it is wrong. Next, the classic bat and ball puzzle. A bat and a ball cost $1.10. The bat cost $1 more than the ball. How much is the ball? The right answer is 5 cents. Lago sets up an equation with the bat as 1.10 * B and ends with the ball is 0.10 B.

[04:45] That is not an answer. Wrong. With Ollama’s default settings, it did say 5 cents and I’ll come back to that. Now, the thinking switch. Same question both times. A notebook cost $3. How much do seven cost? With thinking off, it says 7 * 3 is $21. Correct. With thinking on, it reasons, multiplies three by 0.07, and answers 3 cents. Wrong. The article itself warns that thinking only helps on short arithmetic and that it hurts conversation. So, leave it off on my test. Thinking on made it worse. Then, facts. I asked for an interesting

[05:16] fact about the universe. It did not give me one. It replied, “Sure. Which topic are you interested in?” And offered four options: black holes, galaxies, stars, and the cosmic microwave background. Not wrong, but I asked for a fact and got a menu. A short factual question. What is the capital of Australia? It said Canberra. Then it added that Sydney is the largest city and Melbourne is the second largest. All of that is correct. A clean pass. Code. I asked for a Python function that checks if a number is prime. The function it wrote is correct. It loops

[05:46] up to the square root and checks divisibility. Then it added a line that would crash because the variable n is not defined there and an explanation saying the square root gives the largest even number, which is nonsense. So, it can produce a famous snippet, but it cannot reliably explain it. Languages. The word laghu is Sanskrit. So, I ask in Hindi written in English letters for a short story. It did not write a story. It said “Mujhe is the name of the person and choti is the name of the dish.” Mujhe means to me and choti means small. The model is

[06:17] described as English only, so this is not a surprise, but it is worth knowing before you promise anyone multilingual. Multi-turn memory. I said, “My name is prompt and my favorite color is green. Remember that.” Then I asked, “What is my name and my favorite color?” It could not answer. Both replies were about the name prompt being a pun and suggested names like pretty. It did not remember the color at all. The developers report this category is only level with the similar small model and in my small test it failed. And an instruction, “Give me exactly three bullet points on why sleep

[06:48] matters. Nothing else.” It gave exactly three bullets and the content is sensible, but then it added a sentence after them saying they do not add up to three bullet points. So, it broke the nothing else rule. This matches what they say, “Instruction following is weak.” Let me put my own scoreboard together. 13 tests. Clean passes on who are you, the capital and the notebook with thinking of mixed results on hello, which repeats itself, the three bullets with one extra sentence, the code, the universe fact request and quantum computing. And real failures on the arithmetic, the bat and ball thinking on

[07:19] multi-turn memory and Hindi. This is a small sample, not a benchmark, but it matches the shape of what the developers report. A few limits on my own testing. 13 prompts is a tiny sample. I used a temperature of 0.3, not the default of 0.7, so answers vary from run to run. Lama turns thinking on by default, so I forced it off as the article recommends. When I first ran the same prompts with the default, the bat and ball came out, right? 5 cents though, the reasoning was garbled and the capital answer added a wrong claim. Same model, different settings, different results. I also did

[07:49] not verify their training cost or their benchmark scores. I only checked that it downloads, runs, and what it says on my machine. Here’s what they report. Again, small LM 2, 135 million parameter instruct model, Laghu wins 51% of judged chat comparisons. That is level on grade school maths with thinking 7.9% against 1.8, but their own instruction following score is 26.1, which they call weak, and maths at 7.9% is low in absolute terms. And this is the part I respect most. Before training, they wrote down the bar a result had to clear. Laghu cleared

[08:20] zero of three categories. A model from Falcon, 90 million parameters, trained with about 12 times the compute and a preference tuning stage is ahead on all three chat categories. They published Laghu anyway with no best-in-class claim. And they list what went wrong. A reinforcement learning run failed. A validation split leaked about 37% of validation conversations had a near copy in training. A storage cleanup on October 21st deleted most of the pre-training checkpoints, and they say that was their error. The main run even died at step zero, which cost about $2.

[08:51] I have rarely seen a release that is this open about breaking things. So, who is this for? Not for replacing a big chatbot based on my tests. Do not trust it for arithmetic, long reasoning, or memory. It is for people who want to learn how a model is actually built because every checkpoint and recipe is open. It is for researchers who want a tiny to fine-tune, and it is for builders who need something that runs offline in a browser at 300 tokens a second, and where a wrong answer is cheap. Go back to the pain point. The price of entry to training your own

[09:22] model just dropped to the cost of a nice dinner for four. The privacy cost of a tiny local assistant is zero because nothing leaves your device. What you give up is quality, and now you know exactly how much because I showed you the wrong answers, too. What I would try next is a fine-tune because the base models and the tuning data are all there and the space on hugging face runs it on a free CPU if you want to pocket yourself. Tell me in the comments, what is the one question you would ask a 150 million parameter model? If you’re looking for cheap and reliable

[09:52] GPUs, I use RunPod and the link is in the description. If this was useful, the Ollama command and every page I showed are in the description. Thanks for watching and I will see you in the next one.