Esta IA minúscula nunca para de aprender (mini-AGI)

Autoria: Better Stack · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: This Tiny AI Never Stops Learning (mini-AGI) · Canal: Better Stack · 13:32 · Assistir no YouTube

Tópicos: Geração de conteúdo com IA, Modelos de IA, Modelos locais e open source

Resumo

O vídeo apresenta a MiniAGI, um modelo pequeno treinado do zero que aprende continuamente em hardware de consumo. O apresentador treina o modelo primeiro com histórias infantis e depois com roteiros de Quentin Tarantino, observando tanto a retenção do conhecimento anterior quanto as limitações da geração de texto. A arquitetura usa especialistas que podem mudar rapidamente e um núcleo compartilhado que muda mais devagar, uma estratégia que busca reduzir o esquecimento catastrófico. Após algumas horas de treino, o modelo produz fragmentos com aparência de roteiro, mas ainda não consegue manter uma conversa coerente nem está pronto para uso em produção.

Pontos-chave

A MiniAGI começa como um modelo aleatório, treinado do zero e lendo texto byte por byte.
O experimento começa com histórias infantis para ensinar inglês básico e depois passa a roteiros de Quentin Tarantino.
A arquitetura de mistura de especialistas carrega para a GPU apenas os especialistas necessários a cada trecho de texto.
O núcleo compartilhado muda dez vezes mais devagar que os especialistas, com o objetivo de preservar conhecimentos anteriores.
No teste citado pelo autor do projeto, a MiniAGI reteve 99,84% do conhecimento após um treino intensivo com texto sobre xadrez.
O modelo voltou a produzir inglês em poucos minutos quando o treino retornou às histórias infantis, pois o conhecimento anterior não havia sido apagado.
Ao treinar com poucos roteiros, o modelo começou a memorizar os exemplos e teve dificuldades para melhorar no roteiro oculto de Reservoir Dogs.
Depois de cerca de nove horas de treino, o modelo produzia fragmentos com elementos de roteiros de Tarantino, mas não sustentava uma conversa coerente.
O apresentador ressalta que a MiniAGI é um modelo de escala experimental, não está pronta para produção e ainda não teve seus pesos disponibilizados.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação da MiniAGI e início do treinamento	O apresentador introduz a ideia de uma IA pequena treinada do zero e descreve o plano de começar com histórias infantis e depois usar roteiros de Tarantino.
03:19	Como a MiniAGI aprende e tenta evitar o esquecimento	O vídeo explica o treinamento contínuo, a arquitetura de especialistas e a estratégia de manter o núcleo compartilhado mais estável.
07:06	Treinamento com roteiros de Tarantino	O modelo aprende o formato dos roteiros, mas mistura os novos exemplos com histórias infantis e começa a memorizar os textos de treinamento.
09:47	Teste de conversa e limitações do modelo	O apresentador testa o modelo em uma aplicação de roteiro e conclui que, apesar de alguns elementos estilísticos, ele ainda não conversa de forma coerente nem está pronto para produção.

Citações

É um modelo de linguagem minúsculo, treinado do zero no seu próprio computador, e projetado para nunca parar de aprender. — 00:00

É uma equipe de pequenas redes especializadas, e apenas algumas delas ficam ativas em determinado momento. — 04:21

O conhecimento nunca foi apagado. Ele já estava no disco. — 08:43

Isso é AGI? De jeito nenhum. Consegue escrever uma frase coerente? Bem, mal. — 13:00

Conceitos e entidades

Mini AGI (modelo): Modelo pequeno treinado do zero que aprende continuamente e foi demonstrado no vídeo em um computador pessoal.
Mixture of Experts (conceito): Arquitetura formada por especialistas, dos quais apenas alguns são ativados para processar cada trecho.
catastrophic forgetting (conceito): Fenômeno em que o modelo perde conhecimentos anteriores ao aprender um novo assunto.
Tiny Stories dataset (conceito): Conjunto de histórias infantis curtas usado na primeira etapa do treinamento.
Quentin Tarantino (pessoa): Cineasta cujos roteiros foram usados para treinar o modelo na segunda etapa do experimento.
Reservoir Dogs (conceito): Roteiro mantido fora dos dados de treinamento para avaliar o modelo em um exemplo não visto.
M2 Max MacBook Pro (ferramenta): Computador usado pelo apresentador para treinar o modelo.
Better Stack (empresa): Canal que publicou o vídeo e apresentou o experimento.

Tradução completa (pt-BR)

00:00 Gente, a AGI finalmente chegou. Bem, tudo bem, não a AGI de verdade. Estou falando da mini AGI. É um modelo de linguagem minúsculo que você treina do absoluto zero no seu próprio computador, e foi projetado para nunca, jamais parar de aprender. Tenho me divertido muito com esse modelo ultimamente. Então, treinei um no meu MacBook e, 7 minutos após o início do treinamento, ele me deu frases como “mil palavras formulavam seu solitário Sheraton”. Mas, poucas horas depois, chegamos a algo assim: “Tudo bem”,

00:33 disse Lily. Ele era capaz de aprender inglês em menos de 2 horas. Depois, alimentei esse modelo com vários roteiros de Quentin Tarantino para ver se eu conseguia, de fato, produzir um modelo capaz de escrever como Quentin Tarantino. Então, neste vídeo, vamos dar uma olhada em como a mini AGI funciona. Vou mostrar o que aconteceu quando treinei uma do zero e algumas das coisas mais estranhas e engraçadas que ela disse ao longo do caminho. Vai ser muito divertido, então vamos começar.

01:08 Então, primeiro, antes de entrar nos detalhes de como esse modelo funciona, vamos começar treinando um do zero. Primeiro passo: começamos com um modelo completamente em branco. Esse modelo não conhece nenhuma palavra, nenhuma gramática, nada. É só um monte de números aleatórios, e ele lê o texto byte por byte, letra por letra. Então, antes de mais nada, precisamos ensinar inglês básico e simples a esse modelo. E o legal da mini AGI é que você não precisa ensinar uma língua a ela; basicamente, pode começar ensinando o que quiser. Mas, para este modelo, vamos começar

01:41 com o conjunto de dados Tiny Stories, que contém muitos exemplos de histórias infantis curtas, e tentar dar voz a ele. Quando o primeiro passo terminar e confirmarmos que o modelo consegue mesmo escrever frases curtas em inglês, passaremos ao segundo passo, e vou tentar alimentar esse modelo com vários roteiros de Quentin Tarantino. Porque, ao fim desse treinamento, quero que esse modelo fale com a voz de Quentin Tarantino e produza algumas frases com jeito de roteiro de seus filmes famosos. E, como este é um experimento de

02:13 treinamento contínuo, vamos manter um roteiro, Reservoir Dogs, escondido do modelo o tempo todo, para podermos testá-lo com um roteiro de Tarantino que ele nunca viu. Então, ao final, espero que consigamos duas coisas. Primeiro, um modelo que escreva algo que pelo menos lembre um filme de Tarantino; e, segundo, a resposta à grande pergunta: esse modelo consegue continuar aprendendo coisas novas sem esquecer as antigas nem se degradar em algum momento? Então, vamos começar o treinamento. Estou treinando isso no meu MacBook Pro M2 Max com 32 GB de RAM,

02:46 e esse repo só foi testado em uma placa da Nvidia. Então, sim, já estamos nos desviando um pouco do roteiro. Mas, enquanto ele aprende, deixa eu contar o que essa coisa realmente é. Afinal, o que é exatamente a Mini AGI? Bem, todo modelo que você já executou localmente foi treinado em um enorme cluster de GPU e depois congelado no tempo. É por isso que, quando você perguntava a esses modelos mais antigos, por exemplo, quem é o atual presidente dos EUA, eles davam uma resposta desatualizada. Basicamente, pararam de aprender no dia em que foram lançados. E um problema muito maior

03:19 é que você não consegue realmente treinar um modelo grande em casa por conta própria, porque o treinamento exige aproximadamente três ou quatro vezes mais memória do que apenas executar um modelo. É por isso que você pode conversar com um modelo de 30 bilhões de parâmetros em um MacBook, mas treinar um modelo, mesmo pequeno, é tarefa para o data center de um grande hyperscaler. E há outro problema. Se você faz fine-tuning de um modelo com seus próprios dados, ocorre algo chamado esquecimento catastrófico. Por exemplo, se você pegasse um modelo treinado com frases básicas em

03:49 inglês e depois ensinasse xadrez a esse modelo, ele de repente esqueceria como escrever em inglês. O que, para ser sincero, é como meu cérebro funciona às vezes quando preciso aprender um novo framework de JavaScript. Mas a MiniAGI está tentando resolver todos esses problemas. Então, em que ela difere de qualquer outro modelo? Primeiro, ela nunca para de treinar. Lê o texto em ordem, um bloco de cada vez, como uma pessoa lendo um livro, e dá um pequeno passo de aprendizado após cada bloco. E não há linha de chegada. Você pode simplesmente fazer isso para sempre. E, em segundo lugar, ela

04:21 é bastante eficiente em termos de memória. É um modelo de mistura de especialistas, e já falamos bastante sobre modelos de mistura de especialistas neste canal, então não vou explicar como eles funcionam. Mas, em resumo, trata-se de uma equipe de pequenas redes especializadas, e apenas algumas delas ficam ativas em determinado momento. Só que, aqui, cada especialista é seu próprio arquivo no disco, que contém tudo de que precisa para ser treinado. Antes de cada bloco, o modelo carrega na GPU apenas os especialistas de que o texto precisa. Assim, o modelo pode ser muito maior do que sua placa de vídeo. E a

04:53 equipe de especialistas cresce por conta própria. Novos especialistas aparecem como arquivos na pasta, e os que ninguém usa são excluídos. Então, é basicamente um espaço de trabalho muito eficiente e autogerido. Vamos conferir como está indo. Duas horas depois, e ele já está decifrando a frase mais importante de toda a literatura infantil: “Era uma vez, havia muito abaixo”. Quase isso. E já estava produzindo algumas coisas, como, por exemplo: “Timmy estava triste porque estava muito feliz”.

05:23 » [fungada] « Eu também, Timmy. E, só por diversão, a cada 5 minutos também faço um pequeno teste com o modelo treinado apenas em inglês: a abertura de uma cena imaginária de Tarantino que escrevemos. Dois homens estão sentados em um reservado; um deles se inclina e diz: “Vincent”. E o modelo precisa escrever o que Vincent diz em seguida. Ele não aprende nada com isso. É só uma espiada no que está acontecendo dentro do modelo naquele estágio atual do treinamento. Mas, até agora, ele só leu histórias para dormir. Então Vincent diz coisas como: “Disseram que você é meu. Disseram que você é a mãe deles. Dizem que você é um cone”.

06:01 Bem, isso não vai dar um filme muito bom. Quatro horas depois, finalmente eu tinha um modelo que escrevia em inglês simples. E lembram que mencionei o esquecimento catastrófico? O autor da Mini AGI testou exatamente isso. Ele pegou o modelo que havia aprendido oito assuntos diferentes, como histórias, código e matemática, e então o alimentou com meio milhão de caracteres contendo apenas conteúdo sobre xadrez. Com uma configuração normal, o modelo perdeu aproximadamente metade do que sabia sobre todo o resto. Mas a Mini AGI reteve 99,84%

06:34 disso. E o truque para fazer isso funcionar foi surpreendentemente simples. O modelo tem duas partes: um núcleo compartilhado, pelo qual passa cada letra, e os especialistas, que são os especialistas de cada área. Quando aprende algo novo, os especialistas podem mudar rapidamente, mas o núcleo compartilhado só pode mudar 10 vezes mais devagar. Assim, o conteúdo novo fica principalmente com os especialistas, enquanto a base de que todo o resto depende permanece praticamente intacta. É como reformar alguns cômodos sem mexer nos alicerces da casa, se isso

07:06 faz sentido. Certo, vamos testar isso nós mesmos. Segundo passo: vamos ensiná-lo a escrever como Tarantino. Então, vamos adicionar Pulp Fiction, Jackie Brown, Inglourious Basterds, Django Unchained e o segmento dele em Four Rooms ao conjunto de dados, que é basicamente do que consiste a maior parte do nosso conjunto de dados de roteiros. E, em 5 minutos de execução da segunda fase, ele aprendeu a estrutura de um roteiro, o que já é ótimo. Temos algumas indentações e os nomes dos personagens em letras maiúsculas. E, agora, em meia hora, o elenco já está aparecendo,

07:38 também: Ordell, Louis, Schultz. Mas agora ele está meio que se misturando com as histórias infantis. Então, os personagens dos filmes de Tarantino estão meio que pedindo desculpas como crianças do jardim de infância. “Stephen, estou planando. Calvin é eles, estou planado.” Parece inglês antigo. Enquanto isso, o inglês dele foi piorando cada vez mais, até que até “era uma vez” saiu como fragmentos de roteiro. Então, dá para ver que temos alguns problemas aqui. O problema era que, depois de uns 15 minutos, ele parou de melhorar no roteiro Reservoir, que estava oculto, porque só temos um roteiro

08:12 para comparar, mas ela continuava melhorando naquilo que já estava lendo. Então, parou de aprender Tarantino e começou a memorizar aqueles roteiros específicos. É basicamente como aprender a ser engraçado com seu tio, em vez de simplesmente memorizar as cinco piadas favoritas dele. Então decidi pausar o treinamento e retomá-lo no dia seguinte. Na manhã seguinte, voltei a usar histórias infantis. E essa é a coisa de que mais gosto neste modelo: em 5 minutos, ele se lembrou de falar inglês de novo. Então, lembre-se: aprender pela

08:43 primeira vez levou horas para o modelo, mas agora esse período é bem mais curto, porque o conhecimento nunca foi apagado. Ele já estava no disco. E, depois de mais 2 horas, ele tinha ficado ainda melhor em escrever aquelas histórias infantis. Então, chegou a hora de testá-lo novamente com o conjunto de dados de Tarantino. Mas, dessa vez, acrescentei mais três roteiros, para termos mais dados com que trabalhar, e ele voltou ao modo Tarantino quase instantaneamente. Bill, de Kill Bill, apareceu, e o modelo teve sua melhor pontuação até então no roteiro oculto de Reservoir Dogs. E

09:15 o crossover entre as histórias infantis e Tarantino ficou ainda melhor. Os bastardos, que deveriam ser mais companheiros, aparecem na praça de alimentação. Quer dizer, isso é até legal. Pelo menos todo mundo está se dando bem. Então, continuei treinando por um tempo e, depois de cerca de uma hora e meia, tinha um modelo Frankenstein mais ou menos coerente, pronto para usar. Para testá-lo, criei esta pequena página de roteiro, onde você pode testar o modelo como parceiro de cena em um filme inexistente de Tarantino. Então, vamos experimentar. Como vocês podem

09:47 ver aqui, este é o nosso aplicativo de bate-papo para roteiros. Aqui, você pode definir que tipo de personagem vai interpretar, quem será seu parceiro de cena e, em seguida, configurar uma cena com um cabeçalho e uma ação inicial. Também podemos escolher o tamanho da resposta. E também podemos ajustar a temperatura para deixar as respostas tão malucas quanto quisermos. E se inventarmos personagens novos? Vou ser John. E vou conversar com Freddy. Vou simplesmente perguntar ao Freddy: “Então, o que você está pensando, cara? A gente assalta o banco hoje ou não?” O que o Freddy vai responder? Tônicos.

10:21 Freddy está definindo alguns tônicos. Arlene está quase lá. Ela está quase lá. Quem é Arlene, cara? Para ele. Para mim. Certo. Ela não é, mas eu… um silêncio. Você está sendo muito misterioso, Freddy. O quê? Arlene faz um caminho, eles estão fazendo ele. Ela é fria. Quer dizer, concordo que Arlene pode ser muito fria às vezes. Certo, Freddy. Não tenho escolha. Tenho que assaltar esse banco. Você vem comigo ou não? Última chance. Freddy está definindo o tom de novo. Encolhe

10:53 o carro, mas quando um silêncio. Meu Deus, esse modelo gosta muito de usar a expressão “um silêncio”. Interessante. Interessante. Certo, estou entrando no carro e indo embora. O que Freddy vai dizer? Ela é entalhada, e tenho certeza de que um silêncio. Ele acabou de… de qualquer forma, ainda ela. Cara, esse sujeito é uma alma poética. Dá para sentir. >> [risos] >> Essa palavra aparece o tempo todo. “Um silêncio”. E se eu entrasse na brincadeira? E se eu simplesmente dissesse “um silêncio”? Sempre há morte, então olha

11:26 para cima. Ela é eles. Meu Deus, ele mudou para um lugar novo sozinho. [risos] Meu Deus, isso é interessante. Nunca tinha visto isso acontecer. Certo, agora estamos em uma cena nova. Cadê meu dinheiro, Freddy? Vamos ver o que ele responde. O quê? Como assim, “o quê”? Cadê o dinheiro, Freddy? Tem alguém, garotas, o carro. Ela está voltando. Então, pode parecer bem idiota, e eu entendo, mas vocês precisam perceber que isso é resultado

11:56 de 7 horas de treinamento, talvez até mais, talvez umas 9 horas. É bem impressionante que você consiga treinar um modelo literalmente do zero e que, em 9 horas, ele comece a produzir algumas tarantinices. Embora elas não façam sentido, pelo menos é alguma coisa, sabe? Como vimos, ele não consegue realmente manter uma conversa. Aprendeu como é um roteiro de Tarantino e quem aparece nele, mas, para falar como ele, precisaria de centenas de milhões de caracteres em inglês, o que significa que teríamos

12:27 que treinar esse modelo por vários dias sem parar só para fazê-lo dizer frases básicas de adulto. Então, espero que isso mostre que treinar modelos é muito difícil e demorado. Mas a parte legal é que, com o Mini AGI, você pode fazer exatamente isso. Agora, você pode ter um modelo que dá para treinar continuamente no seu hardware de consumo até conseguir algo melhor do que “o urso disse: ‘Quero ser um peixe maior’”. Então é isso, pessoal. Esse é o Mini AGI em poucas palavras. O autor o chama

13:00 de modelo em escala de brinquedo, e os pesos nem sequer foram publicados ainda. Então, é AGI? De jeito nenhum. Ele consegue escrever uma frase coerente? Bem, mal e mal. Você deveria usá-lo em produção? De jeito nenhum. Mas, em um MacBook Pro M2 básico, ele conseguiu passar de um texto aleatório sem sentido para personagens de Tarantino pedindo desculpas uns aos outros. Então, acho que este é um modelo de treinamento muito legal. O que você ensinaria ao seu próprio Mini AGI? Conte para mim nos comentários abaixo. E, pessoal, se vocês gostam desse tipo de análise técnica detalhada, mostrem isso para mim

13:32 clicando com força no botão de curtir abaixo do vídeo. E também não se esqueçam de se inscrever no nosso canal. Aqui foi Andrus, da BetterStack, e vejo vocês nos próximos vídeos. >> [música]

Transcrição original

[00:00] Guys, AGI is finally here. Well, okay, not the real AGI. I’m talking about mini AGI. It’s a tiny language model that you train from absolute zero on your own computer, and it’s designed to never ever stop learning. I’ve been having so much fun lately with this model. So, I trained one on my MacBook, and 7 minutes into the training, it gave me sentences like thousand worded their lone Sheraton. But, just a few hours later, we got something like this. “It’s okay,”

[00:33] Lily said. It was capable of learning English in less than 2 hours. And then, I fed this model a bunch of screenplays from Quentin Tarantino to see if I can actually produce a model that would be capable of writing like Quentin Tarantino. So, in this video, we’ll take a look at how mini AGI works. I’ll show you what happened when I trained one from scratch, and I’ll show you some of the weirdest and funniest things it said along the way. It’s going to be a lot of fun, so let’s dive into it.

[01:08] So, first, before I get into the weeds of how this model works, let’s just start training one from scratch. So, step one, we start with a completely blank model. This model doesn’t know any words or grammar or nothing. It’s just a bunch of random numbers, and it reads text byte by byte, letter by letter. So, first things first, we got to teach this model plain basic English. And the cool part about mini AGI is that you don’t have to teach it a language, you can basically start teaching it whatever you want. But, for this model, we’ll start

[01:41] with the tiny stories dataset, which contains a lot of examples of short children’s stories, and try to give it a voice. And once step one is done, and we will have confirmed that the model can indeed write short English sentences, then we will switch to step two, and I will try to feed this model a bunch of Quentin Tarantino screenplays. Because by the end of this training, I want this model to speak in a voice of Quentin Tarantino and spit me out some script-like sentences from his famous movies. And since this is a continual

[02:13] training experiment, we will keep one script, Reservoir Dogs, hidden from the model the whole time, so we can test it on a Tarantino script it has never seen. So, by the end of this, I’m hoping we can get two things. One, a model that writes something that at least smells like a Tarantino movie, and two, the answer to the big question, can this model keep learning new things without forgetting the old ones or without degrading at some point? So, let’s start the training. Now, I’m training this on my M2 Max MacBook Pro with 32 GB of RAM,

[02:46] and this repo was only ever tested on an Nvidia card. So, yeah, we’re already going off script here a bit. But, while it is learning, let me tell you what this thing actually is. So, what exactly is Mini AGI? Well, every model you’ve ever run locally was once trained on a giant GPU cluster and then frozen in time. And that’s why these older models, whenever you would ask them, for example, what is the current US president, it would give you an outdated answer. Basically, it stopped learning the day it shipped. And a much bigger

[03:19] problem is that you can’t really train a big model at home yourself because training needs roughly three or four times more memory than just running a model. And that’s why you can chat with a 30-billion-parameter model on a MacBook, but training a model, even a small one, is a job for a giant hyperscaler data center. And there’s another problem. If you fine-tune a model on your own stuff, you get something called catastrophic forgetting. So, for example, if you would take a model trained on basic

[03:49] English sentences and then teach this model chess, it would suddenly forget how to write English. Which, to be honest, is how my brain works sometimes when I have to learn a new JavaScript framework. But, MiniAGI is trying to fix all of these problems. So, how does it differ from any other model? Well, first, it never stops training. It reads text in order, one chunk at a time, like a person reading a book, and it takes a small learning step after every chunk. And there is no finish line. You can just do this forever. And second, it’s

[04:21] pretty efficient with memory. It’s a mixture of experts model, and we’ve covered mixture of experts models a lot on this channel, so I’m not going to tell you how they work. But, basically, TLDR is it’s a team of small specialist networks, and only [snorts] some of them are active at any given moment. But, here, every expert is its own file on disk, holding everything needed to train it. And before each chunk, the model loads only the experts the text needs onto the GPU. So, the model can be way bigger than your graphics card. And the

[04:53] specialist team grows by itself. New experts pop up as files in the folder, and the ones nobody uses gets deleted. So, it’s basically a very efficient, self-governing workspace. So, let’s check in on how it’s doing. 2 hours in, and it’s already cracking the most important sentence in all children’s literature. “Once upon a time, there was very down.” Close enough. And it was already producing some material, like, for example, “Timmy was sad because he was so happy.”

[05:23] >> [snorts] >> Same, Timmy. And just for fun, every 5 minutes, I’m also giving the English-only model a little test, the opening of an imaginary Tarantino scene that we wrote ourselves. Two men sit in a booth, one of them leans in, “Vincent.” And the model has to write what Vincent says next. It doesn’t learn anything from this. It’s just a peek inside its brain on on it’s doing at that current training stage. But so far it has only ever read bedtime stories. So Vincent is saying things like, “They said you are mine. They said you are their mom. They say you are cone.”

[06:01] Well, this isn’t going to make for a very good movie. So 4 hours in, I finally had a model that writes simple English. And remember I mentioned catastrophic forgetting? So the author of Mini AGI tested exactly that. He took the model that had learned eight different subjects, like stories, code, and math, and then fed it half a million characters of nothing but chess. And with a normal setup, the model lost roughly half of what it knew about everything else. But Mini AGI kept 99.84%

[06:34] of it. And the trick to make this work was surprisingly simple. So the model has two parts, a shared core that every single letter passes through, and the experts, which are the specialists. When it learns something new, the experts are allowed to change quickly, but the shared core is only allowed to change 10 times slower. So the new stuff mostly lands in the specialists, while the foundation everything else relies on stays pretty much intact. It’s like renovating a few rooms without touching the foundation of the house, if that

[07:06] makes sense. Okay, so let’s test that ourselves. Step two, let’s teach it how to write like Tarantino. So we’re going to add Pulp Fiction, Jackie Brown, Inglourious Basterds, Django Unchained, and his segment of Four Rooms to the data set, and that is basically what our screenplay data set mostly consists of. And within 5 minutes of running the second phase, it learned the layout of a screenplay, so that’s already nice. We have some indentation, the character names in caps. And now within half an hour, the cast is already showing up as

[07:38] well, Ordell, Louis, Schultz. But now it’s kind of morphing with the children’s stories. So now the Tarantino movie characters are kind of apologizing like kindergarteners. Stephen, I’m soaring. Calvin’s them, I’m soared. Sounds like old English. Meanwhile, its English got worse and worse until even once upon a time came out as screenplay fragments. So you can see we have some problems here. So the problem was that after about 15 minutes it stopped getting better on the hidden reservoir script because we only have one script

[08:12] to compare it against, but it kept getting better on the ones it was already reading. So it stopped learning Tarantino and started memorizing those specific scripts. It’s basically like learning to be funny from your uncle versus just memorizing his five favorite jokes. So then I decided to pause the training and pick it up the next day. And the next morning I switched it back to children’s stories. And this is the best thing I love about this model. 5 minutes in it remembered to speak English again. So remember learning for

[08:43] the first time took the model hours, but now that span is a lot shorter because the knowledge was never erased. It was already on the disk. And after 2 more hours it had gotten even better at writing those children stories again. So now it was time to test it on the Tarantino data set again. But this time I added three more additional scripts so we have more data to work with and it snapped back into the Tarantino mode almost instantly. Bill from Kill Bill showed up and it got the best score yet on the hidden reservoir dogs script. And

[09:15] the crossover between the children’s stories and Tarantino got even better. The bastards who should be more companion show up to the food court. I mean that’s that’s kind of nice. At least everyone’s getting along. So I kept training it for a while and after about an hour and a half I had a somewhat coherent Frankenstein model ready to go. So to test it out, I built this little screenplay page where you can test this model as a screen partner in a non-existent Tarantino movie. So, let’s take it for a spin. So, as you can

[09:47] see here, this is our screenplay chat application here. And here you can just define what kind of character you’re going to play, who’s going to be your scene partner, and then we’re setting a scene with a heading and an action to begin with. And then we can also choose the reply length. And then we can also tone the temperature crazy we want the responses to be. What if we invent new characters? So, I’m going to be John. And I’m going to be talking to Freddy. I’m just going to ask Freddy, “So, what are you thinking, man? Should we rob the bank today or not?” What is Freddy going to reply? Tonics.

[10:21] Freddy is setting some tonics. Arlene’s just about her. She’s almost her. Who’s Arlene, man? To him. To me. All right. She’s not but I a silence. You’re being very mysterious, Freddy. What? Arlene’s makes a way they’re making him. She’s cold. I mean, I do agree Arlene can be very cold sometimes. All right, Freddy. I have no chance. I have to rob this bank. Are you coming with me or not? Last chance. Freddy’s setting the tone again. Shrinks

[10:53] car but when a silence. Oh my god, this this this model really likes using the word a silence. Interesting. Interesting. All right, I’m hopping in the car and I’m driving away. What is Freddy going to say? She’s notch and I’m sure a silence. He just had anyway still her. Man, this guy this guy is a poetic soul. I can I can feel it. >> [laughter] >> This this word just comes up so much. A silence. What if I play along? What if I just say a silence. There’s always die then looks

[11:26] up. She’s them. Oh my god, it switched to a new place by itself. [laughter] Oh my god, that is interesting. I’ve never encountered this before. All right, so we’re now in a new scene. Where is my money, Freddy? Let’s see what Freddy replies. What? What do you mean, what? Where’s the money, Freddy? There’s somebody girls the car. She’s coming back. So, it may look quite dumb, and I understand that, but you got to realize this is a result

[11:56] of 7 hours of training, maybe even more, maybe like 9 hours. It’s quite impressive that you can train a model from literally zero, and in 9 hours it will start spitting out some Tarantinisms. Although they don’t make sense, at least at least it’s something, you know? So, as we saw there, it can’t really hold a conversation. It learned what a Tarantino script looks like and who’s in it, but to actually talk like him, it would need hundreds of millions of characters of English, which means we

[12:27] would need to train this model for several days non-stop just to get it to say basic grown-up sentences. So, I hope this shows that training models is really hard and time-consuming. But, the cool part is that with Mini AGI, you can do just that. You can now have a model that you can continuously train on your consumer hardware until you get something better out of it than the bear said, “I want to be a greatest fish.” So, there you have it, folks. That is Mini AGI in a nutshell. The author calls

[13:00] it a toy-scale model, and the weights aren’t even out yet. So, is it AGI? Hell no. Can it write a coherent sentence? Well, barely. Should you use it in production? Absolutely not. But, on a simple M2 MacBook Pro, it was capable of getting from random gibberish to Tarantino cast apologizing to each other. So, I think this is a super cool training model. So, what would you teach your own Mini AGI? Let me know in the comments down below. And folks, if you like these types of technical breakdowns, please let me know by

[13:32] smashing that like button underneath the video. And also, don’t forget to subscribe to our channel. This has been Andrus from BetterStack, and I will see you in the next videos. >> [music]