Testei no meu laptop o “matador de LLMs” de Stanford

Ver no idioma original →

Autoria: Hyperautomation Labs · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: I Ran Stanford’s “LLM Killer” on My Laptop · Canal: Hyperautomation Labs · 05:11 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Geração de conteúdo com IA, Modelos de IA, Modelos locais e open source

Resumo

O vídeo apresenta um modelo de Stanford que gera uma resposta em camadas, refinando o conteúdo inteiro a cada passagem, em vez de escrever palavra por palavra. Em um teste com 2.000 tabuleiros difíceis de Sudoku, o modelo resolveu 1.726, ou 86,3%, resultado próximo aos 86,1% relatados por Stanford, e foi executado em um laptop Mac. O apresentador ressalta que a comparação de velocidade não é com Chat GPT e que os modelos testados são pequenos, então ainda não se sabe se a abordagem funciona em grande escala. Também apresenta uma pesquisa sobre Hybrid agents, que podem reduzir o uso de tokens ao raciocinar com números internos e voltar às palavras para usar ferramentas ou responder.

Pontos-chave

• Modelos autoregressivos geram texto peça por peça, e erros iniciais podem influenciar o restante da resposta.
• O modelo de Stanford representa a resposta em camadas e refina o conteúdo inteiro a cada passagem.
• No teste de Sudoku, o modelo levou 12 passagens, em vez das 128 usadas pelo modelo palavra por palavra.
• Executado em um laptop Mac, o modelo resolveu 1.726 de 2.000 tabuleiros difíceis, com taxa de 86,3%.
• Uma demonstração mostra que a pontuação pode cair entre passagens, pois o modelo revisa o tabuleiro inteiro, não apenas uma célula.
• A alegação de ser 31 vezes mais rápido compara o modelo com outro modelo experimental de diffusion, não com Chat GPT.
• Os modelos avaliados são pequenos; ainda não se sabe se a abordagem mantém o desempenho em modelos de centenas de bilhões de parâmetros.
• Uma pesquisa sobre Hybrid agents propõe raciocinar em números internos e usar palavras ao acionar ferramentas ou responder.

Capítulos

Início	Capítulo	Resumo
00:00	O problema da geração palavra por palavra	O vídeo explica como a geração peça por peça pode perpetuar erros e apresenta o modelo de Stanford e seu desempenho em Sudoku.
01:02	Como o modelo refina a resposta	O modelo representa uma resposta em camadas e revisa o conteúdo inteiro em cada passagem, resolvendo Sudoku com menos passagens.
02:04	Teste do modelo em um laptop	O apresentador adapta o modelo para Mac e obtém 86,3% de acerto nos 2.000 tabuleiros difíceis de Stanford.
03:37	Limitações e Hybrid agents	O vídeo contextualiza as comparações e o tamanho dos modelos, depois apresenta uma pesquisa que reduz tokens usando raciocínio interno.
04:39	O que falta para ser um “matador de LLMs”	O apresentador conclui que a abordagem ainda é experimental, mas já funciona em um laptop, e menciona um guia com as instruções.

Citações

Ele primeiro esboça a resposta inteira e depois a refina. — 00:00

Sem nuvem, só este laptop. — 02:04

Está reformulando o tabuleiro inteiro de uma vez. — 03:06

Ainda não. São pequenos modelos de pesquisa testados em quebra-cabeças, resumos e tradução. — 04:39

Conceitos e entidades

• Stanford (empresa): Instituição que desenvolveu e avaliou o modelo apresentado no vídeo.
• ChatGPT (modelo): Exemplo de chatbot usado para ilustrar a geração de texto peça por peça.
• NCM (modelo): Modelo de Stanford que gera respostas em camadas e as refina em passagens sucessivas.
• Sudoku (conceito): Quebra-cabeça usado para testar a capacidade do modelo de revisar uma solução globalmente.
• diffusion (conceito): Tipo de modelo experimental usado como referência na comparação de velocidade mencionada.
• GitHub (ferramenta): Plataforma onde, segundo o vídeo, o código e os modelos estão disponíveis gratuitamente.
• NVIDIA (empresa): Empresa cujas placas gráficas são o alvo original do modelo de Sudoku.
• Hybrid agents (conceito): Abordagem que permite ao modelo raciocinar com números internos e usar palavras ao chamar ferramentas ou responder.
• Together AI (empresa): Organização citada entre os autores de um segundo estudo sobre raciocínio interno de modelos.

Tradução completa (pt-BR)

00:00 Faça uma pergunta difícil ao Chat GPT e veja como a resposta aparece. Uma palavra, depois a seguinte, depois a próxima. Quando uma palavra aparece na tela, não dá para voltar e alterá-la. Se a terceira palavra estiver errada, tudo o que vem depois se baseia nesse erro. Neste mês, Stanford lançou uma IA que não escreve desse jeito. Primeiro, ela esboça a resposta inteira e depois a aprimora. Em quebra-cabeças difíceis de Sudoku, um modelo que escreve palavra por palavra resolveu um em cada cem.

00:31 O modelo de Stanford, do mesmo tamanho, resolveu 86. As pessoas estão chamando-o de assassino de LLM. Todos os vídeos que encontrei explicavam o artigo. Nenhum deles executou o modelo. Então, baixei e rodei no meu laptop. Quase todo chatbot que você usa funciona assim. Ele prevê um pequeno pedaço de uma palavra, adiciona esse pedaço e, em seguida, executa o modelo inteiro de novo para prever o próximo. Uma resposta longa significa centenas de passagens pelo modelo, uma após a outra.

01:02 O Sudoku mostra por que isso é um problema. Cada número depende de números que você ainda não escreveu. Preencha da esquerda para a direita, e um erro na primeira linha só aparece cinco linhas depois, quando já é tarde demais para corrigi-lo. Esse foi o teste escolhido por Stanford. Um pequeno modelo que escreve palavra por palavra recebeu 128 passagens e resolveu cerca de 1% dos tabuleiros difíceis. Próximo conceito. A modelagem inverte a ordem. Primeiro, o modelo aprende a comprimir uma resposta inteira em uma pilha de códigos. O topo da

01:33 pilha é a ideia geral. Cada camada abaixo acrescenta mais detalhes. Na hora de escrever, ele preenche uma camada inteira de uma vez. A primeira camada é um palpite impreciso sobre a resposta inteira. A segunda aprimora tudo. Na última camada, todas as partes estão no lugar. Como cada passagem trabalha na resposta inteira, uma camada posterior pode corrigir um erro cometido por uma anterior. No Sudoku, isso levou 12 passagens, em vez de 128.

02:04 O código e os modelos estão disponíveis gratuitamente no GitHub. O modelo de Sudoku difícil tem cerca de 160 megabytes. Isso é menos que a maioria dos jogos para celular. Ele foi desenvolvido para placas de vídeo Nvidia, então fiz duas pequenas alterações para executá-lo em um Mac. Sem nuvem, só este laptop. Dei a ele todos os 2.000 tabuleiros difíceis do conjunto de testes de Stanford. 50 segundos depois, 1.726 estavam resolvidos.

02:35 86,3%. Stanford informou 86,1%. Isso dá cerca de um quadragésimo de segundo por tabuleiro. Agora, vamos desacelerar um deles. 30 pistas, 51 células vazias. Depois da primeira passagem, apenas 15 células estão certas. É quase tudo palpite. Entre a quarta e a quinta passagem, a pontuação até cai de 21 para 19. Ele não preenche uma célula de cada vez. Ele refaz o tabuleiro inteiro de uma vez. Oitava passagem: 42 certas. Décima segunda passagem: 81 de

03:06 81. Resolvido em cerca de um décimo de segundo. Ele nem sempre vence. Neste tabuleiro, terminou com seis células erradas, então não conta como resolvido. É assim que são os outros 14%. Agora, as letras miúdas. Você vai ver um número dizendo que é 31 vezes mais rápido. Isso é real, mas a comparação é com outro tipo de modelo experimental chamado difusão, não com o Chat GPT. O modelo de 1% também era um modelo de teste minúsculo,

03:37 do mesmo tamanho que o de Stanford. O maior NCM que eles treinaram tem cerca de 700 milhões de parâmetros. Os principais modelos de chat open source têm centenas de bilhões. Ainda não se sabe se isso se sustenta nessa escala. Mas ele realmente escreve frases. Aqui está uma notícia em alemão que ele traduziu, ao lado de uma tradução humana. Ficou bem próximo. Um segundo artigo de Stanford, junto com a Together AI e outros, aborda o mesmo hábito pelo outro lado. Quando um modelo de raciocínio pensa, ele

04:07 pensa em palavras que você nunca vê. E você ainda paga por essas palavras. Os agentes híbridos permitem que o modelo pense usando seus próprios números internos, em vez de palavras, e volte a usar palavras apenas quando chama uma ferramenta ou dá a resposta. Segundo os números dos autores, isso usou até 55% menos tokens e custou até 3,7 vezes menos. A preocupação óbvia é: se ele pensa sem palavras, como verificar o que estava pensando? A equipe criou um visualizador que transforma esses pensamentos ocultos de volta em um texto aproximado que você pode ler.

04:39 Então, é o assassino de LLM? Ainda não. São modelos de pesquisa pequenos, testados com quebra-cabeças, resumos e tradução. Mas a ideia é real e já funciona em um laptop. Esboce a resposta inteira e depois corrija-a, em vez de escrever palavra por palavra e torcer para dar certo. Se os grandes laboratórios conseguirem ampliá-la, a IA que você usa pode parar de perpetuar os próprios erros. Reuni os passos exatos que usei em um guia gratuito

05:11 . Os comandos, as duas alterações para o Mac e os dois artigos explicados em linguagem simples. Comente “Sudoku” e eu envio para você.

Transcrição original

[00:00] Ask Chat GPT a hard question and watch how the answer shows up. One word, then the next, then the next. Once a word is on the screen, it can’t go back and change it. If word three is wrong, everything after it is built on that mistake. This month, Stanford released an AI that doesn’t write that way. It sketches the whole answer first, then sharpens it. On hard Sudoku puzzles, a word-by-word model solved one out of a hundred.

[00:31] Stanford’s model the same size solved 86. People are calling it the LLM killer. Every video I found explained the paper. None of them ran it. So, I downloaded it and ran it on this laptop. Almost every chatbot you use works like this. It predicts one small piece of a word, adds it, then runs the whole model again for the next piece. A long answer means hundreds of scripts through the model, one after another.

[01:02] Sudoku shows why that’s a problem. Every number depends on numbers you haven’t written yet. Fill it in left to right, and a mistake in the first row only shows up five rows later when it’s too late to fix. That’s the test Stanford picked. A small word-by-word model got 128 passes and solved about 1% of the hard boards. Next concept. Modeling flips the order. First, it learns to squeeze a whole answer into stack of codes. The top of

[01:33] the stack is the rough idea. Each layer below adds more detail. When it writes, it fills in a whole layer at once. Layer one is a blurry guess at the entire answer. Layer two sharpens all of it. By the last layer, every piece is in place. Because every pass works on the whole answer, a later layer can fix a mistake an earlier one made. On Sudoku, that took 12 passes instead of 128.

[02:04] The code and the models are free on GitHub. The hard Sudoku model is about 160 megabytes. That’s smaller than most phone games. It’s built for Nvidia graphics cards, so I changed two small things to run it on a Mac. No cloud, just this laptop. I gave it all 2,000 hard boards from Stanford’s test set. 50 seconds later, 1,726 solved.

[02:35] 86.3%. Stanford reported 86.1. That’s about a 40th of a second per board. Now, let’s slow one down. 30 clues, 51 empty cells. After the first pass, only 15 cells are right. It’s mostly guessing. Between pass four and pass five, the score even goes down from 21 to 19. It isn’t filling in one cell at a time. It’s reworking the whole board at once. Pass eight, 42 right. Pass 12, 81 out of

[03:06] 81. Solved in about a 10th of a second. It doesn’t always win. On this board, it finished with six cells wrong, so it doesn’t count. That’s what the other 14% look like. Now the fine print. You’ll see a 31 times faster number. That’s real, but it’s compared with another kind of experimental model called diffusion, not with chat GPT. The 1% model was also a tiny test model,

[03:37] the same size as Stanford’s. The biggest NCM they trained is about 700 million parameters. Top open chat models have hundreds of billions. Nobody knows yet if this holds up at that size. It does write real sentences, though. Here’s a German news line it translated next to a human translation. Close. A second paper from Stanford, together AI and others, goes after the same habit from the other side. When a reasoning model thinks, it

[04:07] thinks in words you never see. And you still pay for those words. Hybrid agents lets the model think in its own internal numbers instead of words and switch back to words only when it uses a tool or gives you the answer. By the authors’ numbers, that used up to 55% fewer tokens and cost up to 3.7 times less. The obvious worry, if it thinks without words, how do you check what it was thinking? The team built a viewer that turns those hidden

[04:39] thoughts back into rough text you can read. So, is it the LLM killer? Not yet. These are small research models tested on puzzles, summaries, and translation. But the idea is real and it runs on a laptop today. Sketch the whole answer, then fix it instead of writing word by word and hoping. If the big labs scale it up, the AI you use could stop locking in its own mistakes. I put the exact steps I used into a free

[05:11] guide. The commands, the two changes for the Mac, and both papers in plain English. Comment Sudoku and I’ll send it to you.