Tencent reduziu um modelo de IA de 1,5 TB para 214 GB — veja o truque

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Tencent Shrank a 1.5TB AI Model to 214GB — Here’s the Trick · Canal: Fahd Mirza · 08:17 · Assistir no YouTube

Tópicos: Inferência e otimização de modelos, Infraestrutura e hardware de IA, Modelos de IA, Modelos locais e open source

Resumo

O vídeo explica como a Tencent usou o Angel Slim e a quantização Sherry para reduzir o modelo I4, de 770 bilhões de parâmetros, de cerca de 1,5 TB para 214 GB. A técnica converte os pesos em três valores possíveis — -1, 0 e +1 — e garante exatamente um zero em cada grupo de quatro pesos. Isso permite representar cada grupo com cinco bits, mantendo os resultados de benchmark quase inalterados, segundo o apresentador. No final, ele apresenta os requisitos de hardware e as etapas gerais para baixar e executar a versão quantizada.

Pontos-chave

Angel Slim é um conjunto de ferramentas da Tencent para reduzir modelos grandes.
O modelo I4 citado tem 770 bilhões de parâmetros e ocupa cerca de 1,5 TB em sua forma original.
A quantização Sherry representa os pesos usando apenas três valores: -1, 0 e +1.
A técnica força exatamente um zero em cada grupo de quatro pesos, o que limita os padrões possíveis a 32.
Cada grupo pode ser codificado com cinco bits, ou 1,25 bit por peso.
A versão quantizada ocupa cerca de 214 GB, e o apresentador afirma que os benchmarks mudaram pouco.
Executar o modelo exige várias GPUs; o vídeo menciona como possibilidade duas ou três H100 com 80 GB de VRAM.
O fluxo de execução apresentado envolve clonar o llama.cpp, compilá-lo, baixar o modelo quantizado e executá-lo.

Capítulos

Início	Capítulo	Resumo
00:01	A notícia sobre o Angel Slim	O apresentador contextualiza a notícia da redução do modelo e lembra que já havia abordado a ferramenta.
01:45	O modelo I4 e a redução de tamanho	Ele apresenta o Angel Slim, o tamanho original do I4 e a redução para cerca de 214 GB.
04:31	Como funciona a quantização Sherry	O vídeo explica a conversão dos pesos para três valores e a codificação compacta de grupos de quatro.
07:14	Requisitos e etapas para executar o modelo	O apresentador menciona o hardware necessário e descreve o fluxo com llama.cpp, download e execução.

Citações

Angel Slim é o conjunto de ferramentas da Tencent para reduzir modelos grandes. — 01:45

Mesmo modelo, inteligência aproximadamente igual, uma fração do tamanho. — 02:52

Positivo, negativo ou nada: esse é o princípio. — 05:41

Cinco bits, quatro pesos. Faça a divisão: 1,25 bit por peso. — 06:43

Conceitos e entidades

Angel Slim (ferramenta): Conjunto de ferramentas da Tencent apresentado como uma solução para reduzir o tamanho de modelos grandes.
Sherry quantization (conceito): Método descrito no vídeo que quantiza pesos em três valores e impõe um zero em cada grupo de quatro pesos.
I4 (modelo): Modelo de 770 bilhões de parâmetros citado como exemplo da redução feita com Angel Slim.
Tencent (empresa): Empresa responsável pelo Angel Slim e pela aplicação da quantização Sherry apresentada no vídeo.
llama.cpp (repo): Repositório que o apresentador menciona clonar e compilar como parte das etapas para executar o modelo.
Fahd Mirza (pessoa): Apresentador do vídeo e criador do canal que demonstra e explica a técnica.

Tradução completa (pt-BR)

00:01 Certo, acordei hoje de manhã e fiz algo que nunca gosto de fazer: rolar o feed do X. O X está cheio de porcaria, de informações enganosas e de conteúdo vazio, mas, de vez em quando, a gente encontra algo que melhora o dia. Neste momento, na sua tela, você pode ver o que está em alta: a Tencent encolhe um modelo de IA de 1,5 TB para 214 GB. Sete vezes menor, e o método por trás disso se chama Sherry, integrado a uma ferramenta

00:37 chamada Angel Slim. Agora, quero que você repare nesse nome, Angel Slim, porque, quando vi essa manchete, não fiquei surpreso: senti que tinha razão. Deixe-me mostrar por quê. Este é o meu canal, como você talvez já tenha percebido, e este vídeo aqui, sobre executar localmente um modelo de IA de 2 bits com Angel Slim, foi publicado há cinco meses. Cinco meses, quando ninguém falava disso, sem páginas de tendências nem manchetes. Nós já estávamos experimentando na prática

01:09 essa ferramenta exata, com essa mesma equipe da Tencent. Então, quando a internet inteira descobre Angel Slim hoje e age como se fosse uma novidade, bem, você e eu já conhecemos isso. É isso que fazemos aqui. Cobrimos o assunto antes de ficar na moda, todos os dias. Agora, vou ser bem sincero com você. Este não é um vídeo prático, mas vou fazer valer a pena. E, se ao final deste vídeo você não conseguir entender exatamente o que a Tencent fez desta vez, devolvo seu dinheiro.

01:45 Então, assista até o fim e depois conversamos sobre essa questão do dinheiro. Primeiro, deixe-me explicar o que é isso, porque a manchete faz parecer mágica, mas não é. É engenharia inteligente, só isso. Angel Slim é o conjunto de ferramentas da Tencent para reduzir modelos grandes. É isso. Pense nele como um pacote de compressão para IA. O slogan ali diz tudo: mais acessível, mais abrangente, mais eficiente. Ele reúne todo um conjunto de truques para deixar modelos enormes pequenos

02:20 o suficiente para realmente serem executados, e esta é uma prova disso. Eles reduziram o modelo I4 mais recente, e é isso que a manchete está dizendo. Nós também já falamos sobre o I4 rodando localmente e por API, de vários ângulos, e é um modelo muito bom. Sem dúvida. Agora, este modelo tem 770 bilhões de parâmetros. Na forma completa, os pesos ocupam cerca de 1,5 terabyte. Isso não cabe em um laptop. Nem mesmo em um servidor. É um

02:52 rack. Nem consigo executá-lo em uma única GPU no meu sistema. Eles passaram o modelo pelo Angel Slim, usando um método chamado Sherry, ou quantização Sherry, e o reduziram para cerca de 214 GB. O mesmo modelo, mais ou menos a mesma inteligência, ocupando uma fração do espaço. Os benchmarks mal mudaram. Como eu disse, este não é um vídeo prático. Não vou executar tudo ao vivo, porque, para rodar um modelo de 770 bilhões de parâmetros, é preciso um cluster robusto, do tipo

03:24 que não temos. Mas aqui está o que vou fazer. Vou mostrar a você os comandos exatos, passo a passo, o plano completo. Então, se você tiver esse equipamento ou conseguir acesso a um, poderá acompanhar e executar tudo por conta própria. E, mesmo que não tenha, vai entender exatamente como isso é feito. Mas, se quiser conferir a versão menor, a de 2 bits, pode acessar o meu canal, pesquisar Angel Slim e assistir a este vídeo. Agora, acho que há vários motivos pelos quais esse método da Tencent ainda não se popularizou. Um deles é

03:58 a documentação. Como posso dizer isso com educação? É péssima. Não sei se essa é uma palavra educada. Ela não é boa. Veja este diagrama da documentação. Mal dá para entender alguma coisa. A maior parte é uma mistura de inglês e chinês. Então, é muito difícil entender, mesmo que você leia a página deles. Se você ler este artigo sobre Angel Slim, de novo, acho que precisa ter doutorado em aprendizado de máquina para entender esse conceito, e ele está cheio

04:31 disso. Vou voltar a este diagrama mais tarde, mas, como é de costume no nosso canal, primeiro vou explicar o que exatamente é essa quantização Sherry e o que a Tencent fez, usando as palavras mais simples possíveis. Então, vamos dar uma olhada neste diagrama. E, para explicar de forma simples, vou falar um pouco mais do que o normal; então, me dê de dois a três minutos e apenas escute. Agora, olhe para a linha de cima. Estes são os pesos do modelo em precisão total.

05:06 Números como 0,42, -1,7, 2,1. São decimais longos, complicados e precisos. E um modelo desse tamanho tem centenas de bilhões deles. É por isso que ocupa 1,5 terabyte. Esse é o custo de armazenamento para guardar todos esses números exatos. Agora, veja o que acontece na etapa dois. Sherry olha para cada um desses números complicados e o arredonda para apenas uma de três opções: -1, 0 ou +1. Só isso. E você acertou: ternário

05:41 bonsai, se alguns de vocês estão pensando nisso. Agora, positivo, negativo ou nada: é esse o caminho. Isso se chama ternário, três valores. Então, -1,7 simplesmente vira -1. 0,03, que é basicamente nada, vira zero. Descartamos todos aqueles detalhes decimais, e acontece que o modelo mal sente falta deles. E a parte inteligente é muito boa. Gosto muito disso, é um truque. >> [limpa a garganta] >> A maioria das outras empresas não conseguiu acertar, mas parece que eles conseguiram.

06:12 Olhe para a caixa destacada. Sherry força exatamente um zero em cada grupo de quatro pesos. Sempre um. Não espera para ver se um zero aparece naturalmente. Ele garante que haverá um. Zero significa “pule este; não conta”. Só isso. E por que isso importa? Essa é a pergunta. Porque, quando você sabe que cada grupo de quatro tem exatamente um zero, existe um número fixo e limitado de padrões que esse grupo pode formar.

06:43 Dois, 32 deles, para ser exato, aliás. E 32 padrões cabem perfeitamente em cinco bits de armazenamento. Cinco bits, quatro pesos. Faça a divisão, e dá um bit e um quarto por peso. Sem desperdício, nada fica de fora. Essa é toda a mágica. Decimais complicados viram mais um, zero, menos um. Força um zero por grupo de quatro. Compacta tudo em cinco bits. E um monstro de 1,5 terabyte

07:14 encolhe para 214 gigabytes, continuando quase tão inteligente quanto no dia em que nasceu. Agora, olhe para este diagrama. Não sei como explicar isso. Está muito, muito além da minha capacidade. Acho que é para as pessoas inteligentes. Então, vamos ficar com a nossa própria explicação. Espero que você tenha entendido o conceito. Mesmo assim, se não entendeu o que acabei de explicar, basta

07:46 me dizer nos comentários quanto pagou, e eu devolvo seu dinheiro. Perto do final, estão todos os comandos, o plano de ação completo, passo a passo, que você pode executar para fazer isso. Mas você precisaria de várias GPUs, umas quatro a dez, para conseguir rodar tudo, ou talvez duas ou três H100 com 80 GB de VRAM. Enfim, o que está acontecendo aqui é que estamos clonando o llama.cpp com git. Vamos compilá-lo a partir do branch deles,

08:17 e então vai levar um tempinho para baixar esta versão quantizada do modelo. Depois, você pode executar o prompt. Também pode fazer benchmarking e, se quiser, simplesmente quantizá-lo de novo. Recentemente, também comecei esta newsletter semanal gratuita sobre IA, na qual você pode se inscrever em fahadmirza.substack.com. Além disso, se quiser ajudar o canal, torne-se membro. Obrigado por todo o apoio.

Transcrição original

[00:01] All right, so I woke up this morning and did something which I never like to do, that is to scroll through X. Now, X is full of slop, full of misleading information and fluff, but every now and then you find something which makes your day. At the moment, on your screen, you can see what is trending. Tencent shrinks 1.5 TB AI model to 214 GB. Seven times smaller, and the method behind it is called as Sherry, built into a tool

[00:37] called as Angel Angel Slim. Now, I want you to look at that word, Angel Slim, because when I saw this headline, I didn’t feel surprised, I felt vindicated. Let me show you why. This is my channel, as you might have guessed by now, and this right here, this video, running a 2-bit AI model locally with Angel Slim, 5 months ago, 5 months, back when nobody was talking about it, no trending pages, no headlines, we were already hands-on

[01:09] with this exact tool, this exact team at Tencent. So, when the whole internet discovers Angel Slim today and acts like it’s brand new, well, you and I already know it. That’s what we do here. We cover the thing before it’s cool every single day. Now, let me be actually very up front with you. This is not a hands-on video, but I will make it worth your while. And if by the end of this video, you’re unable to understand what exactly Tencent has done now, I will return your money back.

[01:45] So, watch until the end of the video, and then we will discuss this money matter. So, let me first actually explain what this is, because the headline makes it sound like magic, and it’s not. It’s clever engineering, that’s about it. Angel Slim is Tencent’s toolkit for shrinking large models. That’s it. Think of it as a compression suite for AI. The tagline right there says it, more accessible, more comprehensive, more efficient. It bundles a whole set of tricks for making enormous model small

[02:20] enough to actually run, and this is a proof of it. The recent I4 model, they have shrunk it, and that is what that headline is telling you. We already also have covered this I4 locally and also with API from various angles, and it is quite a good model. No doubt about that. Now, this model is 770 billion parameter. In its full form, the weights are about 1 and 1/2 terabytes. That is not a laptop. That’s not even one server. That’s a

[02:52] rack. I can’t even run it on one GPU on my system. They ran it through this Angel Slim using a method called as Sherry or Sherry quantization and squeezed it down to around 214 GB. Same model, roughly the same smarts, a fraction of the size. Benchmarks barely moved. As I said, this is not a hands-on video. I’m not going to spin this up live because to run a 770 billion parameter model, you need a serious cluster, the kind

[03:24] which we don’t have. But, here is what I’m going to do. I will walk you through the exact commands step by step, the full plan. So, if you do have that rig or you get access to one, you can follow along and run this yourself. And even if you don’t, you will understand exactly how it is done. But, if you want to check out the smaller version, 2-bit one, you can go to my channel, search with Angel Slim, and you should be able to follow this video. Now, I think one reason this method from Tencent hasn’t really caught up is due

[03:58] to various things. The documentation is uh how should I put it politely? Rubbish. Uh I’m not sure if that’s a polite word. It’s not good. Look at this diagram from documentation. I mean, we can barely make out any sense out of it. Most of it is is is a jumble of English and Chinese. Uh so, very hard to understand even if you go through their page. If you read through this paper around Angel Slim, again, I think you need a PhD in machine learning in order to understand this concept and it is full

[04:31] of uh this thing. I will come back to this diagram later, but as is uh the case with our channel, I’m going to first unpack what exactly this whole Sherry quantization and this whole thing which Tencent has done in as simple words as possible. So, let’s have a look at this diagram. And simplicity means that I will talk a bit longer than usual, so just allow me 2 to 3 minutes and just listen. Now, look at the top row. These are the model’s weights in full precision.

[05:06] Numbers like 0.42, -1.7, 2.1. They are long, messy, precise decimals. And a model this size has hundreds of billions of them. That is why it’s 1 and 1/2 terabyte. It’s a storage cost of remembering all these exact numbers. Now, watch what happens in step two. Sherry looks at each of these messy numbers and rounds it down to just one of three choices: -1, 0, or +1. That’s it. And you guessed it right, ternary

[05:41] bonsai if some of you are thinking about it. Now, positive, negative, or nothing is the go here. This is called as ternary, three values. So, -1.7 just becomes -1. .03, which is basically nothing, becomes zero. We have thrown away all that decimal detail, and it turns out the model barely misses it. And the clever part is really good. I really like it that this is a trick. Um >> [clears throat] >> Most of those other companies haven’t really gotten it right, but they it

[06:12] seems they have. Look at the highlighted box. Sherry forces exactly one zero into every group of four weights. Always one. It doesn’t wait to see if a zero shows up naturally. It guarantees one. Zero means skip me, I don’t count. That’s it. And why does that matter? I mean, that’s a question now. Because once you know every group of four has exactly one zero, there is a fixed, limited number of patterns that group can possibly be.

[06:43] Two, 32 of them, to be precise, by the way. And 32 patterns fit perfectly into five bits of storage. Five bits, four weights. Do the division, and that’s one and a quarter bits per weight. No waste, nothing left on the table. That’s the whole magic. Messy decimals become plus one, zero, minus one. Forces one zero per group of four. Packed it tight into five bits. And a one and a half terabyte monster

[07:14] collapses down to 214 gigabytes, while still being almost as smart as the day it was ba- born. Now, look at this diagram. I don’t know how to explain this. This is so, so much um out of my league. I think this is for the smart people. So, we will just stick with our own explanation. Now, I hope that you got the whole concept right. Still, if you don’t understand what I just explained, just

[07:46] let me know in the comments how much you have paid, and I will return your money back. Towards the end, these are all the command, the whole step-by-step action plan which you can run in order to get this done, but you would need around, you know, multiple GPUs like 4 to 10 in order to get this running, uh or maybe two or three H100s with 80 GB VRAM. Anyway, what is happening here is uh that we are just git cloning llama.cpp. We are building it from their branch,

[08:17] and then it’s going to take a bit of a time download this quantized version of the model, and then you can run the prompt. You can also do benchmarking, and then if you like, you can simply just re-quantize it if you like. Recently, I also have started this free weekly AI newsletter which you can subscribe at fahadmirza.substack.com. Also, if you want to help out the channel, please become a member. Thank you for all the support.