Strata: execute gratuitamente um modelo de IA de 125B em uma GPU barata de 12 GB

Autoria: Hyperautomation Labs · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Strata: Run a 125B AI Model on a Cheap 12GB GPU (Free) · Canal: Hyperautomation Labs · 05:48 · Assistir no YouTube

Tópicos: Agentes de IA, Inferência e otimização de modelos, Infraestrutura e hardware de IA, Modelos locais e open source

Resumo

O vídeo apresenta o Strata, um projeto gratuito que, segundo a apresentação, permite executar o modelo Qwen 3.8 Flash Next, de 125 bilhões de parâmetros, em uma GPU com 12 GB. O sistema distribui o trabalho entre a GPU, a RAM, o processador e o SSD, além de usar uma técnica de geração especulativa para acelerar a inferência. O vídeo informa requisitos de hardware, velocidades medidas pela equipe do Strata e instruções de instalação e integração com ferramentas como Claude Code e Cursor. A execução local é apresentada como uma opção privada e sem cobrança por token, embora modelos pagos de ponta ainda possam se sair melhor em raciocínios especialmente difíceis.

Pontos-chave

O Strata foi apresentado como uma forma gratuita de executar um modelo de 125 bilhões de parâmetros em uma GPU com 12 GB.
O modelo usa uma arquitetura com especialistas: apenas uma parte deles é ativada para cada palavra.
O Strata distribui o trabalho entre GPU, RAM, processador e SSD, mantendo na GPU os especialistas mais usados.
Uma técnica especulativa permite que um modelo auxiliar sugira palavras, verificadas em conjunto pelo modelo principal.
A equipe do Strata relata velocidades de 53 a 94 tokens por segundo em uma RTX 5070, dependendo do tamanho escolhido.
O requisito mínimo informado é uma GPU compatível com pelo menos 12 GB de memória e 32 GB de RAM.
A instalação baixa cerca de 70 GB e pode ser retomada se for interrompida.
O Strata pode ser conectado a agentes de programação compatíveis com a interface da OpenAI e da Anthropic.
Segundo o vídeo, os dados permanecem no computador local e não há cobrança por API ou limites de taxa.
O vídeo ressalva que modelos pagos de ponta ainda podem liderar nas tarefas de raciocínio mais difíceis.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do Strata e do modelo	O vídeo introduz a proposta de executar gratuitamente um modelo de 125 bilhões de parâmetros em uma GPU com 12 GB.
01:36	Como o modelo cabe no computador	A explicação descreve a distribuição dos especialistas e do processamento entre GPU, RAM, processador e SSD, além da técnica de geração especulativa.
03:10	Desempenho e requisitos de hardware	O vídeo apresenta velocidades relatadas em GPUs específicas, requisitos mínimos e opções de tamanho conforme a quantidade de RAM.
04:47	Instalação e uso com agentes de programação	O vídeo explica a instalação, a integração com ferramentas de programação e as ressalvas sobre velocidade, memória e qualidade de raciocínio.

Citações

Este projeto gratuito executa um modelo de 125 bilhões de parâmetros em uma placa de 12 GB. — 00:00

O modelo grande ainda decide cada palavra; você recebe a mesma resposta, só que de 1,6 a 1,8 vez mais rápido. — 02:39

O primeiro início pode congelar seu PC por 1 a 3 minutos enquanto o modelo carrega. Isso é normal. — 04:47

Nada do que você escreve sai da sua máquina. — 05:17

Para programação cotidiana no hardware que você já tem, porém, nada tão grande roda tão rápido em uma placa de 12 GB. — 05:48

Conceitos e entidades

Strata (ferramenta): Projeto apresentado no vídeo para executar modelos grandes localmente, distribuindo o processamento entre componentes do computador.
Qwen3.8 Flash Next (modelo): Modelo de 125 bilhões de parâmetros que o vídeo afirma ser executável com o Strata em uma GPU de 12 GB.
Mixture of Experts (conceito): Arquitetura em que apenas um subconjunto de especialistas do modelo é usado para processar cada palavra.
speculative decoding (conceito): Técnica em que um modelo auxiliar propõe palavras que o modelo principal verifica em conjunto.
Claude Opus 4.6 (modelo): Modelo citado na comparação de resultados publicados pelo fabricante do Qwen.
Claude Code (ferramenta): Ferramenta de programação mencionada como compatível com a conexão ao modelo local.
Cursor (ferramenta): Ferramenta de programação citada como compatível com o Strata.
Codex (ferramenta): Ferramenta de programação mencionada no vídeo entre as opções que podem usar o modelo local.
RTX 5070 (modelo): GPU usada pela equipe do Strata nos testes de velocidade citados.
OpenAI (empresa): Empresa cuja interface de comunicação, segundo o vídeo, é compatível com o Strata.
Anthropic (empresa): Empresa cuja interface de comunicação, segundo o vídeo, é compatível com o Strata.

Tradução completa (pt-BR)

00:00 Você tem um PC gamer, uma placa de vídeo com 12 GB e, mesmo assim, todo mês paga por uma IA que roda no computador de outra pessoa. Isso porque os modelos realmente bons, aqueles que escrevem código de verdade, precisam de um servidor. Centenas de GB de memória gráfica. Sua placa tem 12. Bem, há três semanas isso deixou de ser verdade. Este projeto gratuito roda um modelo de 125 bilhões de parâmetros numa placa de 12 GB. 22 mil pessoas começaram a usar em 18 dias.

00:35 Ele se chama Strata. Nos próximos 7 minutos, vou explicar como um modelo tão grande cabe numa placa tão pequena, qual é a velocidade real dele, se o seu PC consegue executá-lo e como conectá-lo ao Claude Code para que seu agent de programação rode de graça e com privacidade na sua própria máquina. O modelo é o Qwen 3.8 Flash Next. 125 bilhões de parâmetros. Mas aqui está o truque: para cada palavra, apenas 6 bilhões deles realmente trabalham. E ele é bom. Nos testes publicados pela própria Qwen, ele

01:05 supera Claude Opus 4.6 em programação no mundo real, fica um pouco à frente em programação competitiva e questões de ciências, e perde no exame de raciocínio mais difícil. Esses são os números da Qwen para o modelo completo, então considere-os o limite máximo. O importante é que isso não é um brinquedo. É uma categoria de modelo pela qual você paga uma assinatura. Eis o problema: no tamanho completo, esse modelo tem cerca de 250 GB. Com compressão, o download ainda fica em torno de 70 GB. Sua placa comporta 12, então o modelo é seis vezes grande demais. Todas as outras ferramentas batem

01:36 nesse limite e ficam lentas. O Strata não tenta fazer o modelo caber na sua placa. Ele o distribui pelo seu PC inteiro. Dentro do modelo há uma equipe de 24.576 pequenos especialistas chamados experts. Para cada palavra, só são necessários 10 deles. Então, o Strata mantém na sua placa de vídeo os poucos milhares de experts mais usados e continua aprendendo quais são eles enquanto você conversa. Sua RAM comporta todos eles. Quando uma palavra precisa de um expert que a placa não tem, o processador

02:07 trabalha nele ao mesmo tempo que a placa de vídeo, para que nenhum dos dois fique esperando. E seu SSD armazena uma grande tabela de consulta. O modelo lê apenas algumas linhas dela por palavra. Essa é a ideia toda. Sua placa de vídeo, RAM, processador e SSD fazem, cada um, uma tarefa. E cada gigabyte extra na sua placa comporta cerca de 700 experts a mais, por isso uma placa maior é mais rápida. Depois, há um truque de velocidade. Um pequeno auxiliar dentro do modelo adivinha as próximas palavras. O modelo grande verifica

02:39 todas as suposições de uma só vez, mantém as corretas e escreve sozinho a palavra seguinte. O modelo grande ainda decide cada palavra, então você recebe a mesma resposta, só que de 1,6 a 1,8 vez mais rápido. Então, qual é a velocidade? A equipe do Strata mediu o desempenho numa RTX 5070, uma placa gamer comum de 12 GB, com 64 GB de RAM. A configuração mais rápida gera 94 tokens por segundo. A recomendada, 79. A mais inteligente, 53. Qualquer valor acima de 60 é mais rápido do que você consegue

03:10 ler. Em placas AMD, uma RX 9070 XT chega a 60 e lê o que você envia a mais de 2.000 tokens por segundo. Então, um documento longo entra em cerca de 15 segundos. Uma placa com mais memória é mais rápida. Eles estimam que uma 3090 de 24 GB chegue a 100 a 110. Uma coisa rápida: coloquei o gráfico de compatibilidade, as linhas de configuração e os ajustes exatos para Claude Code, Cursor e Codex numa página. Comente a palavra Strata e eu envio para você. Falando sério, 90% de vocês que estão assistindo ainda não se

03:42 inscreveram. No Facebook, o botão de inscrição é o botão de apoio. É isso que mantém este canal funcionando. No YouTube, é de graça e diz ao algoritmo para mostrar mais conteúdo para você. Inscreva-se para nos apoiar. Aqui está a parte que as pessoas ignoram: será que ele roda no seu PC? Você precisa de uma Nvidia RTX série 20 ou mais recente, ou de uma AMD Radeon recente, com 12 GB ou mais, Windows ou Linux e cerca de 80 GB livres num SSD. A quantidade de RAM determina qual modelo você pode usar. Com 32 GB, escolha a versão coder. Ela foi criada para código e é mais fraca em todo o resto. Com 48 GB,

04:15 IQ2XS, com 64 GB, qualquer tamanho cabe, e o IQ2XS é o que eles recomendam. Com 96 GB ou mais, escolha IQ3S, que se equipara ao modelo completo nos testes publicados. Não tem certeza? O instalador verifica seu PC e escolhe por você. Instalar é a parte fácil. Se você usa Claude Code, Cursor ou Codex, cole esta linha, e sua IA verifica sua placa de vídeo, RAM e disco, escolhe o modelo que cabe, instala e inicia. Ou faça você mesmo. No Windows,

04:47 dê um clique duplo em start here. No Linux, execute setup. Pressione Enter para aceitar as respostas recomendadas. O download é de cerca de 70 GB e, se for interrompido, execute o programa novamente para continuar de onde parou. Um aviso: na primeira inicialização, seu PC pode travar por 1 a 3 minutos enquanto o modelo carrega. Isso é normal. Não feche a janela. Depois, o navegador abre o Strata com um chat e um monitor em tempo real do seu hardware. E é por isso que isso importa para nós. O Strata fala a mesma linguagem que a OpenAI e a Anthropic. Então, direcione o Claude

05:17 Code para o seu próprio PC com um único ajuste, e seu agent de programação roda usando este modelo. Cursor, Codex e qualquer aplicativo no estilo da API da OpenAI funcionam da mesma forma. Sem cobrança de API por token, sem limites de uso e nada do que você escrever sai da sua máquina. Quatro coisas que você precisa saber. Primeiro, você precisa de pelo menos 32 GB de RAM. Por padrão, ele responde a uma solicitação por vez. A primeira mensagem numa conversa longa leva cerca de um minuto a cada 30.000 tokens. Depois, as respostas seguintes começam em segundos. E é um modelo comprimido. Então, para os problemas de raciocínio mais difíceis, os principais modelos pagos ainda estão à frente. Para tarefas cotidianas de

05:48 programação em hardware que você já possui, porém, nada mais desse tamanho roda tão rápido numa placa de 12 GB. Comente a palavra Strata e eu envio a ficha de compatibilidade. Se você quiser o guia completo do Claude Code, meus guias pagos estão nos links abaixo. Acompanhe no Instagram e no Facebook para ver conteúdo de IA em pequenas doses; os guias aprofundados estão aqui mesmo no YouTube. Inscreva-se para não perder nenhum. Até a próxima.

Transcrição original

[00:00] You’ve got a gaming PC, a graphics card with 12 GB on it, and every month you still pay for an AI that runs on somebody else’s computer. Because the really good models, the ones that write real code, need a server. Hundreds of GB of graphics memory. Your card has 12. Well, 3 weeks ago, that stopped being true. This free project runs a 125 billion parameter model on a 12 gig card. 22,000 people started in 18 days.

[00:35] It’s called Strata. In the [snorts] next 7 minutes, how a model this big fits in a card this small, how fast it really is, whether your PC can run it, and how to plug it into cloud code so your coding agent runs free and private on your own machine. The model is Quen 3.8 flash next. 125 billion parameters. But here’s the trick. For each word, only 6 billion of them actually work. And it’s good. On Quen’s own published tests, it

[01:05] beats Claude Opus 4.6 on real world coding, edges it on competitive coding and science questions, and loses on the hardest reasoning exam. These are Quen’s numbers for the full model, so treat them as the ceiling. The point is, this is not a toy. This is the class of model you pay a subscription for. Here’s the problem. At full size, this model is about 250 GB. Compressed, the download is still around 70. Your card holds 12, six times too big. Every other tool hits

[01:36] this wall and crawls. Strata doesn’t try to squeeze the model onto your card. It spreads it across your whole PC. Inside the model is a team of 24,576 small specialists called experts. Each word only needs 10 of them. So Strata keeps the few thousand experts that get used most right on your graphics card and it keeps learning which ones those are while you chat. Your RAM holds all of them. When a word needs an expert, the card doesn’t have. Your processor

[02:07] works on it at the same time as the graphics card, so neither one waits. and your SSD holds a big lookup table. The model reads just a few rows of it per word. That’s the whole idea. Your graphics card, RAM, processor, and SSD each do one job. And every extra gigabyte on your card holds about 700 more experts, which is why a bigger card is faster. Then there’s a speed trick. A small helper inside the model guesses the next few words. The big model checks

[02:39] all the guesses in one go. keeps the right ones and writes the next word itself. The big model still decides every word, so you get the same answer, just 1.6 to 1.8 times sooner. So, how fast is it? The Strata team measured it on an RTX 5070. A normal 12 gig gaming card with 64 gigs of RAM. The fastest size writes 94 tokens a second. The recommended one 79. The smartest one 53. Anything over 60 is faster than you can

[03:10] read. On AMD, an RX970 XT does 60 and it reads what you send at over 2,000 tokens a second. So, a long document goes in in about 15 seconds. A card with more memory goes faster. They estimate a 24 gig 3090 at 100 to 110. Quick one. I put the fit chart, the setup lines, and the exact settings for cloud code, cursor, and codeex on one page. Comment the word strata and I’ll send it to you. Real talk, 90% of you watching haven’t

[03:42] subscribed. On Facebook, subscribe is the supporter button. That is what keeps the lights on here. On YouTube, it’s free and it tells the algorithm to send you more. Subscribe to support us. Here’s the part people skip. Will it run on yours? You need an Nvidia RTX20 series or newer or a recent AMD Radian with 12 gigs or more, Windows or Linux, and about 80 gigs free on an SSD. Then your RAM picks the model. 32 gigs, take the coder version. It’s built for code and weaker at everything else. 48,

[04:15] IQ2XS, 64, every size fits, and IQ2XS is the one they recommend. 96 or more, take IQ3S, which matches the full model on the published tests. Not sure? The installer checks your PC and picks for you. Installing it is the easy part. If you use claw code, cursor or codecs, paste this one line, and your AI checks your graphics card, RAM, and disk, picks the model that fits, installs it, and starts it or do it yourself. On Windows,

[04:47] doubleclick start here. On Linux, run setup. Press enter for the recommended answers. It downloads about 70 gigs and if that stops, run it again and it picks up where it left off. One warning, the first start can freeze your PC for 1 to 3 minutes while it loads the model. That’s normal. Don’t close the window. Then your browser opens Strata with a chat and a live monitor of your hardware. And here’s why this matters for us. Strata speaks the same language as OpenAI and Anthropic. So point cloud

[05:17] code at your own PC with one setting and your coding agent runs on this model. Cursor codeex and any open AAI style app work the same way. No API build per token, no rate limits and nothing you write ever leaves your machine. Four things to know. First, you need at least 32 gigs of RAM. By default, it answers one request at a time. The first message in a long chat takes about a minute per 30,000 tokens. Then follow-ups start in seconds. And it’s a compressed model. So, for the very hardest reasoning, the top paid models still lead for everyday

[05:48] coding on hardware you already own, though. Nothing else this big runs this fast on a 12 gig card. Comment the word strata and I’ll send you the fit sheet. If you want the full claude code playbook, my paid guides are linked below. Follow along on Instagram and Facebook for byte-size AI and the deep dive playbooks live here on YouTube. Subscribe so you don’t miss one. See you in the next one.