Modelo de 12 GB, 8 horas, um jogo 3D: teste do OrcaSAQ2 27B

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: 12GB Model, 8 Hours, One 3D Game: OrcaSAQ2 27B Tested · Canal: Fahd Mirza · 11:23 · Assistir no YouTube

Tópicos: Agentes de IA, Engenharia de software com IA, Inferência e otimização de modelos, Modelos locais e open source, Open source e ecossistemas de software

Resumo

O vídeo testa o OrcaSAQ2 27B, uma versão quantizada de 12,3 GB do Qwen que, segundo o criador, mantém alta fidelidade ao modelo original e oferece recursos como context window de 262K e tool calling. Primeiro, o modelo é servido localmente com vLLM e passa por um teste curto de raciocínio em várias etapas. Em seguida, com Hermes Agent, recebe a tarefa de criar um jogo 3D de parque de trampolins usando Blender e Godot, mas a primeira tentativa falha na renderização e a segunda ainda apresenta problemas nos controles. O criador conclui que a qualidade ficou aquém da versão original e que o teste consumiu cerca de oito horas.

Pontos-chave

O OrcaSAQ2 27B é apresentado como uma versão de 12,3 GB de um modelo de 54 GB, comprimida por um método proprietário de quantização sensível à sensibilidade.
O vídeo afirma que o modelo mantém context window de 262K, modo de raciocínio e tool calling.
O teste com vLLM indica consumo inferior a 12 GB de VRAM sem KV cache e de 42 a 43 GB com KV cache.
Em um teste curto de programação, o modelo completa uma tarefa em duas etapas, planejando, examinando o próprio código e declarando sucesso.
O teste mais ambicioso pede a criação de um jogo 3D de parque de trampolins, com assets feitos no Blender e jogo construído no Godot.
A primeira tentativa leva mais de cinco horas e produz um jogo sem os personagens visíveis; uma segunda tentativa melhora a renderização, mas deixa controles sem funcionar.
O criador avalia que o resultado tem perda de qualidade em relação ao modelo original e considera imprático o tempo total de cerca de oito horas.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação do modelo e execução local	O vídeo apresenta as características alegadas do OrcaSAQ2 27B, baixa o modelo e o serve localmente com vLLM.
03:13	Fidelidade e teste de raciocínio em várias etapas	O criador explica por que a fidelidade importa para agents e testa um ciclo curto de planejamento, ação e verificação.
06:34	Criação de um jogo 3D com Hermes Agent	O modelo recebe a tarefa de criar um jogo de trampolins com Blender e Godot, mas a primeira versão demora mais de cinco horas e falha na renderização.
09:48	Segunda tentativa e avaliação final	A segunda versão renderiza parte do jogo, mas ainda tem controles com problemas, levando o criador a criticar a qualidade e o tempo gasto.

Citações

Um agent de IA não responde apenas a uma pergunta. Ele planeja, executa uma ação, observa o resultado, decide o que fazer em seguida, corrige erros e repete o ciclo até concluir a tarefa. — 02:43

O que você está vendo é um modelo comprimido de 12 GB mantendo contexto completo e raciocínio coerente ao longo de várias etapas. — 05:59

Levou mais de cinco horas e não conseguiu fazer o trabalho na primeira tentativa. — 09:16

Isso é totalmente imprático. — 11:23

Conceitos e entidades

OrcaSAQ2 27B (modelo): Modelo de 27 bilhões de parâmetros testado no vídeo em uma versão quantizada de 12,3 GB.
Qwen (modelo): Família de modelos usada como referência para comparar a fidelidade do OrcaSAQ2.
vLLM (ferramenta): Ferramenta usada para servir o modelo localmente e habilitar MTP speculative decoding.
Hermes Agent (ferramenta): Agent harness usado no teste de criação do jogo 3D.
Blender (ferramenta): Software que o modelo deveria usar para criar os assets 3D do jogo.
Godot (ferramenta): Engine escolhida para construir o jogo jogável de parque de trampolins.
quantização sensível à sensibilidade (conceito): Método proprietário citado no vídeo para reduzir o tamanho do modelo preservando sua fidelidade.

Tradução completa (pt-BR)

00:01 A longa sequência de lançamentos do Qwen continua. O Orca set pega o Qwen 3.8 27 billion, um modelo de 54 GB, e o reduz a apenas 12,3 GB usando um método proprietário de quantização sensível à sensibilidade. Esse novo modelo oferece suporte a uma context window de 262K, thinking mode, tool calling e decodificação especulativa MTP. Os casos de uso pretendidos são agents com tarefas de longo horizonte, programação e tarefas no terminal.

00:32 Hoje, vamos executá-lo localmente e testar essas afirmações. Aqui é Fahad Mirza, e dou as boas-vindas a você ao canal. E sim, vou continuar deixando você maluco dizendo em todos os vídeos que comecei esta newsletter semanal gratuita sobre IA, então, por favor, assine. Agora, tenho este sistema Ubuntu com uma GPU de 48 GB de VRAM, mas você não precisa de tanta GPU. Então, vou baixar o modelo rapidinho.

01:06 O modelo já foi baixado, como você pode ver: 12,3 GB. Agora, vamos executá-lo com vllm. Preste atenção à última linha, porque essa última flag ativa a decodificação especulativa MTP, que nos dá até 38% mais velocidade de decodificação em um único fluxo. E estou usando vllm. Se não sabe como instalá-lo, vá ao meu canal, pesquise aqui por tutorial de vllm e você deverá encontrar aquele vídeo e conseguir instalar o vllm. Certo, então tudo o que ele está me dizendo é que eu

01:39 só preciso instalar o torch com meu ambiente CUDA, então vou fazer isso rapidinho. E já instalei. Vou executar aquele comando de novo. Agora, enquanto ele é iniciado, deixe-me mostrar algumas coisas interessantes que explicam por que este modelo é diferente do Qwen original. Olhe para esta imagem. É bem interessante. Eles reduziram este modelo em 77% e afirmam que ele ainda se comporta quase

02:10 de forma idêntica ao original, e vamos testar isso. A diferença de perplexidade em relação ao modelo BF16 de tamanho completo é de apenas 0,002. E uma concordância de 93,2% no nível de token significa que, quando você pergunta algo, ele escolhe a mesma palavra que o original em 93 de cada 100 vezes. Então, você ainda tem uma context window de 262K, thinking mode e tool calling, tudo o que o modelo completo oferece. Esta imagem é ainda mais interessante.

02:43 Este ciclo é exatamente o motivo pelo qual a fidelidade importa para um agent, porque, se você acessar a página inicial do model card, verá que ele é descrito como um Qwen de 3 bits e alta fidelidade. É isso que significa alta fidelidade. Um agent de IA não responde apenas a uma pergunta. Ele planeja, executa uma ação, observa o resultado, decide o que fazer em seguida, se recupera de erros e repete o ciclo várias vezes até concluir a tarefa.

03:13 Cada etapa depende da anterior. Então, se o modelo tomar uma decisão errada, mesmo que pequena, no início, esse erro se propaga e se acumula ao longo de toda a tarefa. É por isso que eles se dedicam tanto a manter este modelo comprimido o mais próximo possível do original. Vou usá-lo com o harness. Não importa qual você use. As pessoas me perguntam por que uso tanto o Hermes agent. Não sou apegado a ele. Talvez eu até deixe de usar o Hermes agent

03:44 porque ele ficou bem pesado e, ultimamente, bem desajeitado. E sabe de uma coisa? Hoje em dia, todos esses harnesses são mais parecidos do que diferentes. Enfim, tanto faz. Mas acho que seria um bom caso de uso combinar os dois e ver exatamente como funcionam. Talvez eu também faça um teste sem nenhum harness, só para mostrar se esse ciclo funciona ou não. Enfim, vamos voltar ao terminal. E, sim, aliás, se você quiser alugar uma GPU por um preço muito bom, pode encontrar um link na descrição do vídeo da Vast Computing.

04:18 O modelo foi carregado pelo vllm e você pode ver que, sem KV cache, ele usa menos de 12 GB de VRAM. Então, se for executar isso, certifique-se de ter essa quantidade de VRAM. E deixe-me mostrar o consumo de VRAM com KV cache para este modelo: 42, 43 GB de VRAM com KV cache. Certo, então o que vou fazer agora é testar esse ciclo. Vou mostrar rapidinho no navegador aquilo que fizemos antes.

04:51 Então, é deste ciclo que estou falando, e este é o script que escrevi. Basicamente, o script envia uma tarefa de programação ao nosso modelo e o força a percorrer todo o ciclo de agent: planejar, agir, observar, decidir, se recuperar e repetir até declarar que a tarefa foi concluída. Eu o criei manualmente. Então, vamos testar se este modelo comprimido de 3 bits consegue manter um raciocínio coerente em várias etapas e interações, sem perder o fio do que estava fazendo. E

05:24 é exatamente esse tipo de raciocínio de longo horizonte para o qual a equipe do Orca set two criou este modelo. Então, deixe-me voltar e executar o script aqui. Eu já o deixei aqui. Vamos esperar terminar e depois conferir o resultado. Este é o resultado completo, e você pode ver que o modelo avança turno a turno e concluiu a tarefa em apenas dois turnos. No primeiro turno, planejou sua abordagem, escreveu uma implementação limpa de auto things, examinou o próprio código e começou a decidir se estava correto ou não.

05:59 Então, você vê, ele está fazendo isso. Depois veio o segundo turno. Ele confirmou que não havia problemas, pulou a etapa de recuperação porque nada estava quebrado e declarou que a tarefa foi concluída. O que você está vendo aqui é um modelo comprimido de 12 GB mantendo o contexto completo e um raciocínio coerente ao longo de várias etapas. É exatamente, como eu disse antes, o que parece o comportamento de longo horizonte de um agent. Agora, vamos juntá-lo ao Hermes

06:34 agent e fazer alguns testes mais difíceis. Agora, vamos ao primeiro teste. Deixe-me colar o prompt para você ver que é um objetivo bem abrangente. Vamos dar ao modelo um único prompt e pedir que construa sozinho um jogo completo de parque de trampolins em 3D. Ele deve usar o Blender para criar todos os assets 3D por meio de código, exportá-los e, depois, criar um jogo jogável no Godot com física de quique, mortais, um sistema de pontuação por combos e várias zonas.

07:05 É uma tarefa de longo horizonte bem abrangente. Vou executá-la. Enquanto isso, deixe-me mostrar que, quando perguntei quem ele era, ele me deu uma resposta curta, mas olhe para o raciocínio. Parece que ele não resolve realmente o excesso de pensamento do Qwen, o que não tem problema, porque não é isso que este modelo promete. Na verdade, ele mostra que está mais próximo do original do que os outros modelos fine-tuned ou outras variantes que

07:37 já testamos. Enfim, olhe para a quantidade de commits que esse pessoal do Hermes está fazendo. Não sei por quê, mas isso é muito absurdo e desnecessário. O harness deveria ser leve. Não precisa fazer milhares e milhares de commits todos os dias. Enfim, estou divagando. Vou deixar este terminar e depois vamos conferir o resultado. Certo, finalmente este modelo comprimido levou três minutos para responder, e você pode ver pelo resultado que ele diz ter construído sozinho um jogo completo de parque de trampolins em 3D.

08:12 Todos os assets do Blender, o motor de jogo Godot, a física de quique, os mortais, a pontuação, seis zonas, tudo a partir de um único prompt. Mas, antes de prosseguir e mostrar a coisa de verdade, deixe-me mostrar algo. Aí está. Levou 5 horas, 3 minutos e 54 segundos. Até minha barba cresceu de novo. Cresceu. Demorou muito, muito tempo. Espere, você não vai acreditar. Enfim, vamos ver se valeu a espera. Vou iniciar

08:45 isso. Ele me pediu para acessar este caminho. Certo, então não estou no diretório correto. Vou para o diretório certo. Este é o diretório com todos os assets. Agora vou iniciar. E aí está. É isto que aparece na tela. Não há renderização de jogadores nem de personagens na tela. Também estou apertando algumas teclas, e você vê que ele diz que algo está acontecendo, como se

09:16 Apertei rapidamente alguns deles e ele quicou. Quica e depois gira, mas os elementos em si não são renderizados de verdade. Você vê que há uma pontuação de dois. E, no momento, está totalmente errado. Então, levou mais de 5 horas e não conseguiu fazer o trabalho na primeira tentativa. Então, o que vou fazer é voltar ao Hermes com este modelo e explicar exatamente o que não está funcionando, para ver se ele consegue corrigir. Esta é a última chance do modelo. Então, este é o

09:48 fim do tempo. Então, o jogo está funcionando, mas a renderização não está lá, que era justamente o ponto principal. Então, vou voltar ao terminal. Este é o resultado da segunda tentativa. Vou iniciá-lo. Certo, agora funciona. Certo, então esta é a cama elástica. Algo está acontecendo. Vou tentar deixá-la um pouco maior. Onde está meu mouse? Ele travou. Enfim, vou apertar a seta para a esquerda: giro de 360°.

10:18 Pelo menos está quicando. Temos a cama elástica. E você vê que eu só apertei rapidamente a seta para cima e ele quica algumas vezes. Está girando? Não vejo girar. Foi rápido demais para eu perceber? Então, está aí, mas, claro, ainda não está pronto. Então, estou fazendo de novo, de novo, de novo, de novo. Não está funcionando. Deixa eu… Posso deixá-lo maior? Certo, não está me deixando aumentar a tela.

10:50 Agora, vou apertar E aqui. Nada acontece. W maiúsculo, nada. Então, alguns dos controles nem sequer estão funcionando. O tempo acabou. Aí está. Esta é minha pontuação. Estou mostrando como está. Foi o que aconteceu. Então, olha, acho que houve muita perda de qualidade, porque o coin original levou o mesmo tempo, mas conseguiu entregar um resultado muito melhor logo de primeira. E levei cerca de 8 horas para fazer este vídeo, só para este teste,

11:23 o que é totalmente impraticável. Enfim, esta é a alta fidelidade para vocês. Digam o que acham nos comentários. E vou simplesmente, sabe, descansar um pouco, acho, porque minhas costas estão destruídas depois de olhar para isso por 8 horas. Enfim, se quiser ajudar o canal, torne-se membro. Obrigado por todo o apoio.

Transcrição original

[00:01] The long tail of Qwen continues. Orca set takes Qwen 3.8 27 billion, a 54 GB model, and crushes it down to just 12.3 GB using a proprietary sensitivity aware quantization method. This new model supports 262K contacts, thinking mode, tool calling, and MTP speculative decoding. The target use case is long horizon agents, coding, and terminal tasks.

[00:32] Today, we are going to serve it locally and put those claims to the test. This is Fahad Mirza, and I welcome you to the channel. And yes, I’m going to keep driving you crazy by telling you in every video that I have started this free weekly AI newsletter, so you need to subscribe there, please. Now, I have this Ubuntu system where I have this GPU card with 48 GB of VRAM, but you don’t need that much GPU. So, let me quickly download the model.

[01:06] The model is now downloaded, as you can see, 12.3 gig. Now, let’s serve it with vllm. Look at the last line because this last flag enables MTP speculative decoding, which gives us up to 38% faster single stream decode speed. And I’m using vllm. If you don’t know how to get it installed, just go to my channel, search here vllm tutorial, and you should be able to find that video and get this vllm installed. Okay, so all it is telling me is that I

[01:39] just need to install torch with my CUDA environment, so let me quickly do that. And I have installed it. Let me run that command again. Now, while it gets served, let me show you couple of interesting things, which actually tells us why this model is different from the original Quen. So look at this image here. This is quite interesting. They have squeezed this model down by 77% and claim it still behaves almost

[02:10] identically to the original and we are going to test it out. Only 0.0.2 perplexity difference versus the full-size BF16 model. And 93.2% token level agreement means when you ask it something, it picks the same word as the original 93 times out of 100. So you still get 262K context, thinking mode, and tool calling, everything the full model has. This one is even more interesting.

[02:43] This loop is exactly why fidelity matters for agent because if you go to the home page of this model card, it says that it is high fidelity 3-bit Quen. So this is what high fidelity is. An AI agent doesn’t just answer one question. It plans, takes an action, looks at the result, decides what to do next, recovers from mistake, and repeats the cycle over and over until the job is done.

[03:13] Each step depends on the previous one. So if the model makes even a small wrong decision early on, that error carries forward and compounds across the entire task. That is why they obsess over keeping this compressed model as close to the original as possible. I’m going to use it with the harness. Doesn’t matter which one you use. People are asking me that I use Hermes agent a lot. I’m not fixated on that. I might actually switch from Hermes agent

[03:44] because it has become quite heavy and lately quite clunky. And you know what? These days all these hardnesses are more similar than different. Anyway, doesn’t matter. But I think it will be a good use case to patch up both of these together to see how exactly they work. I might also do a test without any hardness just to show you this loop if it works out or not. Anyway, let’s go back to our terminal. And yes, by the way, if you’re looking to rent a GPU on very good price, you can find a link to vast

[04:18] computing video’s description. Model is loaded through vllm and you can see that without KV cache it takes under 12 gig of VRAM. So, if you’re running this, make sure you have that much VRAM. And let me show you the VRAM consumption with KV cache for this model. 42 43 gig of VRAM with KV cache. Okay, so next what I’m going to do, I’m going to test this loop. I’ll just quickly show it to you in the browser which we did earlier.

[04:51] So, this is the one I’m talking about and this is the script which I have written. So, this script is primarily sending a coding task to our model and forces it to work through the full agentic loop which is plan, act, observe, decide, recover, repeat until it declares task success. I have just created it manually. So, we are going to test whether this compressed three-bit model can maintain coherent multi-step reasoning across multiple turns without losing track of what it was doing. And

[05:24] that is exactly the kind of long horizon thinking the Orca set two team built this model for. So, let me take you back and let me run this script here. I already have uh put it here. So, let it finish and then we will check the output. And this is the whole output and you can see the model is going turn by turn and completed the task in just two turns. In the turn one, it planned its approach, wrote a clean sleeve of an auto things implementation, observed its

[05:59] own code, and started deciding if it was correct or not. So, you see, it is just doing that. And then came the turn two. It confirmed no issues, skipped a recovery because nothing was broken, and declared task success. What you’re looking here is 12 uh GB compressed model maintaining full context and coherent reasoning across multiple steps. This is exactly, as I said earlier, what long horizon agentic behavior looks like. Let’s now pack it up with Hermes

[06:34] agent and do some uh harder tests. And now, let’s do first test. Let me paste it, so you can see that it is quite a comprehensive goal. We are going to give the model a single prompt and ask it to build a complete 3D trampoline park game entirely on its own. It should be using Blender to create all the 3D assets through code, export them, and then build a playable game in Godot with bounce physics, flips, a combo

[07:05] score system, and multiple zones. This is a very comprehensive long horizon task. I will run it. While it runs, let me show you that when it who are you, it gave me the response in short, but look at the reasoning. It seems it doesn’t really resolve the overthinking um of Gwen, which is fine, because that is not what this model is claiming. It is actually It actually shows that it is more closer to the original than the other uh fine-tuned or other variants which we

[07:37] have already tried. Anyway, and look at the number of commits these Hermes uh you know people are doing. I don’t know why, but this is really crazy and needless. Harness should be lightweight. No need to push thousand and thousands of commits on every day. Anyway, I digress. So, I will let this one finish and then we will check out the result. Okay, eventually this three-minute compressed model has come back and you can see from the output it says it has built a complete 3D trampoline park game

[08:12] entirely on its own. All the blender assets, Godot game engine, bounce physics, flips, scoring, six zones, all from a single prompt. But, let me show you something before I proceed and show you the actual thing. There you go. It has taken 5 hours, 3 minutes, and 54 seconds. Um even my shave has grown back. Back. It is so so long. Wait, you won’t even believe. Anyway, so let’s see if it was uh worth the wait or not. Let me launch

[08:45] this. It has asked me to go to this path. Um okay, so I Okay, so I’m not in the right directory. Let me go to the right one. So, this is the directory with all the assets. Let me now launch this. And there you go. This is what it shows on screen. No rendering of players, no rendering of actual um characters on screen. I’m also pressing some of the keys and you see it says that something is happening like I

[09:16] quickly pressed a couple of them and it bounced. Bounces and then spins, but the actual stuff doesn’t really render at all. You see there’s a score two. And it is totally off at the moment. So, it took more than 5 hours and couldn’t do the job in first shot. So, what I’m going to do, I’m just going to go back to Hermes plus this model and tell what exactly is not working and see if it is able to fix it. Last and final chance for the model. So, this is the

[09:48] time’s up. So, the game is working, but the rendering is not there, which was actual thing. So, let me go back to the terminal. This is the result of second attempt. Let me start it. Okay, now this time it works. Okay, so this is the trampoline. Something is happening. Let me make it bit bigger if I can. Where is my mouse? It is stuck. Anyway, I’ll press left arrow 360 spin.

[10:18] At least it is bouncing. We have the trampoline. And you see I just uh quickly clicked upper arrow and it bounces couple of them. Is it spinning? I don’t see it spinning. Was it too fast for me? So, it is there, but of course I mean it’s not there yet. So, I’m just doing it again, again, again, again. It’s not working. Let me Can I make it bigger? Okay, it’s not letting me make the screen bigger.

[10:50] Now, I’m just going to press E here. Nothing happens. W capital W, nothing. So, some of the controls are not even working. Timer is up. There you go. So, my score is this. So, I’m giving you as is. It happened. So, look I think there is a lot of uh loss of quality because the original coin took same time, but it was able to deliver much better result in first go. And it took me around 8 hours to make this video just for this single test,

[11:23] which is totally impractical. Anyway, this is uh the high fidelity for you. Let me know your thoughts in the comments. And I will go uh just you know take some rest I guess because my back is broken after looking at it for 8 hours. Anyway, if you want to help out the channel, please become a member. Thank you for all the support.