ZDTaichu 5.0-9B em teste local: ótimo em tool calling, fraco com capturas de tela

Ver no idioma original →

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: ZDTaichu5.0-9B Local Test: Great Tool Calling, Weak Screenshots · Canal: Prompt Engineer 48 · 03:40 · Assistir no YouTube

Tópicos: Agentes de IA, Modelos locais e open source, Modelos multimodais

Resumo

O vídeo testa o ZDTaichu 5.0-9B localmente em uma RTX 4060 com 8 GB de VRAM, avaliando desempenho, geração de código, tool calling, raciocínio espacial, visão e contexto longo. O modelo se destacou ao fazer chamadas paralelas de ferramentas, responder a testes espaciais simples e recuperar informações em documentos de até 64 mil tokens. Em contrapartida, foi lento com parte do modelo na CPU, falhou em produzir um jogo Snake funcional e leu incorretamente números em uma captura de tela densa. O autor conclui que é um modelo especializado promissor para uso local, mas recomenda verificar o código gerado e as leituras de imagens complexas.

Pontos-chave

• O ZDTaichu 5.0-9B é um fine-tune do Qwen 3.5 9B, com um encoder de visão, e tem licença Apache 2.0.
• O arquivo Q4_K_M ocupa 5,6 GB; o projetor de visão acrescenta cerca de 1,6 GB.
• Na máquina do autor, gerou código a 23 tokens por segundo, com carregamento de 19 segundos e parte do modelo na CPU.
• O jogo Snake gerado tinha 197 linhas e compilava, mas não implementava corretamente a lógica de alimentação e pontuação.
• Fez duas chamadas de ferramentas em paralelo, com nomes corretos e a cidade Kolkata, produzindo JSON limpo na primeira tentativa.
• Acertou as seis perguntas de um teste simples de raciocínio espacial, embora o autor não tenha comparado os resultados com um modelo de referência.
• Leu corretamente uma imagem simples, mas errou números e inventou um endereço ao analisar uma captura de tela densa.
• Recuperou um código secreto em testes com contextos de até 64 mil tokens; nesse tamanho, a leitura do prompt levou 75 segundos.
• Os benchmarks apresentados no cartão do modelo são atribuídos pelos autores e não foram verificados pelo avaliador.

Capítulos

Início	Capítulo	Resumo
00:00	Modelo, instalação e benchmarks	O vídeo apresenta o modelo, sua origem e licença, a instalação com Ollama e os resultados de benchmark atribuídos pelos autores.
01:03	Velocidade e teste de geração de código	O modelo gera código para um jogo Snake, mas o jogo não funciona corretamente quando executado.
02:06	Tool calling, raciocínio espacial e visão	O teste mostra chamadas paralelas de ferramentas e acertos em imagens simples, mas erros ao ler uma captura de tela densa.
03:09	Contexto longo e veredito	O modelo recupera informação em contextos de até 64 mil tokens, e o autor resume seus pontos fortes e limitações.

Citações

Parece Snake. Não é um jogo funcional. — 01:35

JSON limpo, na primeira tentativa. — 02:06

Não use o modelo para ler capturas de tela densas. — 02:37

É um modelo local sólido para tool calling, perguntas espaciais e documentos longos em hardware modesto. — 03:40

Conceitos e entidades

• ZD Taichu 5.0-9B (modelo): Modelo local de 9 bilhões de parâmetros avaliado em tarefas de tool calling, raciocínio espacial, visão e contexto longo.
• Taichu AI (empresa): Grupo responsável pelo ZDTaichu 5.0-9B.
• Qwen3.5 9B (modelo): Modelo-base do qual o ZDTaichu 5.0-9B é um fine-tune.
• Ollama (ferramenta): Ferramenta usada para baixar e executar o modelo localmente.
• Apache License 2.0 (conceito): Licença indicada para o modelo.
• Q4_K_M (conceito): Formato quantizado do arquivo de modelo usado no teste.
• RTX 4060 (ferramenta): GPU com 8 GB usada para executar o modelo.
• TaoTuBench (conceito): Benchmark citado pelos autores para avaliar o desempenho em tarefas de agente.
• MindCube (conceito): Benchmark de raciocínio espacial mencionado na comparação dos autores.
• ViewSpatial (conceito): Benchmark de raciocínio espacial mencionado na comparação dos autores.

Tradução completa (pt-BR)

00:00 Olá, pessoal. Um modelo de 9 bilhões de parâmetros, desenvolvido para raciocínio espacial e tarefas com agents, que cabe em uma placa de vídeo de laptop com 8 GB. Esse é o ZDTaichu 5.0. Rodei o modelo na minha própria máquina, então vocês vão ver resultados reais, tanto acertos quanto falhas. Então, o que é isso? Ele vem de um grupo chamado Taichu AI e, para deixar claro, não foi desenvolvido do zero. É um fine-tune do Qwen 3.5 de 9 bilhões de parâmetros da Alibaba, com um encoder de visão C Radio adicionado, sob licença Apache 2.0. O GGUF que usei foi convertido por terceiros e

00:31 o arquivo Q4 KM tem apenas 5,6 GB. A configuração é feita com um comando no Ollama. Baixe o Q4 KM e um projetor de visão vem junto, com cerca de 1,6 GB a mais. O Ollama informa que ele tem ferramentas, raciocínio e visão como recursos. Minha máquina tem uma RTX 4060 com 8 GB, e minha RAM já estava em 86%, então não era um ambiente de teste limpo. Aqui estão as alegações dos autores — e lembrem-se: esses são os números deles, não os meus. Em comparação com o próprio modelo-base, o Qwen 3.5, eles relatam grandes ganhos em raciocínio espacial:

01:03 MindCube: 78 contra 58; ViewSpatial: 62 contra 48; e, em tarefas com agents, Taotubench: 88 contra 79. Mas eles também mostram que o modelo perde em OCR e em alguns benchmarks gerais. Então, é um especialista, não um modelo melhor em tudo. Primeiro, a velocidade na minha máquina. Pedi que ele criasse um jogo completo da cobrinha em Python. Ele gerou 23 tokens por segundo. O tempo de carregamento foi de 19 segundos, e o Ollama dividiu o modelo: 24% na CPU e 76% na GPU, mesmo com contextos de 8.000 tokens.

01:35 Usável, mas não rápido. O código que ele escreveu tem 197 linhas e compila. Mas aqui vai a parte sincera: quando realmente rodei o jogo, a cobrinha nunca come nada. Não há lógica para comer. A pontuação nunca muda, e a cobrinha simplesmente cresce até bater em uma parede. Parece o jogo da cobrinha, mas não é um jogo funcional. Portanto, sempre execute o código gerado. O tool calling foi o que me impressionou. Dei a ele duas ferramentas, uma função para consultar as estatísticas da GPU e outra para consultar o clima, e pedi as duas em uma única mensagem. Ele fez duas chamadas em paralelo, usou os nomes corretos e preencheu a cidade como Kolkata.

02:06 JSON bem formatado, logo na primeira tentativa — isso condiz com a alegação sobre agents. Agora, a principal alegação: raciocínio espacial. Criei seis imagens simples com respostas conhecidas. O círculo vermelho está à esquerda ou à direita do quadrado azul? Qual forma está no meio? Qual está no canto inferior esquerdo? Ele acertou as seis. É um teste fácil, e eu não tinha um modelo de referência para comparar. Então, não posso dizer que ele supera o Qwen, mas passou em tudo que testei. A visão é mais complexa. Em uma imagem simples, com um círculo vermelho, um quadrado azul e o texto “Taichu 42”, ele acertou tudo.

02:37 Mas, na captura de tela real do meu desktop, com o gerenciador de tarefas e minhas estatísticas de uso, ele leu os números errado duas vezes. Disse que o uso da CPU era de 23%, quando era 17%, e até inventou um endereço da web que coincide com a tabela dos próprios autores, na qual o OCR é pior que o do Qwen. Então, não use o modelo para ler capturas de tela com muito conteúdo. E, falando nessa captura de tela, esta é a minha configuração real. 364 sessões e mais de 68 milhões de tokens. Uso essas ferramentas o dia todo. Então, quando digo que um modelo local vale a pena, essa é a referência com a qual estou comparando. Para testar o contexto longo, escondi um código secreto no meio de um documento extenso e pedi que ele o encontrasse com 4.000 tokens, 16.000, 32.000 e 64.000.

03:09 Ele encontrou o código todas as vezes, mas o custo é real. Com 64.000 tokens, levou 75 segundos para ler o prompt, e a divisão passou para 46% na CPU. A ficha técnica diz 128.000. Testei até 64.000. Então, os pontos positivos: cabe em 8 GB, o tool calling é limpo e paralelo, passou em todos os meus testes especiais, a recuperação em contexto longo se manteve até 64.000 tokens e a licença é Apache. Os

03:40 pontos negativos: 23 tokens por segundo com processamento transferido para a CPU; capturas de tela com muito conteúdo o confundem; o código do jogo da cobrinha não funcionou de verdade; e todos os benchmarks na ficha do modelo são dos próprios autores. Não os verifiquei. Meu veredito: é um especialista, um bom modelo local para tool calling, perguntas espaciais e documentos longos em hardware modesto. É um fine-tune do Qwen, então não espere milagres e verifique tudo que ele escrever ou ler em imagens com muito conteúdo. Os comandos e resultados estão na descrição. Se isso foi útil, deixe seu like, inscreva-se no canal e até o próximo vídeo.

Transcrição original

[00:00] Hey everyone, a 9-billion parameter model that’s built for spatial reasoning and agent work and it fits on a laptop graphics card with 8 GB. That’s Z Taichu 5.0. I ran it on my own machine, so you get real results, wins and failures both. So, what is it? It comes from a group called Taichu AI and to be clear, it’s not built from scratch. It’s a fine-tune of Alibaba’s Qwen 3.5 9-billion with a C radio vision encoder added, Apache 2.0 license. The GB of I used was converted by a third-party and

[00:31] the Q4 KM file is only 5.6 GB. Setup is one command with Ollama. Pull the Q4 KM and a vision projector comes along, about 1.6 GB more. Ollama reports tools, thinking, and vision as capabilities. My machine is an RTX 4060 with 8 GB and my REM was already at 86%, so not a clean lab. Here’s what the authors claim and remember, these are their numbers, not mine. Against its own base model, Qwen 3.5, they report big gains in spatial

[01:03] reasoning, mind cube 78 versus 58, view spatial 62 versus 48, and in agent work, Taotubench 88 versus 79. But, they also show it losing on OCR and some general benchmarks. So, it’s a specialist, not a better model at everything. First, speed on my machine. I asked it for a complete snake game in Python. It generated at 23 tokens per second. Load time was 19 seconds and Ollama split the model 24% on the CPU, 76 on the GPU, even at 8,000

[01:35] contexts. Usable, not fast. Now, the code it wrote 197 lines and it compiles. But, here’s the honest part. When I actually ran it, the snake never eats anything. There’s no eating logic. The score never moves and the snake just grows into a wall. It looks like snake. It isn’t a working game. So, always run generated code. Tool calling is where it impressed me. I gave it two tools, a GPU stats function, and a weather function, and asked for both in one message. It made two parallel calls, correct names, and it filled in the city as Kolkata.

[02:06] Clean JSON, first try, that fits the agent claim. Now, the headline claim, spatial reasoning. I made six simple images with known answers. Is the red circle left or right of the blue square? Which shape is in the middle? Which one is bottom left? It got all six right. That’s an easy test, and I had no baseline model to compare. So, I can’t say it beats Qwen, but it passed everything I threw at it. Vision is more nuanced. On a simple image, a red circle, a blue square, and the text “Taichu 42”, it got everything right.

[02:37] But, on my real desktop screenshot, the task manager, and my usage stats, it read the numbers wrong twice. It said CPU 23% when it was 17, and even invented a web address that matches the author’s own table, where OCR is worse than Qwen. So, don’t use it to read dense screenshots. And speaking of that screenshot, this is my actual setup. 364 sessions over 68 million tokens. I use these tools all day. So, when I say a local model is worth your time, that’s the baseline I’m comparing against. Long context, I hid a

[03:09] secret code in the middle of a long document and asked for it back at 4,000 tokens, 16,000, 32,000, and 64,000. It found the code every single time, but the cost is real. At 64,000 tokens, reading the prompt took 75 seconds, and the split moved to 46% on CPU. The card says 128,000. I tested to 64. So, the pros, it fits 8 GB tool calling as clean and parallel. It passed all my special tests. Long context retrieval held up to 64,000, and the license is Apache. The

[03:40] cons, 23 tokens per second with CPU offload, dense screenshots confuse it. The snake code didn’t actually work, and every benchmark on the model card is the author’s own. I haven’t verified them. My verdict, it’s a specialist, a solid local model for tool calling, spatial questions, and long documents on modest hardware. It’s a fine-tune of Qwen, so don’t expect magic, and verify anything it writes or reads from dense images. Commands and results are in the description. If this helped, like, subscribe, and I’ll see you in the next one.