ZD Taichu 5.0-9B localmente: raciocínio espacial, visão e IA incorporada

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: ZDTaichu5.0-9B Locally: Spatial Reasoning, Vision, and Embodied AI · Canal: Fahd Mirza · 09:30 · Assistir no YouTube

Tópicos: Infraestrutura e hardware de IA, Modelos locais e open source, Modelos multimodais, Robótica e sistemas autônomos

Resumo

O vídeo instala e testa o modelo multimodal ZD Taichu 5.0-9B, voltado à compreensão visual, ao raciocínio espacial e à IA incorporada. O apresentador explica a configuração de execução local e testa o modelo em três tarefas: avaliar o uso de um cinto de segurança, interpretar uma curva de titulação e planejar a organização de roupas espalhadas. O modelo identifica corretamente a trajetória do cinto, mas confunde o tipo de assento; na curva, acerta os pontos de equivalência, mas estima incorretamente os valores de pKa. Na tarefa de organização, apresenta um plano coerente e ordenado, com desempenho geral promissor, embora ainda haja limitações na localização visual precisa.

Pontos-chave

ZD Taichu 5.0-9B é apresentado como um modelo multimodal de 9 bilhões de parâmetros para compreensão visual, raciocínio espacial e IA incorporada.
O modelo combina um backbone de linguagem Qwen 3.5 de 59 bilhões de parâmetros com o encoder visual C-RADIOv4-H da NVIDIA.
O apresentador executa o modelo localmente em Ubuntu, usando uma GPU NVIDIA RTX com 48 GB de VRAM e VLM.
No teste do cinto de segurança, o modelo identifica corretamente o trajeto e a posição da fivela, mas chama o assento traseiro de dianteiro.
Na curva de titulação, identifica os pontos de equivalência em 30 ml e 70 ml, mas estima pKa1 e pKa2 como 4 e 8, em vez dos valores indicados de 5 e 9.
Na tarefa de organizar roupas, o modelo produz uma sequência de ações coerente, considerando itens menores e volumosos.
O apresentador avalia que o modelo tem bom desempenho no planejamento incorporado, mas precisa melhorar a localização visual precisa.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação do ZD Taichu 5.0-9B	O apresentador introduz o modelo, suas capacidades pretendidas e os componentes multimodais que o compõem.
02:07	Instalação e execução local	O vídeo mostra o comando de execução com VLM e explica opções relacionadas ao contexto, ao cache e ao uso da GPU.
03:44	Testes de raciocínio visual	O modelo é avaliado na leitura de um cinto de segurança e de uma curva de titulação, com acertos e erros de localização visual.
07:26	Planejamento de ações em uma cena	O modelo organiza roupas espalhadas por etapas e apresenta um plano coerente de ações com objetos do ambiente.

Citações

Este modelo está tentando dar à IA uma compreensão mais fundamental do mundo físico. — 00:01

Ele fez um rastreamento espacial preciso do trajeto do cinto. — 05:17

Isso mostra uma teoria correta de titulação diprótica, mas uma localização visual imprecisa dos marcadores de pKa. — 06:54

A cadeira permite sentar. Uma gaveta permite abrir. — 07:56

Eu diria que o resultado final foi muito bom. — 08:57

Conceitos e entidades

ZD Taichu 5.0-9B (modelo): Modelo multimodal de 9 bilhões de parâmetros apresentado no vídeo para compreensão visual, raciocínio espacial e IA incorporada.
Qwen3.5 59B (modelo): Backbone de linguagem de 59 bilhões de parâmetros que, segundo o vídeo, compõe o ZD Taichu 5.0-9B.
C-RADIOv4-H (modelo): Encoder de visão da NVIDIA citado como componente visual do modelo.
VLM (ferramenta): Ferramenta usada no vídeo para servir o modelo localmente.
Ubuntu (ferramenta): Sistema operacional usado pelo apresentador para executar o modelo.
Hermes (ferramenta): Agent mencionado durante o teste de identificação do modelo e o envio de uma imagem.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável pelo canal Fahd Mirza.
IA incorporada (conceito): Abordagem que envolve raciocinar sobre ações e etapas no mundo físico, e não apenas descrever o que aparece em uma imagem.
Affordance (conceito): Possibilidade de ação associada a um objeto, como sentar em uma cadeira ou abrir uma gaveta.

Tradução completa (pt-BR)

00:01 Este é o ZD Taichu 5 de 9 bilhões. Taichu, que em chinês significa “o grande começo”, é o estado primordial antes de o universo tomar forma. É um nome apropriado, porque este modelo busca dar à IA uma compreensão mais fundamental do mundo físico. Não apenas reconhecer o que há em uma imagem, mas entender o espaço, as posições e como as coisas se movem e interagem nele. Este é um modelo de visão que pode ser usado em muitos casos de uso. Neste

00:32 vídeo, vamos instalá-lo e depois testá-lo em vários testes diferentes dos que costumamos fazer. Eu sou Fad Miraza, e dou as boas-vindas a vocês ao canal. Também temos esta newsletter de IA, que enviamos gratuitamente toda semana. Você pode se inscrever em fahadm.substack.com. Voltando a este modelo, que está disponível gratuitamente no Hugging Face, como você pode ver aqui: é um modelo multimodal de 9 bilhões de parâmetros, desenvolvido para compreensão visual,

01:04 raciocínio espacial e IA incorporada — o tipo de raciocínio de que um robô ou agent precisa para operar de fato no mundo real. Mas não se preocupe: você não precisa de nenhum hardware físico para executá-lo ou testá-lo, porque há vários casos de uso, como mencionei antes. Por baixo do capô, ele combina uma base de linguagem Qwen 3.5 de 59 bilhões de parâmetros com um codificador de visão C-RADIO V4H da Nvidia: compreensão da linguagem do Qwen e percepção visual de um modelo de visão dedicado,

01:36 fundidos. O context window é de 128K. Ele consegue processar texto, imagens e vídeo, e afirma superar outros modelos da escala de 9 bilhões em benchmarks de raciocínio espacial, que veremos em breve, tanto para modelos open source quanto fechados. Por enquanto, vamos instalá-lo. Vou usar este sistema Ubuntu. Tenho uma placa GPU, uma Nvidia RTX com 48 GB de VRAM. Você precisará instalar o VLM, especialmente a partir do repo deles no GitHub. Se

02:07 você tem o VLM padrão, ele não vai funcionar. O processo é o mesmo. Se não sabe como instalar esse VLM, basta pesquisar no meu canal. Estou baixando o modelo do Hugging Face, o que não deve demorar muito. Se você quer alugar uma GPU por um preço muito bom, pode encontrar o link para o Mass Compute na descrição do vídeo. O modelo foi baixado. Agora vou servi-lo com o VLM. Se você olhar este comando, verá que ele é um pouco diferente. Sabemos que max model length é o context window, que

02:39 é simplesmente o total de tokens de entrada e saída que o servidor vai processar. Temos o nome do modelo e, na terceira linha, veja: mamba SSM cache DT type. Essa é a precisão do cache de espaço de estados Mamba deste modelo, específica da arquitetura. Portanto, ele também usa essa arquitetura Mamba de espaço de estados. Para mais detalhes, basta pesquisar no canal. Outra novidade é este GDN prefill backend. Esse é um backend que calcula um componente de atenção específico, o GDN, durante o

03:11 processamento do prompt. O restante é que estamos usando apenas uma GPU, e a configuração de geração usa as mesmas configurações padrão de amostragem, em vez das do próprio modelo. Então, vou iniciá-lo. Como podem ver, sem nenhum cache KV, o modelo ocupa cerca de 19 GB de VRAM. O modelo está sendo servido. Vou mostrar rapidamente o consumo de VRAM. Pronto: incluindo tudo, é quanto ele consome.

03:44 Agora vamos testar este modelo. Perguntei quem ele é e especifiquei qual modelo ele é, como vocês podem ver. Em vez de me dizer qual é o modelo, ele está apenas me falando sobre o agent Hermes. De qualquer forma, vamos ignorar isso. Vamos fazer um teste de verdade com esta imagem. Se vocês olharem para ela, o que estou tentando avaliar aqui é o raciocínio espacial e visual deste modelo. Então, vou perguntar se este

04:15 passageiro está usando o cinto de segurança corretamente ou não. Vamos ver se ele consegue identificar o posicionamento do cinto no corpo desta pessoa. Para isso, no agent Hermes, normalmente enviamos esta imagem especificando o caminho. A imagem está anexada, e vou passar este prompt. Vou executá-lo e ver que tipo de raciocínio o modelo apresenta. Vamos deixá-lo terminar e depois

04:46 vamos conferir juntos o raciocínio e a resposta. Enquanto isso, se quiser ajudar o canal, torne-se membro acessando a página inicial ou o primeiro comentário fixado. Este é o link para a assinatura de membro, que é diferente da inscrição no canal. Certo, vamos esperar a resposta do modelo. E ele foi bem rápido. Identificou corretamente o trajeto do cinto do ombro até a pelve e a posição da fivela, concluindo corretamente que o cinto estava sendo usado

05:17 de forma legal e correta. Então, aí está. Não sei se é legal ou não, ou talvez seja diferente aqui em Nova Gales do Sul. Mas, de qualquer forma, o modelo diz que está correto, e o raciocínio é bem curto e preciso, com um rastreamento espacial exato do trajeto do cinto. Mas, novamente, há algumas imprecisões: ele chamou o assento de banco dianteiro do passageiro.

05:49 Quando deveria ter dito que é um banco traseiro, como podem ver, este aqui. Na minha opinião, é um erro muito, muito grave, porque isso poderia realmente mudar as coisas. De qualquer forma, vamos fazer outro teste. No próximo teste, como podem ver, estamos avaliando a leitura de gráficos e o raciocínio visual quantitativo sobre uma curva de titulação química. Já forneci a imagem, e este é o meu prompt. Vamos ver se ele consegue

06:22 identificar o primeiro e o segundo pontos de equivalência. Este é um prompt muito sutil e específico da área. Vamos ver até que ponto o raciocínio do modelo chega. Mais uma resposta bem rápida. O modelo identificou corretamente os pontos de equivalência, em 30 ml e 70 ml, diretamente a partir dos círculos vermelhos, mas errou pKa1 e pKa2. Se olharem para a imagem de novo, os pontos médios indicados estão em pH 5

06:54 e pH 9, como podem ver nas regiões tampão sombreadas, certo? Mas o modelo estimou 4 e 8 olhando a imagem, em vez de ler com precisão as posições das faixas sombreadas. Se olharem para o raciocínio, ele mostra que a teoria da titulação diprótica está correta, mas que a localização visual dos marcadores de pKa foi imprecisa, o que, na minha opinião, é uma grande falha de visão, embora ele tenha tentado ao máximo. Acho que isso poderia melhorar bastante no pós-treinamento.

07:26 Agora vamos fazer um último teste. Vamos testar o raciocínio no estilo de IA incorporada deste modelo: ele consegue planejar uma sequência lógica para reorganizar uma cena real e bagunçada, com roupas? Se vocês não sabem o que é IA incorporada, significa ensinar a IA a raciocinar como se tivesse um corpo no mundo real. Não apenas descrever o que vê, mas descobrir o que fazer em seguida, passo a passo. Então, esta é uma cena de um cômodo onde há várias peças de roupa espalhadas, e estamos pedindo ao modelo que olhe para esta

07:56 pilha de roupas no chão e planeje a ordem mais lógica para organizá-las: o que deve ser recolhido e separado primeiro, segundo e assim por diante. Explique o raciocínio por trás da ordem. Isso também envolve affordance, uma palavra sofisticada para aquilo que se pode fazer com um objeto. Uma cadeira permite sentar. Uma gaveta permite abrir. Então, o modelo precisa reconhecer não apenas o que é cada coisa, mas também que ação faz sentido realizar com ela. Isso se chama affordance no

08:26 contexto desta IA incorporada. Vamos esperar a resposta do modelo e conferir. E aí está. Desta vez, acho que ele se saiu muito bem em comparação com as duas respostas anteriores. Produziu um plano de organização coerente e ordenado de forma lógica. Como podem ver, começa com itens pequenos, depois meias, calças e itens volumosos, com um raciocínio consistente. Se vocês acompanharem este raciocínio, a sequência de pensamento interna também é bem boa.

08:57 porque ele divaga um pouco, mas depois se corrige. Há alguns caracteres corrompidos, mas tudo bem, isso é esperado, porque a resposta final é muito boa. Então, eu diria que o resultado final é muito bom. O raciocínio ficou menos confuso do que no teste visual que fizemos antes. É isso. Me contem o que acham deste ZDTaichu5.0-9B, que faz parte da cauda longa de CoT e é até mesmo um modelo Qwen muito antigo. Deixe

09:30 meus comentários nos comentários e obrigado por todo o

Transcrição original

[00:01] This is ZD Taichu 5 in 9 billion. Taichu, which is Chinese for the great beginning, the pri module state before the universe took shape. Fitting name because this model is trying to give AI a more fundamental grasp of the physical world. Not just recognizing what’s in an image, but understanding space, position, and how things move and interact in it. This is a vision model which can be used for many use cases. In

[00:32] this video, we are going to install it and then we are going to test it out on various different tests which are quite different from what we regularly test. This is Fad Miraza and I welcome you to the channel. We also have this AI newsletter which we deliver weekly for free. You can subscribe it at fahadm.substack.com. Coming back to this model which is freely available on hugging face as you can see here 9 billion parameter multimodal model built for visual

[01:04] understanding spatial reasoning and embodied AI the kind of reasoning a robot or agent needs to actually operate in the real world but don’t worry you don’t really need any physical hardware to get it running or test because there are various use cases as I mentioned earlier under the hood it pairs a quen 3.5 59 billion language backbone with a C radio V4H vision encoder from Nvidia language understanding from Quen visual perception from a dedicated vision model

[01:36] fused together the context window is 128K it can handle text images and video and claims to lead other 9 billion scale model on spatial reasoning benchmarks which we get into both for open and closed models shortly for now let’s get it installed. I’m going to use this Ubuntu system. I have one GPU card which is Nvidia RTX with 48 GB of VRAM. You would need to get VLM installed and especially from their GitHub repo. If

[02:07] you have vanilla VLM that is not going to work the process is same. If you don’t know how to install that VLM, just search my channel. I’m downloading the model from hugging face which shouldn’t take too long. If you’re looking to rent a GPU on very good price, you can find the link to mass compute in video description. The model is downloaded. Now let me serve it with VLM. So if you look at this command, this is slightly different. We know that um this max model length is a context window which

[02:39] is simply input plus output token the server will handle. We have model name and then look at that third line mamba SSM cache DT type. This is precision for this model’s mamba state space cache which is architecture specific. So it also uses that state space mamba architecture. For further details just search on channel. Then another new thing is this GDN prefill back and tron. So this is a backend which computes a specific attention component GDN during

[03:11] prompt processing. uh rest of it is that we are using just one GPU and generation config is that where we use the same default sampling set setting instead of models own. So let me serve it. So you see without any KV cache the model takes around 19 gig of VRAM. The model is being served. Let me quickly show you the VRAM consumption. So there you go with everything inclusive. This is how much it consumes.

[03:44] And now let’s test this model out. I asked it who you are and specifically I mentioned that what model you are as you can see. And instead of giving me what model it is, it is just telling me about Hermes agent. Anyway, so we will just ignore that. We are going to do a real test on this image. So if you look at this image, what I’m trying to uh assertain here is the spatial and visual reasoning of this model. So I will be asking it if this

[04:15] passenger is correctly wearing the seat belt or not. So let’s see if it can spot that placement of seat belt on this human body. For that in Hermes agent normally we give this image by specifying the path image is attached and I’m going to give it this prompt. So I will run this and let’s see what sort of reasoning this model does and let it finish and then we will check

[04:46] it check it out together both the reasoning and the response. And meanwhile, if you want to help out the channel, please become a member by going to the homepage or in the first pinned comment. This is a membership link. This is different [clears throat] from subscription. Okay. So, let’s wait for this model to come back. And it was fairly, you know, quick. It has correctly identified proper shoulder to pelvis belt routing and buckle position correctly judging the belt as

[05:17] legally correctly worn. So there you go. I’m not sure if it is legal or not or maybe it is different here in New South Wales. Um but anyway, model says it’s correct and reasoning is actually quite short and incisive where it has done accurate spatial tracing of the belt path. But again there are some inaccuracies where it called it the front passenger seat.

[05:49] um where it should have said that it’s a rear seat which is see this is the one. So it’s a very very big mistake in my opinion uh because that could really change the things. Anyway let’s do another test. So for the next test as you can see we are doing a chart reading and quantitative visual reasoning on chemistry titration curve. I already have given it the image and my prompt is this. So let’s see if it is able to

[06:22] correspond to this first and second equivalence point. This is a very nuanced and um field specific prompt. So let’s see how deep the model’s reasoning go. And again a very quick answer. model correctly read the equivalence point which is 30 ml and 70 ml directly of the red circles but got PK A1 and PKA2 wrong. The if you look at the image again the actual label midpoints are PH5

[06:54] and PH9 uh which you can see in the shaded buffer regions right but model estimated four and 8 by eyeballing rather than reading the shaded band positions precisely. If you look at the reasoning uh that shows correct diaprotic titration theory but imprecise visual localization of the pKa markers which I think is a big vision failure though it has tried its best uh but I think this thing could improved a lot in post training

[07:26] and now let’s do one final test so we are testing this model’s embodied style reasoning can it plan a logical in order to reorganize a real cluttered scene with clothing. If you don’t know what embodied AI is, it means teaching AI to reason like it has a body in the real world. Not just describing what it sees, but figuring out what to do next step by step. So this this is a room scene where lot of clothing items are scattered and we are asking the model to look at this

[07:56] pile of clothes on the floor, plan the most logical order to organize them, what should be picked up and sorted first, second, and so on. explain the reasoning for the order. Now this is also going to use affordance which is a fancy word for what can be done with an object. A chair affords sitting. A drawer affords opening. So the model has to or recognize not just what something is but what action makes sense with it. That is called as affordance in the

[08:26] context of this embodied AI. So let’s wait for the model to come back and we will check out. And there you go. This time I think it has done fairly well as compared to the previous two responses. It has produced a coherent logically ordered organization plan. As you can see from this like small items, stops, spends, bulky items with sound reasoning. If you go through this one and internal thinking trace um is also quite good

[08:57] because it is meandering a bit but then selfcorrecting. There are few garbled you know characters but that is fine that is expected because the final answer is quite good. So I would say quite a good end result. Um less messier reasoning than the visual uh test which we done before. So that’s it. Let me know what do you think about this Z D T D T D T D T D T D T D T D T D T D T D T D T D T D T D T D T D T D T D T D T Dishu 5 in 9 billion which is a part of the long co tail and even a very old Quen model. Let

[09:30] me know your thoughts in the comments and thank you for all the