Xing4.0-29B-A4B da China Telecom falha ao executar localmente

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: China Telecom’s Xing4.0-29B-A4B Fails to Ring Locally · Canal: Fahd Mirza · 10:49 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Engenharia de software com IA, Modelos de IA, Modelos locais e open source

Resumo

O vídeo testa o Xing4.0-29B-A4B, da China Telecom, um modelo MoE com 29 bilhões de parâmetros, 4 bilhões ativos por token e treinamento feito em chips Huawei Ascend com MindSpore. O modelo apresenta bons resultados em benchmarks de tarefas com agents e se sai bem em um teste rigoroso de seguimento de instruções, mas tem dificuldades graves em programação e em uso prolongado de ferramentas. Em testes com Hermes agent, o modelo interrompe tarefas ou gera código incoerente, embora uma chamada direta por Python produza uma resposta que atende às restrições. O apresentador conclui que o seguimento de instruções é forte, mas a programação ainda não é confiável, e aguarda uma versão futura.

Pontos-chave

O Xing4.0-29B-A4B tem 29 bilhões de parâmetros, dos quais 4 bilhões ficam ativos por token, e oferece context window nativa de 256K.
Segundo o vídeo, o modelo foi treinado inteiramente em chips Huawei Ascend com o framework MindSpore, sem GPUs Nvidia no treinamento.
Os benchmarks apresentados destacam resultados em Agentic Park, tarefas de terminal, Claw Eval e Deep Research.
Na tarefa de criar um jogo completo em Godot usando ferramentas, o modelo parava após chamadas de ferramentas e precisava de estímulos repetidos.
O modelo também gerou respostas incoerentes ao tentar produzir código para uma simulação em HTML.
Em uma chamada direta por Python, cumpriu as restrições de um teste de seguimento de instruções com quatro frases.
O apresentador observa que o modelo gastou 2.854 tokens de completion para produzir a resposta curta do teste.
No teste final de programação, o arquivo gerado não apresentou corretamente o espeto de kebab; o apresentador conclui que a programação é fraca, apesar do bom seguimento de instruções.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação do Xing4.0-29B-A4B	O apresentador descreve a arquitetura, o treinamento em chips Huawei Ascend e a configuração de execução do modelo.
02:46	Benchmarks e teste de criação de jogo	São discutidos os resultados de benchmark e o modelo é testado na criação autônoma de um jogo em Godot, mas acaba interrompendo o trabalho.
04:59	Testes de programação e seguimento de instruções	O modelo falha em tarefas de código, mas é avaliado diretamente por Python em um teste com restrições precisas de resposta.
07:08	Resultados finais e avaliação do modelo	O modelo cumpre as restrições do teste de instruções, mas falha novamente na tarefa de programação, levando o apresentador a apontar limitações importantes.

Citações

Vou considerar isso uma falha, porque não dá para trabalhar assim. — 04:59

O modelo se corrigiu duas vezes quando a letra E apareceu nas frases candidatas. — 07:39

Quatro frases, nem mais, nem menos. — 08:11

Seguir instruções é ótimo. Programação, não. — 10:19

Conceitos e entidades

Xing4.0-29B-A4B (modelo): Modelo da China Telecom com 29 bilhões de parâmetros e 4 bilhões ativos por token, avaliado no vídeo em tarefas de raciocínio, programação e uso de ferramentas.
China Telecom (empresa): Empresa responsável pelo modelo Xing4.0-29B-A4B apresentado no vídeo.
Huawei Ascend (ferramenta): Linha de chips da Huawei usada, segundo o vídeo, para treinar o modelo.
MindSpore (ferramenta): Framework usado no treinamento do modelo em chips Huawei Ascend.
vLLM (ferramenta): Servidor de inferência usado para executar o modelo nos testes.
Hermes Agent (ferramenta): Harness usado para testar o modelo em tarefas de programação com chamadas de ferramentas.
Qwen (modelo): Família de modelos mencionada como referência de modelos open-weight com arquitetura MoE.
Gemma (modelo): Modelo comparado ao Xing4.0-29B-A4B nos benchmarks apresentados.
Godot (ferramenta): Engine de jogos que o modelo deveria usar para montar um jogo jogável de parque de trampolins.
Blender (ferramenta): Software para o qual o modelo deveria escrever scripts a fim de criar assets 3D.
Agentic Park (conceito): Benchmark citado pelo apresentador como uma das avaliações em que o modelo se destaca.
Claw Eval (conceito): Benchmark mencionado no vídeo entre os testes de uso de ferramentas em várias etapas.
Deep Research (conceito): Avaliação citada como teste de uso de ferramentas em múltiplas etapas.

Tradução completa (pt-BR)

00:01 A China Telecom está bastante ativa ultimamente. Este é o segundo modelo deles que abordo esta semana. Este é o Zing 29 billion, o mais recente da série Zing, que talvez você conheça pelo antigo nome TeleChat, sobre o qual já falamos no canal. O que faz este modelo se destacar é a forma como foi desenvolvido. É o primeiro modelo dessa escala treinado inteiramente com chips Ascend da Huawei e o framework MindSpore. Nenhuma Nvidia participou do treinamento.

00:35 Ele tem 29 bilhões de parâmetros, com apenas 4 bilhões ativos por token. Uma context window nativa de 256K e uma arquitetura projetada para agents, capaz de planejar várias etapas e chamar ferramentas com confiabilidade. Também vou compartilhar os benchmarks daqui a pouco, mas, por enquanto, vamos instalar e executar esse modelo. Aqui é Fahad Mirza, e dou as boas-vindas a você ao canal. Também vou voltar a insistir para que você

01:06 assine esta newsletter. É gratuita e semanal. Não vou encher sua caixa de spam todos os dias. Então, inscreva-se em fahadmirza.substack.com. Como você pode ver, já configurei este modelo com o agent Hermes. Ele está sendo executado aqui com vLLM, usando um comando padrão do vLLM. E, se você não sabe como instalar o vLLM, basta acessar meu canal e procurar o tutorial de vLLM. O tool calling está habilitado, a context window é de 65K, e o mTP

01:41 speculative decoding também está disponível. Agora, vou dar este prompt ao modelo. O prompt dá ao modelo um objetivo e o deixa trabalhar por conta própria. Ele precisa criar um jogo completo de parque de trampolins em 3D, projetar do zero todos os assets 3D escrevendo scripts para o Blender, exportá-los e depois montar um jogo jogável no Godot com física de quique, mortais, pontuação por combos, uma tela inicial

02:12 e um cronômetro. Sem assets baixados, sem nenhuma ajuda minha, e a tarefa só termina quando ele iniciar o jogo sozinho e provar que está funcionando. Assim, veremos como ele planeja, como lida com os próprios erros e se esse projeto desenvolvido primeiro pelo agent realmente entrega o resultado. Este é o consumo de VRAM neste momento, com o modelo totalmente carregado na minha GPU, incluindo o KV cache. Se você procura alugar uma GPU por um preço muito bom, o link para a Best Compute está na descrição do vídeo. E estes são os benchmarks da página deles no

02:46 Hugging Face. Sabe de uma coisa? Mais do que os benchmarks, o que acredito que eles estão tentando fazer é competir diretamente com a Qwen. Como você sabe, a Qwen estava lançando modelos open source de pesos abertos, especialmente um modelo de mixture of experts com 35 bilhões de parâmetros, e depois parou. E todo mundo pergunta sobre eles porque essa arquitetura permite que as pessoas executem esses modelos até com menos VRAM, ao contrário dos modelos densos. Mas, ultimamente, a Qwen não está fazendo isso. Agora, eles prometem que talvez lancem outro, mas, enfim, eu

03:18 acho que essa é a lacuna que a China Telecom está tentando preencher. Se você olhar este benchmark, o padrão é claro. O modelo se destaca no Agentic Park. Em tarefas de terminal, supera os dois, com uma vantagem ampla sobre Gemma. Também lidera em Claw, Eval e Deep Research, que testam o uso de ferramentas em várias etapas. Em programação no mundo real, fica praticamente empatado com a Qwen e bem à frente de Gemma. Fica um pouco atrás em seguimento de instruções, raciocínio com contextos longos e matemática de compilação. No papel, este é um modelo feito para fazer

03:51 coisas, em vez de apenas responder a perguntas, que é exatamente o que nosso teste está tentando fazer nesta janela. Certo, acho que o objetivo ainda está ativo, então vou deixar o processo continuar. Neste momento, ele está apenas alucinando, como você pode ver. E estou mostrando exatamente como está. Vou deixá-lo concluir o turno. Uma coisa que você talvez note é que eles estão usando o próprio parser de raciocínio e o próprio parser de tool calling, ao contrário da Coin.

04:25 Desculpe, o que quero dizer é que muitas outras empresas estão usando o parser da Coin, mas este está usando o próprio. E, depois do primeiro turno, ele começou de fato a se comportar melhor, corrigiu os erros e agora está realmente pensando e fazendo as coisas certas, como você pode ver aqui. Então, vou esperar ele terminar e depois mostro o resultado final. Certo, este é o status com este modelo. Acho que há um problema com as chamadas de ferramentas, porque você pode ver que ele simplesmente

04:59 para. Ele faz chamadas de ferramentas, escreve um pouco de código e depois corrige parte do código, e então preciso dar um empurrão nele repetidas vezes para que continue. Isso vem acontecendo nas últimas 2 horas. Então, vou considerar isso um fracasso, porque não dá para trabalhar assim. Talvez o prompt seja complexo demais para ele. Vamos tentar outro e ver se ele consegue fazer. Por isso, estou dando a ele este prompt para escrever um único arquivo HTML que simule um espeto de kebab estilo döner, girando na vertical diante de um forno a gás

05:32 e ver se ele consegue fazer isso. E eu precisava mostrar isto a vocês. Olhem só. Ele estava indo muito bem. Até começou a escrever o esboço do código depois de pensar bastante, e aí vocês veem que ele simplesmente começa a alucinar. Se estão se perguntando, instalei o modelo a partir do branch Git deles do vLLM e segui todos os pré-requisitos e tudo mais, mas, ainda assim, o modelo não consegue produzir uma resposta

06:05 coerente. Então, acho que a programação não está parecendo muito boa com este modelo. Vou fazer mais um último teste de seguimento de instruções. Estou pedindo: “Você é cientista. Uma pessoa ficou acordada por 72 horas seguidas e acabou de consumir 400 mg de cafeína, duas bebidas energéticas e tomou uma ducha fria. Ela está completamente alerta e insiste que está bem para dirigir sozinha por 3 horas numa rodovia às 2h da manhã. Dê sua

06:37 avaliação científica em exatamente quatro frases. A primeira frase precisa conter a palavra paradox. A terceira frase precisa ter exatamente 12 palavras. A última frase não pode conter a letra e.” Sabe de uma coisa? Não vou fazer isso com o agent Hermes. Vou escrever diretamente um script rápido em Python para chamar este endpoint com esse prompt. Então, vou fazer isso rapidinho. Também limpei o cache. Estou reiniciando o serviço vLLM deste modelo.

07:08 Como você pode ver, estou executando este script em Python. Se quiser ver exatamente como ele é, também posso mostrar. É um script simples em Python que chama esse endpoint, esse modelo e usa o mesmo prompt que mostrei antes. Vamos ver o que o modelo faz aqui. Certo, esta é a resposta. Primeiro, vou mostrar o raciocínio. Este parece bom. Então, talvez o problema seja o Hermes. Talvez eu gere aquele código de novo. Só um segundo. Vamos conferir este primeiro. E sabe de uma coisa? Na verdade, eu já analisei

07:39 tudo isso, e ele cumpriu todas as restrições. Vou mostrar o raciocínio, que parece muito bom. O modelo percebeu duas vezes que a letra E havia aparecido numa frase candidata e se autocorrigiu em ambas as ocasiões antes de finalizar. Isso é uma arquitetura de raciocínio fazendo um trabalho de verdade, não apenas correspondência de padrões. Estou muito satisfeito com o raciocínio. Muito, muito melhor. Certo, esta é a resposta. Como podem ver, a primeira frase contém paradox, e a terceira tem exatamente 12 palavras; então

08:11 a última frase não tem nenhuma ocorrência da letra E. Quatro frases, nem mais nem menos. A ciência também está correta. O modelo identifica corretamente este paradoxo de estimulantes mascarando a fadiga, um fenômeno bem documentado em que as pessoas se sentem alertas justamente quando seu comprometimento está no ponto mais perigoso, como podem ver. Então, acho que ele consumiu 2.854 tokens de conclusão para o que é, essencialmente, uma resposta de quatro frases.

08:43 Mais alguns modelos passaram a maior parte do tempo pensando, em vez de realmente escrever. Muito, muito bom. Vou fazer de novo aquela coisa do espeto, usando só esse prompt. E agora que o prompt do kebab döner está em execução, vamos esperar. Desta vez, está demorando um bocado. E, se você olhar o log deste VLLM, o speculative decoding está funcionando, e a taxa de aceitação está bastante boa até agora. Enfim, vou esperar o modelo produzir algo e depois vamos conferir.

09:17 Certo, ele respondeu bem rápido. Vamos conferir. Ainda nem olhei o resultado. Vou simplesmente arrastar e soltar aqui na frente de vocês, e vamos ver. Então, vamos soltá-lo. E cadê meu frango? O arquivo está ali, invertido, e não sei o que isso significa. Talvez, se você for turco, possa nos contar. Mas não tem frango. Só fogo. Olhem só.

09:48 A questão é que eu já testei esse modelo com o modo de pensamento ligado e desligado. Quando o pensamento está ligado em uma tarefa de programação, ele simplesmente não para de pensar, nunca retorna. E acho que foi aí que o Hermes agent também começou a se cansar de uma context window tão enorme. Mas, ainda assim, acho que o Hermes agent não deveria ter quebrado. Acho que chegou a hora de aposentar o Hermes agent, assim como aposentei o OpenAssistant, e migrar para outro harness. Vamos ver. Mas, no geral, talvez a próxima versão deste modelo

10:19 seja algo digno de nota. O seguimento de instruções é ótimo. A programação, não. E essas são as duas principais tarefas deste modelo. Ele também fala de um longo horizonte de atuação autônoma, o que é verdade, mas, sabe, você também precisa receber a resposta. E esperei umas 3 a 4 horas. Não veio nada. Enfim, vamos ver o que aconteceu. E estou surpreso que já tenha 45.000 downloads no Hugging Face.

10:49 Então, não sei o que está acontecendo. Mas, enfim, vamos esperar a próxima versão e seguimos a partir daí. É isso. Se quiser ajudar o canal, torne-se membro. Obrigado por todo o apoio.

Transcrição original

[00:01] China Telecom is getting very active these days. This is the second model I’m covering this week from them. This is Zing 29 billion, the latest in their Zing series, which you may know by its old name TeleChat, which we have covered on the model. What makes this one stand out is how it was built. It’s a first model at this scale trained entirely on Huawei’s Ascend chips with the MindSpore framework. No Nvidia in the training loop at all.

[00:35] It has 29 billion parameters with only 4 billion active per token. A native 256K context window and an architecture designed for agents built to plan across multiple steps and call tools reliably. I’m also going to share the benchmarks shortly, but for now, let’s get this thing installed and running. This is Fahad Mirza and I welcome you to the channel. I’m also again going to pester you with

[01:06] this newsletter until you subscribe. This is free, weekly. I’m not going to spend spam you every day. So, please subscribe at fahadmirza.substack.com. You can see that I already have configured this model with Hermes agent. This is where it is running with vLLM and this is a standard vLLM command. And if you don’t know how to get vLLM installed, just go to my channel and search for vLLM tutorial. Tool call is enabled, 65K context window, and mTP

[01:41] speculative decoding is also there. Now, what I’m going to do, I’m going to give it this prompt. This prompt is giving the model one goal and stepping back. It has to build a full 3D trampoline park game on its own, design every 3D asset from scratch by writing Blender scripts, export them, then assemble a playable game in Godot with bounce physics, flips, a combo score, a start screen,

[02:12] and a timer. No downloaded asset assets, no help from me at all, and it’s not done until it launches a game itself, and proves it runs. So, we will see how it plans, how it handles its own errors, and whether that agent first design actually delivers. This is a VRAM consumption at the moment as it is fully loaded onto my GPU with KV cache. If you’re looking to rent a GPU on very good price, you can find the link to Best Compute in video’s description. And these are the benchmarks from their

[02:46] Hugging Face page. You know what? More than the benchmarks, what I believe what they’re trying to do, they’re trying to compete directly with Quen. As you know that Quen was releasing open-source open-weight models, especially mixture of expert one in 35 billion, and then they stopped. And everyone is asking about them because that architecture lets people run these models on even lesser VRAM, unlike the dense models. But lately Quen is not doing it. They are now promising they might do another one, but anyway, I

[03:18] think that is the gap this China Telecom is trying to fill. If you look at this benchmark, the pattern is clear. It shines on Agentic Park. On terminal task, it beats both and by a wide margin over Gemma. It also leads on Claw, Eval, and Deep Research, both of which test multi-step tool use. On real-world coding, it it’s neck and neck with Quen and well ahead of Gemma. It trails slightly on instruction following, long context reasoning, and compilation math. On paper, this is a model built to do

[03:51] things rather than just answer questions, which is exactly what our test is trying to do in this window. Okay, so I think the goal is still active, I guess, so I will let it play out. It is right now it is just hallucinating, you can see. And I’m presenting you as is. So I will let it complete its turn. One thing you might notice that they are using their own reasoning parser and their own tool call parser, unlike Coin.

[04:25] Sorry, what I mean is that many other companies are using Coin’s parser, but this one is using its own. And after the first turn, it has actually started behaving, corrected its errors, and now it is actually thinking and doing the proper stuff, as you can see here. So I will just wait for it to finish and then I will show you the end result. Okay, so here is the status with this model. I think there is a problem with the tool calls because you can see that it just

[04:59] stops. It makes tool calls, write some code, and then fixes some code, and then I have to nudge it again and again to proceed further. This has been happening for the last 2 hours. So I will just call it a fail because this is unworkable. Maybe the prompt is too complex for it. Let’s do another one and see if it is able to do that one. That is why I’m just giving it this um prompt to write me a single HTML file to simulate a realistic donut-style kebab

[05:32] skewer rotating vertically in front of a gas-powered um oven, so let’s see if it is able to do that. And I needed it to show you this. Look at this. So it was doing pretty well. Started even writing the outline of the code after thinking long, and then you see it is just hallucinating. Now, if you’re wondering, I have installed it from their Git branch of vllm, and I have followed all the prerequisites and everything, but still the model is unable to produce a

[06:05] coherent response. So, I think coding is not looking really good with this model. I’m going to do one last test around instruction following. So, I’m asking it that “You’re a scientist. A person has been awake for 72 hours straight and has just consumed 400 mg of caffeine, two energy drinks, and a cold shower. They feel completely alert and insist they are fine to drive 3 hours on a highway alone at 2:00 a.m. Give your

[06:37] scientific assessment in exactly four sentences. The first sentence must contain the word paradox. The third sentence must be exactly 12 words long. The last sentence must not contain the letter e.” You know what? I’m not going to do it with Hermes agent. Let me directly write a quick Python script to call this endpoint with this prompt. So, let me do that very quickly. I have even cleared the cache. I’m relaunching vllm serving of this model.

[07:08] So, I’m running this Python script, as you can see. If you want to see what exactly this looks like, let me show you that, too. A simple Python script just calling that endpoint, that model, and the same prompt which I showed you earlier. So, let’s see what model does here. Okay, so this is the answer. I’ll show you the reasoning first. This one looks good. So, maybe it is Hermes issue. Maybe I’ll generate that code again. Just a second. Let’s check with this one out first. And you know what? I have actually gone

[07:39] through this and has nailed every constraint. So, I’ll just show you the thinking which looks pretty good. The model caught itself twice when E snuck into candidate sentence and then self-corrected each time before committing. That’s a reasoning architecture doing pretty real work, not just pattern matching. Very happy about the reasoning. Way, way better. Okay, so this is answer. So, you see first sentence has paradox, third sentence is exactly 12 words then

[08:11] the last sentence has zero instances of the letter E. Four sentences, no more, no less. The science is also solid. It correctly identifies this stimulant masking fatigue paradox, which is a well-documented phenomena where people feel alert precisely when their implement is impairment is at its most dangerous, as you can see. So, I think and it just consumed 2,854 completion tokens for what is essentially a four-sentence answer.

[08:43] Um some more model spent most of the time in thinking, not actually writing. So, very, very good. Let me do that skewer thing again with just that prompt. And now that doner kebab uh prompt is running, let’s wait. This time it is taking fair bit of time. And if you look at the log of this VLLM, speculative decoding is at work and acceptance rate is actually quite good so far. Anyway, I will wait for it to produce something and we will check it out.

[09:17] Okay, it has come back fairly quickly. Let’s check it out. I haven’t even checked it myself. I’m just going to drag and drop in front of you and we will check. So, let’s drop it and where is my chicken? The file is there and it is inverted and I don’t know what that means. Maybe if you are Turkish, let us know. But there is no chicken. Only fire. So look, um

[09:48] the thing is that I have even tried this model with thinking on and off. When the thinking is on on coding task, it just keeps thinking, never comes back. And I think that is where Hermes agent was also getting fed up with so much huge context window. But still, I think Hermes agent shouldn’t have broken. I think it is time to retire Hermes agent just like I retired OpenAssistant, and move to some other harness. We will see. But all in all, um maybe the next version of this model

[10:19] would be something to write home about. Instruction following is great. Coding is not. And these are the two major tasks of this model. It also talks about long agentic horizon, which it which it is true, but you know, you also need to get the response back. And I have waited for like 3 to 4 hours. Nothing came back. So, anyway, we will see what happened. And I’m surprised that 45,000 downloads already on Hugging Face.

[10:49] So, not sure what is happening there. But anyway, let’s wait for the next version, and we will go from there. That’s it. If you want to help out the channel, please become a member. Thank you for all the support.