DeepSeek e Huawei desafiam o domínio da Nvidia sobre CUDA

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: DeepSeek + Huawei Just Went After Nvidia’s CUDA Moat · Canal: Fahd Mirza · 09:27 · Assistir no YouTube

Tópicos: Infraestrutura e hardware de IA, Modelos de IA, Open source e ecossistemas de software

Resumo

O vídeo analisa o lançamento open source do DeepGEMM Ascend e a expansão do TileLang para os chips Ascend da Huawei. O DeepGEMM Ascend mantém a mesma API da biblioteca para GPUs Nvidia e, segundo os testes publicados pela DeepSeek, alcança desempenho próximo dos limites teóricos do hardware. Já o TileLang busca facilitar a escrita de kernels para diferentes chips, incluindo o Ascend 950. O apresentador ressalta que esses avanços não significam que o domínio da Nvidia esteja prestes a acabar: a adoção por desenvolvedores e a maturidade de todo o ecossistema ainda são desafios.

Pontos-chave

A DeepSeek publicou o DeepGEMM Ascend como open source, com resultados próximos dos limites teóricos de desempenho do hardware.
O DeepGEMM Ascend mantém a API e o nome de pacote da versão existente, reduzindo o esforço de adaptação para desenvolvedores.
A biblioteca inclui operações de matriz em BF16, FP8 e FP4, além de operações de atenção e mixture of experts.
A DeepSeek reportou 431 teraflops em um teste BF16, diante de um limite de 432, e 861 teraflops em FP8, diante de 865.
O TileLang é uma linguagem de código aberto para escrever kernels de IA e já tem como alvos CUDA, AMD e Apple Metal.
O TileLang adicionou um backend para Ascend 950, com geração nativa de código, escalonamento automático e sincronização.
Huawei deu suporte técnico ao desenvolvimento e trabalhou com a DeepSeek em um supernó com 128 chips Ascend 950.
A proximidade com o limite de desempenho do chip não compara, por si só, sua capacidade com a dos hardwares mais recentes da Nvidia.
A adoção de uma nova linguagem depende de desenvolvedores e de ferramentas, documentação e código existentes, áreas em que CUDA tem um ecossistema consolidado.

Capítulos

Início	Capítulo	Resumo
00:01	A disputa pelo ecossistema CUDA	O vídeo retoma o contexto dos chips chineses e apresenta o anúncio conjunto da DeepSeek e da Huawei.
02:38	DeepGEMM Ascend e os resultados de desempenho	A biblioteca é explicada, incluindo sua compatibilidade de API, as operações cobertas e os números divulgados pela DeepSeek.
05:49	TileLang e a programação de kernels	O apresentador descreve a linguagem, seus alvos de hardware e a adição de um backend para Ascend 950.
07:20	Hardware Huawei e supernó Ascend	O vídeo aborda a colaboração entre as empresas e o supernó construído com 128 chips Ascend 950.
08:25	O que ainda separa a iniciativa do domínio da Nvidia	O apresentador pondera os limites dos resultados divulgados e destaca a importância da adoção e da maturidade do ecossistema.

Citações

Você pode construir um chip mais rápido; não é fácil reproduzir os hábitos de 4 milhões de pessoas. — 02:08

Em um teste BF16 de grande porte, eles reportaram 431 teraflops, diante de um limite de hardware de 432. — 05:18

Alcançar 99% do limite de um chip é impressionante, mas isso só mostra que o software é bom. — 08:25

Não é uma declaração de que CUDA acabou, mas uma equipe provando, discretamente, que é possível seguir outro caminho. — 09:27

Conceitos e entidades

DeepSeek (empresa): Empresa de IA que publicou o DeepGEMM Ascend e trabalha com Huawei em software e hardware para IA.
Huawei (empresa): Empresa que desenvolve os chips Ascend e colaborou com a DeepSeek no suporte e em sistemas de computação.
NVIDIA (empresa): Empresa cujo hardware e ecossistema CUDA são apresentados no vídeo como referência dominante em computação para IA.
CUDA (ferramenta): Plataforma de software da Nvidia que, segundo o vídeo, sustenta um amplo ecossistema de ferramentas e código para GPUs.
DeepGEMM Ascend (ferramenta): Biblioteca da DeepSeek adaptada para chips Ascend, com a mesma API da versão para GPUs Nvidia.
TileLang (ferramenta): Linguagem open source para escrever kernels de IA, com suporte a vários alvos de hardware e um backend para Ascend 950.
Ascend 950 (modelo): Chip de IA da Huawei mencionado como alvo do backend do TileLang e parte de um supernó com 128 chips.
TVM (ferramenta): Projeto sobre o qual o TileLang é construído, conforme descrito no vídeo.
Mixture of Experts (conceito): Arquitetura de modelos mencionada como uma das operações atendidas pelo DeepGEMM Ascend.

Tradução completa (pt-BR)

00:01 As redes sociais de IA estão enlouquecendo por causa de uma nova ferramenta mágica que não só vai acabar com o monopólio da Nvidia em hardware, mas, mais importante, no software CUDA. O fato é que, há quase um ano, fiz este vídeo: “Os chips chineses estão em ascensão”. Era sobre uma linguagem de programação chamada TileLang e a ideia de que os chips de IA da China talvez um dia deixem de depender do software da Nvidia. Como você pode ver, pouca gente assistiu.

00:32 Hoje, minha timeline está bem diferente. Todo mundo está falando disso, como você pode ver neste tuíte, e há muitos outros. DeepSeek e Huawei uniram forças. E estão enfrentando a Nvidia em duas frentes ao mesmo tempo: hardware e software. Então, quero explicar o que aconteceu de fato, o que são essas ferramentas, o que elas demonstram e o que não demonstram. Olhem este tuíte de um engenheiro de infraestrutura da DeepSeek.

01:05 Um engenheiro que, acredito, trabalha no núcleo da infraestrutura deles. Ele falou sobre o DeepGEMM. Mais uma vez, já abordamos isso no canal, há meses. O DeepGEMM Ascend agora é open source. Essa é a grande notícia, a notícia de fato. E ele diz que chegaram a 99,8% do limite do hardware no GEMM e a 98% na mistura de especialistas em larga escala. Esse foi o anúncio inteiro. Sem

01:36 palco, sem apresentação principal, só um link para o repo no GitHub, que também vou deixar na descrição do vídeo. Mas, se você sabe o que essa frase significa, sabe que significa muito. É algo importante. E o motivo é algo que acho que a maioria das pessoas está ignorando em meio a toda essa empolgação. Por que a Nvidia domina a IA neste momento? Todo mundo fala dos chips, e eles são ótimos, mas um chip é só silício

02:08 até que o software diga a ele o que fazer. Há mais de duas décadas, esse software é o CUDA. Veja só: nesta semana, o New York Times estimou em 4 milhões o número de desenvolvedores de CUDA no mundo todo. São 4 milhões de pessoas que aprenderam uma maneira de trabalhar, criaram ferramentas em torno dela e teriam de começar do zero se a abandonassem. Esse é o verdadeiro fosso defensivo. Você pode criar um chip mais rápido, mas não pode criar facilmente o equivalente aos hábitos de 4 milhões de pessoas.

02:38 E esse é exatamente o problema da China. As restrições à exportação cortaram o acesso ao melhor hardware da Nvidia, então a Huawei criou seus próprios chips, a linha Ascend. Mas ter um chip é só metade da questão, e já falamos dos chips da Huawei há bastante tempo. O fato é que um novo ecossistema de software precisa de uma linguagem universal, fácil de programar e que ainda consiga extrair todo o desempenho do hardware. Leiam isso de novo. Vocês estão lendo uma descrição do que o CUDA se tornou.

03:10 Agora, vou explicar o que exatamente é essa novidade da DeepSeek, da maneira mais simples possível. Esta é a primeira parte: DeepGEMM Ascend. GEMM significa multiplicação geral de matrizes. É a operação que está no centro de uma rede neural: multiplicar enormes grades de números, repetidas vezes, bilhões de vezes. Se essa operação for lenta, o modelo inteiro será lento. A DeepSeek já tinha uma biblioteca para fazer isso nas GPUs da Nvidia, chamada DeepGEMM, que

03:43 já abordamos no canal. O que fizeram agora foi portá-la para o chip Ascend da Huawei. E aqui está a parte importante: ela mantém a mesma API, o mesmo nome de pacote e a mesma forma de ser chamada. Um desenvolvedor que já usa DeepGEMM instala a versão para Ascend e continua trabalhando como sempre. O maior fator que mantém as pessoas no CUDA é o trabalho de reaprender tudo, e essa ferramenta foi criada para eliminar esse obstáculo. Por baixo, eles escreveram uma camada fina sobre

04:14 as instruções de multiplicação de matrizes do Ascend. Quem já escreveu kernels de baixo nível conhece o sofrimento causado pelos layouts de memória, pelas regras de alinhamento e pelos cálculos de endereço. Essa camada esconde a maior parte disso, para que o kernel continue curto e legível. A biblioteca oferece operações de matrizes em BF16, FP8 e até FP4, além das operações de pontuação de atenção e de mistura de especialistas em larga escala das quais os modelos da DeepSeek dependem, entre várias outras, inclusive as da Kimmy.

04:46 E também as da MiniMax, entre várias outras que estão surgindo. Agora, quero ter muito cuidado com os números. Tudo o que vou dizer vem do próprio repo da DeepSeek. Vou mostrar rapidamente esse repo. Aqui está. Se eu descer a página, estas são todas as operações que acabei de mencionar em termos simples. Vocês podem percorrer o conteúdo e conferir. Mas os números são realmente impressionantes. Então, vou parar aqui para mostrar algumas

05:18 das informações numéricas que eles divulgaram. Esses números abrangem vários aspectos, mas vou me limitar a alguns dos mais importantes. Em um teste grande com BF16, eles relataram 431 teraflops, contra um limite de hardware de 432. Para FP8, foram 861 contra 865. E, como podem ver, para FP4, foram 1.701 contra 1.730. Quando um kernel chega tão perto do

05:49 limite, o software está deixando quase nada de desempenho de lado. O chip está fazendo praticamente tudo o que é fisicamente capaz de fazer. A mistura de especialistas em larga escala é a operação mencionada naquela publicação, acredito, que funde toda a etapa de mistura de especialistas em uma única operação, e eles relataram que ela ultrapassou 800 teraflops no sistema maior. Agora, vou mostrar a segunda parte que eles lançaram: principalmente, o TileLang. Essa é a

06:19 segunda parte. E acho que é a que mais importa no longo prazo, ainda mais do que o DeepGEMM. É uma linguagem open source para escrever kernels de IA. Você escreve um código curto, no estilo Python, que descreve como os dados se movem em blocos e como a matemática de matrizes é executada, e o compilador transforma isso em código rápido para o chip. Ela é baseada no TVM e já tem como alvo CUDA da Nvidia, AMD e Apple Metal. Sim, todos eles.

06:50 Agora, se você conferir o README, eles têm um repo muito bom, que já abordamos. Basicamente, ele diz que foi adicionado um backend para Ascend 950, com geração nativa de código e agendamento e sincronização automáticos. É uma forma longa de dizer que o desenvolvedor não precisa mais ajustar manualmente cada detalhe para esse chip. Agora, um dos kernels dentro do DeepGEMM Ascend, o que atende ao módulo de hiperconexão da DeepSeek,

07:20 é escrito em TileLang. O DeepGEMM Ascend mostra que o chip pode ser rápido, e o TileLang é uma tentativa de reproduzir o que de fato construiu o império do CUDA: uma maneira de desenvolvedores comuns obterem essa velocidade sem serem especialistas em um chip específico. E isso é algo enorme. Depois, há o lado do hardware, que já abordamos em outro vídeo. Mas, resumindo: a Huawei deu todo o apoio técnico durante o desenvolvimento, e as duas empresas trabalharam em um supernó composto por 128

07:53 chips Ascend 950, fazendo com que tanto a computação quanto a comunicação entre eles funcionassem. Isso aconteceu logo depois de a Huawei apresentar sua próxima geração de processadores de IA e sistemas de supernós e dizer que espera uma ampla adoção para treinamento de modelos nos próximos anos. E acho que isso está acontecendo. Chips, clusters e software, tudo chegando ao mesmo tempo. É assim que se parece uma iniciativa coordenada. Então, acho que ainda há um longo caminho pela frente

08:25 nisso. Agora, talvez vocês estejam se perguntando o que isso significa para o domínio da Nvidia. Não acho que ele vá ruir amanhã. E não vou fingir o contrário. Chegar a 99% do limite de um chip é impressionante. Mas isso só mostra que o software é bom. Não mostra o quanto esse limite é alto em comparação com o hardware mais recente da Nvidia. São duas perguntas diferentes, e esse lançamento responde à primeira, não à segunda. E um ecossistema é mais

08:56 do que uma única biblioteca. O CUDA tem anos de depuradores, criadores de perfis, documentação e milhões de linhas de código existente. Uma nova linguagem só importa se os desenvolvedores realmente a adotarem. É aí que virá o impulso. Mas, novamente, se vocês olharem para esse DeepGEMM, vejam como ele foi lançado. Acho que é um ótimo ponto de partida e vai até bem além disso. Licença MIT, open source, a mesma API da biblioteca existente, desenvolvido pela mesma equipe que criou os modelos,

09:27 e ninguém está pedindo que você confie em um comunicado à imprensa. Eles estão entregando o código e dizendo: execute o teste e confira por conta própria. É assim que um ecossistema realmente começa ou floresce. Não com uma declaração de que o CUDA acabou, mas com uma equipe provando discretamente que é possível seguir o outro caminho — e isso é o melhor de tudo. Então, confira. Me conte o que achou nos comentários. Recentemente, comecei esta newsletter semanal gratuita sobre IA em wahabmirza.substack.com. Se quiser ajudar o canal, torne-se membro. Obrigado.

Transcrição original

[00:01] AI social media is going crazy about this some new magical tool which is going to not only break Nvidia’s monopoly on hardware, but more importantly on CUDA software. The thing is that almost a year ago I made this video, Chinese chips are rising. It was about a programming language called Tile Lang and the idea that China’s AI chips might one day stop depending on Nvidia’s software. Not many people watched it as you can

[00:32] see. Today my timeline looks very different. Everyone is talking about it as you can see from this tweet and there are heaps of others. Deep Seek and Huawei have joined hands. And they are going after Nvidia on two fronts at once. The hardware and the software. So I want to go through what actually happened, what these tools are, and what they do and do not prove. Look at this tweet from an infrastructure engineer from Deep Seek.

[01:05] An engineer who I think works at the core of their infra. He has talked about Deep Jam. Again, we have covered this on the channel already months ago. Deep Jam Ascent is now open source. That is the big and actual news. And he says that they have hit 99.8% of the hardware limit on Jam and 98% on mega mixture of expert. That was the whole announcement. No

[01:36] stage, no keynote, just a link to the GitHub repo, which I will drop the link in video’s description too. But if you know what that sentence means. And it means a lot. It is a big deal. And the reason is a thing I think most people are ignoring at the the amongst all the hype. Why does Nvidia own AI at the moment? Everyone says the chips and the chips are great, but a chip is just a silicon

[02:08] until software tells it what to do. For almost more than two decades, that software has been CUDA. Look, the New York Times this week put the number of CUDA developers at an estimated 4 million worldwide. 4 million people who learned one way of working, built their tools around it, and would have to start over if they left. That is the real mode. You can build a faster chip, you cannot easily build 4 million people’s worth of habit.

[02:38] And this is exactly the problem China has. Export limits cut off the best Nvidia hardware, so Huawei built its own chips, the Ascend line. But having a chip is only half of it, and we have been covering Huawei’s chips for a long time. The thing is that a new software ecosystem needs a language that is universal, easy to program, and still reaches the hardware’s full performance. Read that again. You are reading a description of what CUDA became.

[03:10] Now, let me tell you what exactly this new Deep Seek stuff is in as simple words as possible. So, this is the first piece, Deep GEM Ascend. GEM means general metrics multiplication. It is the operation sitting at the heart of a neural network, multiplying giant grids of numbers again and again, billions of times. If that one operation is slow, your whole model is slow. Deep Seek already had a library for this on Nvidia’s GPUs called Deep GEM, which

[03:43] again we have covered on the channel. What they have done now is to port it to Huawei’s Ascend chip. And here is the the part. It keeps the same API, same package name, same way of calling it. A developer who already uses Deep GEM installs the Ascend version and carries on working the way they always did. The biggest thing keeping people on CUDA is the pain of relearning everything and this is built to remove that pain. Underneath, they wrote a thin layer over

[04:14] Ascend’s matrix multiply instructions. Anyone who has written low-level kernels knows the misery of memory layouts, alignment rules, and address calculations. That layer hides most of it, so the kernel stays short and readable. The library covers BF16, FP8, and even FP4 matrix math, plus the attention scoring and mega mixture of expert operations that Deep Seek models rely rely on and various others including Kimmy.

[04:46] And even um mini max and various others as they go about. Now the numbers, I want to be very careful here. Everything I’m about to say comes from Deep Seek’s own repo. I’m just quickly going to show you that repo. This is the repo. And if I go down, these are all the operations which I just mentioned in simple words. And then you can just go through it and check that out. But the numbers are really really crazy. So, I’ll just stop here to show you some

[05:18] of the stuff which which they have shared around the numbering. And these numbers cover various facets, but I’m just going to stick with some of the salient ones. On a large BF16 test, they have reported 431 teraflops against a hardware limit of 432. For FP8, 861 against 865. And you can see that for FP4, 1701 against 1730. When a kernel lands that close to the

[05:49] limit, the software is leaving almost nothing on the table. The chip is doing nearly everything it physically can. Mega mixture of expert is the one from that post, I think, which fuses the whole mixture of experts step into a single operation, and they have reported it passing 800 teraflops on the larger system. Now, let me show you the second part which they have released, and that is primarily this TileLang. That is the

[06:19] second piece. And this is the one, I think, matters most in the long run, even more than this DeepJam. It is an open-source language for writing AI kernels. You write short Python-style code describing how data moves in tiles and how the matrix math runs, and the compiler turns that into fast code for the chip. It is built on TVM, and it already targets Nvidia CUDA, AMD, and Apple Metal. Yes, all of them.

[06:50] Now, if you check out its readme, and they have a very good repo, which we already have covered. So, this basically is saying that it added an Ascend 950 backend with native code generation and automatic scheduling and synchronization. That is a long way of saying a developer no longer has to hand-tune every detail for this chip. Now, one of the kernels inside DeepJam Ascend, the one for Deep Seek’s

[07:20] hyperconnection module, is written in TileLang. The DeepJam Ascend shows the chip can go fast, and TileLang is the attempt at what actually built CUDA’s empire, a way for ordinary developers to get that speed without being expert in one specific chip. And that is a huge thing. Then there is a hardware side we already have covered in another video, but very quickly Huawei gave full technical backing during development and the two companies worked on a super node built from 128

[07:53] Ascend 950 chips turning both the compute and the communication between them. This basically comes right after Huawei unveiled its next generation of AI processors and super node systems and said it expects wide adoption for model training over the coming years and I think that is happening. Chips, clusters, and software all arriving in the same window. That is what a coordinated push looks like. So I think uh still long way to go for

[08:25] this. Now you might be asking what about Nvidia’s grip on this. I don’t think so that is going to break like tomorrow. And I’m not going to pretend otherwise. Reaching 99% of a chip limit is impressive. But it only tells you the software is good. It does not tell you how high that limit is compared to Nvidia’s newest hardware. Those are two separate questions and this release answers the first one, not the second. And an ecosystem is more

[08:56] than one library. CUDA has years of debuggers, profilers, documentation, and millions of lines of existing code. A new language only matters if developers actually adopt it. So that is where the push will come in. But again, if you look at this deep jump, look at how it was released. I think it’s a great starting point and even well, you know, way uh beyond that. MIT license, open source, same API as the existing library, built by the same team that built the models,

[09:27] and nobody asking you to trust a press release. They are handing you the code and saying run the test and check for yourself. That is how ecosystem really start or flourish. Not with a declaration that CUDA is over but with a team quietly proving the other road can be walked and that is the best thing. So check it out. Let me know your thoughts in the comments. Recently I have started this free weekly AI newsletter at wahabmirza.substack.com. If you want to help out the channel, please become a member. Thank you.