Domando a explosão cambriana de hardware de IA — Abdul Dakkak, Modular

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Taming the AI Hardware Cambrian Explosion — Abdul Dakkak, Modular · Canal: AI Engineer · 17:05 · Assistir no YouTube

Tópicos: Inferência e otimização de modelos, Infraestrutura e hardware de IA, Modelos locais e open source

Resumo

Abdul Dakkak apresenta a Modular e sua proposta de unificar o desenvolvimento e a execução de IA em uma pilha de software portátil para diferentes hardwares. A pilha combina Mojo, uma linguagem de programação de sistemas, MAX, um framework e mecanismo de inference, e a Modular Cloud, voltada à implantação distribuída. Ele destaca suporte a múltiplas modalidades, execução heterogênea e resultados de desempenho que, segundo a apresentação, superam outras soluções em benchmarks. A palestra também aborda o código open source da Modular e convida o público a testar a plataforma.

Pontos-chave

A variedade crescente de GPUs, CPUs e aceleradores torna mais complexo programar e implantar modelos em diferentes plataformas.
A Modular propõe uma pilha unificada que prioriza portabilidade, desempenho e programabilidade.
Mojo é apresentada como uma linguagem de sistemas com estilo semelhante ao Python, voltada a CPUs, GPUs e aceleradores.
MAX reúne ferramentas de desenvolvimento e inference para modelos de texto, imagem, vídeo e áudio, com suporte a execução em múltiplas GPUs e nós.
A Modular Cloud oferece implantação de endpoints e opções para executar a plataforma na própria infraestrutura de nuvem.
A apresentação afirma que os benchmarks da Modular mostram ganhos de desempenho em diversos modelos e hardwares.
A Modular diz ter disponibilizado open source centenas de milhares de linhas de código de kernels e componentes de seus modelos e serviços.
O palestrante convida o público a instalar o pacote modular, validar os resultados e participar da comunidade.

Capítulos

Início	Capítulo	Resumo
00:01	A explosão de hardware e o desafio da programação	Dakkak apresenta a variedade crescente de hardware de IA e a complexidade das pilhas de software existentes.
03:16	A pilha da Modular e a linguagem Mojo	O palestrante descreve a plataforma unificada da Modular e apresenta Mojo como linguagem portátil para programação de sistemas.
06:01	MAX para desenvolvimento e inference	A apresentação explica como o MAX busca simplificar o desenvolvimento, a otimização e a execução de modelos.
09:20	Modular Cloud e benefícios da plataforma	Dakkak apresenta as opções de implantação na nuvem e na infraestrutura própria, além dos benefícios de flexibilidade e portabilidade.
11:29	Benchmarks e desempenho em diferentes hardwares	O palestrante compartilha comparações de desempenho para modelos de texto e geração de imagem em diferentes plataformas.
14:05	Demonstrações e como participar	A palestra mostra aplicações de baixa latência e termina com convites para testar o software, acessar o código open source e participar da comunidade.

Citações

Vamos reestruturar a pilha desde os fundamentos e construir uma camada unificadora para todo o hardware. — 01:41

Mojo é uma linguagem de programação de sistemas com estilo semelhante ao Python. — 03:52

A inference de IA de hoje é distribuída. Ela é executada em muitas máquinas diferentes. — 09:20

Você pode instalar o pacote modular agora mesmo e testar tudo isso. — 16:18

Conceitos e entidades

Abdul Dakkak (pessoa): Palestrante que apresenta a Modular e sua pilha de software para IA.
Modular (empresa): Empresa que desenvolve uma pilha de software para programação e execução de IA em diferentes hardwares.
Mojo (ferramenta): Linguagem de programação de sistemas, descrita na palestra como semelhante ao Python e voltada a CPUs, GPUs e aceleradores.
MAX (ferramenta): Framework e mecanismo de inference da Modular para desenvolver, otimizar e executar modelos em diferentes dispositivos.
Modular Cloud (ferramenta): Plataforma de implantação distribuída que permite configurar endpoints e executar a pilha Modular em infraestrutura própria.
PyTorch (ferramenta): Framework de machine learning que o palestrante compara com a abordagem do MAX para inference.
vLLM (ferramenta): Sistema citado como uma das opções usadas atualmente para implantar e servir modelos.
SGLang (ferramenta): Sistema mencionado como uma opção de serving e como referência em comparações de desempenho.
llama.cpp (repo): Projeto citado entre as ferramentas usadas para implantar modelos.
Artificial Analysis (empresa): Organização que, segundo o palestrante, verificou de forma independente alguns resultados de desempenho apresentados.

Tradução completa (pt-BR)

00:01 [música] Então, vamos começar. Oi, meu nome é Abdul. Sou da Modular. Hoje vou falar sobre o que é a Modular e o valor que ela oferece a você. Como vocês provavelmente sabem, hoje há uma enorme escassez de capacidade computacional, e não há alívio à vista. Muitas dessas

00:34 coisas estão reservadas para os próximos anos. Mas, como resultado, também há uma espécie de explosão de hardware. Nós a chamamos de explosão cambriana. A Nvidia oferece algumas gerações de GPUs, e temos Intel, ARM, Apple; há de tudo. Cada um deles atende a alguns nichos. Mas o problema é que precisamos perguntar: como programar todos esses sistemas?

01:06 Agora, se olharmos para o software atual, veremos que ele também é meio caótico, porque muitas dessas escolhas de hardware acabam repercutindo desde as camadas mais baixas até as camadas superiores da pilha. Este diagrama mostra como o vLLM dá suporte tanto à Nvidia quanto à AMD. Se adicionarmos hardware extra, o diagrama fica ainda mais complicado. Hoje, as pessoas fazem deploy não só usando vLLM, mas também SGLang, TRT-LLM

01:41 e llama.cpp, entre outros. Então, na Modular, pensamos: “Bem, isso é uma grande confusão. Vamos reestruturar a pilha desde o início e criar uma camada unificadora que unifique todo o hardware, para que tudo funcione na nossa pilha.” Para isso, é preciso voltar aos primeiros princípios e criar uma pilha de software completa, tendo em mente portabilidade, desempenho e programabilidade. Então, no

02:13 nível mais baixo, desenvolvemos Mojo, uma linguagem de programação heterogênea voltada tanto para IA quanto para programação de propósito geral. Seu estilo lembra o Python. Portanto, quem já conhece Python hoje já conhece praticamente 90% de Mojo. Criamos essa linguagem, que funciona tanto em CPUs e GPUs quanto em todos os nossos aceleradores. Acima dela, usamos Mojo para criar o Max, nosso mecanismo de inference. Ele oferece

02:46 inference de IA para várias modalidades, como imagem, vídeo, fala e texto. Desenvolvemos todos os nossos kernels internamente, construídos com Mojo. Por fim, a inference de IA atual é distribuída. Então, também é necessária uma solução de nuvem. É preciso escolher em qual hardware fazer deploy do modelo, como encaminhar diferentes solicitações dos usuários para diferentes máquinas, como fazer o offloading do KV cache e como realizar inference distribuída e inference desagregada

03:16 para servir o modelo na velocidade e pelo custo que as pessoas esperam. Juntando tudo isso, criamos uma plataforma modular totalmente programável. Ela abstrai o hardware. Ela oferece desempenho de ponta. E pode ser implantada tanto localmente quanto na nossa nuvem. Então, se você tiver uma configuração de nuvem, poderá baixar a nuvem da Modular e implantá-la lá. Deixe-me, então, analisar cada parte da pilha, uma de

03:52 cada vez. A primeira é Mojo. Como mencionei, Mojo é uma linguagem de programação de sistemas com estilo Python. Ela não é muito diferente de C++, Rust ou CUDA C++. O que ela permite é programar diferentes aceleradores. É extremamente rápida. Mais uma vez, ela realmente compete com CUDA em termos de desempenho. Você pode considerá-la a melhor maneira de programar CPUs e GPUs em uma linguagem de programação parecida com Python.

04:24 Quanto à forma como pensamos sobre Mojo, podemos imaginar três quadrantes diferentes: facilidade de uso, desempenho e portabilidade. ROCm, oneDNN e CUDA oferecem desempenho enorme, mas sacrificam tanto a facilidade de uso quanto a programabilidade. Hoje, muitas pessoas usam agents para programar esses sistemas. O OpenCL era popular alguns anos atrás. Ele oferece ótima portabilidade, mas sacrifica desempenho e facilidade de uso. O Triton tem

04:58 um bom equilíbrio: oferece 70% do desempenho, além de portabilidade e facilidade de uso. Mojo está tentando ocupar esse nicho equilibrado, oferecendo o melhor dos dois mundos. Ela fornece a abstração necessária para escrever kernels portáveis e fáceis de usar, além de permitir acesso de baixo nível para obter o máximo desempenho. Tornamos open source praticamente todos os nossos kernels, então você pode testar tudo isso. Pode

05:29 comparar o desempenho na sua própria máquina. Temos kernels de ponta para Nvidia, AMD e outros hardwares. Para explicar o que significa “de ponta”: nossas multiplicações de matrizes são mais rápidas que as implementações do cuBLAS, do hipBLAS e tudo mais que existe por aí. E não é só 1%; em alguns casos, são 2%. Temos o kernel de attention mais rápido que existe, mais rápido que o FlashAttention, além de coisas como AITemplate. Uma coisa que anunciamos há

06:01 mais ou menos um mês foi o Mojo 1.0, a estabilização das nossas APIs. E vamos lançar o Mojo 1.0 nos próximos meses. Também vamos tornar Mojo open source nos próximos meses. Sobre Mojo está o Max. O Max tenta resolver algumas das suposições feitas na época do PyTorch. O PyTorch tem cerca de 10 anos. Ele não foi realmente projetado para a inference de IA generativa de

06:34 hoje. Como resultado, ferramentas como vLLM e SGLang preencheram essa lacuna, oferecendo coisas como KV cache, atenção paginada e outros recursos. Mas tudo isso acabou complicando o ecossistema inteiro do PyTorch. Muitas pessoas não usam o PyTorch tal como ele é; recorrem a essas camadas adicionais. Então, pensamos em uma nova abordagem, que chamamos de framework Max. Mais uma vez, ele foi construído desde o início com as

07:05 melhores tecnologias, incluindo compiladores de grafos de ponta e execução eager mode. É portável entre dispositivos. Ele entende seus programas Mojo para fazer fusões inovadoras e oferece o máximo de desempenho e capacidade de deploy que, de outra forma, não seria possível no PyTorch convencional. Em comparação com outras pilhas, esta é uma única pilha que permite servir e desenvolver o modelo, além de otimizar tudo em um sistema coeso.

07:40 No Max, oferecemos suporte a milhares e milhares de modelos — na verdade, milhares de arquiteturas —, de Gemma 4 a M, MiniMax 3 e GLM. Então, praticamente qualquer modelo que você imaginar tem suporte no Max, e ele oferece a mesma interface que você esperaria encontrar no padrão atual. Também oferecemos endpoints da OpenAI que você pode usar na pilha.

08:14 Se você conhece a programação em PyTorch, a figura à direita — ou à esquerda — não será um desvio enorme do seu modelo mental. Você pode criar um modelo como espera. Pode importar módulos. A linguagem de programação para desenvolver modelos é Python, então é familiar para as pessoas, e você pode compor as coisas à medida que as constrói. Também oferecemos suporte à execução eager para facilitar a depuração.

08:49 Outra coisa que é preciso entender é que os LLMs modernos são executados em várias GPUs e, em muitos casos, em vários nós. As APIs do Max também oferecem uma maneira de programar sistemas com várias GPUs, assim como sistemas com vários nós, diretamente pela API, para que o modelo tenha suporte nativo em diferentes GPUs e nós. E isso também pode ser

09:20 heterogêneo. Nada impede, por exemplo, que você execute o prefill no hardware X e o decode no hardware Y. Por fim, sobre tudo isso está a nuvem da Modular. Como mencionei, a inference de IA atual é distribuída. Ela é executada em muitas máquinas diferentes. É heterogênea. Por isso, oferecemos a nuvem da Modular, que é nativa em desempenho. Nós a consideramos uma caixa de vidro, porque você pode ajustar todas as variáveis

09:55 que estão disponíveis para você tanto no Max e no Mojo quanto em tudo que há entre eles, dentro dos seus endpoints. Então, ele oferece implantação em endpoints, além da possibilidade de trazer sua própria implantação na nuvem. Também temos um laboratório na Modular Cloud que permite experimentar todos esses parâmetros diferentes e escolher o melhor ponto na fronteira de Pareto para aquele modelo ou com base na sua carga de trabalho. Então, em relação à interface, se

10:25 você conhece algum provedor de nuvem, ela deve ser bem familiar. Basta acessar o site, clicar no modelo que você quer executar, obter uma chave de API e inseri-la na sua requisição HTTP para executá-lo. Você também pode ter endpoints dedicados, e podemos disponibilizar seu próprio modelo personalizado. Em muitos casos, as pessoas têm modelos com fine-tuning ou modelos com seus próprios decodificadores especulativos personalizados. Podemos fazer tudo

10:56 isso por você também. Agora, por que você deveria se importar com tudo isso? É muita tecnologia. Por que as pessoas se importam? Bem, porque você pode realmente realizar mais coisas por meio do sistema. Você pode reduzir custos. Tem mais flexibilidade, porque pode usar hardwares diferentes. Não fica preso a um único fornecedor de hardware. Você tem portabilidade. Pode usar vários modelos diferentes, etc.

11:29 Então, como é o desempenho? Fizemos benchmarks de muitos desses casos, em comparação com o que há de mais avançado: a melhor combinação de VLM ou SGLang em vários casos. Esses benchmarks também foram verificados de forma independente. No caso do Kimmy K2.5, somos 5,5 vezes mais rápidos em TTFT em comparação com o VLM. Também conseguimos melhorias de 1,5 vez na taxa de transferência. Portanto, os tokens por minuto

12:00 por GPU são 1,5 vez mais rápidos na B200 do que no VLM. Quanto ao Flux 2, recomendo que as pessoas visitem o estande atrás desta cortina: há uma ótima demonstração do Flux 2. Somos cerca de 7 vezes mais rápidos do que o Ters compilado com Diffusers. Mais uma vez, o Max oferece suporte a diferentes modalidades dentro da mesma estrutura. Assim, você não precisa usar uma

12:31 variante omni de um software ou algo do tipo. Oferecemos suporte à geração de vídeo, áudio, imagens e texto. Também oferecemos suporte a coisas na AMD, em que você pode obter uma vantagem no TCO: somos 4 vezes mais rápidos do que o equivalente nos sistemas MI355. Na verdade, algumas dessas comparações não são justas, porque algumas pessoas podem dizer: “Ah, 7 vezes é muito

13:03 mais do que 4 vezes”, mas não dá para fazer essa comparação tão facilmente. É preciso levar em conta o custo por GPU, e a AMD costuma ser 30% mais barata do que o equivalente da Nvidia. Temos trabalhado com a Artificial Analysis, que também verificou nossos resultados de forma independente. Estes são os nossos resultados de hoje. Somos

13:35 cerca de 3 vezes mais rápidos do que o próximo concorrente no modelo Flux 2 Dev também. E não estamos usando truques de destilação, quantização ou algo do tipo. É apenas velocidade bruta, porque podemos aproveitar o hardware desde o início e garantir que estamos obtendo o máximo benefício de desempenho do modelo. Você pode acessar a Artificial Analysis hoje e conferir esses resultados.

14:05 Agora, o que isso significa para as pessoas? Significa que você pode viabilizar aplicações que, de outra forma, seriam meio impossíveis por causa da inferência lenta. Esta é, na verdade, uma demonstração ao vivo. Alguém está apenas colando os prompts, mas a geração é precisa. Assim, você pode gerar coisas em menos de um segundo; em muitos casos, essas imagens são geradas em 0,3 segundo. Mais uma vez, você pode ir ao estande. Há uma ótima demonstração em que você fornece um prompt e

14:40 o sistema lê o feed de vídeo e também o renderiza. Outro dado é o Gemma 4. O Gemma 4 é um modelo recente, apresentado há cerca de um mês, um mês e meio. Mais uma vez, somos bem mais rápidos do que qualquer concorrente por aí. Em muitos casos, alguns desses concorrentes são empresas de hardware. A Samanova

15:11 é uma aceleradora de hardware. Somos, digamos, 6 vezes mais rápidos do que ela. E, de modo geral, somos muito, muito mais rápidos do que os outros. A propósito, em todos esses casos, estamos apenas começando. Continuamos implementando mais otimizações com o passar do tempo. Nunca paramos de aprimorar essas coisas. Há várias maneiras de participar. Você pode entrar na nossa comunidade open source. Muito do nosso código é open source. Temos mais de 700 mil linhas de código de kernel que disponibilizamos como open source.

15:45 Também disponibilizamos como open source todas as definições dos nossos modelos e todo o nosso Max Serve. Temos AI skills. Então, se você não conhece Mojo ou Max, pode usar as AI skills para portar de linguagens que conhece para Mojo ou Max. Você também pode se juntar a nós. Estamos contratando. Há folhetos no estande com informações sobre várias vagas. Como provavelmente sabem, contratamos desde engenheiros de kernel de baixo nível até pessoas que trabalham com Kubernetes, e tudo que há entre esses extremos.

16:18 Você pode experimentar tudo isso. Isto não é uma demonstração falsa nem apenas slides. Você pode instalar o Modular com pip agora mesmo, se quiser, e testar tudo isso. Convido todos a validar esses resultados. Então, é isso. Estou à disposição para responder às perguntas de quem tiver alguma. Também estarei no estande pelas próximas horas.

17:05 [música]

Transcrição original

[00:01] [music] Uh so let’s get started. Uh hi, my name is Abdul. Uh uh I’m from modular. Uh today I’m going to be talking about what modular is and what value it brings to you. So as you probably know today there is a huge crunch uh for compute and there’s like no alleviation in sight. A lot of

[00:34] these things are booked for the next few years. But there’s also a kind of as a result you have an explosion of hardware. We call it like a Cambrian explosion. You have Nvidia providing you know a few generations of GPUs, the Intels, the ARMs, the Apples, everything uh is is present. They all have some niches uh that they cover. But the problem is that you have to ask is how do you program all of these uh systems.

[01:06] Now if you look at the current software as it is today um it’s kind of a mess as well and that’s because a lot of these hardware choices bubble up from the you know from down under uh into upwards into the stack. So this is a diagram showing how uh VLM supports both Nvidia and AMD. If you add extra hardware the the the diagram becomes even more difficult. Now today folks actually uh deploy not only using VLM but also SG lang TRTLM

[01:41] uh Llama CPP etc. So at Modra we thought well this is kind of a huge mess. Let’s rearchitect the uh the stack from the ground up and let’s build a unifying layer uh that unifies all the hardware so everything runs on our stack. To realize this, you have to actually go back to first principles and build a complete software stack with portability, performance, and programmability in mind. So at the

[02:13] bottommost level, we’ve developed Mojo, a heterogeneous programming language that’s targeted towards AI as well as general purpose programming uh as well. It’s kind of pythonic in style. So folks that actually know Python today pretty much know 90% of Mojo. Uh so we’ve built that language and that targets both CPUs, GPUs as well as all our accelerators. On top of that, we leverage Mojo to build max our inference engine. Uh so that provides you with uh

[02:46] AI inference for both for a bunch of different modalities like image, video, speech as well as text. We’ve built all our kernels underneath the hood that are built on top of Mojo. Finally, today’s AI inference is distributed. So you actually need a cloud solution as well. uh you need to pick which hardware to deploy your model on, how to route uh different user requests to different uh machines, how to do KV cache offloading and and and

[03:16] distributed inference and disagreed inference uh to be able to serve the model at the speed and the cost that that folks expect. So putting it all together, we built a modular platform that’s fully programmable. It’s hardware abstracted. It’s it’s soda perf. Uh and then it actually can be deployed both on prem as well as on our cloud as well. So it can be if you have a cloud uh uh setup, you can actually download the modular cloud and and deployed there. So let me kind of dig into each one at a

[03:52] time, each part of the stack. So the first is Mojo. Uh so Mojo as I mentioned is a Pythonic system programming language. It’s not unlike C++, Rust or CUDA C++. The thing is what it enables is uh programmability across different accelerators. It’s blazing fast. It’s again it actually competes with CUDA in terms of performance. uh and you can think of it as the best way to program CPUs and GPUs within a Python-like programming

[04:24] language. In terms of how we think about Mojo, uh you know, you can think about there’s three different quadrants, usability, performance, and portability. Rockcom and KOD and CUDA gives you massive performance, but they sacrifice on both usability and programmability. A lot of folks use agents to actually program these system nowadays. Open CL back in you know a few years ago was popular. It gives you great portability but is sacrificed on performance and usability. Triton is has

[04:58] a good sweet spot that gives you 70% of the Perf uh but it gives you portability and usability and Mojo is is trying to kind of fill the niche of the sweet spot where it’s the best of both worlds. It gives you the abstraction to allow you to write portable kernels and and uh and usable kernels while giving you also the low-level access uh to get the maximum performance. We’ve actually open sourced uh practically all of our kernels so you can actually test this stuff. You can

[05:29] benchmark it on your own machine. Uh we have state-of-the-art kernels on Nvidia, AMD and other hardware. So to tell you what state-of-the-art is, it means that our matrix multiplication is faster than the coupe losses, the hip losses, everything out there. And it’s not by 1% in some cases by 2%. We have the fastest attention uh kernel out there, faster than flash attention for uh as well as like the AI it and things like that. Uh one thing that we’ve announced uh a

[06:01] month ago or so is Mojo 1.0, know the stabilization of our APIs. Uh, and we’re going to be releasing Mojo 1.0 in the next few months. And we’re also open sourcing Mojo uh, in the next few months as well. Sitting on top of Mojo is Max. So, Max is trying to kind of solve a few of the uh, assumptions that were made uh, back in the day for PyTorch. PyTorch is about 10 years old. It was not really designed for the genai inference of

[06:34] today. As a result, you have like VLM and SG lang that stepped into the void to give you things like KV cache, page detention and and things like that. And but all of that kind of kind of complicated the entire PyTorch ecosystem. A lot of folks don’t really uh use PyTorch as is. They’re resorting to these layers on top. So think of a new approach and we call that the max framework. So again it’s built from the ground up uh with the

[07:05] best technologies with the best state-of-the-art graph compilers uh the eager mode execution. It’s portable across devices. It understands your mojo programs to do novel fusion uh and it gives you the maximum performance and deployability that you’re otherwise not able to do in in in regular PyTorch. So compared to other stacks uh this is a single stack that allows you to serve develop the model as well as optimize everything in one cohesive uh system.

[07:40] it within Max we support thousands and thousands of models in fact thousands of architectures uh everything from Gemma 4 to M uh Miniax 3 to GLM uh so any model that you think about is is practically supported in uh in in uh in Max and it has the same interface that you’d expect uh from what is standard today. So we also provide a open AI endpoints that you can use uh within the stack.

[08:14] If you’re familiar with like PyTorch programming uh the figure on the right would or the left will not be like massive departure of your mental model. Uh you can build a model as you expect. You know you can import modules. The uh programming language for developing models is Python. So as familiar to folks uh and you can compose uh things as as you as you as you um as you build them. We also support like the eager execution to enable debugging as well.

[08:49] Now the other thing that one has to realize is modern LLMs uh are run on across different GPUs and in many cases multiple nodes. So also max the max APIs provide you with a way to uh program multiGPU system AC as well as multi-node systems from within the API so that the model is natively supported across uh different GPUs and different nodes as well. And this can also be

[09:20] heterogeneous. So there’s nothing to stop you from saying the prefill is on hardware X and the decode is on hardware Y. Finally, layered on top of all of this is the modular cloud. So, as I mentioned, uh today’s AI inference is distributed. It runs on many many different machines. Uh it’s heterogeneous. So we provide the module cloud which is a performance native you know we think of it as a glass box because you can actually tinker with all the variables

[09:55] uh that are available for you in both max mojo and everything in between uh within your endpoints. So it provides provides endpoint deployment as well as bring your own cloud deployments as well. We also have a module cloud lab that allows you to experiment with all these different parameters and pick the best point in the perto frontier that you have for that model or based on your workload as well. Uh so in terms of like the UI uh if

[10:25] you’re familiar with like any uh cloud provider I mean it’s it should be pretty familiar. You just go to the website, you click on which model to you want to run, you get an AP an API key and then you plug that in uh to your HTTP request and uh you can run it. You can have dedicated endpoints as well as we can serve your own custom model. Uh you know in many cases folks have fine-tuned models or models with their own custom speculative decoders. Uh we could do all

[10:56] of that uh for you as well. Now, why do you care about all of this, right? It’s a lot of tech. Uh why do folks care? Well, it’s because you can actually uh accomplish more things uh through the system, right? So, you can actually decrease cost. You can get greater flexibility because you can actually use different hardware. You’re not beholden to one hardware provider. Uh you get portability. You can use multiple different models. Uh etc.

[11:29] So how does Perf look like? Well, we benchmarked a lot of these uh and this is like against uh state-of-the-art, you know, the best combination of VLM or SG lang [snorts] in a bunch of cases. These are these benchmarks are independently verified as well. So in terms of Kimmy Kimmy K2.5, we’re 5.5 faster on TTFT uh compared to VLM. We can also get 1.5x throughput improvements. So the token per minutes

[12:00] on per GPU is 1.5x faster uh on B200 than it is on VLM. In terms of Flux 2, and I encourage folks to actually visit the booth behind this curtain, uh there’s a nice demo of Flux 2. uh we’re about 7x faster uh compared to ters that compile with diffusers. So again, Max supports different modalities within the same framework. So you don’t have to use an

[12:31] omni variant of a of a piece of software or anything like that. We support both video generation, audio generation, image generation as well as text generation. Uh we also support you know things on AMD where you can get a TCO benefit as well where we’re 4x faster than the equivalent uh on um on on the MI355 systems. Actually you know some of this is not a fair comparison because you know some folks might say oh 7x is much

[13:03] larger than 4x but this is you cannot do that comparison very easily. uh that you can you have to factor in the cost uh per uh GPU and AMD is usually 30% cheaper than uh the Nvidia equivalent. Uh artificial analysis actually we’ve been partnering with them uh and we’ve been and they’ve independently been verifying our results. Uh this is our results like as of uh today. Uh we’re

[13:35] about 3x faster than the next competitor uh on the flux 2 dev model as well. And this is not playing tricks of distillation and you know quantization or anything like that. This is just raw speed because we can leverage the hardware from the ground up and make sure that uh we’re getting the max uh the max PF benefit from the model and you can actually go to artificial analysis today and see and see these results.

[14:05] Now what does that mean to folks again? It means you can open up applications that are otherwise kind of not possible because of slow inference. So this is actually uh a kind of a live demo. It’s just somebody’s pasting in the prompts. Uh but the generation is is accurate. So you can generate things in subsec generate images in subsecond uh per in many cases these are.3 seconds. Again you can go to the booth. There’s a nice demo where uh you can give a prompt and

[14:40] then it reads the video feed and then renders it as well. Uh the other one data point is Gemma 4. So Gemma 4 was a a recent model that was just introduced about a month ago, a month and a half ago. Uh again we’re quite faster than other any other competition out there. Uh so uh you know many cases actually some of these are uh hardware companies. you know, Samanova

[15:11] is a hardware accelerator. Uh we’re, you know, let’s say 6x faster than that. And in general, we’re much much faster than others. And by the way, we’re for all these cases, we’re just starting. There’s more optimizations that we’re landing uh as as as time goes on. So, we’re never never stopping to improving these things. So, we have a bunch of uh places where you can get involved. You can join our open source community. So, a lot of our code is open source. We have over 700,000 lines of kernel code that we’ve

[15:45] open sourced. We’ve over open open sourced all of our model definitions, all of our max serve. Um, we have AI skills. So, if you’re not familiar with Mojo or Max, you can actually use the AI skills to port uh from languages that you’re familiar with into Mojo or Max. You can also join us. We’re hiring. So, there’s pamphlets on the booth where we’re hiring for a variety of different positions. So, as I you probably know, we we hire from low-level kernel

[16:18] engineers to high level folks that work on Kubernetes and everything in between. You can actually try all of this. So, this is not uh demoare or slideware. You can pip install modular right now if you want to and try all of this stuff. And I welcome everybody to validate these results. So, with that, I kind of that’s it. And uh but I’m open to questions if folks have it. And I’ll also be on the booth uh for the next few hours as well.

[17:05] [music]