RTX 5090 vs. M5 Ultra: qual potência para IA vence?
Autoria: Hugging Face · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: RTX 5090 vs M5 Ultra: Which AI Powerhouse Wins? · Canal: Hugging Face · 03:08 · Assistir no YouTube
Tópicos: Avaliação e benchmarks de IA, Inferência e otimização de modelos, Infraestrutura e hardware de IA, Modelos locais e open source
O vídeo compara as especificações do M5 Ultra e da RTX 5090, incluindo largura de banda de memória, capacidade de memória, desempenho computacional e consumo de energia. Em um teste com o modelo Qwen 3.8 27B quantizado em 4 bits, a RTX 5090 apresenta resultados mais rápidos nas medidas de processamento do prompt e geração de tokens. O M5 Ultra, por sua vez, permite executar modelos maiores graças à sua capacidade de memória. A escolha depende do tamanho e do tipo de modelo que se pretende executar localmente.
Pontos-chave
Seção intitulada “Pontos-chave”- O M5 Ultra tem largura de banda de memória de 1,2 TB/s, enquanto a RTX 5090 alcança 1,8 TB/s.
- O M5 Ultra pode ser encomendado com 256 GB de memória, com uma opção de 512 GB anunciada como futura; a RTX 5090 tem 32 GB de VRAM.
- A estimativa de desempenho computacional é de aproximadamente 110 TFLOPS para o M5 Ultra e até 419 TFLOPS para a RTX 5090.
- O consumo sustentado de pico informado é de cerca de 214 W para o M5 Ultra e de 300 a 575 W para a RTX 5090.
- No teste citado, a RTX 5090 processa o prompt a cerca de 3.000 tokens/s, contra aproximadamente 1.700 tokens/s no M5 Ultra.
- Com MTP desativado, a geração fica em cerca de 75 tokens/s na RTX 5090 e 52 tokens/s no M5 Ultra; com MTP ativado, os valores são 136 e 100 tokens/s, respectivamente.
- Segundo o vídeo, a RTX 5090 pode oferecer ótimo desempenho quando o modelo e sua sobrecarga cabem em 32 GB.
- O M5 Ultra pode ser uma opção adequada para modelos maiores, não quantizados ou de mistura de especialistas.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:00 | Comparação das especificações | O vídeo apresenta a largura de banda de memória, a capacidade de memória e o desempenho computacional do M5 Ultra e da RTX 5090. |
| 01:03 | Consumo de energia e teste de desempenho | São comparados o consumo sustentado de pico dos dispositivos e os resultados iniciais de execução do modelo Qwen 3.8 27B. |
| 02:05 | Resultados e capacidade para modelos maiores | O vídeo apresenta os resultados com MTP ativado e explica a vantagem do M5 Ultra para executar modelos que exigem mais memória. |
| 02:36 | Como escolher para execução local | A conclusão relaciona a velocidade de inference à largura de banda e ao tamanho do modelo, indicando quando cada dispositivo pode ser uma boa escolha. |
Citações
Seção intitulada “Citações”Vamos comparar as especificações importantes do M5 Ultra com as da RTX 5090. — 00:00
O processamento do prompt fica em cerca de 3.000 tokens por segundo na 5090, enquanto o M5 Ultra processa cerca de 1.700. — 01:34
Estas são apenas estimativas atuais, baseadas nas mudanças rápidas nos diferentes tipos de engines que executam modelos de IA. — 02:05
Se o modelo e a sobrecarga necessária couberem em 32 GB, a 5090 oferece um ótimo desempenho. — 02:36
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- M5 Ultra (modelo): Chip da Apple comparado à RTX 5090 em especificações, consumo e execução local de modelos de IA.
- RTX 5090 (modelo): GPU da NVIDIA que, no teste apresentado, supera o M5 Ultra em várias medidas de velocidade.
- Mac Studio (ferramenta): Computador da Apple citado como o dispositivo que começou a ser enviado com o M5 Ultra.
- Qwen3.8 27B (modelo): Modelo usado na comparação de desempenho, com quantização de 4 bits e prompt de 6K.
- MTP (conceito): Configuração apresentada como ativada ou desativada nos resultados de geração de tokens.
- inference (conceito): Execução do modelo para produzir saídas, cuja velocidade é discutida em tokens por segundo.
- Mixture of Experts (conceito): Tipo de modelo mencionado como um caso em que a maior capacidade de memória do M5 Ultra pode ser útil.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:00 A Apple começou a enviar o Mac Studio com o M5 Ultra. Neste vídeo, vamos dar uma olhada nas especificações importantes do M5 Ultra, compará-las com as da RTX 5090 e, em seguida, analisar os números de desempenho que as pessoas estão obtendo com ambos, em uma comparação justa. Vamos dar uma olhada rápida nas especificações desses dispositivos. O M5 Ultra tem uma largura de banda de memória de 1,2 terabytes por segundo. A RTX 5090, 1,8 terabytes por segundo.
00:32 Atualmente, é possível encomendar o M5 Ultra com 256 GB de RAM, e a opção de 512 GB estará disponível em breve. A RTX 5090 tem 32 GB de VRAM. Em termos de TFLOPS, ou desempenho computacional, o M5 Ultra chega a aproximadamente 110 TFLOPS, enquanto a 5090 pode chegar a 419 TFLOPS. O consumo de energia também é substancialmente diferente entre esses dois dispositivos. O M5 Ultra
01:03 consome cerca de 214 watts sob carga máxima sustentada, enquanto a 5090 chega a consumir de 300 a 575 watts sob carga máxima sustentada. Agora, vamos ver a velocidade com que os dois dispositivos executam um modelo de IA. Vamos analisar os números do Qwen 3.8 27B, quantizado em 4 bits, com um prompt de 6K. A 5090 faz
01:34 o processamento do prompt a cerca de 3.000 tokens por segundo, enquanto o M5 Ultra processa a cerca de 1,7 mil tokens por segundo. O tempo até o primeiro token é de 2 segundos e 4 segundos, respectivamente. A geração de tokens com o MTP desativado na 5090 é de cerca de 75 tokens por segundo e, no M5 Ultra, de cerca de 52 tokens por segundo. Com o MTP ativado, a 5090 alcança impressionantes 136
02:05 tokens por segundo e o M5 Ultra, cerca de 100 tokens por segundo. Lembre-se de que estas são apenas estimativas atuais, baseadas nas mudanças rápidas que estão acontecendo nos diferentes tipos de engines capazes de executar modelos de IA. Como você já sabe, a RTX 5090 vem com 32 GB de RAM. Já o M5 Ultra pode ser encomendado atualmente com até 256 GB de RAM. Isso significa que você pode
02:36 executar modelos muito maiores no M5 Ultra. Lembre-se destas coisas se quiser executar modelos localmente. A velocidade de inference, ou o número de tokens por segundo, normalmente é a largura de banda dividida pelo tamanho do modelo. Se o modelo, junto com qualquer sobrecarga necessária, couber em 32 GB, a 5090 vai oferecer um ótimo desempenho. Se você tiver modelos maiores, modelos sem quantização ou estiver executando um modelo de mistura de experts, o M5 Ultra
03:08 pode ser uma ótima opção para isso. Deixe seus comentários abaixo e me diga que outros vídeos você gostaria de ver sobre a execução local de modelos de IA.
Transcrição original
[00:00] Apple just started shipping the Mac Studio with the M5 Ultra. In this video, we’re going to have a look at the important specs for the M5 Ultra, compare them to the RTX 5090, and then we’re going to look at performance numbers that people are getting for both of these in an apples-to-apples comparison. Let’s have a quick look at the specifications of these devices. The M5 Ultra has a memory bandwidth of 1.2 terabytes a second. The RTX 5090, 1.8 terabytes a second.
[00:32] The M5 Ultra you can currently order with 256 gigs of RAM, with the ability to order 512 gigs coming soon. The RTX 5090 has 32 gigs of VRAM. In terms of TFLOPS or compute performance, the M5 Ultra gets approximately 110 TFLOPS, whereas the 5090 can reach 419 TFLOPS. Power consumption is also substantially different between these two devices. The M5 Ultra
[01:03] consumes about 214 watts at sustained peak load, whereas the 5090 will reach anywhere from 300 to 575 watts of power draw during sustained peak load. Now, let’s have a look at how fast both of these devices will run an AI model. We’re going to be looking at numbers for Qwen 3.8 27B 4-bit quant 6K prompt. The 5090 does
[01:34] prompt processing at about 3,000 tokens a second, whereas the M5 Ultra processes at about 1.7K tokens a second. The time to first token is 2 seconds and 4 seconds, respectively. Token generation with MTP off on the 5090 is about 75 tokens a second, and on the M5 Ultra, about 52 tokens a second. With MTP on, the 5090 gets a blazing 136
[02:05] tokens per second and the M5 Ultra, about 100 tokens per second. Remember, these are just current estimates based on the fast-moving changes that are happening with the different types of engines that can run AI models. As you already know, the RTX 5090 comes with 32 GB of RAM. The M5 Ultra, however, can be ordered with up to 256 gigs of RAM current. That means you can
[02:36] run much larger models on the M5 Ultra. Remember these things if you want to run models locally. The inference speed or the tokens per second is typically the bandwidth divided by the model size. If the model plus any overhead that it needs can fit within 32 GB, then the 5090 will get you great performance. If you have a bigger models, unquantized models, or you’re running a mixture of experts model, the M5 Ultra
[03:08] can be a great choice for that. Leave your comments below and let me know what other videos you’d like to see on running AI models locally.