MAI-Base-2: o modelo de 2,8 trilhões da Microsoft é um avanço revolucionário

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: MAI-Base-2: Microsoft’s 2.8T Model is a BREAKTHROUGH · Canal: Prompt Engineer 48 · 05:14 · Assistir no YouTube

Tópicos: Infraestrutura e hardware de IA, Modelos de IA, Modelos multimodais

Resumo

A Microsoft apresenta o MAI-Base-2, um modelo base Mixture of Experts com 2,8 trilhões de parâmetros totais, treinado em 16 mil GPUs por 38 dias. Segundo a empresa, ele superou os modelos open weight avaliados em testes de código, perguntas e respostas, matemática e STEM, além de exigir menos FLOPs que um concorrente para alcançar qualidade comparável. O vídeo detalha métodos de previsão de escala, melhorias na infraestrutura de treinamento e uma ampliação dos dados, incluindo visão nativa. Os pesos não estão disponíveis para download; a Microsoft planeja licenciá-los a parceiros confiáveis pelo Foundry.

Pontos-chave

O MAI-Base-2 tem 2,8 trilhões de parâmetros totais, dos quais 80 bilhões são ativos.
O treinamento durou 38 dias em 16 mil GPUs GB200 e usou uma mistura de 50 trilhões de tokens.
A Microsoft afirma que o modelo obteve os menores valores de bits por byte nos conjuntos de código, perguntas e respostas, matemática e STEM apresentados.
A avaliação de código usa uma base privada da Microsoft, indisponível para treinamento por modelos externos.
A técnica chamada source scaling melhorou a previsão do desempenho em escala: no experimento do narrador, o erro caiu de 21% para menos de 0,5%.
O treinamento combinou learning rate e weight decay em varreduras, e o produto entre ambos segue uma relação inversa ao número de etapas.
Um sistema multi-round dropless Mixture of Experts elevou a utilização das camadas de especialistas de 24% para 35%.
O modelo incorporou 4,5 trilhões de tokens únicos de visão, equivalentes a 18% da mistura de dados.
Os pesos não podem ser baixados; a Microsoft planeja licenciá-los a parceiros confiáveis por meio do Foundry.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do MAI-Base-2 e resultados	O vídeo apresenta a escala do treinamento, a arquitetura do modelo e as comparações de desempenho divulgadas pela Microsoft.
01:36	Previsão de escala e source scaling	O narrador explica os experimentos menores usados para prever o modelo maior e compara previsões com e sem source scaling.
03:11	Hiperparâmetros e infraestrutura de treinamento	A equipe ajustou learning rate e weight decay em conjunto e melhorou a utilização dos especialistas e o desempenho das etapas de treinamento.
04:12	Dados multimodais e acesso aos pesos	O vídeo aborda o corpus de treinamento com visão nativa, as condições de acesso aos pesos e os princípios de desenvolvimento citados pela Microsoft.

Citações

A Microsoft diz ter um modelo base que supera todos os modelos open weight que avaliou. — 00:00

A nova previsão foi 1,74, o resultado real foi 1,73, com erro inferior a meio por cento. — 02:39

A taxa de aprendizado multiplicada pelo decaimento de pesos escala como um sobre o número de etapas. — 03:11

A Microsoft planeja licenciar os pesos a parceiros confiáveis pelo Foundry. — 04:43

Essa é a verdadeira lição. — 05:14

Conceitos e entidades

MAI-Base-2 (modelo): Modelo base da Microsoft com 2,8 trilhões de parâmetros totais e 80 bilhões ativos, treinado em uma grande infraestrutura de GPUs.
Microsoft (empresa): Empresa que desenvolveu o MAI-Base-2 e apresentou os resultados e métodos de treinamento discutidos no vídeo.
Mixture of Experts (conceito): Arquitetura que distribui o processamento entre especialistas, dos quais apenas parte é ativada para cada entrada.
source scaling (conceito): Método descrito no vídeo que repete conjuntos de dados reduzidos nos experimentos menores para melhorar previsões de desempenho em escala.
DeepSeek V4 ProBase (modelo): Modelo usado como comparação no gráfico de bits por byte e na alegação de eficiência em FLOPs.
Qwen (modelo): Modelo listado entre as referências comparadas nos resultados apresentados.
MuON (conceito): Método de otimização adotado no treinamento, que, após otimizações, representou 2,1% de cada etapa.
Foundry (ferramenta): Plataforma pela qual a Microsoft planeja licenciar os pesos do modelo a parceiros confiáveis.
GB200 (ferramenta): GPU usada no treinamento do MAI-Base-2.
AdamW (conceito): Otimizador do qual a equipe migrou para MuON durante o desenvolvimento do modelo.

Tradução completa (pt-BR)

00:00 16.000 das GPUs mais poderosas do planeta, 38 dias, uma única rodada de treinamento. E, ao final, a Microsoft diz ter um modelo-base que supera todos os modelos de pesos abertos que testou. Sem destilação de outros modelos, sem outputs emprestados; todos os tokens de treinamento foram processados internamente. Este é o MAI base 2, a rodada de pré-treinamento de fronteira da Microsoft, e a receita por trás dela. Um breve contexto. Em junho, a Microsoft lançou o MAI thinking one, construído sobre o MAI base one, um modelo forte, mas

00:33 pequeno perto dos modelos de fronteira. Então, o plano era simples: aumentar a escala. O MAI base 2 é um modelo de mistura de especialistas, com 2,8 trilhões de parâmetros no total e 80 bilhões ativos. Ele foi treinado com uma mistura de 50 trilhões de tokens em 16.000 GB200s ao longo de agosto e setembro. A utilização média de FLOPs do modelo foi de 21%, e o bomput — a parcela do tempo em que a rodada realmente avançava — foi de 89%. Agora, o gráfico principal. Estas são as medidas em bits por byte em código, perguntas e respostas, matemática,

01:04 e STEM em dados reservados. Quanto menor, melhor. Em todos os painéis, a barra laranja do MAI base 2 fica mais baixa que DeepSeek V4 ProBase, Chinchilla, Quen e Mimo. E o teste de código é inteligente. Ele usa a base de código privada da própria Microsoft, algo com que nenhum modelo externo poderia ter sido treinado. Uma ressalva importante, que a própria Microsoft faz: a maioria dos concorrentes aqui são checkpoints pós-treinamento, e o pós-treinamento pode alterar essas pontuações. Mas aqui está o número que importa: de quatro a 12 vezes mais eficiente em FLOPs que DeepSeek V4 ProBase. Ou seja, para igualar a qualidade do DeepSeek,

01:36 a receita da Microsoft precisa de apenas uma fração do poder computacional, e eles usam essa economia para criar um modelo maior. E, em comparação com o próprio MAI base one, o ganho é de seis a quase 13 vezes em cerca de quatro meses. Então, como fizeram isso? Três coisas: ciência de escala, codesign de modelo e infraestrutura, e escalonamento de dados. Primeiro, a lei de escala: uma família de modelos menores em que apenas o número de camadas determina toda a arquitetura. Treine cada rodada com a mesma quantidade de tokens por parâmetro, ajuste uma curva e preveja o modelo gigante antes mesmo de construí-lo. O detalhe é algo que eles

02:08 chamam de escalonamento da fonte. As rodadas pequenas são treinadas com um conjunto de dados reduzido, repetido tantas vezes quanto os dados da rodada grande. Sem isso, os experimentos pequenos favorecem escolhas que causam overfitting em escala. Com isso, a previsão acertou em cheio o checkpoint final. Então, testei o método por conta própria em um laptop, com uma RTX 4060 e 8 GB de memória. Quatro rodadas minúsculas, de duas a cinco camadas, com a mesma quantidade de tokens por parâmetro, no nível de byte, então a loss é literalmente medida em bits por byte. Ajustei a linha com essas quatro e

02:39 depois previ o resultado de um modelo de seis camadas antes de treiná-lo. Na primeira tentativa, sem escalonamento da fonte, a previsão foi de 1,33 bits por byte; o resultado real foi 1,69, um erro de 21%. Meu modelo de seis camadas viu o pequeno conjunto de dados 20 vezes e teve overfitting. Depois, adicionei o escalonamento da fonte: agora, cada rodada repete seu próprio trecho de dados 22 vezes. Nova previsão: 1,74; resultado real: 1,73; erro abaixo de meio por cento. Com apenas cinco rodadas, parte disso pode ser sorte, mas a falha e a correção são exatamente o que

03:11 a Microsoft descreve. Em seguida, os hiperparâmetros: taxa de aprendizado e decaimento de peso são interdependentes, então eles os varreram juntos ao longo de uma faixa diagonal. E a lei que encontraram é incrivelmente simples. A taxa de aprendizado multiplicada pelo decaimento de peso varia como um sobre o número de etapas. Depois, o codesign: especialistas em todas as camadas sempre parecem melhores no papel, mas, na prática, funcionavam devagar demais. Então, eles criaram uma mistura de especialistas sem descarte e com várias rodadas: os tokens excedentes simplesmente aguardam uma rodada extra, a memória permanece fixa e nada é descartado. Isso elevou a utilização das camadas de especialistas

03:42 de 24% para 35%, o bastante para incluir especialistas em cada camada. Eles também trocaram AdamW por MuON. Após muita otimização, MuON custa apenas 2,1% de cada etapa de treinamento. O limite teórico deles era de 55 milissegundos; mediram 165 e identificaram os culpados: stragglers, sobrecarga de dispatch, desequilíbrio de carga e clipping do gradiente de ativação. Em vez de reduzir o batch inteiro, faça clipping apenas onde está o outlier. Veja a norma do gradiente:

04:12 base one, ruidosa; base two, uma faixa muito mais estreita. E, ao contrário da maioria dos truques que testaram, o benefício cresceu com a escala, chegando a cerca de 28% na maior rodada. Isso até detectou um bug nos dados: um cabeçalho de licença cortado no meio da frase, rastreado até um pipeline de pré-processamento com defeito. Por fim, os dados. O corpus cresceu cerca de 36% em tokens únicos, com um corte de conhecimento em março. E, desta vez, a visão é nativa, com design sem encoder e 4,5 trilhões de tokens visuais únicos, 18% da

04:43 mistura. Legendas de imagens, gráficos, ancoragem visual, raciocínio espacial, imagens médicas, uso de computador e até leitura de partituras. Então, dá para baixar o modelo? Não. A Microsoft planeja licenciar os pesos a parceiros confiáveis por meio do Foundry. Ele ainda está em pós-treinamento, e o MAI base tree já está em andamento. Três princípios, segundo a Microsoft: aprender a partir de primeiros princípios, métodos simples escalam melhor, rigor acima de atalhos. 16.000 GPUs ou um laptop: o segundo funciona da mesma maneira, e essa é a verdadeira

05:14 lição.

Transcrição original

[00:00] 16,000 of the most powerful GPUs on the planet, 38 days, one single training run. And at the end of it, Microsoft says it has a base model that beats every open weight model it tested. No distillation from other models, no borrowed outputs, every training token processed in-house. This is MAI base 2, Microsoft’s frontier pre-training run, and the recipe behind it. Quick context. In June, Microsoft released MAI thinking one, built on top of MAI base one, a strong model, but

[00:33] small next to the frontier. So, the plan was simple, scale up. MAI base 2 is a mixture of experts model, 2.8 trillion total parameters with 80 billion active. It was trained on a 50 trillion token mixture on 16,000 GB200s through August and September. Average model flops utilization was 21%, and good put, the share of time the run was actually making progress, was 89%. Now, the headline chart. This is bits per byte on held out code, Q&A, math,

[01:04] and STEM. Lower is better. On every panel, the orange bar MAI base 2 comes in lowest below DeepSeek V4 ProBase, Chinchilla, Quen, and Mimo. And the code test is clever. It’s Microsoft’s own private code base, something no outside model could have trained on. One honest caveat, and Microsoft states it, most rivals here are post-train checkpoints, and post-training can shift these scores. But here’s the number that matters, four to 12 times more flops efficient than DeepSeek V4 ProBase. Meaning, to match DeepSeek’s quality,

[01:36] Microsoft’s recipe needs a fraction of the compute, and they spend that saving on a bigger model. And compared with their own MAI base one, the gain is six to nearly 13 times in about four months. So, how did they do it? Three things, scaling science, model and infrastructure co-design, and scaling data. First, the scaling letter, a family of smaller models where the number of layers alone decides the whole architecture. Train every run with the same tokens per parameter, fit a curve, and predict the giant before you ever build it. The twist is something they

[02:08] call source scaling. Small runs train on a shrunken data set repeated as many times as the big run repeats its data. Without it, small experiments reward choices that overfit at scale. With it, the forecast landed right on the final checkpoint. So, I tried the method myself on a laptop, one RTX 4060 with 8 gigs of memory. Four tiny runs from two layers up to five, same tokens per parameter byte level, so the loss is literally bits per byte. I fit the line on those four and

[02:39] then forecast a six-layer model before training it. First try with no source scaling, forecast 1.33 bits per byte, actual 1.69, off by 21%. My six-layer model saw the tiny data set 20 times and overfit. Then I added source scaling, every run now repeats its own slice of data 22 times. New forecast 1.74, actual 1.73, error under half a percent. With only five runs, part of that is luck, but the failure and the fix are exactly what

[03:11] Microsoft describes. Next, hyperparameters, learning rate and weight decay are coupled, so they swept them together along a diagonal band. And the law they found is beautifully simple. Learning rate times weight decay scales as one over the number of steps. Then co-design, experts in every layer always look better on paper, but ran too slowly in practice. So, they built a multi-round dropless mixture of experts, overflow tokens simply wait for an extra round, memory stays fixed, and nothing gets dropped. That lifted expert layer utilization

[03:42] from 24% to 35%, enough to put experts in every single layer. They also moved from AdamW to MuON. After heavy optimization, MuON costs just 2.1% of each training step. Their theoretical floor was 55 milliseconds, they measured 165, and they named the culprits stragglers, dispatch overheads, load imbalance, and activation gradient clipping. Instead of shrinking the whole batch, clip only where the outlier actually is. Look at the gradient norm,

[04:12] base one, noisy, base two, a much tighter band. And unlike most tricks they tested, its benefit grew with scale around 28% at the largest run. It even caught a data bug, a license header cut off mid-sentence, traced back to a broken preprocessing pipeline. Finally, data. The corpus grew about 36% in unique tokens with a March knowledge cut off. And this time vision is native and encoder-free design with 4.5 trillion unique vision tokens, 18% of

[04:43] the mix. Image captions, charts, visual grounding, spatial reasoning, medical images, computer use, even reading sheet music. So, can you download it? No. Microsoft plans to license the weights to trusted partners through Foundry. It’s still in post-training and MAI base tree is already underway. Three principles, Microsoft says, learn from first principles, simple methods, scale best, rigor over shortcuts. 16,000 GPUs or one laptop, the latter works the same way, and that’s the real

[05:14] lesson.