Por dentro de uma fábrica de IA: energia, refrigeração e GPUs explicadas

Ver no idioma original →

Autoria: freeCodeCamp.org · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Inside an AI Factory – Power, Cooling, and GPUs Explained · Canal: freeCodeCamp.org · 7:47:56 · Assistir no YouTube

Tópicos: Infraestrutura e hardware de IA, Mercados e economia

Resumo

O curso acompanha o caminho da eletricidade da rede até as GPUs e o caminho do calor dos chips até o ambiente externo. Explica os componentes de energia, racks, redes, refrigeração e sistemas de backup que sustentam data centers de IA, além dos desafios de construir e operar essas instalações. Também relaciona as características dos workloads de treinamento e inference à demanda por energia, memória, capacidade de rede e refrigeração. Por fim, examina a economia da computação em nuvem e usa o campus Abilene, no Texas, como estudo de caso para reunir os conceitos.

Pontos-chave

• O curso apresenta os fundamentos de circuitos, corrente alternada e contínua, tensão, potência, fator de potência e redundância.
• A energia passa por subestações, transformadores, equipamentos de distribuição e fontes de alimentação antes de chegar aos chips.
• Racks de alta densidade exigem refrigeração líquida, circuitos de coolant separados e sistemas de rejeição de calor dimensionados para a carga.
• Treinamento e inference têm necessidades diferentes de computação, memória, latência e capacidade de rede.
• A quantidade de energia disponível não basta para medir o trabalho útil: também importam os workloads concluídos, a rede e a eficiência operacional.
• Baterias, UPS, capacitores e geradores ajudam a manter os equipamentos funcionando durante interrupções, mas cada sistema tem limites e modos de falha.
• A transição para distribuição em 800 V DC pode reduzir a quantidade de cobre e as perdas, mas exige mudanças nos equipamentos e na proteção elétrica.
• A localização e a construção de um data center dependem da disponibilidade de energia, água, terreno, conexões de fibra, equipamentos e permissões.
• A economia de GPU cloud envolve contratos, utilização da capacidade, custos de energia e formas de financiar os equipamentos.
• O caso de Abilene ilustra como geração local, construção por fases e fornecimento antecipado de capacidade influenciam a implantação de um AI data center.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação e fundamentos elétricos	O curso introduz a infraestrutura de um AI data center e explica circuitos, tensão, corrente, resistência, potência e energia.
43:13	Visão geral de data centers e workloads	Apresenta a organização de um data center, as fontes de energia e as diferenças entre treinamento e inference.
71:18	Workloads, memória e inference	Explora batching, throughput, latência, memória de treinamento, KV cache e as fases de prefill e decode.
106:42	Escolha do local e fornecimento de energia	Discute implantação por fases, geração local, turbinas a gás e filas de conexão à rede.
152:48	Projeto físico e construção do local	Examina greenfield e brownfield, terreno, servidões, água, acesso, fibra e requisitos para operar e manter a instalação.
176:36	Distribuição de energia até os racks	Segue a energia da subestação ao rack e explica switchgear, transformadores, busways e distribuição trifásica.
209:26	Continuidade, backup e redundância	Explica UPS, baterias, capacitores, bypass, configurações de redundância e níveis de disponibilidade.
256:57	Da fonte de alimentação ao chip	Mostra como a energia é convertida e regulada dentro do rack e da placa até chegar à tensão dos chips.
292:58	Distribuição em 800 V DC	Compara AC e DC e apresenta etapas, equipamentos e desafios de proteção para a distribuição em 800 V DC.
316:04	Redes e interconexões	Descreve redes scale-up e scale-out, topologias, fibra, cobre, switches e comunicação entre data centers.
345:09	Captura de calor nos chips e racks	Explica cold plates, rear door heat exchangers, immersion cooling, fluxo de coolant e resistência térmica.
372:40	Rejeição de calor e uso de água	Compara dry coolers, torres evaporativas, chillers e outras formas de transferir calor para o ambiente.
399:20	Engenharia, procurement e construção	Apresenta a construção por etapas, a pré-fabricação, os padrões de interface e a integração de energia, refrigeração e rede.
412:56	Controles, operação e confiabilidade	Analisa controle de refrigeração, resposta a falhas, manutenção, gestão de workloads e recuperação de interrupções.
437:19	Economia de GPU cloud	Discute contratos de capacidade, preços por GPU-hour, utilização, custos de energia e financiamento de clusters.
458:35	Montagem de um AI factory	Reúne os conceitos do curso no estudo de caso de Abilene e relaciona hardware, energia, refrigeração, rede e financiamento.

Citações

O que é necessário, de fato, para fazer um data center de IA funcionar? — 00:30

Em vez de aumentar a corrente, podemos aumentar a tensão. — 09:22

As GPUs não funcionam simplesmente por conta própria: elas produzem muito calor. — 36:26

Se a rede elétrica cair, você não quer ficar sem energia. — 52:03

Esse é o sistema físico por trás de cada token. — 467:56

Conceitos e entidades

• AI data center (conceito): Instalação que reúne computação, energia, rede e refrigeração para executar workloads de inteligência artificial.
• UPS (conceito): Fonte de alimentação ininterrupta que usa conversão elétrica e baterias para manter cargas protegidas durante interrupções.
• PUE (conceito): Métrica que compara o consumo total de energia da instalação com o consumo dos equipamentos de TI.
• Liquid cooling (conceito): Refrigeração que usa líquidos para retirar calor dos equipamentos, incluindo cold plates, CDUs e circuitos de coolant.
• 800 V DC (conceito): Proposta de distribuição de energia em corrente contínua de alta tensão para reduzir condutores e perdas em data centers.
• NVLink (ferramenta): Tecnologia de interconexão usada para comunicação de alta largura de banda entre GPUs em um domínio scale-up.
• Open Compute Project (empresa): Organização e projeto que desenvolve padrões abertos para equipamentos e infraestrutura de data centers.
• NVIDIA (empresa): Empresa cujas GPUs, sistemas de interconexão e equipamentos para data centers são discutidos ao longo do curso.
• Google (empresa): Empresa citada por seus data centers, TPUs e sistemas de controle de refrigeração.
• Microsoft (empresa): Empresa citada por seus data centers Fairwater, sua rede de fibra e métodos para gerenciar cargas de IA.
• Crusoe (empresa): Empresa envolvida na construção do campus de Abilene e em projetos de data centers com geração de energia local.
• OpenAI (empresa): Empresa citada como usuária de workloads no campus de Abilene, parte do projeto Stargate.
• Jensen Huang (pessoa): CEO da NVIDIA, citado em relação à métrica de tokens por watt e à economia dos AI factories.
• Abilene (conceito): Campus de data center no Texas usado como estudo de caso para energia, refrigeração, construção e operação.

Tradução completa (pt-BR)

00:00 Este curso leva você para dentro da infraestrutura física que impulsiona a revolução da inteligência artificial. Você vai aprender sobre as enormes redes de distribuição de energia, os avançados racks de computação e os complexos sistemas de refrigeração que tornam possíveis os data centers modernos de IA. O curso acompanha o percurso da eletricidade, desde a rede elétrica até a GPU. Ao longo de 16 capítulos detalhados, Kian vai explicar a

00:30 anatomia completa de uma fábrica de IA, mostrando exatamente o que é necessário para transformar megawatts de energia em tokens gerados pelos principais modelos de IA da atualidade. Olá e boas-vindas a este curso gratuito da Free Code. Meu nome é Kian e hoje tenho o prazer de apresentar a você o curso De watts a tokens, que responde à seguinte pergunta: o que é realmente necessário para fazer um data center de IA funcionar? Para responder, vamos acompanhar a eletricidade da rede elétrica até as GPUs, ver como essas GPUs

01:03 se comunicam e, em seguida, acompanhar o calor de volta para fora do data center. Veja o que você vai entender depois de acompanhar este curso. Você vai conseguir acompanhar os percursos da energia, da refrigeração e dos dados. Vai explicar os principais equipamentos necessários para fazer um data center funcionar e entender por que adicionar mais GPUs ou capacidade elétrica não resulta automaticamente em mais capacidade computacional utilizável, por meio de vários estudos de caso intuitivos. O percurso geral deste curso vai da eletricidade e dos racks às redes e à

01:35 refrigeração. Depois, vamos abordar a construção, as operações e a economia, e terminar conectando tudo isso a um exemplo real de como um data center foi construído. Mais especificamente, Abilene, o local do Stargate que está sendo construído para a OpenAI no Texas. Fiz este curso porque acredito que os data centers serão o que mais impulsionará a economia no futuro próximo, em termos de crescimento ano após ano. E

02:05 além disso, é um setor impressionante e interessante por causa de todas as restrições, que fazem com que haja tanta inovação. Por que isso acontece? Bem, quando, por exemplo, há gargalos para levar energia até o seu local, você encontra muitas maneiras engenhosas de buscar fontes alternativas de energia. Por isso, é incrivelmente interessante se aprofundar nesse assunto, e é exatamente isso que este curso faz. Quais são os pré-requisitos deste curso? Bem, parto do princípio de que você conhece aritmética básica, porcentagens e

02:38 leitura simples de gráficos. Além disso, preparei uma introdução, que é o primeiro capítulo do curso e estabelece um vocabulário comum para os três componentes: eletricidade, computação e refrigeração. Então, se os fundamentos de engenharia elétrica e computação em geral já são familiares para você, pode pular para o capítulo 2. Caso contrário, comece pela introdução. Os slides, as explicações por escrito e o glossário estão todos disponíveis nos links abaixo, na página inicial do curso.

03:08 Então, se houver algum termo que você não entenda, há uma grande probabilidade de ele estar no glossário. Ou simplesmente pergunte ao seu agent. Acho que a atitude de maior iniciativa que você pode ter é pedir ao seu agent que explique um conceito que você não entende. Foi assim que aprendi sozinho muitos dos conceitos que vou ensinar a você hoje. A última coisa a observar é que, como ainda não sou especialista em data centers, pode haver pequenos erros aqui e ali no curso. Se você é especialista em data centers e está assistindo a este vídeo, peço desculpas. Por favor, corrija-me nos comentários para que eu possa aprender. E então eu

03:40 tenho muitas pessoas a agradecer por este vídeo, por terem me orientado e ajudado a aprender mais sobre data centers. Mas provavelmente devo agradecer acima de tudo à Semi analysis, porque o conteúdo deles, assim como os podcasts que produzem, me ajudaram e despertaram minha paixão e meu interesse em me aprofundar neste tema. Sem mais delongas, vamos começar pela introdução. Certo, começando pelo básico nesta introdução, vamos apresentar o conceito de circuito. Para começar, temos diante de nós um circuito convencional de corrente contínua, ou CC,

04:12 com uma fonte à esquerda, com um terminal negativo e outro positivo. Depois há uma carga, que pode ser uma lâmpada. Pode ser qualquer coisa que consuma energia, e então há o retorno. Essencialmente, no diagrama clássico, os elétrons se movem da extremidade positiva para a negativa. E temos esta chave. Então, se você abrir o circuito, a corrente será igual a 0 ampères. Como lembrete, corrente é medida em ampères e representada por I. Ainda haveria tensão

04:42 entre os terminais separados. Digamos que temos aqui uma bateria de 12 volts. Se você medisse a diferença entre os dois terminais da bateria com um voltímetro, ou melhor, com um multímetro, a leitura seria de 12 volts. O mesmo se aplicaria à carga. Essencialmente, é o potencial elétrico entre esses dois pontos. Essa é a definição de tensão. É, basicamente, a diferença de potencial elétrico entre dois pontos. Gosto de pensar nisso como algo parecido com a energia potencial gravitacional, ou seja, se você está em uma posição mais elevada,

05:12 tem mais energia potencial gravitacional do que alguém que está ao nível do mar. Outra coisa que vale a pena observar é que, mais uma vez, ainda há tensão entre os terminais separados, mesmo que o circuito esteja aberto. E como entender isso intuitivamente? Pense na eletricidade como água fluindo por um cano. Se há água fluindo por um cano, você tem tanto corrente, que pode imaginar como o movimento dos elétrons, quanto tensão, que, de certa forma, você pode imaginar como a pressão da água. Então, o ponto é que, se você interromper o fluxo de água nesse cano

05:42 — ou seja, não houver corrente —, ainda haverá pressão, porque, se houver, digamos, 100 litros de água acima desse cano e ela quiser descer, haverá muita pressão tentando empurrá-la para baixo, mas o cano está fechado. É por isso que, por exemplo, em um circuito sem corrente, ainda pode haver tensão entre seus terminais. Agora, vamos falar sobre adicionar um resistor. Antes já tínhamos um resistor na forma da carga, mas vamos atribuir a ele um valor: 6 ohms, que é a unidade de resistência.

06:14 Agora que temos corrente, resistência e tensão, temos a lei de Ohm, que basicamente diz que V é igual a I vezes R. Usando essa fórmula, podemos calcular, por exemplo, que, se houver 2 ampères de corrente no sistema e um resistor de 6 ohms, teremos uma fonte de corrente contínua de 12 volts. Ou, dito de forma mais correta, se tivermos uma fonte de corrente contínua de 12 volts e um resistor de 6 ohms, podemos esperar

06:46 uma corrente de 2 ampères fluindo por esse circuito, e basta fazer 12 dividido por 6 para chegar a esse resultado. Então, mais uma vez, a tensão existe entre dois pontos, enquanto a corrente percorre o caminho. A unidade da tensão é o volt, que equivale a um joule dividido por um coulomb. E o coulomb é a unidade que representa a quantidade de elétrons. É um número realmente enorme que eu esqueci. E ampère, se não me engano, é coulomb por segundo. Ou seja, indica quantos coulombs — essa enorme quantidade de elétrons — estão fluindo pelo circuito a cada

07:18 instante. Certo. Agora vamos falar sobre resistência e sobre como variar a resistência aumenta a perda de calor no circuito. Já falamos da lei de Ohm, que diz que a tensão é igual à corrente multiplicada pela resistência. E há outra fórmula muito importante: como você pode ver aqui embaixo, a perda de calor em um circuito é igual a I²R. O que isso significa? Basicamente, significa que, quanto maior a corrente em um circuito, maior será a perda de calor, de forma quadrática; e, quanto maior a resistência, maior será a perda de calor, de forma linear. Então, por exemplo, se tivermos uma tensão de alimentação de 12 volts, podemos calcular novamente que haverá 2 ampères com um resistor de 6 ohms e, portanto, a perda de potência será 2² × 6. Ou seja, 24 watts neste circuito. Mas vamos dobrar a tensão de alimentação. E, mais uma vez, usando a lei de Ohm, podemos calcular que a corrente neste

07:48 circuito será

08:18 a corrente no circuito será de 4 ampères. E vamos lembrar que o resistor, na verdade, é fixo. Não estamos aumentando o tamanho do resistor. Mas, de repente, quadruplicamos a quantidade de calor perdida, de 24 W para 96 W, porque dobramos a corrente, o que, por escalar quadraticamente, significa que quadruplicamos a perda de calor. É claro que estas são… esta é uma fonte ideal, e estamos supondo que os fios também são ideais. Você pode pensar nisso como uma simplificação, porque, em um sistema real, há mais fatores e efeitos físicos

08:50 em jogo. Mas, sem perda de generalidade, podemos supor que, em qualquer circuito, dobrar a corrente quadruplicará a perda de calor devido aos efeitos resistivos. E por que estou falando disso neste material introdutório? Porque, quando começarmos a falar em detalhes sobre data centers, precisaremos levar energia até lá para colocar essas GPUs em funcionamento, certo? E, se quisermos alimentar GPUs que exigem cada vez mais energia, precisaremos de cada vez mais corrente. Isso pode causar perdas de calor bastante grandes se simplesmente aumentarmos cada vez mais a corrente.

09:22 E a prévia de como vamos resolver esse problema é, essencialmente, aumentar a tensão em vez da corrente. Temos a lei de Ohm, que diz que V = I × R. Mas também há outra fórmula que talvez você já tenha ouvido: P = I × V. Então, vamos analisar isso. A potência, cuja unidade é o watt, é igual à corrente vezes a tensão. E por que isso acontece? Se você se lembra, potência é igual a joules por

09:53 segundo, e corrente é igual a coulombs por segundo. A tensão é igual a joules por coulomb. Se multiplicarmos esses valores, obtemos joules por segundo. Então, desculpe se isso foi um pouco confuso, mas o que estou tentando dizer é que, em vez de aumentar a corrente, podemos aumentar a tensão, algo que discutiremos em mais detalhes nos próximos capítulos, para fazer chegar mais potência às GPUs.

10:24 Certo, acho que já dei uma prévia do assunto. Essencialmente, watts são joules por segundo. Potência é igual à tensão vezes a corrente. E vou repetir mais uma vez: a tensão é medida em joules por coulomb. E a corrente, em coulombs por segundo. Isso nos dá joules por segundo. Se olharmos para o circuito que temos aqui à nossa frente, sabemos que ele tem um resistor de, acredito, 6 ohms. Então, pela lei de Ohm, temos 2 ampères. Agora podemos calcular a

10:55 potência nesse circuito, que é simplesmente 12 × 2. E isso é em um circuito ideal de corrente contínua em regime permanente. O resultado é 24 watts. Mais uma vez: potência, sobre a qual falaremos bastante neste curso, é simplesmente energia transferida por segundo. E o que são watts-hora? Bem, embora a unidade seja watt, ela corresponde à energia, porque energia é medida em joules. Watt-hora significa watts multiplicados por horas. Então, se você tem joules no numerador e segundos ou horas no

11:26 denominador, ao multiplicar por horas, obtém joules, que é energia. Então, é essencialmente isso que eu disse aqui: energia é igual à potência vezes o tempo. Digamos que temos uma carga de 1 quilowatt. Pode ser algum tipo de ferramenta ou talvez uma GPU. Na verdade, acho que as H100 ficam perto de 1.000 watts ou, se você tiver duas GPUs H100 da Nvidia, o consumo será de cerca de 1.000 watts, ou 1 quilowatt. Se você as usar por uma hora, isso custará — ou consumirá — 1

11:56 quilowatt-hora de energia. Isso é simplesmente 1 quilowatt × 1 hora. E, só para relembrar as unidades: quilo significa mil; mega, como em megawatt ou megabyte, significa um milhão; e giga, como em gigabyte, significa um bilhão. Então, se dobrarmos isso — se usarmos uma GPU de 1 quilowatt por 2 horas —, teremos consumido 2 quilowatts-hora de energia. E, claro, isso também será muito importante, pois, quando você precisar calcular a conta de energia das suas GPUs ou da eletricidade que estiver

12:28 usando, na maioria das vezes, a medição será em quilowatts-hora. Certo, então falei sobre corrente contínua — ou melhor, estivemos falando implicitamente de corrente contínua o tempo todo —, em que a corrente flui em apenas uma direção, de um terminal da bateria para o outro. Isso é diferente da corrente alternada, em que tanto a tensão quanto a corrente alternam, como o

12:58 nome sugere. Só para relembrar: na tensão de corrente contínua, se você calcular a tensão de um terminal em relação ao outro, ela será sempre constante. Na verdade, se dissermos que o terminal da esquerda é positivo em relação ao terminal da direita, ao inverter os dois nós que estamos medindo, obteremos uma tensão negativa entre esses terminais. E, nos diagramas de engenharia, a corrente flui da extremidade positiva para a negativa. Já

13:29 na tensão de corrente alternada, temos essa forma oscilante, que chamamos de curva senoidal. Ela é senoidal. Nesse caso, a tensão passa por zero a cada período e depois atinge um pico positivo e um pico negativo de amplitude. Quanto à corrente, ela também vai essencialmente da esquerda para a direita 60 vezes por segundo, se você estiver na América do Norte, porque a frequência é de 60 hertz. Essa é

13:59 a frequência da corrente alternada; por exemplo, na Europa, seria de 50 hertz. Certo. Mas, quando estamos no pico positivo e dizemos que a corrente alternada flui para a direita, se estivermos no cruzamento por zero, em que a tensão e a corrente passam por zero, não haverá corrente naquele instante. Mas, no caso da corrente contínua, ela não depende desses três valores. Esses momentos da corrente alternada dependem apenas de haver corrente alternada. E, quando estamos no pico negativo,

14:31 a corrente flui para a esquerda, e o terminal da esquerda é, na verdade, negativo em relação ao da direita. Então, aí está: essa é a diferença fundamental entre corrente alternada e corrente contínua. Há um ótimo livro chamado The Electricity Wars que descreve como, quando a eletricidade começou a ser distribuída pelos Estados Unidos, Thomas Edison era um grande defensor da corrente contínua, enquanto Nicola Tesla era um grande defensor da corrente alternada. Na verdade, Nicola

15:01 Tesla trabalhou para Thomas Edison em algum momento, e houve uma disputa muito acirrada para ver qual tipo de corrente prevaleceria no mercado. Recomendo esse livro para leitura. Outra coisa muito interessante que quero comentar sobre a corrente alternada é que ela não precisa necessariamente ser uma onda senoidal. Embora a corrente alternada fornecida pelas concessionárias seja aproximadamente senoidal — e isso se aplique à maioria das aplicações —, existem outros tipos de corrente alternada. Certo? Corrente alternada não significa necessariamente que você precisa

15:31 ter uma corrente que siga esta forma. Certo? Tecnicamente, basta que ela alterne para atender a essa definição. Não sou especialista nem engenheiro eletricista, mas foi o que li na internet. Por exemplo, você pode ter corrente alternada quadrada. Também pode ter corrente alternada triangular ou em zigue-zague e corrente alternada dente de serra. Mas, para todos os fins deste curso, vamos lidar sempre com corrente alternada senoidal, porque toda a corrente alternada fornecida pelas concessionárias é produzida desse modo. Então, isso

16:01 é mais uma curiosidade, só por interesse. E, quando falamos das magnitudes de tensão ao comparar corrente contínua e corrente alternada, ambas podem variar em tensão. Na verdade, se você usar literalmente um multímetro para verificar a tomada da sua casa e medir a corrente — e morar em uma região de 120 volts —, talvez a tensão não seja exatamente 120 volts. Pode ser, por exemplo, 117 volts. Isso acontece simplesmente porque a

16:33 A rede essencialmente varia em tensão. Ela tenta manter a tensão, que é a tensão-alvo, mas pode ficar acima ou abaixo dela, dependendo da carga na rede. Por exemplo, se alguém na mesma área de distribuição que você começar de repente a consumir muita energia, isso pode baixar a tensão. E isso se aplica aos dois tipos de tensão: CA e CC. Então, se fizermos algumas perturbações na tensão, se você tiver

17:04 uma tensão 10% mais alta em qualquer um dos casos, ela passaria para 13,2 e, no limite inferior, para 10,8. O motivo de eu mencionar isso é que a maioria dos equipamentos elétricos, ou qualquer coisa que consuma eletricidade, aceita uma faixa de tensão, simplesmente porque a rede não fornece tensão exatamente na tensão-alvo o tempo todo. Por isso, eles precisam ter alguma flexibilidade na faixa de tensão que aceitam. E, quando falamos de corrente alternada, que é a forma de corrente predominante no mundo todo, e que também não é uma exceção em data centers, há certos lugares onde se usa CC e outros onde se usa CA, mas, para a distribuição de eletricidade, atualmente quase tudo é feito com corrente alternada, especificamente com corrente alternada trifásica. Então, o que isso significa? Como mencionei, a corrente é alternada e senoidal, então você tem uma onda senoidal. Mas o problema é que, se tiver apenas uma onda senoidal, vamos olhar para a fase A

17:36 apenas: haverá momentos em que não há tensão. Isso não é um problema para carregar o celular ou para algum aparelho eletrônico simples que não precise de muita energia. Mas, se você estiver alimentando grandes racks de GPU que podem consumir centenas de milhares de watts, vai querer uma faixa de potência mais constante. E o que acontece é que, se você tiver três fases de CA — essencialmente, três fios, todos com corrente alternada, mas defasados em 120° entre si —, terá uma faixa de potência mais constante. E o que quero dizer

18:06 com defasados em 120°? Quero dizer que um período de um ciclo de corrente alternada pode ser pensado como 360° ou, em radianos, 2 pi. Se você deslocar outra onda em 1/3 do ciclo para a direita, ou 120° para a direita, terá a fase B. E, se deslocá-la ainda mais, em 240° em relação à fase A ou 120° em relação à fase B, terá essa terceira fase, a fase C. E isso significa que, em

18:37 qualquer momento, há uma fase com tensão positiva, embora a soma das tensões dessas três fases seja sempre zero. Por exemplo, se você fizer o teste da linha vertical e olhar para este ponto, ao somar os valores das fases A e B com o valor da fase C, obteria uma tensão líquida igual a zero. Mas, em cada fase individual, há sempre uma leitura de tensão. E, como mencionei, isso permite ter uma faixa de potência mais constante. Então, como veremos nos capítulos

19:09 posteriores, existem estas PSUs, chamadas unidades de fonte de alimentação. Elas convertem a corrente alternada em corrente contínua para as GPUs. E geralmente são distribuídas entre as fases. Essencialmente, os fios trifásicos chegam a um rack específico onde há várias GPUs. Cada PSU se conecta a uma fase energizada — uma dessas fases energizadas — e, depois, a uma fase neutra. Essa costuma ser a configuração. E então

19:40 você mede a diferença de tensão entre a fase energizada e a fase neutra. Essa leitura de tensão pode ser de cerca de 277 volts. Mas isso depende muito do equipamento que você está usando no rack. Como mencionei, cada unidade de fonte de alimentação usa dois condutores: uma fase energizada e uma fase neutra. Essa é uma breve introdução à corrente alternada trifásica. No próximo slide, vou demonstrar em um gráfico como

20:12 a corrente alternada trifásica tem uma faixa de potência muito mais constante do que a corrente alternada monofásica. Aqui, estamos representando algo em função do tempo. Já não é a tensão, mas sim a potência. Para calculá-la, basta multiplicar cada fase de tensão pela corrente correspondente naquele instante. Então, pense em I * V no eixo Y, que é igual à potência, e no tempo no eixo X. E acontece que, se considerarmos

20:44 um instante específico do ciclo, por exemplo, 0°, no início do tempo, a fase A estará em 0 kW, a fase B em 15 kW e a fase C também em 15 kW. Isso supondo que estamos usando 480 volts, acredito. E, se avançarmos para 30°, a fase A estará subindo até 5 kW nesse ponto, a fase B estará em 20 kW e a fase C cruzará a fase A, ficando também em 5 kW. Portanto, ainda temos 30 kW

21:14 e, por fim, no último exemplo, a 60°, as fases A e B estão em 15 kW, e a fase C está em 0 kW. Então, imagine que, se tivéssemos CA monofásica e considerássemos apenas a fase A: a 0°, teríamos 0 kW, ou seja, nenhuma potência; a 30°, teríamos 5 kW; e, a 60°, teríamos 15 kW. Então, dá para imaginar que, se você realmente precisa de potência constante

21:47 a corrente trifásica é muito mais vantajosa. Assim, você tem essas ondas senoidais equilibradas, e estamos supondo aqui que as cargas resistivas são iguais. Isso significa simplesmente que cada uma das três fases fornece a mesma potência ao consumidor final, que chamaríamos de carga. E é isso: as três fases se somam para fornecer uma potência constante. A seguir, vamos falar rapidamente sobre fator de potência. O que é fator de potência? Em resumo, é o grau de sincronismo entre as formas de onda da corrente e

22:19 da tensão em corrente alternada. Para uma alimentação monofásica, se estivermos completamente em sincronia, o fator de potência será igual a um. Isso significa que toda a potência fornecida pelo circuito chega à carga final. Nesse caso, são fornecidos exatamente 8 kW, se essa for a potência no circuito. Já quando a forma de onda da tensão

22:53 e a da corrente estão fora de sincronia, o fator de potência pode ser menor que um. Isso significa que, para fornecer os mesmos 8 kW, você precisa de 25% mais corrente. Neste caso, acho que basta fazer 1 dividido por 0,8. É assim que se calcula a corrente necessária quando o fator de potência não é igual a um. Então, em um circuito ideal, o melhor é ter fator de potência igual a um. No mundo real, ele será sempre menor que um, e quanto mais eficientes ou

23:23 mais sincronizadas forem as formas de onda da tensão e da corrente, mais próximo de um será o fator de potência. Esta é uma introdução rápida ao fator de potência. Na verdade, no capítulo 7 ou 8, quando falarmos disso com mais detalhes, vou explicar melhor o que isso significa na prática. Mas esta é apenas uma breve recapitulação do significado de fator de potência. Também quero falar sobre a notação diferente que vamos usar ao longo deste curso sobre data centers.

23:55 Quanto mais síncronas forem as formas de onda da tensão e da corrente, mais próximo de um ficará o fator de potência. Esta é mais uma introdução rápida ao fator de potência. Na verdade, no capítulo 7 ou 8, quando discutirmos isso com mais detalhes, vou explicar melhor o que isso significa na prática. Mas este é apenas um breve resumo do significado de fator de potência. Também quero discutir a notação diferente que vamos usar ao longo deste curso sobre data centers.

24:25 Então, é claro que conversores diferentes fazem trabalhos diferentes. Por isso, você não quer usar o símbolo errado para algo que desempenha uma função diferente. Bem rapidamente: se você tem um transformador, o que está fazendo é alterar a tensão. Neste caso, você tem um transformador de corrente alternada, que altera a tensão de uma corrente alternada. Ela pode passar de baixa para alta ou de alta para baixa. Isso depende. Na verdade, um transformador que eleva a tensão é chamado de transformador elevador. Você está elevando a

24:56 tensão e, inversamente, um transformador que reduz a tensão é chamado de transformador abaixador. E há também dois conceitos extremamente importantes neste curso: o retificador e o inversor. Talvez você já tenha ouvido falar do inversor; é ele que transforma corrente contínua em corrente alternada. O exemplo mais comum em uma residência seria o de painéis solares. Eles geram eletricidade em corrente contínua. E, para usar essa eletricidade na rede, é preciso convertê-la em corrente alternada. Então, se você tem painéis solares, terá um inversor. Já o retificador faz o oposto

25:27 disso. Ele converte corrente alternada em corrente contínua. E, se você tem uma fonte de alimentação, ela pode receber corrente alternada e convertê-la em corrente contínua. Por exemplo, quando temos nossas GPUs, temos a unidade de fonte de alimentação, que recebe corrente alternada da rede ou de onde quer que ela venha. Ela pode vir da rede, de uma turbina a gás ou de um gerador; depois, é convertida em corrente contínua. Em poucas palavras, os componentes eletrônicos e os semicondutores de baixo nível consomem corrente contínua.

25:59 Certo? E, na verdade, eu já mencionei isso, mas os componentes eletrônicos não são os únicos que aceitam uma faixa de tensão: os transformadores também. Aqui temos um exemplo de um Schneider Fasio. Não vou dizer o nome completo. Acho que isto é um transformador. Ele tem uma entrada nominal de 400 volts, mas também pode aceitar tensões entre 360

26:32 e 440 volts. Esses são os limites publicados para este transformador específico. Neste caso, ele aceita uma variação de tensão de mais ou menos 10%. Então, este é um exemplo de variação de tensão que um transformador pode aceitar. Também vamos falar neste curso sobre transformadores de estado sólido, que são muito legais, porque podem ser ajustados para aceitar diferentes faixas e também retificar automaticamente a faixa de saída. Esses são tipos novos de transformadores muito legais e bem mais sofisticados do que os transformadores padrão, mas vamos deixar esse assunto de lado por enquanto, em termos de aprofundamento sobre transformadores.

27:03 E agora vamos falar rapidamente sobre uma UPS, que é outro conceito fundamental neste curso. Não se trata do United Postal Service. Na verdade, é uma fonte de alimentação ininterrupta, um nome bastante autoexplicativo. Isso significa apenas que é uma fonte de alimentação que, em princípio, deve sempre fornecer energia à sua fonte. Como funciona? É muito útil termos acabado de falar sobre retificadores e inversores, porque é disso que uma fonte de alimentação ininterrupta é composta.

27:34 Então, vamos começar bem à esquerda. À esquerda, temos a rede elétrica ou o gerador, seja lá o que estiver fornecendo a eletricidade. E quase sempre isso é corrente alternada. Depois, temos a UPS, que faz algo muito estranho. Primeiro, ela converte corrente alternada em corrente contínua com um retificador e, em seguida, converte corrente contínua em corrente alternada com um inversor. Assim, se você considerar a UPS uma caixa-preta, ela não faz nada. E então

28:05 você talvez fique muito ofendido por ter algo que não faz nada. Ainda mais porque essas duas etapas não são gratuitas. Você pode pensar nelas como etapas que exigem — ou melhor, causam — alguns pontos percentuais de perda na forma de calor, ou simplesmente ineficiências normais. Por exemplo, uma fonte de alimentação ininterrupta que recebe 100 kW talvez só forneça 95 kW. Então, por que fazemos isso? Por causa do que está aqui embaixo: esta bateria, que é a razão de a UPS existir.

28:36 Uma coisa muito importante a saber é que as baterias fornecem corrente contínua. Isso é simplesmente uma propriedade da reação eletroquímica que acontece dentro de uma bateria, que fornece elétrons em uma direção. O objetivo da UPS é que, quando o gerador ou a rede elétrica desligar, possamos usar a bateria para proteger instantaneamente esta carga protegida ou, essencialmente, assumir quase instantaneamente a capacidade do gerador para alimentar a carga protegida.

29:08 Para explicar por que temos essa conversão redundante, considere a situação hipotética em que um gerador fornece energia diretamente para esta carga de corrente alternada. Isso funcionaria muito bem. Mas, se o gerador parasse, primeiro seria preciso conectar a bateria a um inversor, que converte corrente contínua em corrente alternada, e depois conectá-la à carga. Isso levaria algum tempo, o que significa que a carga ficaria desprotegida por um período. Não haveria energia

29:40 sendo fornecida à carga, porque esse caminho seria separado. Mas, como a rede elétrica, o gerador e a bateria passam pelo mesmo fluxo, essencialmente, o que acontece é que, assim que a UPS detecta que o gerador deixou de fornecer eletricidade, a bateria transmite energia instantaneamente para a UPS por meio desta conexão de corrente contínua e, em seguida, a converte em corrente alternada, como se nada tivesse acontecido. Como se, do

30:12 ponto de vista da carga protegida, ela ainda estivesse recebendo eletricidade em corrente alternada. Só que, em vez de a energia vir da rede elétrica ou do gerador, agora a bateria fornece essa corrente alternada. Mais uma vez, isso garante que não haja interrupção no fornecimento de energia. Se conectássemos a bateria diretamente à carga protegida por meio de um inversor, haveria um intervalo de tempo em que a carga não receberia energia. E, em muitos casos de uso, isso simplesmente não é uma opção. Certo? E o

30:43 exemplo que acabei de apresentar e explicar é, na verdade, uma fonte de alimentação ininterrupta online. Ela é chamada de online porque está na conexão, está em linha. É por onde a energia realmente passa. É ali que ela está conectada. Isso significa que o inversor continuará fornecendo energia à carga instantaneamente, ou quase instantaneamente, quando a rede elétrica cair. Esse tipo é usado, por exemplo, em data centers ou sistemas médicos sensíveis. Uma fonte de alimentação offline é o outro exemplo que apresentei. Então, essencialmente,

31:14 o que acontece é que você tem um caminho direto da rede elétrica até a carga, e a rede alimenta a carga diretamente. Quando o fornecimento é interrompido, a bateria passa por um inversor e há uma chave, essencialmente uma chave de transferência, que alterna da rede elétrica para o conjunto do inversor e da bateria. É daí que vem o atraso. Essa chave não é instantânea. Certo? E, se olharmos aqui embaixo, ao passar do funcionamento normal para a interrupção do fornecimento,

31:45 a bateria alimenta diretamente a conexão de corrente contínua, e o inversor continua fornecendo energia à carga. Já na UPS offline, há essa breve transferência antes de a bateria fornecer energia. Então, você teria uma UPS offline, por exemplo, em computadores de mesa. Acho que isso acontece porque o computador provavelmente já tem alguma capacitância na fonte de alimentação, de modo que, se a energia cair, ele ainda consegue continuar funcionando por alguns segundos ou milissegundos, até a bateria começar a alimentá-lo. Então, há uma

32:15 diferença entre UPS online e offline, ou fontes de alimentação ininterruptas. Mas, para este curso, vamos presumir que qualquer UPS seja uma UPS online, porque, no contexto de data centers, estamos falando apenas de fontes de alimentação ininterruptas online. Certo. E agora vamos falar um pouco sobre redundância. Digamos que você tenha uma carga de 100 kW. Nesse caso, seriam necessários dois módulos de 50 kW. Ou seja, dois módulos que

32:46 fornecendo essa energia à carga. Isso seria chamado de redundância N, porque você tem tantos módulos de energia quanto precisa — ou melhor, a quantidade de energia disponível equivale à quantidade de energia que você precisa fornecer. Digamos que agora você adicione uma segunda, ou melhor, uma terceira fonte de alimentação de 50 kW. Então, você teria redundância N+1. Certo. E essa é apenas a notação. Normalmente, N é igual a 2. Se você tiver uma

33:17 terceira, então terá N+1. E, se tiver quatro, terá 2N ou N+2. Esses termos são equivalentes. Uma correção rápida de edição: N+2 e 2N são a mesma coisa neste caso, mas nem sempre é assim. Fique ligado na seção sobre UPS, em que vamos discutir isso em mais detalhes. Falaremos sobre todas as diferentes configurações mais adiante no curso, mas esta é apenas uma primeira amostra das diferenças de redundância. E, para falar rapidamente da hierarquia do que um rack realmente contém: em alto nível, temos o próprio rack, que é apenas uma

33:49 estrutura metálica vertical. Você pode imaginá-lo como uma estante bem alta. E, dentro desse rack, há várias bandejas. Literalmente, são bandejas que você pode colocar e retirar, quase como a bandeja onde se colocam os pratos sujos em uma cafeteria. E cada bandeja contém um servidor de computação. Em cada servidor de computação, tomando como exemplo típico um acelerador GPU, há a CPU que executa o sistema, um pouco de RAM do sistema, provavelmente algum armazenamento NVMe para lidar com diferentes tarefas de rede e comunicação,

34:19 e, claro, a grande estrela aqui é a GPU, que tem núcleos de GPU e memória. Então, essa é uma espécie de hierarquia em miniatura do que um rack contém. Vamos discutir isso em muito mais detalhes mais adiante no curso. E, em particular, é muito importante falar um pouco sobre memória, porque é assim que a GPU realmente acessa o modelo. Neste exemplo, digamos que você esteja obtendo o modelo do HuggingFace, que talvez você conheça. É uma biblioteca de código aberto muito comum para

34:51 obter modelos de código aberto. Você obteria o arquivo do modelo de algum servidor. Ele passaria pela rede. Primeiro, provavelmente seria carregado na RAM do sistema da CPU e, depois, copiado diretamente para a memória da GPU. Então, se estiver usando uma GPU Nvidia, você enviaria esses dados aos núcleos da GPU, aos núcleos tensoriais, onde as matrizes são multiplicadas pelo prompt que você fornecer para gerar tokens de saída. E, só para fazer um breve desvio sobre redes e velocidade de rede: é a

35:22 velocidade da rede que determina a rapidez com que você consegue carregar o modelo do servidor de armazenamento para o servidor de computação. Digamos que você tenha um bloco de 8 megabytes, o que equivale a 64 megabits, já que um byte equivale a 8 bits. Bem, se considerarmos uma velocidade de transferência de 10 gigabits por segundo, seriam necessários 6,4 milissegundos para enviar todos os bits. Isso também pressupõe uma latência de 10 microssegundos para o primeiro bit, que não depende da taxa de transferência.

35:54 Mas, se você tiver uma velocidade de transferência de 100 gigabits por segundo, reduziria esse tempo em uma ordem de grandeza, para 0,64 milissegundo para transferir o bloco inteiro de 8 megabytes. Este é apenas um exemplo simples, mas já dá para perceber que a velocidade de transferência e a latência ao passar dados entre o modelo e o servidor são algumas das métricas mais importantes para determinar a rapidez com que você consegue atender seus usuários e se eles realmente ficarão satisfeitos com o serviço recebido, porque ninguém gosta de um endpoint de modelo muito lento e

36:26 demorado. Outra coisa que queremos enfatizar bastante neste curso é que essas GPUs não funcionam de graça, nem deixam de precisar de cuidados. Elas produzem muito calor, e estão produzindo cada vez mais, no sentido de que, a cada nova geração de GPU, aumenta o número de watts consumidos por cada componente da GPU. Isso não quer dizer que elas estejam ficando menos eficientes. Quer dizer mais que

36:57 a GPU em si está ficando maior. Então, mesmo que a GPU fique mais eficiente, se continuar aumentando de tamanho com o passar do tempo, ela estará crescendo mais do que ganhando eficiência. Isso significa que o consumo líquido de energia aumentará, e essa tem sido a tendência nos últimos anos. Por exemplo, digamos que você forneça 500 watts. Se a temperatura da GPU permanecer constante ao longo do tempo, você também precisará remover esses 500 watts. Se houver um desequilíbrio entre os watts de entrada e os de saída — ou seja, se você fornecer mais watts do que remove —, com o tempo a GPU vai superaquecer.

37:29 Então, é preciso manter esse equilíbrio. Ele é alcançado por meio de uma placa fria, que é literalmente uma placa bem próxima à parte superior do chip da GPU, por onde circula o líquido de refrigeração. Neste exemplo, ele está a 30 °C. Esse líquido passa pela placa fria e absorve o calor da GPU. Digamos que ele chegue a 45 °C, e então a placa fria…

38:01 fica a 45 °C, e o líquido de refrigeração que sai tem agora uma temperatura 5 °C mais alta. Depois, você removeria esse calor usando um dos vários métodos sobre os quais vamos falar. Essa seria a operação estável da GPU. Portanto, não dá para simplesmente presumir que a GPU vai funcionar sozinha e ficar bem. É preciso garantir que ela continue resfriada. E, se observarmos esse processo um nível acima de abstração, temos a placa fria — que era, essencialmente, uma ampliação desse ciclo. Mas, na verdade, normalmente há

38:32 um sistema de dois circuitos. À esquerda, temos o circuito de líquido de refrigeração do equipamento, que faz o líquido circular entre a placa fria da GPU e a CDU, com a ajuda de uma bomba. CDU significa unidade de distribuição de líquido de refrigeração. Essa unidade tem um trocador de calor que transfere o calor do líquido de refrigeração da placa fria, do circuito de refrigeração de TI, para o circuito de

39:03 refrigeração da instalação. Esse é o circuito do líquido de refrigeração que, de alguma forma, troca calor com o exterior. Isso pode ser feito por meio de um mecanismo semelhante ao de um ar-condicionado. Também pode ser feito por evaporação. Como mencionei, vamos falar sobre esses métodos em mais detalhes. Neste exemplo, temos simplesmente um ventilador que rejeita calor por meio de um sistema de resfriamento passivo. Assim, o calor atravessa o trocador de calor dessa unidade de distribuição de líquido de refrigeração, mas o fluido, na verdade, não atravessa

39:33 as fronteiras entre os circuitos. Uma das razões para isso é que o líquido de refrigeração do circuito de TI recebe muito mais tratamento e precisa ser cuidado com muito mais atenção, porque chega a poucos milímetros do chip, que vale cerca de 70 mil dólares — é muito caro. Esse circuito de refrigeração é bem ajustado e monitorado. Há muitos sensores nesses racks para garantir que qualquer vazamento seja detectado imediatamente. Já o líquido de refrigeração do circuito externo,

40:03 o circuito de refrigeração da instalação, provavelmente também faz parte de um sistema de resfriamento bastante limpo e sofisticado, mas não precisa ser monitorado tão de perto quanto o circuito do equipamento. Se houver um vazamento nesse circuito, provavelmente ele não fará um rack inteiro parar de funcionar. Seria preciso consertá-lo, embora ainda seja algo ruim. Só estou tentando dizer que esses dois circuitos de refrigeração têm níveis de prioridade diferentes. E a última

40:33 Vale a pena observar que estou falando apenas de loops e de refrigeração líquida. Isso porque, em qualquer data center construído hoje em diante — e até nos últimos cinco anos — todos esses sistemas são refrigerados a líquido. Isso acontece porque os líquidos conseguem absorver muito mais calor do que o ar. As épocas em que os data centers eram refrigerados a ar já ficaram para trás. Vou mostrar a vocês uma métrica bem específica na seção sobre refrigeração que demonstra por que esse ponto é tão importante. Mas, por enquanto, saibam que tudo relacionado à refrigeração neste curso é refrigeração líquida. E, certo…

41:08 quando falamos de refrigeração, é interessante porque ela é outra fonte de consumo de energia. Então, quando falamos de quanta energia, de quantos watts um data center precisa, não dá para simplesmente dizer: “Tem 10 GPUs, cada GPU consome 1 megawatt”. Esse é um exemplo muito ruim. Digamos que cada GPU consuma 1 quilowatt. Nesse caso, seriam 10 quilowatts de potência. Mas, é claro, também precisamos de outras coisas para alimentar o sistema inteiro. Isso pode incluir bombas, ventiladores, suporte, literalmente apenas…

41:38 …deixar as luzes acesas e outros usos triviais de eletricidade. O sistema de TI, que inclui os computadores, o armazenamento e a rede, consome a maior parte da energia na maioria das vezes. Mas ainda existe essa parcela na extremidade direita, que também precisa de energia. E há uma proporção muito importante chamada PUE, eficácia do uso de energia, que é igual ao consumo total de energia da instalação — neste caso, temos…

42:08 …a energia. Então, neste caso, é uma hora de uso. Na prática, uma hora de consumo de energia é bem semelhante à própria métrica de potência. Portanto, podemos expressar isso como 120 quilowatts-hora de energia ou simplesmente 120 quilowatts. Não faz muita diferença. De qualquer forma, dividiríamos o consumo total de energia da instalação pelo consumo de energia da TI para obter a eficácia do uso de energia. Neste caso, é 1,2. E, se ainda não adivinharam, o número que vocês…

42:40 …querem alcançar é um. Porque, se chegarem a um, isso significa que, de alguma forma, o data center está funcionando usando energia apenas para alimentar as GPUs. Isso seria impossível, porque é preciso resfriá-las. Mas é possível chegar perto de um, o que significa, essencialmente, que vocês estão usando cada vez menos energia para coisas que não sejam as GPUs e mais apenas para alimentá-las. Este é só um exemplo de uma métrica muito importante que vocês podem observar em um data center para já ter uma ideia de quão eficiente ele é e quais são os diferentes usos da energia que…

43:13 …ele consome. Certo, isso conclui nossa introdução. Agora estou animado, porque vamos entrar no que acho que é o primeiro capítulo de verdade. Vamos falar de uma visão geral dos data centers. Vai ser, de maneira semelhante, uma planta baixa bem geral e uma visão do espaço, mas vamos entrar um pouco mais nos detalhes. Então, se falarmos de um rack em funcionamento, digamos um GB300, que é um rack Blackwell com 70 GPUs. Ele se chama NVL72…

43:44 …GB300, que significa Grace Blackwell. 300 é apenas o nome do modelo, e NVL significa NVLink, que é a tecnologia de interconexão; depois, há 72 GPUs. Esse é o nome completo. Digamos que temos três desses racks aqui. Bem, a primeira coisa que precisa acontecer é trazer energia da rede elétrica. Primeiro, ela provavelmente passará por uma sala elétrica, onde haverá um sistema de reserva de energia. Algum tipo de configuração de baterias, que apresentamos na introdução por meio da fonte de alimentação ininterrupta, o UPS. E também…

44:15 …há um sistema de distribuição, porque a energia não é distribuída toda por um único fio. É mais sofisticado do que isso por vários motivos. Um deles é que, se toda a energia for distribuída por um único fio e esse fio falhar, todos os racks serão desligados. Já com um sistema mais redundante, com algum tipo de hierarquia, se um dos fios falhar, a ideia é que isso afete apenas um rack. Esse é o objetivo da redundância. E, agora, passando para o calor, temos os racks de computação, que fazem cálculos úteis, mas…

44:46 …também geram calor residual. Esse calor passa por uma interface de refrigeração, que definimos como a unidade de distribuição de fluido refrigerante, a CDU, em alguma galeria mecânica. Normalmente, ela não fica dentro do salão de TI, que vocês podem imaginar como a principal área de computação do data center. E esse calor é expelido para fora. Por fim, temos as informações, que passam por uma rede de fibra, porque, no fim das contas, um data center permite que os usuários façam algum tipo de alteração nos dados ou, no caso da IA, façam…

45:18 …chamadas para Claude Code ou Codex. E vocês ouviram o termo salão de TI. Também podemos chamá-lo de salão de dados. Para ver como isso fica na prática, neste caso temos um data center do Google em New Albany, Ohio. Na verdade, nesta foto há TPUs. Na minha opinião, os data centers do Google são realmente uma maravilha. Olhem só a organização dos cabos e todos esses equipamentos sofisticados. Esses tubos provavelmente transportam fluido refrigerante. Não tenho 100% de certeza, mas esse é meu palpite inicial.

45:49 Então, já dá para ver por onde passam as diferentes partes do data center. E esses cabos pretos provavelmente fornecem energia a cada um dos racks de TPU. No alto, temos o espaço branco, que abriga a TI, ou seja, o salão de dados; e o espaço cinza dá suporte à operação. Vamos voltar à imagem que vimos no slide anterior. O motivo de eu ter deixado a parte inicial em branco e os dois lados à esquerda em cinza é que é assim que os data…

46:19 …centers são identificados ou organizados. Essencialmente, chamamos a área de TI de salão de dados. Ela também tem alguns outros nomes, mas, de qualquer forma, a área onde ficam as GPUs é chamada de espaço branco. Talvez esse nome seja usado porque é um lugar que se mantém limpo e ao qual é preciso prestar muita atenção, enquanto os outros espaços, como o espaço cinza onde fica a eletricidade e o espaço cinza onde fica o fluido refrigerante, são menos importantes. Mas, de qualquer forma, ambos são importantes. Basta saber que esses são os diferentes nomes usados para se referir a essas partes do data center. E falamos da rede elétrica e…

46:52 …estamos apenas supondo que a energia vem de algum lugar. Vamos falar sobre de onde ela vem. Vocês provavelmente sabem, em geral, de onde vem a energia. Vamos explicar. À esquerda, temos a energia térmica. Talvez vocês estejam se perguntando: onde entram a energia nuclear, o gás e o carvão? Bem, vocês podem considerar a energia nuclear, o gás, o carvão e todas as formas de energia em que se queima algum combustível ou se gera calor como formas de energia térmica, porque, essencialmente, na maioria desses casos, produz-se vapor e usa-se esse vapor para acionar uma turbina, que então gira um…

47:22 …gerador e produz eletricidade. O princípio é o mesmo para a energia eólica, só que, em vez de usar energia térmica, usa-se energia mecânica. É o vento que movimenta as pás do rotor e, assim, gera energia. E há também a energia solar, que está se tornando cada vez mais importante no mundo todo. Um fato interessante é que há literalmente uma usina solar nas planícies tibetanas da China com cerca de 18 gigawatts, ou algo absurdo assim. É uma das maiores instalações de geração de energia…

47:53 já construído pela humanidade. Há, é claro, a magnífica Barragem das Três Gargantas, na China, que também é ainda maior em termos de produção de pico em gigawatts. Mas, sim, a geração de energia solar está se tornando cada vez mais importante. E, curiosamente, essa é a única forma de energia em todo esse conjunto que produz energia em corrente contínua. A única outra forma principal de energia que gera corrente contínua são as células de combustível. Há uma empresa bastante conhecida chamada Bloom Energy, que

48:23 usa uma célula de combustível para queimar gás natural, mas não por meio de oxidação. Não é um processo comum de oxidação em que se adiciona oxigênio e então se produz, tipo, oxigênio. Desculpe, você adiciona oxigênio a algum hidrocarboneto e então o queima para produzir dióxido de carbono e também energia. Em vez disso, é por meio de algum outro processo eletroquímico. De qualquer forma, a energia solar e as células de combustível são os únicos dois tipos de energia usados principalmente para corrente contínua. E também há a energia hidrelétrica, que segue um princípio parecido com o de outras formas: você gira uma turbina, neste caso com

48:53 água, e então gera eletricidade na rede. Pelo que entendo, a própria rede usa corrente alternada em todos os sistemas do mundo. Essas são algumas formas de energia que precisamos usar para alimentar nossos centros de dados. Quando a energia chega ao centro de dados, primeiro usamos linhas de transmissão de alta tensão para transportar a energia entre as regiões e os destinos. E fazemos isso porque, mais uma vez, em nossa introdução apresentamos a fórmula P = IV. Portanto, a quantidade de energia

49:25 que transmitimos por uma linha de transmissão é igual à corrente multiplicada pela tensão. O problema é que, se você aumentar muito a corrente, terá perdas enormes de calor, o que é muito ruim. É ineficiente. Para tornar a transmissão eficiente, é preciso elevar a tensão: quando a energia é gerada, por exemplo, em uma turbina eólica, é preciso elevar a tensão a um nível muito alto para que a corrente possa ser suficientemente baixa e manter as perdas de calor reduzidas, porque, vale lembrar, as perdas de calor aumentam de forma quadrática

49:57 — isto é, crescem com o quadrado do aumento da corrente. Certo. É por isso que usamos transmissão em alta tensão. Quando chegamos ao ponto de recebimento, reduzimos a tensão. Há vários motivos para isso: você não leva simplesmente energia a 345 quilovolts até a sua casa, porque, em primeiro lugar, isso é perigoso. É preciso ter uma distância de segurança específica para evitar, por exemplo, a formação de arcos elétricos, em que literalmente feixes de eletricidade ionizam o gás e o transformam em plasma, além de muitos outros motivos

50:27 nos quais nem vou entrar. Então, não fazemos isso em todos os lugares. Usamos esse método apenas para transmissão em alta tensão, com linhas de energia instaladas a uma altura específica e projetadas para conduzir esse tipo de eletricidade com eficiência. Quando pesquisei sobre a transmissão e a distribuição de energia, descobri que a eficiência entre a geração e o recebimento é de cerca de 95% na maioria dos sistemas. Isso pode ser mais ou menos, mas é uma estimativa aproximada da eficiência de todo esse sistema para levar energia de

50:59 onde é produzida até o destino. É claro que, se a energia for produzida no próprio destino, a eficiência da transmissão será muito maior, pelo menos porque você não precisa passar por tantas etapas quanto passaria se, por exemplo, produzisse energia em uma barragem e depois precisasse transportá-la por 1.000 km ou 1.000 milhas até o centro de dados. Portanto, a distância é outro fator que afeta a eficiência da transmissão. Quando a energia chega ao centro de dados, ela passa por uma subestação. Subestações são simplesmente o nome dado a

51:32 os equipamentos e as instalações que recebem essa conexão de alta tensão da rede elétrica e, em seguida, a convertem para média tensão. Depois de processarmos a energia em várias etapas adicionais, ela é usada pelas prateleiras de alimentação do rack para realmente alimentar as GPUs. Você pode pensar na subestação do campus como a conexão entre o local e os sistemas elétricos dos edifícios. Na subestação do campus, primeiro podemos adicionar, opcionalmente, um gerador no local, mas a maioria dos centros de dados tem algum tipo de

52:03 sistema de geração, porque, se a rede elétrica falhar, você não vai querer ficar sem energia. Na verdade, há alguns centros de dados específicos, construídos por empresas como XAI, SpaceX e Crusoe, que usam eletricidade atrás do medidor — ou seja, nem sequer estão conectados à rede elétrica. Isso não é ideal, mas a maior vantagem de usar BTM, isto é, eletricidade atrás do medidor, essencialmente sem conexão à rede, é que você não precisa esperar pela obtenção das licenças e

52:34 pelo envio do pedido de interconexão, nem entrar na fila de interconexão para esperar pela aprovação e pela conexão à rede. Esse é o único benefício. De qualquer forma, se usarmos a conexão com a rede elétrica, teremos uma subestação no campus, que alimentará a distribuição de energia do edifício, com um gerador quase sempre presente. Essa distribuição no edifício alimentará as prateleiras de alimentação do rack, que contêm as unidades de fonte de alimentação. Essas unidades de fonte de alimentação converterão a corrente alternada em corrente contínua, que as GPUs usarão para

53:04 realizar seus cálculos. Vamos supor que você esteja conectado à rede elétrica e ocorra uma interrupção no fornecimento. Nesse caso, a energia armazenada fará a ponte durante a interrupção do fornecimento enquanto, por exemplo, os geradores começam a funcionar. Você pode pensar nos geradores como equipamentos que levam pelo menos um ou dois minutos, ou algum intervalo de tempo, entre serem ligados e fornecerem uma fonte estável de energia. Portanto, os geradores não entram em funcionamento instantaneamente. Normalmente, estamos falando de geradores a diesel ou algum tipo de turbina a gás que fornecerá energia ao centro de dados quando houver uma falha na rede elétrica. Então, nesse

53:37 intervalo, digamos que seja de 1 minuto, você ainda precisa de energia. E, como apresentamos na introdução, o sistema de alimentação ininterrupta é o que fornece essa energia temporária à carga de TI enquanto esperamos o gerador de reserva entrar em funcionamento. Em linhas gerais, o que ele faz, mais uma vez, é primeiro receber essa corrente alternada, retificá-la para corrente contínua e, em seguida, convertê-la de volta em corrente alternada. Esse processo redundante é feito, mais uma vez, porque temos uma bateria que

54:08 produz corrente contínua e está conectada a esse barramento por uma ligação de corrente contínua, que é essencialmente por onde a energia flui. Fazemos todo esse processo redundante para garantir um fornecimento de energia ininterrupto e instantâneo à carga de TI. Para repetir, se a bateria estivesse conectada a um inversor fora da ligação principal, haveria algum atraso, porque seria necessário um comutador para decidir se a energia viria da bateria ou da rede elétrica/do gerador. E esse

54:38 comutador não é instantâneo. Para fornecer energia instantaneamente à carga de TI em caso de falha na rede, é preciso ter esse sistema de alimentação ininterrupta, que inclui tanto um retificador quanto um inversor. Curiosamente, nem mesmo a bateria é instantânea. Uma bateria pode levar 10 milissegundos para entrar em funcionamento, e esse intervalo de 10 milissegundos pode ser lento demais, já que as GPUs precisam de uma fonte constante de energia. Portanto, provavelmente também há capacitores nesse sistema,

55:09 em algum lugar dentro do sistema de alimentação ininterrupta, para que o capacitor possa fornecer tensão instantaneamente e levar energia à carga de TI enquanto a bateria, nesse intervalo de 10 milissegundos, fornece energia a essa ligação de corrente contínua. Agora, se olharmos especificamente para o rack de alimentação, temos a energia entrando no rack GB300, o Grace Blackwell 300 que apresentei antes, por meio da prateleira de alimentação. Vou ampliar essa parte por um instante e nós

55:40 Vamos falar sobre a hierarquia vertical deste rack. Uma coisa que você deve saber — falaremos disso mais tarde — é que esses racks são bem grandes e pesam cerca de 1,5 tonelada. Então imagine algo bem, bem pesado e bem caro. No topo, há quatro prateleiras de energia e também quatro prateleiras de células de energia na parte de baixo, oito no total, que podem fornecer cerca de 260 kW de energia aos 8 + 10 trays de computação, além dos trays de switch 9v

56:12 Link. Em alto nível, esses trays de computação são o que realmente faz as multiplicações de matrizes para o transformer ou outras cargas de trabalho aceleradas que você está executando. E os switches NVL Link são o que permite que essas GPUs diferentes se comuniquem umas com as outras em velocidades de terabits por segundo, terabytes por segundo — velocidades simplesmente insanas dentro deste rack. E, no topo, há outros switches de rack, usados para outros recursos de rede.

56:42 E mencionei que temos 260 kW — acho que são 264 kW — de energia que podemos fornecer à carga de TI por meio dessas prateleiras de energia, enquanto o rack inteiro requer até 142 kW na carga máxima. Então, por que temos uma capacidade de fornecimento de energia cerca de 120 kW maior do que o necessário? Isso é apenas para redundância. Por exemplo, se uma prateleira de energia falhar, nesse caso, nós

57:12 ainda podemos operar todas as GPUs normalmente. Além disso, essas prateleiras de energia geralmente podem ser substituídas a quente. Isso significa que, enquanto o rack continua ligado, você pode retirar uma prateleira de energia inteira, remover uma unidade com defeito e depois colocá-la de volta. E a última coisa que vou dizer é que cada uma dessas prateleiras de energia contém seis fontes de alimentação. Então, na verdade, você tem 4 + 4 prateleiras de energia, ou seja, oito, e depois 8 × 6, 48 fontes de alimentação neste

57:43 rack. E você pode retirá-las e redefini-las se uma delas estiver com defeito. O ponto realmente importante aqui é que elas podem ser substituídas a quente, o que permite fazer substituições enquanto o rack continua online, algo muito importante. Uma coisa que vou mencionar aqui — e que vamos repetir ao longo do curso — é que a alimentação em corrente alternada que chega a este rack é recebida por essas prateleiras de energia, que contêm as unidades de fonte de alimentação, seis por prateleira, e então isso converte a corrente alternada

58:14 em corrente contínua. No caso do GB300, ela é convertida em aproximadamente 50 a 51 volts de corrente contínua na barra coletora deste rack. Vamos falar bastante sobre barras coletoras e barramentos. Você pode pensar numa barra coletora como uma espécie de rodovia para elétrons: esses elétrons percorrem a barra para fornecer energia às diversas cargas. Neste caso, às diversas cargas dos trays de computação deste rack de energia. Dentro do rack, temos os trays de computação e de switch. São eles que realmente consomem

58:46 a energia. E tenho uma imagem de como isso fica visto por trás. Na verdade, a barra coletora de energia está destacada aqui. É meio difícil de ver, mas é literalmente uma barra vertical, feita de algum tipo de condutor, provavelmente cobre, mas não tenho certeza. Ela se estende na vertical porque queremos fornecer energia a todas as prateleiras de energia. E então as prateleiras de energia alimentam cada um dos trays de computação. Fique à vontade para pausar aqui também, se quiser ver quais são os outros componentes na parte de trás do rack

59:16 — que são realmente muito legais, para falar a verdade. Por exemplo, há reforços sísmicos para terremotos, e muitos dos componentes do sistema de refrigeração líquida também ficam aqui e estão identificados em bastante detalhe. Certo? Voltando à hierarquia geral do data center, ou pelo menos do rack: temos o chip, que você pode considerar como a GPU se estivermos usando um acelerador de IA. Depois, o acelerador de IA/GPU fica em algum tipo de tray; vários desses trays formam um rack; e vários racks

59:46 formam um cluster. No caso da Nvidia, esses clusters são interconectados por switches NV, algum tipo de interconexão que permite a comunicação entre racks. É assim que, por exemplo, realizamos grandes treinamentos, porque, quando você treina modelos com trilhões de parâmetros, precisa de muita memória e de muitos racks de GPUs para treinar o modelo em tempo hábil. Certo? Então, se olharmos para a

1:00:19 interconexão no nível do cluster e até mesmo no nível do campus, veremos que elas têm diferentes funções de comunicação. Talvez você já tenha ouvido falar de um domínio scale-up, que fica dentro de um único rack. Dentro de um rack, esse é o domínio no qual você pode essencialmente passar informações livremente, ou pelo menos passá-las com uma largura de banda extremamente alta. Neste caso, estaríamos falando de um único rack GB300 NDL72. Ele é chamado de domínio scale-up. Já o domínio scale-out abrange vários racks. E, de fato, você pode expandir

1:00:50 para uma rede mais ampla, que pode incluir outros locais e usuários fora do campus. Dentro do domínio scale-out, geralmente você também tem acesso a alguma rede de armazenamento, onde pode armazenar pesos de modelos ou outras informações de rede úteis. E, na borda do campus, fica a interface entre o data center e os outros pontos de destino. Isso pode ser outro data center ou simplesmente os usuários finais. Geralmente, essa conexão é feita por fibra óptica. Na

1:01:21 verdade, há um caso especial muito interessante: os TPUs. As Tensor Processing Units do Google usam switches ópticos que conectam 4.096 TPUs. Esse número agora é muito maior, porque já estamos no TPU V8. Então, essa geração está quatro gerações desatualizada, mas as fotos dessa geração eram as melhores, e por isso a escolhi. Essencialmente, temos esses chips organizados em pods reconfiguráveis. São 4.096 por pod. E, neste caso, temos apenas

1:01:51 1/8 de um pod TPUv4 nesta imagem. Cada pod tem 64 desses racks. Neste caso, há oito. Então, 1/8 de 64 são oito. Essencialmente, há 64 desses racks, ou blocos, como são chamados. E cada um tem 64 chips. Portanto, são 4.096 chips ao todo. Você pode pensar que é um pesadelo conectar tudo isso, e provavelmente foi. Mas você deve sempre confiar na

1:02:23 engenhosidade dos engenheiros do Google. E eles fazem isso conectando cada bloco com o que chamamos de switches de circuito óptico. Não precisamos saber exatamente o que são, mas, essencialmente, são espelhos que direcionam luz contendo informações, ou seja, os dados que estão sendo transmitidos entre os diferentes racks. Curiosamente, esses espelhos podem reconfigurar as conexões para contornar falhas. E acho isso muito legal. Então, essencialmente, se houver alguma falha em um switch de circuito óptico, você pode reconfigurar os espelhos para que os dados passem

1:02:55 pela falha e continuem sendo transmitidos. Neste exemplo hipotético, estamos transmitindo dados do bloco A para o bloco B por meio deste switch de circuito óptico. E o sistema inteiro que permite a transferência de dados entre diferentes pods de TPU, caso você tenha interesse, chama-se ICI, sigla de interconexão entre chips. É um nome bastante intuitivo também. Neste caso, estamos apenas conectando dois blocos com esta conexão, e o Gemini 1.0 ultra, que foi

1:03:28 o maior modelo do Google em 2023, foi treinado em vários data centers. Neste caso, estamos nos comunicando apenas dentro de um único pod. Mas, durante a execução do Gemini Ultra, também havia switches OCS entre os data centers. E, por ser uma empresa tão grande, o Google pode conectar esses data centers usando sua própria fibra óptica e, essencialmente, controlar a rede que os conecta para obter a melhor largura de banda possível. Esse foi um breve exemplo.

1:03:58 o grau em que esses racks são otimizados para latência e comunicação. Agora, vamos mudar o foco para o aquecimento. Como discutimos na introdução, em todos os data centers construídos hoje que têm resfriamento líquido, geralmente há dois circuitos de líquido refrigerante que levam o calor das placas frias até a instalação externa. Quando falo do calor das placas frias, estou falando dessas placas de metal que ficam sobre a GPU e absorvem o calor gerado durante o funcionamento. E, neste caso, o líquido refrigerante é chamado de líquido refrigerante de TI, ou líquido refrigerante tecnológico.

1:04:30 Então, este é um circuito, que é alimentado pela unidade de distribuição de líquido refrigerante, que tem um trocador de calor entre o líquido refrigerante da instalação — e, para ser preciso, esses são circuitos de fluidos completamente separados. E dá para ver exatamente em que parte do ciclo estamos: se seguirmos no sentido horário, o líquido refrigerante está quente na parte de cima e à direita, e frio embaixo e à esquerda, nos dois circuitos. E, neste caso, estamos usando apenas um sistema de resfriamento passivo, em que ventiladores literalmente sopram o calor para fora, para a atmosfera, e devolvem o líquido refrigerante frio para trocar calor

1:05:03 com o calor das GPUs que estavam conectadas à placa fria. Vamos entrar em mais detalhes ao longo do curso. Agora, vamos falar um pouco sobre TI versus suporte da instalação. Vamos supor que tenhamos uma alimentação de 2 megawatts e que ela precise alimentar racks que somam 1,5 megawatt. Neste caso, temos 10 racks de 142 kW, o que totaliza 1,42 megawatt. Vamos supor também que tenhamos

1:05:34 80 kW de rede e armazenamento, o que nos dá 1,5 megawatt de carga de TI, e que tenhamos uma potência nominal. O que é a potência nominal? Essencialmente, é a quantidade máxima de energia que um data center pode fornecer. Digamos que as empresas de serviços públicos digam: “Podemos fornecer a você, no máximo, 2 megawatts de energia. Essa é a quantidade máxima que forneceremos.” Nesse caso, é daí que vem a potência nominal. Ou, se você estiver usando energia atrás do medidor, digamos que tenha literalmente 2 megawatts em

1:06:04 turbinas a gás. Bem, você não pode produzir mais de 2 megawatts se essa for a potência nominal das suas turbinas a gás. Essa é a capacidade nominal. E normalmente a quantidade de energia que você consome não chega a 2.000 quilowatts, porque você não quer operar no limite. Por exemplo, suas turbinas a gás podem não estar sempre ligadas ou, melhor dizendo, funcionando na capacidade máxima. Vamos supor que tenhamos 1,5 megawatt de capacidade de TI e 300 kW de suporte, que podem ser usados para resfriamento e também para aquecer a instalação — não para aquecê-la, mas, essencialmente, para o sistema de HVAC dos

1:06:36 escritórios comuns que também ficam no data center, além da iluminação. Então, teríamos 1,8 megawatt de energia total. Isso seria a TI mais o suporte da instalação, e ficaria dentro da potência nominal, que é de 2 megawatts. Esses são alguns dos números de que falamos quando tratamos do consumo total de energia de um data center. Temos os equipamentos de TI e, depois, TI mais o suporte da instalação, que, neste caso, seriam 1.800 kW em comparação com 2.000

1:07:07 quilowatts, que é a potência nominal. Então, neste caso, o data center deve conseguir fornecer energia suficiente tanto para a TI quanto para a instalação. Certo. Uma coisa interessante que quero mencionar é que a maioria das cargas de trabalho de machine learning e IA não é constante e estável. Por exemplo, digamos que você esteja executando uma avaliação grande, que causaria um pico grande de demanda. E suponha que essa avaliação esteja pronta à meia-noite e precise ser concluída até a meia-noite do dia seguinte.

1:07:38 Então, você tem 24 horas para concluir essa avaliação. E, ao longo de um período de 12 horas, ela exige 4 megawatts de energia para ser concluída. Mas, se você pudesse distribuí-la ao longo do tempo, poderia dobrar o tempo necessário, para 24 horas, e então ela exigiria apenas 2 megawatts de energia. E, supondo que nosso data center consiga

1:08:09 fornecer no máximo 6,5 megawatts, essa seria uma forma, por exemplo, de garantir que as avaliações em lote pudessem ser executadas. Supondo, mais uma vez, que tenhamos uma carga constante de 4 megawatts, proveniente da inference ao vivo — apenas para atender nossos usuários —, além de outras cargas, como as de rede e armazenamento de que falamos. Nos dois casos, teríamos um consumo total de energia de 144 megawatt-hora por dia. Mas o problema é que, neste caso, não podemos

1:08:39 executar isso, porque a demanda de pico excede o limite de fornecimento de 6,5 megawatts. Mas, se distribuirmos as tarefas ao longo do tempo, como mencionei aqui, poderemos concluir os dois trabalhos e usar a energia melhor ao longo do dia todo, em vez de conseguir executar essencialmente apenas metade do processamento em lote, como neste exemplo. Outra coisa, voltando ao exemplo de dois slides atrás: se tivermos um sistema de suporte de 300 quilowatts-hora e um consumo de TI da instalação de 1.500

1:09:12 kW, poderemos calcular a eficácia do uso de energia, que foi apresentada na introdução, como 1.800 dividido por 1.500, o que dá 1,2. Mas digamos que tornemos nossa instalação mais eficiente e reduzamos pela metade a energia necessária para o sistema de suporte. Então, essa razão passaria a ser 1,1. Isso demonstra que, quanto menor a eficácia do uso de energia, melhor a instalação consegue dar suporte aos equipamentos de TI, às GPUs, usando menos energia.

1:09:43 E agora vamos ver rapidamente um exemplo. Digamos que um campus hipotético de data center registre 12 megawatt-hora no medidor da instalação e 10 megawatt-hora nos medidores de TI. Isso corresponderia, por exemplo, às GPUs durante a mesma hora. Um analista soma os valores e informa que o campus usou 22 megawatts de computação útil. A pergunta é: corrija o total e explique o que esses valores não permitem saber. Vou dar um tempo para você

1:10:16 tentar responder à pergunta, se quiser, e depois vamos resolvê-la juntos. Essencialmente, o que acontece aqui é que os 12 megawatt-hora já incluem os 10 megawatt-hora. Então, o valor está sendo contado duas vezes. Na verdade, podemos dizer que a instalação inteira consome 12 megawatt-hora de energia ao longo de uma hora e que 10 desses 12 são destinados à TI. O que podemos fazer aqui é calcular a eficácia do uso de energia, que seria 12 dividido por 10, o que dá 1,2. Mas não podemos realmente

1:10:47 calcular muito mais do que isso. Acho que, se olharmos a resposta, temos essencialmente uma eficácia do uso de energia de 1,2. Mas nem essa razão nem a demanda elétrica nos dizem quanto trabalho aceito o campus concluiu. Então, com esses valores, isso é essencialmente tudo o que podemos calcular. E, se alguém disser que foram feitos 22 megawatts de computação útil, estará errado. Também não podemos supor que 10 megawatt-hora equivalham à computação em si, porque a TI não é composta apenas por computação: há

1:11:18 também a rede envolvida. Então, sabemos que a quantidade de computação útil realizada em multiplicações de matrizes é inferior a 10 megawatt-hora de energia. Certo. Essa foi a pequena verificação de conhecimento do capítulo 2, que acabamos de concluir. Agora, vamos ao capítulo três. Neste capítulo, vamos discutir o modelo e seus usuários, que determinam o que o data center

1:11:48 precisa fornecer. Neste capítulo, estamos falando de cargas de trabalho. E por que tenho aqui uma foto do CEO da Nvidia, Jensen Hong, ao lado deste gráfico muito engraçado? Isso foi na Computex, uma conferência que aconteceu em 2026. Acho que é uma conferência de chips da Nvidia. Nessa conferência, falaram, em particular, sobre a receita das fábricas de IA e tokens por watt, porque tokens por watt está se tornando uma das métricas mais importantes para determinar quanto lucro se pode obter de um data center, porque

1:12:20 No regime atual, definitivamente há uma restrição quanto à quantidade de energia que você consegue contratar. Isso significa que, se você tiver uma determinada quantidade de energia, digamos, 1 gigawatt, a quantidade de tokens que consegue processar e produzir com esse gigawatt de energia determina quanto dinheiro pode ganhar. É por isso que você vê Jensen Hong falando sobre tokens por watt neste gráfico. E também há o TTFI, que significa tokens até ou, desculpe, tempo até a primeira inferência. Esse é um termo estranho

1:12:50 aqui. Esse não costuma ser o termo usado no setor. Você diria tempo até o primeiro token. Então, TTFT. Mas, de qualquer forma, há vários acrônimos diferentes para a mesma coisa aqui. O principal motivo de eu ter colocado este gráfico aqui é apenas destacar que o seu workflow, a forma como você atende seus usuários, determina quanto dinheiro pode ganhar; além disso, a quantidade de energia que você tem e sua proporção de tokens determinam quanto pode ganhar no fim das contas. Certo. Então, os três critérios de que vamos falar neste

1:13:22 capítulo são: qual é o modelo em si e qual é o estado. Então, vamos falar sobre pesos, sobre a sobrecarga de contexto e também sobre a sobrecarga de fato de treinar um modelo, caso você esteja treinando, porque, em geral, isso é muito mais caro em termos de memória do que apenas fazer inference, quando você atende usuários com um modelo que já foi treinado. Depois, quando se trata de atender usuários, há várias coisas que você pode fazer em termos de batching e tempo de resposta, assim como de latência. Então, vamos explorar um pouco esse campo

1:13:54 para falar sobre as compensações feitas ao equilibrar o custo com o atendimento aos usuários a uma velocidade específica. E também não podemos ignorar o grande elefante na sala, que é a demanda elétrica, certo? Não existe energia ou eletricidade infinita. Então, você precisa equilibrar as necessidades dos usuários com a quantidade real de energia que tem. Além disso, como já mencionei, os workflows de ML não são particularmente constantes. Há muitos picos e transições: em um momento, você

1:14:25 pode estar atendendo uma grande carga de inference e, em outro, ela pode diminuir. Isso significa que a infraestrutura elétrica precisa ser resiliente a essas transições. Os dois tipos principais de carga de trabalho, que são os principais tipos de workflows de ML, são treinamento e inference. Então, em alto nível, o que essas duas coisas fazem? No treinamento, há uma passagem para frente, em que você calcula a perda, e depois uma passagem para trás, que gera gradientes. Depois de obter os gradientes, você usa um otimizador para atualizar os pesos, a fim de aprender os parâmetros. Uma métrica importante no treinamento são os FLOPs, que significa operações de ponto flutuante por segundo. No treinamento, você processa esses lotes enormes de texto pelo seu modelo transformer, e a quantidade de FLOPs do seu hardware geralmente determina qual é o tamanho do lote, quantos modelos, quantos… quanto texto você consegue processar em um único lote. Claro que há muitas outras coisas nesse cálculo

1:14:55 também. Em particular, esses modelos são tão grandes que, na verdade, não ficam em uma única GPU: são particionados entre vários dispositivos. As diferentes formas de paralelismo são o que chamamos de diferentes esquemas. Essa também é uma métrica muito importante a considerar. Mas uma coisa importante no treinamento é quantas operações você consegue realizar por segundo em todo o seu rack ou domínio de expansão do data center. E, passando para a inference, o que queremos fazer aqui é produzir tokens para o usuário final. Métricas importantes aqui são o prompt, que precisamos preencher previamente. Então, essencialmente, se o prompt do usuário tiver 1.000 tokens, você precisa preencher isso previamente no modelo e calcular um KV cache, para que, em cada etapa consecutiva de inference, ao produzir o próximo token de saída, chamado de decodificação, você esteja decodificando com esse modelo autorregressivo, que é o transformer. Então, esse KV cache permite que você não precise produzir os estados de chave e valor de cada token anterior em toda etapa de inference

1:15:26 Se você não sabe o que é um token de chave e valor, pode pensar nele como uma representação interna que indica o significado semântico de todos os tokens anteriores, usada para orientar a geração do próximo token. E, se você não tiver o KV cache, precisará fazer muito mais computação. Então, ele serve essencialmente para evitar computações redundantes. Você precisa armazená-lo na memória e usá-lo em cada etapa de decodificação. Quanto ao batching, você tem um scheduler que mantém várias solicitações ativas que precisa atender e, essencialmente, agrupá-las de maneira

1:15:58 eficiente, para equilibrar, mais uma vez, as compensações entre atender modelos, atender usuários rapidamente e não usar um esquema de batching realmente ineficiente. As duas métricas de que vamos falar aqui são o throughput, que corresponde aos tokens por segundo considerando todos os usuários. Digamos que estejamos atendendo 100 usuários a 10 tokens por segundo. Nesse caso, o throughput seria de 1.000 tokens por segundo, já que isso é essencialmente agregado entre todos os usuários. E, por usuário, as duas

1:16:28 métricas importantes aqui são o primeiro token. Quanto tempo leva para chegar ao primeiro token? Isso é o TTFT, tempo até o primeiro token. E, depois, a latência entre tokens. Entre cada geração de token após o primeiro, qual é o intervalo seguinte? Então, se você disser que tem uma velocidade de 1.000 tokens por segundo, a latência entre tokens seria o recíproco: 1 dividido por 1.000 segundos, o que, não sei, dá algo como um microssegundo. Então, essas são as duas métricas

1:17:00 com que nos importamos. E a última coisa, que combina essas duas, se chama interatividade. Acho que falamos disso em um slide anterior — ou melhor, em um slide posterior. Interatividade é apenas tokens por usuário por segundo. Então, essa é outra métrica que usamos para determinar até que ponto nossa largura de banda de inference está otimizada, ou qual é, essencialmente, nossa largura de banda de inference. Ah, eu literalmente me adiantei. Não sei se falei na ordem certa, mas, de qualquer forma, interatividade é tokens por segundo por

1:17:31 usuário. Acho que eu disse tokens por usuário por segundo. Então, desculpem pelo erro. Neste exemplo, temos um usuário com interatividade de 40 tokens por segundo. Isso significa que temos 25 milissegundos entre tokens. Acho que isso está certo: 1 dividido por 40, ou 1 segundo dividido por 40. E o throughput aqui, dependendo de quantos usuários temos, seria simplesmente 40 vezes o número de usuários. E, na verdade, vamos analisar a interatividade. Então, se você tiver uma interatividade de 20, isso

1:18:02 resulta em uma latência entre tokens de 50 milissegundos, que é maior. E, se você dobrar — ou melhor, quadruplicar — de 20 para 80 tokens por segundo, terá uma latência entre tokens de 12,5 milissegundos. Aqui estamos falando apenas da perspectiva de um único usuário. Neste próximo gráfico, vamos falar sobre como atender vários usuários. No eixo y, você tem o throughput, que corresponde aos tokens por segundo por GPU.

1:18:33 E, como a Nvidia apresentou neste gráfico, o throughput da AI factory aumenta conforme você sobe. Aqui, em particular, temos a Nvidia GB300 NVL72, sobre a qual já falamos ao longo deste curso, usando um modelo Qwen 3.8. Então, se você olhar as especificações, é um modelo de 2,4 trilhões de parâmetros, mas é uma mistura de modelos especializados. Portanto, em qualquer etapa de inference, apenas 95 bilhões de

1:19:04 Isso resulta em uma latência entre tokens de 50 milissegundos, que é maior. E então, se você dobrar — ou melhor, quadruplicar — de 20 para 80 tokens por segundo, terá uma latência entre tokens de 12,5 milissegundos. Então, aqui estamos falando apenas da perspectiva de um único usuário. No próximo gráfico, vamos falar sobre como atender a vários usuários. No eixo y, temos o throughput, que é simplesmente o número de tokens por segundo por GPU.

1:19:35 E a Nvidia apresentou isso no gráfico: quanto mais para cima, maior o throughput da AI factory. Em particular, aqui temos o Nvidia GB300 NVL72, sobre o qual já falamos ao longo deste curso, usando um modelo Qwen 3.8. Se você olhar as especificações, é um modelo de 2,4 trilhões de parâmetros — desculpe, é um modelo de 2,4 trilhões de parâmetros, mas é uma mistura de modelos especialistas. Portanto, em qualquer etapa de inference, apenas 95 bilhões de

1:20:06 Os 2,4 trilhões de parâmetros estão ativos. Isso significa que apenas 95 bilhões de parâmetros são usados em cada etapa de inference. E isso é chamado de mixture of experts, caso você ainda não tenha ouvido falar. Além disso, temos FP8, que simplesmente significa que os parâmetros do modelo estão em precisão de 8 bits, ou em ponto flutuante de um byte. Também usamos a previsão de múltiplos tokens, que é um tipo de decodificação especulativa que nos permite prever vários tokens de uma vez, em vez de prever um por

1:20:38 um. Vamos analisar isso passo a passo. O TensorRT-LLM é o mecanismo de inference de LLM. Talvez você já tenha ouvido falar de vLLM ou SGLang. Esses são diferentes frameworks para servir modelos com alta eficiência no hardware que você tem. Quanto à tarefa, é basicamente uma tarefa em que você recebe 8.000 tokens de entrada e gera 1.000 tokens. É nisso que esse benchmark se baseia. E

1:21:08 basicamente, estamos representando a interatividade aqui. Por exemplo, a NVIDIA disse que, se você tiver um requisito mínimo de interatividade — digamos que tenha um SLA, sigla em inglês para acordo de nível de serviço —, imagine que você esteja vendendo capacidade de computação para uma empresa e ela diga que quer pelo menos 100 tokens por segundo por usuário. Isso daria uma vazão total de cerca de 1.000, o que significa que você poderia atender talvez uns 10 usuários a 100 tokens por segundo por

1:21:38 usuário. Agora, digamos que a empresa diga que quer pelo menos 200 tokens por segundo. Acho que, na verdade, não fiz o teste da linha vertical — desculpe, da linha horizontal — para ver onde isso cruza o gráfico, mas, basicamente, pegando este ponto e levando-o para a esquerda, você verá quantos tokens por segundo pode atender no rack inteiro de 72 GPUs. Por fim, se você disser que quer 300 tokens por segundo por usuário, provavelmente só conseguirá atender um usuário. E o que você

1:22:09 pode perceber é que há retornos decrescentes. Este não é um gráfico linear. Se fosse, então, basicamente, se você pudesse atender 10 usuários a 100 tokens por segundo, isso significaria que poderia atender um usuário a 1.000 tokens por segundo. Mas essa otimização simplesmente não funciona assim. Ela é não linear. Portanto, é importante ter em mente que, quanto mais você avança para o regime sensível à latência, ou quanto mais velocidade deseja, mais os retornos diminuem. Mas a última coisa

1:22:39 que vou mencionar é que este é o Qwen 3.8 2.4T sem ajustes adicionais. Então, provavelmente, com vários esquemas de otimização interessantes, você poderia deixar este gráfico muito mais atraente, o que basicamente significaria que a linha ficaria mais alta para um dado nível de interatividade e que você provavelmente teria uma vazão maior. Mas, com o modelo Qwen 3.8 2.4T 4T básico, sem ajustes adicionais, este é o gráfico de interatividade. Esta é uma métrica extremamente importante para ter em mente, porque ela determina, basicamente, a rentabilidade

1:23:10 e a viabilidade de quantos usuários você pode atender, com qual vazão, em uma determinada configuração de hardware. Mencionei antes que o treinamento geralmente exige mais memória do que a inference. Para explicar isso melhor, vamos analisar um exemplo. O mesmo modelo com 70 bilhões de parâmetros precisa de muito mais estado quando seus parâmetros estão sendo treinados do que quando está sendo servido. Digamos que estamos servindo um modelo Llama 70B com precisão de dois bytes. Isso significa 16

1:23:41 bits por parâmetro. Então, para servir apenas os pesos, calculamos 70 × 2, o que dá 140 GB de pesos BF16. Também precisamos acrescentar o KV cache e o espaço de trabalho em tempo de execução como sobrecarga. Portanto, não são apenas 140 GB. Mas, se compararmos isso com o treinamento, podemos ver que a sobrecarga do KV cache e do espaço de trabalho em tempo de execução não chega nem perto de compensar o fato de que este valor é cerca de uma ordem de magnitude maior. E por

1:24:12 que é uma ordem de magnitude maior? Porque ainda temos os mesmos 70 bilhões de parâmetros vezes 16 bytes por parâmetro. Mas também temos o estado do Adam, que usa precisão de quatro bytes, ou seja, ponto flutuante de 32 bits. Você pode pensar no otimizador Adam como um estado do otimizador. Ele acompanha, por exemplo, o momentum, que é uma métrica extremamente útil para tornar o treinamento de modelos mais estável.

1:24:43 Não precisamos entrar em detalhes, mas, para resumir: temos aqui os mesmos dois bytes para os pesos que temos na inference. Mas também temos dois bytes para os gradientes. Temos ainda um conjunto de pesos mestres, que usam quatro bytes. Mais uma vez, temos a estimativa do momentum e do segundo momento — desculpe, não do gradiente, mas sim do momentum e do segundo momento — que vem do estado do otimizador. Além disso, temos as ativações, que armazenamos para calcular o gradiente. Então, tudo isso

1:25:14 não é realmente importante conhecer em um nível extremamente detalhado. O importante é perceber que todos esses diferentes estados que precisam ser acompanhados significam que, neste exemplo simples, temos que armazenar uma ordem de magnitude a mais de memória para treinar um modelo do que para servi-lo. E, mais uma vez, provavelmente há muitas técnicas para reduzir bastante essa quantidade e tornar o uso de memória no treinamento mais eficiente.

1:25:44 O mesmo também se aplica à parte de serving. Mas, mais uma vez, estamos apenas tentando ter uma visão geral dos diferentes requisitos de memória para treinar um modelo, à direita, em comparação com servi-lo. E falar do comprimento do contexto também é interessante. Isso independe de treinamento e serving. Trata-se apenas do que é necessário fazer para armazenar um KV cache para qualquer modelo. Neste caso, o modelo considerado é o Llama 3.1 70B. A lição geral é que contextos mais longos

1:26:15 mantêm mais estado, porque as chaves e os valores crescem a cada solicitação. Então, como calculamos o tamanho de um único token? O que é um token na inference de LLM? É simplesmente uma unidade que o LLM consegue reconhecer. Por exemplo, a palavra “the” poderia ser dividida em “th” e “e”. Na realidade, a palavra “the” é tão comum que provavelmente é um token próprio. Digamos que a palavra “the” esteja armazenada em cache no nosso modelo, de modo que não precisamos

1:26:45 recomputá-la a cada etapa de inference. Temos um cache para as chaves e os valores, que são duas matrizes. O próprio modelo, se você consultar o model card, tem 80 bilhões de parâmetros. E, por camada, há 8 cabeças de KV. Não sei se eu disse camadas ou não, mas, enfim, são 80 camadas. Em cada camada, temos 8 cabeças de KV. Cada cabeça tem uma largura, o que significa que o vetor tem 128 valores

1:27:17 de comprimento. Então, basicamente, cada vetor tem 128 dimensões. Para cada valor desse vetor de 128 posições, armazenamos um número no formato BF16, que ocupa dois bytes, ou 16 bits. Ao fazer essa multiplicação, obtemos este valor: 327.680 bytes por token, ou 320 quilobytes por token. Essa é a memória de KV. Na verdade, é a memória de KV para um token. Portanto, o número de tokens em cache

1:27:49 multiplicado por 320 quilobytes nos dá a sobrecarga, ou seja, a quantidade de memória que precisamos armazenar para um único token. E gostaria de aproveitar este momento para falar de algo interessante que aconteceu no mercado, provavelmente entre o fim de 2025 e o começo de 2026. Você provavelmente já sabe do que estou falando. Estou falando de todas essas ações de empresas de memória, como Micron, SanDisk e Western Digital, que se valorizaram enormemente. E este cálculo deve demonstrar por que essas

1:28:19 as empresas aumentaram tanto seu valor de mercado. Para um único token, você literalmente precisa desta quantidade de bytes para armazená-lo no seu modelo. E também não mencionei isto, mas isso exclui a sobrecarga de bloco. O que é a sobrecarga de bloco? É simplesmente o fato de que, quando você quer alocar memória na sua HBM, sua memória de alta largura de banda na sua GPU, precisa fazer isso em blocos que têm uma largura definida, e provavelmente o bloco não será um

1:28:51 múltiplo perfeito do tamanho do seu cache para o KV cache. Então haverá uma pequena margem mínima que você também precisará acrescentar a esse requisito de bytes por token do cache, mas provavelmente será relativamente pequena e podemos ignorá-la. Mas, em geral, você precisa de uma quantidade enorme de tokens. E, à medida que os modelos de raciocínio se tornaram cada vez mais populares em 2025, o que aconteceu foi que o tamanho do KV cache foi aumentando, à medida que os traços de raciocínio ficavam cada vez mais

1:29:22 longos, e isso levou a um aumento na necessidade de memória, e muitas dessas empresas que produziam essa memória se tornaram muito valiosas. Certo. E o comprimento do contexto e o design do modelo mudaram o orçamento do KV cache. O que quero dizer com isso? Estou dizendo que, no sentido mais ingênuo, quando tínhamos o llama 3.1 70B, tínhamos uma necessidade de memória muito grande para o nosso KV cache. Então, vamos supor que tenhamos 64 GB alocados para

1:29:54 o nosso KV cache. Bem, se tivermos 8.000 tokens e multiplicarmos pelo número que calculamos neste slide, 327.680 bytes, então, para essas 8.000 solicitações — desculpe, 8.000 tokens — podemos ter, no máximo, 25 solicitações simultâneas com esses 64 GB de KV cache alocados, porque, se fizermos mais de 25 solicitações, simplesmente ultrapassaremos nossa alocação de 64 GB. Desculpe, nossa alocação de memória.

1:30:26 E, na verdade, se você quadruplicar a quantidade de tokens por solicitação, dividirá por quatro a quantidade de solicitações que pode atender simultaneamente. Então, 25 dividido por 4, arredondado para baixo, nos dá seis. Nesse caso, temos 10 gigabytes por solicitação e, só para conferir, se você multiplicar 10 gigabytes por solicitação por seis, chega de volta a 60 — ou 64, se considerarmos o arredondamento. E provavelmente estamos, neste gráfico, na faixa em que temos uma maneira bastante ineficiente de distribuir

1:31:00 e armazenar nosso KV cache. E, embora eu esteja comparando Llama com DeepSeek, a lição continua sendo a mesma. Essencialmente, o que aconteceu ao longo do tempo é que surgiram novas técnicas, como a atenção latente multi-head, que foi uma das técnicas desenvolvidas pela DeepSeek para reduzir a memória exigida pelo KV cache. Então, neste exemplo, você está comparando o KV cache acumulado, no eixo y, em gigabytes, com o comprimento da sequência, em milhares. Então, essencialmente, o comprimento da sequência aqui não é 1.000; é 1 milhão. E, no DeepSeek 3.2, para uma context window de 1 milhão, você precisaria de 50 GB. Depois, no DeepSeek V4 Pro, essa mesma context window de 1 milhão de tokens exigia, não sei, algo em torno de 5 GB. E, no DeepSeek V4 Flash, ficou 13,7 vezes menor, algo abaixo de 5 GB. E agora já estamos no DeepSeek V4.1 Flash, o modelo mais recente deles, se não me engano.

1:31:30 milhares. Então, essencialmente, o comprimento da sequência aqui não é 1.000, mas 1 milhão. E, no DeepSeek 3.2, para um context window de 1 milhão de tokens, você teria um requisito de 50 GB. Já no DeepSeek V4 Pro, esse mesmo context window de 1 milhão de tokens ficava, não sei, em torno de 5 GB. E, no DeepSeek V4 Flash, ficou 13,7 vezes menor, abaixo de 5 GB. E agora já estamos no DeepSeek V4.1 Flash, o modelo mais recente deles, se eu

1:32:02 Então, é por isso que você não deveria presumir ingenuamente que as ações continuarão simplesmente subindo. Os métodos também estão se adaptando a essa escassez de memória para usar cada vez menos memória, mantendo o desempenho, e isso é feito essencialmente comprimindo a atenção no DeepSeek V4. Então, outra lição que podemos tirar é que, embora a alocação de memória inicialmente fosse bastante absurda, ela está se tornando cada vez mais eficiente. Mas, por causa do que você chamaria de

1:32:33 paradoxo de Jevons, embora estejamos ficando mais eficientes, isso acaba fazendo com que mais pessoas usem os modelos, porque eles são mais eficientes; ainda assim, no total, precisamos de mais memória do que antes. Certo. Já discutimos brevemente a diferença entre prefill e decode, que são os dois regimes diferentes que ocorrem durante a inference, quando você serve um modelo. Em alto nível, o prefill precisa de computação e o decode precisa de largura de banda de memória. O que quero dizer com isso? Vamos

1:33:03 relembrar a diferença entre prefill e decode. No prefill, você processa o prompt. Você processa muitos tokens do prompt em paralelo, geralmente em um lote, e isso é uma operação de matriz realmente grande. Digamos que você seja a OpenAI e tenha 10 usuários que acabaram de enviar suas solicitações ao Codex. Cada solicitação talvez tenha um milhão de tokens. Isso é um exagero, mas vamos dizer que há literalmente uma base de código com um milhão de tokens. Então, você teria 10 milhões de tokens sendo processados em lote, e isso geralmente é limitado pela computação. E a métrica mais

1:33:33 importante aqui é o tempo até o primeiro token. O que quero dizer com limitado pela computação é que, ao contrário da velocidade de carregamento dos tokens na memória, que seria o gargalo aqui, o gargalo é a velocidade com que se espera que as multiplicações de matrizes terminem; é isso que impede o processamento mais rápido desses tokens. E, passando ao decode, o que acontece aqui é que você já processou o modelo — ou os prompts — uma vez. Então, em cada

1:34:05 etapa subsequente de decode, ou de geração autoregressiva de tokens, você só precisa ler os pesos do modelo e o contexto em cache e, então, gerar o próximo token. Muitas vezes, isso é limitado pela largura de banda da memória, porque você já fez a maior parte do trabalho de calcular o KV cache na fase de prefill. Nessa fase, você só se preocupa com o tempo entre os tokens de saída e com a movimentação dos pesos para dentro e para fora da memória, além de mover o novo KV cache para dentro e para fora da memória para gerar os tokens seguintes. É por isso que há um limite de memória. E essa

1:34:38 diferença fundamental entre prefill e decode levou ao que se chama desagregação de prefill e decode, o que significa, essencialmente, que você usa hardware diferente para realizar cada tarefa, porque cada tarefa é adequada a um tipo diferente de hardware. Se você tem uma máquina realmente rápida em computação, vai querer usá-la no prefill. E um tipo de chip como o da Cerebras, se você já ouviu falar, seria melhor para o decode, porque tem velocidades de largura de banda de memória extremamente altas. Certo. E outra coisa que

1:35:09 destaquei aqui é que temos grandes multiplicações de matrizes, que geralmente processamos em paralelo, se fizermos isso de maneira inteligente. Porque, se você carregar os pesos na memória e só fizer o cálculo com um prompt, terá sua matriz de pesos aqui, carregada da HBM para o chip da GPU. E, se você multiplicar por apenas um prompt, não estará amortizando muito bem essa transferência dos pesos. Isso essencialmente

1:35:40 custa muito tempo e energia, porque você não está fazendo isso em lote. Já se, digamos, fizer isso para oito solicitações, terá mais operações aritméticas com a mesma leitura dos pesos, enquanto aqui usamos apenas um vetor. Isso permite que você amortize — esse é o termo usado — a transferência dos pesos para a memória em maior medida, já que está fazendo isso de uma maneira mais paralela e em lotes, especialmente quando falamos de prefill e decode e dessa

1:36:13 desagregação. Não estou falando disso apenas em teoria: literalmente, está sendo introduzido hardware para isso. No caso da NVIDIA, temos o NVIDIA Groq 3 LPX, um produto feito especificamente para inference, e ele inclui um Vera Rubin NVL 72. Vera Rubin é a geração seguinte à Grace Blackwell, e temos o mesmo rack NVLink 72, que processa o prompt e faz o prefill, e então

1:36:44 transfere o cache KV para esses Groq LPUs, que eram de uma empresa adquirida pela Nvidia, e eles criaram esses chips especiais que transmitem a resposta muito rápido porque têm o que se chama SRAM, que pode oferecer uma largura de banda extremamente alta para transmitir e processar a fase de decodificação rapidamente. E isso tem um tempo muito rápido — não o tempo até o primeiro token, mas a latência entre tokens. E é isso que permite gerar tokens extremamente rápido, tanto na fase de prefill

1:37:16 quanto na fase de decodificação. Vou repetir mais uma vez: isso se chama desagregação de prefill e decodificação. Certo. Agora vamos falar rapidamente sobre batching e por que tenho uma imagem de um ônibus aqui. Deixe-me explicar. Há dois tipos diferentes de batching — na verdade, há muitos tipos, mas vou apresentar apenas dois neste caso. Há o batching fixo, que é a implementação ingênua. Nesse caso, essencialmente, digamos que a cada 5

1:37:48 segundos você processa alguns lotes de prompts enviados pelos usuários e só processa novos lotes a cada 5 segundos. Então, embora no intervalo três você pudesse processar outro lote, porque tem espaço na memória, ainda espera até o próximo intervalo; ou melhor, esperaria até o último lote terminar. É como se você estivesse esperando o lote mais lento terminar, e isso simplesmente desperdiça capacidade computacional. Se tivéssemos um ônibus aqui, o exemplo seria que ele só poderia pegar novos

1:38:19 passageiros depois de todos os passageiros descerem, o que não faria sentido, certo? Você estaria deixando pessoas para trás mesmo que ainda houvesse espaço no ônibus. Claro, se o ônibus estiver cheio, não pode deixar mais ninguém entrar. Mas, até isso acontecer, você ainda pode receber novos passageiros. E o modo como um ônibus realmente funciona é o que chamamos de batching contínuo. Assim que um passageiro desce, o lote C ocuparia o lugar dele. E é essencialmente assim que a maioria dos mecanismos de inference funciona. Falamos do TensorRT, do vLLM e do SGLang. Nós

1:38:51 falamos deles. É assim que funcionam na prática. Eles usam batching contínuo. Num ônibus, seria como permitir que os passageiros embarcassem em cada parada, se houvesse passageiros esperando. E, em cada parada, se alguém quisesse descer, você deixaria essa pessoa sair. O último caso extremo é quando o ônibus está realmente cheio, ou seja, todos os lugares estão ocupados. Nesse caso, você não deixa ninguém entrar até alguém sair. Esse é o exemplo de batching. E, em relação à velocidade e ao processamento de tokens, enfatizamos bastante a interatividade como uma das métricas importantes. Mas, mais uma vez, o consumo de energia é

1:39:23 algo que não pode ser ignorado. Então, vamos considerar duas execuções, A e B, que têm a mesma quantidade de tokens concluídos e a mesma qualidade, supondo que estejam executando a mesma carga de trabalho. Vamos supor que a execução A use, em média, 100 quilowatts, e que a execução B use 80 quilowatts. Ingenuamente, você pensaria: certo, se ambas fazem o mesmo trabalho, a execução A é pior porque consome mais energia a qualquer momento. Mas vamos supor que a execução A leve 10 minutos e a execução B leve

1:39:53 15 minutos. Se você multiplicar esses valores para obter quilowatts-hora, verá que, na verdade, a execução A é mais eficiente em termos de consumo de energia: 16,7 quilowatts-hora, contra 20 quilowatts-hora consumidos pela execução B. Isso acontece porque a execução B levou mais cinco minutos, resultando num aumento de 20% no consumo de energia. O que quero dizer com tudo isso é que, mesmo que um sistema consuma mais energia, se conseguir concluir o trabalho mais rápido, pode acabar tendo um consumo de energia melhor.

1:40:26 Na mesma linha, também podemos falar do consumo de energia em relação à sincronização das tarefas de GPU. Mais especificamente, quando você está treinando um modelo, a potência da GPU — ou o consumo de energia — cai enquanto você espera a troca dos pesos. Essencialmente, o que acontece é o seguinte: quando você executa um treinamento de um modelo grande, há uma passagem para frente, em que você passa as ativações. Ou seja, você passa o prompt pelo modelo para obter

1:40:57 as ativações e depois usa essas ativações numa passagem para trás para calcular os gradientes. Depois de calcular os gradientes, você atualiza os pesos com o otimizador e, então, faz o que se chama all-reduce, que sincroniza os gradientes entre todos os modelos. Desculpe, não os gradientes, mas os pesos, para calcular os novos pesos do modelo para a próxima etapa. O que acontece é que, durante essa comunicação de todos para todos, que é o all-reduce, há menos computação. E isso significa que a potência da

1:41:27 GPU fica muito mais baixa. E não acredite apenas no que digo. Vamos olhar este gráfico, que é muito interessante. Ele vem de um artigo de 2025 da Microsoft, da OpenAI e da NVIDIA, que mostra o DGX H100 numa execução de treinamento em produção. A potência no eixo y está normalizada entre zero e um, mas, na verdade, é medida em watts. E o consumo da GPU aparece neste gráfico temporal, cujo eixo está em segundos. Vamos de 0 a 200 segundos, ou seja, aproximadamente 4 minutos. Você pode

1:41:59 ver o quanto isso sobe e desce. Eles não identificam, por exemplo, “esta é a passagem para frente”, “esta é a passagem para trás” e “esta é a etapa do otimizador”. Mas eu presumiria que este é o momento em que as GPUs estão se comunicando. E este gráfico é extremamente revelador. Por que isso acontece? Porque ele já nos dá a intuição de que, quando alimentamos esses sistemas com energia e, ingenuamente, fornecemos a mesma quantidade de energia ao longo do tempo, haverá muitos problemas. Em determinado momento, se você estiver

1:42:30 fornecendo a potência máxima, haverá essencialmente muita energia excedente que precisará ir para algum lugar. Isso significa que o fornecimento de energia para esses modelos precisa ser muito mais resiliente. Claro, se combinarmos treinamento com inference, isso também ajudará, porque a inference meio que amortecerá essas grandes oscilações que ocorrem durante o treinamento. E vamos falar sobre as técnicas específicas que a Microsoft usa, por exemplo, tanto no nível do software quanto no nível do hardware, para garantir

1:43:01 que essa sincronização, que leva a um consumo de energia muito baixo em intervalos específicos, não afete a rede elétrica nem a infraestrutura a jusante. Isso será abordado num capítulo posterior. Por enquanto, basta entender que esse é um problema que precisa ser resolvido quando treinamos modelos em grande escala. Certo. Já vimos este gráfico no exemplo anterior, mas agora vamos determinar os valores; vamos atribuir números a ele. As fases de computação e troca criam

1:43:32 essa carga elétrica variável ao longo do tempo. Vamos supor, num caso simplificado, que o eixo y mostre quilowatts e o eixo x, segundos; a fase de computação consome 120 quilowatts, a troca consome 40 quilowatts. E, quando salvamos os pesos do modelo para a próxima fase de computação, isso requer 60 quilowatts de potência. Desculpe, não energia, mas potência. E a potência média é de 85 kW. Mais uma vez, se agora dividirmos isso entre quatro GPUs, as diferenças ficam quatro vezes maiores. O pico passa a ser de 480 kW, em vez de 120 kW, com uma média de 340 kW. E, a cada ciclo de 60 segundos, consumimos 5,6 quilowatts-hora de energia. E o que eu queria dizer, e o motivo de ter trazido todo esse exemplo, é que

1:44:04 De novo, se agora você distribuir isso entre quatro GPUs, as diferenças ficam quatro vezes maiores. E o pico agora é de 480 kW, em vez de 120 kW, com uma média de 340 kW. E, por ciclo de 60 Hz, consumimos 5,6 quilowatts-hora de energia. E uma coisa que eu queria dizer, e a razão pela qual trouxe este exemplo todo, é que

1:44:37 Isso talvez nem sempre seja o caso, e talvez seja difícil fazer com que seja, mas, se presumirmos — ou se pudermos ter uma configuração em que os jobs sejam independentes —, escaloná-los com 15 segundos de intervalo, ou iniciá-los separados por 15 segundos, para distribuir a demanda de energia significaria que a faixa total de potência seria de 340 watts — desculpe, 340 kW. E o consumo de energia continuaria igual, porque estaríamos fazendo a mesma quantidade de trabalho ao longo desse minuto; apenas estaríamos escalonando as tarefas para que o pico de potência não ocorresse como ocorre aqui. Assim, o pico de potência

1:45:08 não ocorreria como ocorre aqui. Então, essa é uma forma um tanto idealizada de abordar o problema. Mas, em alto nível, esse é um método que podemos usar para evitar que nossos requisitos de potência atinjam picos e caiam a níveis mínimos ao longo do ciclo das nossas cargas de trabalho. Certo. Então, o que discutimos neste capítulo? Essencialmente, dissemos que é preciso dimensionar o fornecimento com base no traço de potência medido da carga de trabalho. O fornecimento é como a energia efetivamente disponível. O

1:45:39 traço de potência é a potência em função do tempo. E a carga de trabalho é o que você está realmente executando. Está fazendo treinamento? Está fazendo inference? E, para cada categoria específica, há alguns termos importantes. Para a carga de trabalho, trata-se do modelo. Qual é o tamanho do modelo que você está treinando? O contexto — qual é o tamanho do KV cache, de quanta memória você precisa? Quando falamos do serviço de tokens, quais são os requisitos para atender seus usuários? Você também está fazendo treinamento ou inference? Em relação ao traço de potência, precisamos conhecer o pico, a energia e a velocidade de transição

1:46:11 — ou seja, quanto a energia varia ao longo do tempo; essencialmente, qual é a aceleração do uso de potência. E o fornecimento é simplesmente: qual é a rede elétrica, com que potência podemos contar? Como funciona a geração? Com que rapidez ela pode se adaptar? E também há armazenamento local? Em essência, há baterias que possam fornecer um grande aumento repentino de energia e depois desligar quando a demanda diminuir? Então,

1:46:42 vamos analisar mais a fundo esses requisitos e adaptações específicos de energia nos próximos capítulos, mas isso dá uma ideia do que devemos esperar em relação à forma como os data centers precisam se adaptar às cargas de trabalho trazidas pela IA. E elas são muito variadas. Agora, vamos falar um pouco mais sobre a infraestrutura física. Neste capítulo, vamos falar sobre a preferência por locais e como escolher

1:47:12 os locais. Se analisarmos isso com base em três perguntas, falaremos sobre quando. Ou seja, em que ritmo a energia pode realmente ficar disponível? Como vamos nos conectar à rede elétrica? Vamos nos conectar a um fornecimento local? Vamos usar gás? Vamos usar energia renovável, etc.? E o quê? Qual é a logística da energia que estamos recebendo? Como são os picos? Quais são as fontes de backup? Em resumo, precisamos escolher um local que possa fornecer energia para cada fase dentro do prazo necessário. Na verdade, se eu passar para o segundo

1:47:44 slide deste capítulo, se houver vários prazos, podemos escalonar a construção para colocar capacidade computacional em operação gradualmente. Isso não é apenas teórico. A CoreWeave, uma das maiores empresas de hyperscale, tinha um conjunto de data centers em construção em outubro do ano passado. E recebeu os primeiros 50 megawatts em outubro. O dia 27 de outubro foi quando a primeira fase ficou pronta

1:48:14 para entrar em operação. E a segunda fase veio menos de um mês depois, em 24 de novembro. Nesse momento, já havia 100 megawatts de capacidade computacional em operação. Você pode pensar nisso como uma forma de cortar seu ostr… ou seja lá qual for a expressão. Na segunda configuração, você simplesmente construiria tudo ao mesmo tempo. E talvez ainda levasse até novembro para colocar os 100 megawatts de capacidade computacional em operação. Mas, muitas vezes, se você tiver um projeto enorme de 1 gigawatt, é provavelmente mais rápido e

1:48:46 melhor desenvolvê-lo gradualmente, de acordo com as restrições da cadeia de suprimentos, e então colocar a capacidade computacional em operação o mais rápido possível, porque, atualmente, há um prêmio enorme por ter capacidade computacional pronta para uso, em vez de construir tudo ao mesmo tempo e depois ter que esperar mais para que o projeto inteiro entre em operação. E podemos ver essa mesma tendência em Abilene, o campus que está sendo

1:49:16 construído no Texas pela Crusoe. A meta para esse campus é de 10 gigawatts, mas o campus de Abilene que está sendo construído atualmente foi planejado para 1,2 GW. Segundo os informes da Oracle deste mês, setembro de 2026, 75% da capacidade já foi entregue e está em operação. Na verdade, eles não informaram a quantidade exata de megawatts que está em operação. Mas, se calcularmos três quartos de 1,2, chegamos a 900 megawatts atualmente

1:49:49 em operação. E, mais uma vez, este é um segundo estudo de caso do que acontece quando você coloca capacidade computacional em operação gradualmente, em vez de esperar até que tudo esteja pronto. Isso permite começar a lucrar muito antes do que seria possível de outra forma. E outra coisa interessante sobre Abilene é que o campus usa gás para gerar energia no local. Essa geração fica atrás do medidor e usa essas turbinas a gás, que você pode ver bem aqui — essas são as usinas de energia de Abilene. E, para atender a essa demanda, eles

1:50:22 construíram sua própria derivação de gasoduto. O que é uma derivação de gasoduto? Você pode pensar nela como um ramal de uma linha principal de gás. Estamos no Texas, onde há gás em abundância. E, para obter esse gás, eles precisaram construir um ramal de 14 milhas, que construíram por conta própria para fornecer a Abilene uma fonte de gás natural para abastecer suas turbinas a gás. E, sim, este é um exemplo de que, se você não tiver os recursos,

1:50:52 há maneiras de obtê-los. Neste caso, eles literalmente construíram seu próprio gasoduto para abastecer essas turbinas a gás. E, quando se avalia a viabilidade e se verifica se um data center está pronto e se pode realmente acessar energia suficiente para entrar em operação, é preciso realizar estudos conjuntos. Vamos considerar que você esteja construindo dois campi de data centers, o campus A e o campus B,

1:51:23 lado a lado. Se ambos dependerem da mesma subestação, você deve garantir que ela seja capaz de fornecer energia suficiente aos dois campi, em vez de presumir ingenuamente que, tudo bem, ela atende à capacidade do campus A — e esquecer: “Droga, precisamos dobrar isso, porque os campi A e B precisam da mesma quantidade de energia.” Então, é algo que devemos ter em mente: é preciso fazer muitos estudos de viabilidade antes da construção desses data centers. Isso envolve verificar se a subestação tem capacidade de

1:51:55 distribuição suficiente e também se recebe energia suficiente da rede elétrica, ou se precisamos gerar energia no local para compensar o déficit. Há quatro principais tipos de consumo ou geração de energia. Vamos distinguir entre energia importada da rede, fornecimento local e operação totalmente isolada da rede, em um regime atrás do medidor. Vamos analisar cada um deles, um por um. Começando pelo fornecimento da rede elétrica. Esse é o caso

1:52:26 em que o fornecimento da concessionária atende à demanda normal, e o backup é projetado separadamente, embora a maioria dos data centers tenha algum tipo de sistema de backup. Mas, nesses cenários abastecidos pela rede, espera-se que ela forneça energia em condições normais. Antes dessa atual loucura dos data centers e das GPUs, em que tudo está esgotado e os prazos de entrega são de vários anos, esse era o principal modelo, porque obter energia da

1:52:57 A rede elétrica é simplesmente muito mais barata e muito mais confiável do que gerar energia por conta própria. E, se falarmos de uma configuração em paralelo com a rede, ela é semelhante a uma configuração abastecida pela rede, exceto que você tem produção local — ou seja, tem seus próprios geradores no local — e também pode importar energia. Então, imagine que seu data center tenha 1 gigawatt e que sempre haja pelo menos 500 megawatts, ou 0,5 gigawatt, de

1:53:29 carga de base. Digamos que você instale uma turbina de meio gigawatt, ou de 500 megawatts, para complementar essa carga de base, que é garantida, e então importe energia da rede para essencialmente atender aos picos que ocorrem — por exemplo, talvez ao meio-dia haja muitas solicitações. Então, você precisa importar muita eletricidade para compensar esse pico, esse aumento, mas, fora isso, depende desse gerador local e então simplesmente

1:54:00 reserva capacidade de importação para quando precisar. E isso é essencialmente um acordo que seria definido entre a concessionária de energia e a operadora do data center. Depois, há uma configuração exclusivamente de exportação, em que você fornece toda a energia de que o data center precisa por conta própria, usando seus próprios meios de geração, e então exporta energia ou tem algum acordo com a rede

1:54:31 para exportar a energia excedente gerada. Nesse caso, você teria sua capacidade de TI. Digamos que sua capacidade de TI seja de 1… 1 gigawatt e que o consumo de energia dos equipamentos que não são de TI, ou seja, das instalações, seja de 100 quilowatts; então você tem 1,1… sim, tem 1,1 gigawatt de consumo de energia nesse caso. Desculpe, um… digamos que você tenha 1 gigawatt de consumo de energia

1:55:01 pela sua capacidade de TI e 1 megawatt de consumo de energia pelos outros equipamentos das instalações. Isso daria um consumo total de 1.001 megawatts. Então, seu gerador provavelmente seria maior do que isso, já que você precisa garantir que sempre consiga atender pelo menos a essa carga de base. Digamos que seja um gerador de 1,5 gigawatt. Então, você abasteceria o data center com esse gerador e exportaria o excedente para a rede. E uma coisa

1:55:31 aqui é que não haveria importação nenhuma. Então, não haveria como obter energia da rede, o que significa que, se o gerador parar, você deve ter alguma redundância no sistema. Já uma configuração completamente fora da rede, por assim dizer, atrás do medidor, significa que você está totalmente desconectado da rede. Então, gera toda a energia localmente e precisa de algum tipo de balanceamento rápido para compensar os picos e as quedas na demanda de energia. Isso pode ser feito com um

1:56:02 sistema de baterias ou outros capacitores para absorver esses choques. Mas, de qualquer forma, normalmente essa é a maneira mais rápida de colocar um data center em operação, mas também provavelmente a mais cara. E outra coisa interessante é que a Crusoe, que, mais uma vez, é uma operadora ou contratada de data centers e fábricas de IA, adotou esse esquema híbrido. Então, o que fizeram? Essencialmente, usaram turbinas a gás como fonte inicial de energia e, depois que as turbinas a gás — ou, desculpe,

1:56:35 por que fizeram isso? Deixe-me explicar isso para vocês. Essencialmente, existem filas de solicitações de conexão, o que significa que você não consegue acesso imediato à rede. Então, eles usaram essa solução temporária: enquanto aguardavam o acesso à energia da rede, usavam essas turbinas a gás para abastecer os data centers. Assim, tinham esse fornecimento provisório, mas, quando finalmente se conectaram à rede, essas turbinas a gás se tornaram apenas geradores de reserva e, em vez disso, passaram a importar energia da rede. Essa é uma técnica. Acho que também

1:57:06 a SpaceX ou a XAI, como você preferir chamá-la, adotou essa mesma estratégia em um de seus data centers. É uma forma de colocar seu data center em operação mais rapidamente, para começar a gerar tokens e ganhar muito dinheiro. Depois, quando finalmente se conectar à rede, você poderá importar eletricidade dela e usar essa capacidade ociosa como capacidade de reserva. Certo. Quando falamos de geração atrás do medidor, a forma mais comum de geração é por meio de turbinas a

1:57:37 gás. E há dois tipos: ciclo simples e ciclo combinado. A única diferença entre eles é que uma turbina a gás de ciclo simples tem uma turbina a gás, e a de ciclo combinado também. Mas a de ciclo combinado tem ainda um ciclo a vapor. Outra coisa é que você vai ouvir essas turbinas serem chamadas de CCGTs, sigla para turbinas a gás de ciclo combinado. E esta seria uma turbina a gás de ciclo simples. O que você realmente precisa saber também é que as CCGTs estão extremamente escassas. Então,

1:58:08 você terá que esperar muitos anos para conseguir uma, caso queira encomendar uma. Entre os dois maiores fabricantes estão a GE Vernova, que é a divisão de geradores da General Electric. Isso mesmo, a divisão de geradores da General Electric. Eles fabricam os geradores, as turbinas a vapor e essas enormes turbinas a gás para a General Electric. E há a Siemens Energy, a empresa alemã que também fabrica essas turbinas a gás. O motivo de eu

1:58:39 ter dito que elas estão em enorme demanda é simplesmente que são uma das maneiras mais eficientes de transformar gás em eletricidade. Em particular, as CCGTs podem chegar a 64% de eficiência, algo praticamente inédito para combustíveis fósseis. É muito eficiente. Além disso, podem produzir quantidades imensas de eletricidade. Então, você pode ter uma turbina CCGT da ordem de gigawatts. Já o ciclo simples é menos eficiente e também produz menos energia, porque usa apenas um dos ciclos. E vou

1:59:10 explicar por que isso acontece. Mas, de modo geral, essas são maneiras muito boas de transformar gás em energia. E, se você estiver construindo um data center no Texas, onde muitos data centers estão sendo construídos, ou na Pensilvânia, que é o segundo estado que mais produz gás nos EUA, terá muito acesso ao gás natural. Então, essa é a melhor maneira de obter energia. E a última coisa que quero dizer é que ocorreu uma dinâmica interessante: houve especuladores que previram a demanda por data centers

1:59:41 antes dos outros e, essencialmente, tinham capital para fazer pedidos dessas turbinas a gás de ciclo combinado ou dessas turbinas a gás de ciclo simples, sem a intenção de realmente comprá-las. E agora, basicamente, venderam sua posição para outras pessoas e tiveram um lucro considerável, porque elas estão em uma demanda imensa. Essa é só uma curiosidade interessante que eu queria explicar. Mas agora quero explicar como elas funcionam de fato. Como uma turbina a gás de ciclo simples aciona seu gerador? Em linhas gerais, essas

2:00:14 turbinas a gás de ciclo simples funcionam mais ou menos como uma turbina de avião. Há um compressor que comprime o ar a uma pressão muito alta, e então esse ar em alta pressão é queimado. Ou seja, você injeta o combustível e o queima. Esse combustível queimado, com pressão e velocidade extremamente altas, movimenta a turbina, e a turbina em rotação aciona o gerador. É simples assim. Dá para entrar em muito mais detalhes, se quiser, mas, em linhas gerais, é assim que

2:00:44 funciona uma turbina a gás de ciclo simples. Acho que estamos falando de uma eficiência de 30% a 40%, considerando a quantidade de joules no gás em relação à quantidade de energia produzida pelo gerador. E essas turbinas são muito mais simples do que as turbinas a gás de ciclo combinado. Então, ao fazer a comparação, vou primeiro explicar como funciona uma turbina a gás de ciclo combinado e depois comparar as duas. A turbina a gás do ciclo combinado usa exatamente o mesmo mecanismo que a de ciclo simples. Então, esta…

2:01:14 é igual. A única diferença é que agora você também acrescenta uma turbina a vapor à mistura. Então, o que está acontecendo aqui? Bem, acontece que essa turbina a gás de ciclo combinado gera muito calor e, na verdade, acho que você tem essas saídas aqui, que liberam o excesso de calor — e isso é desperdiçado em uma turbina a gás de ciclo simples. Mas, em vez disso, em uma CCGT, você recupera esse calor e usa uma turbina a vapor para girar uma turbina com o vapor e gerar energia adicional. Isso é

2:01:45 também parecido com o funcionamento de uma usina nuclear. Ela gera vapor e, em seguida, gira uma turbina. Então, essencialmente, você tem essa turbina de ciclo duplo, que não desperdiça o calor, mas o usa para alimentar um segundo gerador. Espero que isso ajude a entender por que uma turbina a gás de ciclo combinado é mais eficiente do que uma turbina a gás de ciclo simples. Este é um diagrama fornecido pela Seammens. Então, a pergunta natural é: por que diabos você não usaria apenas uma CCGT?

2:02:17 Há vários motivos. Primeiro, elas são mais caras e mais complicadas. Há dois aspectos principais: a manutenção e o custo geral são mais altos. Ainda assim, em um prazo bem longo, elas continuam sendo mais econômicas em relação à quantidade de energia que conseguem produzir. Há também o fato de serem mais complexas, então levam mais tempo para serem construídas. E, por fim, elas cumprem funções diferentes. O que quero dizer com isso? Você costuma usar CCGTs para a carga de base. Então, digamos que seu data center

2:02:48 precise de 500 megawatts o tempo todo. Nesse caso, você instalaria uma turbina a gás de ciclo combinado de 500 megawatts para atender a essa carga e mantê-la sempre ligada. E digamos que a demanda suba para 800 megawatts durante o dia. Então, talvez você queira comprar uma turbina a gás de ciclo simples de 300 megawatts para atender a esse pico. E por que faria isso? Porque as turbinas a gás de ciclo simples podem acelerar mais rápido, já que têm menos componentes. Elas conseguem atingir a potência máxima

2:03:19 mais depressa. Além disso, há um ponto de equilíbrio específico: como as turbinas a gás de ciclo combinado são mais caras, você quer mantê-las funcionando o tempo todo para amortizar o custo. Mas, se você só usa um gerador para fornecer energia de pico, ele provavelmente ficará desligado metade do tempo. Nesse caso, o fato de a turbina a gás de ciclo simples ser mais barata significa que, no longo prazo, ela pode ser um investimento melhor, justamente porque só é usada para atender aos picos. Então, dá para ver que essas

2:03:49 turbinas são, de certa forma, complementares. Mas, no momento, os dois tipos estão realmente escassos e têm prazos de espera de vários anos, porque são uma forma tão boa de converter energia — quer dizer, de converter gás natural em energia. E dá para perceber o quanto elas estão em falta: a Cummins, por exemplo, que fabrica motores para caminhões, está transformando seus motores de caminhão em geradores. E também há fabricantes de aviões, de motores de avião, que agora estão migrando para

2:04:20 data centers. Também há a Nebus, que construiu um data center com a Microsoft em Nova Jersey usando motores de navio. Motores a diesel de navios estão sendo usados para alimentar data centers, pessoal. Isso só mostra até que ponto eles não se importam com a forma como você produz a energia, desde que consiga produzi-la. Tudo bem. E o motivo de estarem fazendo um esforço tão imenso para conseguir energia é que, se você comparar a lista de materiais de um data center, a

2:04:50 energia é um custo bem insignificante em comparação com o custo das GPUs. Então, se o custo da energia subir de 2% para 3%, o que representaria um aumento de 1,5 vez nesse custo, no panorama geral isso não importa tanto, porque você já não está pagando muito por ela em relação às GPUs. Tudo isso quer dizer que há muitas maneiras diferentes de produzir energia e que as CCGTs são as melhores, mas existem outras opções. E, como a lista de materiais dessas

2:05:21 instalações de geração é relativamente pequena, não é um grande problema pagar um prêmio maior para usar um motor a diesel e gerar sua energia, em vez de recorrer a algum método mais eficiente. Quero mostrar rapidamente um exemplo de uma CCGT real em operação. A GE Vernova, ou seja, a General Electric, tem esse complexo em Danny Beach, na Flórida, que é uma CCGT. Na verdade, são duas. São as General Electric 7HA.03. O que isso significa? Não faz muito sentido, mas o 7 representa a família de 60 Hz. H significa alta eficiência, A significa refrigerada a ar, e 0.3 é a versão do modelo. E, juntas, elas podem produzir até 1,26 gigawatt, o que significa que provavelmente produzem, em média, 600 megawatts cada uma. E é assim que elas se parecem. Dá para ver que a turbina provavelmente fica em algum lugar ali dentro. E suponho que estas sejam radiadores, mas não me responsabilizem por isso. E então, por que você usaria uma turbina a gás de ciclo simples

2:05:51 ? Bem, já expliquei os motivos. À esquerda, você tem um sistema de energia baseado em combustíveis fósseis, em que a carga de base é atendida pela área preta. Podemos supor que essa seria uma turbina a gás de ciclo combinado. E vamos supor que você tenha uma carga de pico que aumenta, acho que provavelmente à noite, nos dias úteis. Ela está crescendo a ponto de você querer atendê-la com turbinas a gás de ciclo simples, como explicamos antes. À direita,

2:06:22 isso não tem muito a ver com o assunto, mas explica um sistema de energia com alta penetração de fontes renováveis intermitentes. Por exemplo, você teria energia solar; dá para ver que estes blocos correspondem ao período diurno. Elas produzem energia durante o dia. Já a energia eólica, por outro lado, produz energia de forma mais ou menos constante, mas varia conforme a intensidade do vento. Isso significa que, em um sistema renovável, a carga de base necessária é bem menor do que em um sistema baseado em combustíveis fósseis. Mas

2:06:53 é uma observação interessante, e só está dizendo que a energia renovável é legal. Quando falamos sobre a velocidade para construir esses data centers, há três sentidos para a palavra “rápido”. Primeiro, há a entrega, que envolve EPC: engenharia, aquisição e construção. Quão rápido você consegue levar as peças e os equipamentos até o local? Depois, há a partida. Isso significa que, se houver uma queda de energia, quanto tempo você leva para sair da condição de parada e começar a gerar energia? E também há

2:07:24 a rampa de subida. Depois que você realmente ligou o data center, quão rápido consegue chegar à potência máxima e produzir tokens na taxa máxima de processamento que o data center anuncia? Também vamos falar sobre isso nas seções posteriores e ao longo deste capítulo. Mas uma coisa: falei sobre esse ponto de equilíbrio entre usar turbinas a gás de ciclo simples e turbinas a gás de ciclo combinado. Então, se supusermos que uma turbina a gás de ciclo simples tem eficiência de 40%

2:07:56 e uma de ciclo combinado tem eficiência de 60%, podemos analisar o custo do combustível dividido pelo tempo. A inclinação da linha da turbina de ciclo combinado é menor porque ela usa menos combustível. Além disso, vamos supor que o custo fixo de uma turbina de ciclo simples seja de 8 milhões por ano e o custo fixo de uma turbina de ciclo combinado seja de 60 milhões por ano, e que o combustível custe US$ 20 por megawatt-hora. Vamos supor também que estamos operando 100

2:08:28 eficiente, e um ciclo combinado tem eficiência de 60%. Então, se olharmos o custo do combustível dividido pelo tempo, a inclinação do ciclo combinado é menor, porque ele usa menos combustível. Além disso, vamos supor que o custo fixo de um ciclo simples seja de 8 milhões por ano, que o custo fixo de um ciclo combinado seja de 60 milhões por ano e que o combustível custe 20 dólares por megawatt-hora. Vamos supor também que estejamos operando 100

2:08:58 geradores de megawatts nas duas escalas. Portanto, o ponto de equilíbrio para usar uma turbina a gás de ciclo combinado é 4.800 horas por ano. E, na verdade, há cerca de 8.000 horas em um ano. Então, se fizermos 24 × 365, obtemos 8.760. Assim, essencialmente, se você operar um gerador por mais da metade do ano, é mais econômico usar um ciclo combinado. Certo. Agora, vamos falar sobre Colossus 2. Então, se você ainda não ouviu falar de Colossus 2, este é o complexo de computação que

2:09:30 a SpaceX AI está construindo na região de Memphis, Tennessee, que, na verdade, se chama South Haven. E o interessante aqui é que Colossus 2 e sua usina ficam em lados opostos da divisa estadual. Então, Colossus 2 fica no Tennessee, como você provavelmente sabe, mas talvez você não soubesse que eles construíram uma usina no Mississippi, a apenas alguns quilômetros ao sul, e ela é, na verdade, enorme. São 41 turbinas, com capacidade de 1,2 gigawatt, e acho que agora ela já entrou em operação. Então, esses números são de janeiro de 2026, mas, oito ou nove

2:10:03 meses depois, ela já está em operação. E, se eu dividir 1,2 por 41, temos, acho, 30 megawatts por turbina. Então, provavelmente são turbinas menos complexas, talvez a diesel ou pequenas turbinas a gás, que estão sendo usadas aqui. E por que eles construíram a usina no Mississippi? Primeiro, foi uma decisão de planejamento realmente interessante e inteligente da SpaceX AI construí-la na divisa estadual, pensando no futuro: “Certo, se o Tennessee algum dia decidir, ou acabar planejando, ser

2:10:34 menos flexível na emissão de licenças, então sempre podemos recorrer ao Mississippi.” E foi o que fizeram, porque o problema com a geração de energia atrás do medidor, que foi o que fizeram aqui ao construir suas próprias turbinas, é que você precisa passar pela regulamentação da EPA, a agência de proteção ambiental dos Estados Unidos. E por que é preciso fazer isso? Porque, quando se queima gás, são produzidas muitas emissões de CO2, certo? Então, não dá simplesmente para dizer: “Ah, sim. Vou construir uma usina de 1,2 gigawatt e lançar 3.000 toneladas de CO2 no ar por ano.” Você precisa

2:11:05 obter uma autorização, ou uma licença, da EPA, ou pode conseguir uma licença temporária de 12 meses do Mississippi, que foi o que eles obtiveram quando construíram essa usina. Então, foi por isso que foram para o Mississippi: acho que o condado no Mississippi lhes concedeu uma licença temporária de 12 meses, que, acredito, eles já converteram em uma licença permanente para operar a usina a gás. E é uma configuração bastante interessante, a maneira como conseguiram instalar o campus de um lado da divisa e a usina do outro. É um

2:11:36 exemplo realmente interessante. Bem, já disse isso duas vezes. Vamos agora passar para o próximo slide. South Haven, certo, que é a usina que construíram na região entre o Tennessee e o Mississippi, também planejou computação e carregamento de baterias junto com a geração local. Se você olhar essas licenças de julho de 2025, verá as 41 turbinas de que já falamos, que recebem gás natural de algum ponto de conexão na região.

2:12:07 E eles também carregam conjuntos de baterias para fornecer uma espécie de reserva sempre que houver falta ou excesso de energia no data center. Isso acontece porque, naquela época, eles não estavam conectados à rede elétrica. Talvez estejam conectados à rede agora, talvez não. Você teria que pesquisar. Mas, de qualquer forma, nessa configuração de geração atrás do medidor, é muito importante e essencial ter conjuntos de baterias para servir como uma espécie de reserva, em vez de contar com a rede elétrica, que normalmente cumpre esse papel. Outra coisa

2:12:38 realmente interessante e subestimada é como a xAI superou as restrições da cadeia de suprimentos na construção de Colossus. O que quero dizer? Como mencionamos na introdução ou na seção sobre eletricidade, não me lembro exatamente qual delas, normalmente a energia é produzida em uma usina a gás ou em algum outro tipo de usina; depois, a tensão é elevada para a transmissão de corrente alternada em alta tensão e, em seguida, reduzida primeiro para média tensão e depois para a baixa tensão local, que abastece o campus e distribui a energia. O

2:13:10 que aconteceu foi que havia uma escassez de equipamentos de transmissão de corrente alternada em alta tensão e de equipamentos de manobra, necessários para a xAI construir Colossus. E essa situação continua até hoje. Alguns desses equipamentos de transformação e distribuição de eletricidade têm prazos de entrega absurdos, de até quatro anos. Então, o que fizeram em vez disso foi bastante impressionante e criativo. Os engenheiros da xAI e da SpaceX simplesmente disseram: “Certo, vamos

2:13:40 pular a alta tensão e, em vez disso, usar apenas média tensão na transmissão entre a usina a gás e o fornecimento local de baixa tensão para o campus.” Essas informações vêm de uma conta verificada da SemiAnalysis, em uma publicação do mês passado, agosto de 2026, que explica como superaram esse obstáculo na cadeia de suprimentos. Isso significa que aceitaram uma perda de eficiência em troca de um prazo de implantação menor. E acredito que eles realmente conseguiram esse alimentador de

2:14:10 média tensão e os equipamentos de manobra. Para deixar claro, um alimentador é basicamente a infraestrutura — os condutores que levam eletricidade da fonte até o destino. Eles compraram esses equipamentos da China e, sim, foram realmente além do esperado. É o que Elon Musk costuma dizer: “As leis da física são estas; portanto, se algo não desafia as leis da física, vamos encontrar uma maneira de fazer.” E foi o que fizeram, mas aceitaram a compensação: a eficiência da

2:14:40 transmissão certamente teria caído. Para dar um exemplo, vamos supor que, em vez de transmitir energia a 161 quilovolts, o que seria considerado alta tensão, eles tivessem que transmiti-la a 334,5 quilovolts. E, se considerarmos que a usina — na verdade, não precisamos supor, pois estes são números reais —, a usina de Colossus tem uma demanda de energia de 200 megawatts, isso

2:15:11 significa que eles precisam transferir 200 megawatts da usina para o campus. Isso significa que o trajeto de corrente alternada até o campus usa menos estágios de transformação, mas exige mais corrente. Se considerarmos que o fator de potência é um, o que significa que não precisamos fornecer mais energia do que o necessário ao longo das linhas para que ela chegue ao destino, então precisamos de 3.347 amperes por linha, em vez de 717 amperes por linha, para fornecer a mesma quantidade de energia. Portanto, a corrente é 4,67 vezes maior na

2:15:43 tensão mais baixa. Mas, o que é mais importante, a perda resistiva de calor aumenta proporcionalmente ao quadrado da corrente. Isso significaria cerca de 20 vezes mais perda por calor. Claro que isso pressupõe que você use a mesma quantidade de linhas. Uma possibilidade seria usar quatro vezes mais linhas, ou condutores. Nesse caso, haveria mais metal para a corrente passar. Assim, haveria menos perda resistiva de calor nesse

2:16:13 aspecto. De qualquer forma, há uma compensação que precisa ser feita. E esta fórmula não é tão importante. Se vocês se lembram, P = I × V é a fórmula para calcular a corrente — quer dizer, para calcular a potência em função da corrente e da tensão —, mas isso vale apenas para corrente contínua. Se você estiver usando corrente alternada, precisa usar esta fórmula, que é um pouco mais sofisticada. Em particular, esta fórmula é para corrente alternada trifásica. Então, falamos sobre as diferentes fases da corrente alternada, com base na fase da corrente alternada com que estamos trabalhando, e a fórmula para

2:16:45 o cálculo da corrente para uma potência específica vai mudar. Certo. Então, acho que já temos uma boa ideia de como se troca mais corrente e mais perda de calor por prazos de entrega mais rápidos e, na prática, por colocar a capacidade computacional em operação mais cedo. E acontece que isso não importa muito para a SpaceX ganhar uma fortuna. Então, vamos falar das tarifas de computação divulgadas por eles, porque elas mostram que entregar capacidade mais cedo era muito lucrativo. Na verdade, sabemos exatamente quanto dinheiro a SpaceX está ganhando com seus contratos atuais

2:17:16 com a Anthropic e o Google. Talvez você tenha me ouvido falar no X que as pessoas estão comentando, dizendo que a SpaceX, agora que se fundiu com a xAI, está ganhando mais dinheiro com computação do que com sua empresa espacial. Então, seria mais uma empresa de computação que tem um projeto paralelo espacial. E isso acontece porque eles estão gerando literalmente US$ 1,25 bilhão por mês com a Anthropic. Isso inclui o Colossus 1 e o Colossus 2. São os valores integrais dos contratos, após a expansão de maio a junho. Então, acho que eles

2:17:47 começaram com um orçamento específico para computação, e depois a Anthropic até o aumentou, com uma margem maior, já que está desesperada por capacidade computacional. E, com o Google, eles estão ganhando atualmente US$ 920 milhões por mês. E, pelo que entendi, comprometeram-se com essa capacidade computacional pelo menos até outubro de 2026. O que realmente precisamos saber aqui é, primeiro, que os contratos são bastante interessantes. Qualquer um dos lados pode desistir e dizer, com 90 dias de antecedência,

2:18:17 que, depois desse período, não vai mais cumprir o contrato. Mas, até agora, os dois lados se comprometeram com ele. E esses números são reais: nos documentos da oferta pública inicial da SpaceX, eles divulgaram esses valores, porque precisavam apresentar suas finanças depois de se tornarem uma empresa de capital aberto. Se somarmos os valores, chegamos a US$ 2,17 bilhões por mês. E, segundo a SemiAnalysis — que é uma fonte muito confiável, pelo menos quanto a essa afirmação, não necessariamente a todas —,

2:18:49 eles fizeram as contas e, na prática, ganhar esse valor por mês permite recuperar o investimento de capital de todo o data center em menos de um ano. Então, basicamente, passando por esses obstáculos e usando essa transmissão ineficiente em média tensão, eles conseguiram colocar essa capacidade computacional em operação mais cedo. E, justamente quando havia uma escassez de capacidade computacional, puderam vendê-la à Anthropic e ao Google com um enorme ágio, o que lhes permitiu lucrar e recuperar o investimento de capital muito

2:19:20 mais rápido do que recuperariam normalmente se tivessem que esperar pela instalação da corrente alternada de alta tensão. E podemos calcular isso com muito mais precisão. Um mês de serviço antecipado pode compensar um ano de combustível extra. Vamos colocar os números aqui. Digamos que você queira fornecer 100 megawatts, 24 horas por dia, 7 dias por semana, com combustível a US$ 20 por megawatt-hora. E esteja considerando um ciclo simples em comparação com um ciclo combinado. O ciclo simples custa muito mais — ou melhor, custa US$ 14,6 milhões a mais por ano em combustível, porque é menos eficiente.

2:19:53 Mas o ponto é o seguinte: você pode literalmente começar a operar um mês antes e usar um ciclo simples em vez de um ciclo combinado, desde que a receita adicional do serviço antecipado — isto é, as tarifas menos todos os outros custos operacionais por entrar em operação um mês antes — seja maior que US$ 14,6 milhões, mais os custos de construção acelerada. Então, no caso desses contratos, que são de

2:20:23 bilhões de dólares, se estivermos falando de uma diferença de apenas US$ 14,6 milhões no consumo de combustível, e também não nos esquecermos de que a transmissão de eletricidade é menos eficiente, ainda assim não chegaremos a um bilhão de dólares. Isso só comprova que, neste momento, é possível ganhar muito dinheiro sendo ineficiente em data centers. Agora, vamos fazer uma breve digressão para falar sobre o que significa ter um lugar na fila de interconexão. Talvez eu já tenha mencionado isso no curso, mas a

2:20:54 fila de interconexão é, basicamente, a fila em que você precisa esperar para ter acesso à energia da concessionária. Vou falar de dois sistemas: ERCOT, o Conselho de Confiabilidade Elétrica do Texas, e PJM, a maior organização regional de transmissão dos Estados Unidos e, acho, da América do Norte. PJM significa Pennsylvania, New Jersey e Maryland, se não me engano, porque esses são três dos estados que originalmente formavam a interconexão.

2:21:26 Mas agora são 13 estados dos Estados Unidos, além de Washington, D.C. Já o ERCOT, como o nome sugere, atua principalmente no Texas, mas também se estende por algumas fronteiras estaduais, se não me engano. Esses são os dois principais consórcios de concessionárias de energia que nos interessam ao falar dos Estados Unidos, principalmente porque, no Texas, há muito petróleo e os data centers são uma prioridade; e a PJM é simplesmente a maior organização no geral. Primeiro, comprar GPUs não significa que elas terão energia. Acho que todos concordamos com isso. Se você

2:21:56 tem vários racks que não estão conectados à rede elétrica, não vai conseguir fazer nada. Na verdade, em um podcast no ano passado, Satya Nadella teria dito que tinha vários chips parados no estoque, sem poder ser conectados. Precisamos entender que, em muitas situações, a energia é definitivamente um gargalo e, portanto, é preciso planejar para que ela esteja disponível quando os chips chegarem. Vamos analisar especificamente a fila de data centers do ERCOT. Então, se olharmos para a

2:22:27 fila, ela está dividida em três partes, mas, no total, ainda há 474,7 gigawatts sem nenhum estudo aprovado. Este gráfico mostra as solicitações de grandes cargas feitas desde 2022, por status, em junho de 2026. Certo. No total, podemos ver, antes de tudo, que 5,9 gigawatts estão efetivamente em operação; essa é a pequena faixa preta aqui. Mas vale notar que esse número é o pico que foi adicionado. Ou seja, desde 2022, foram colocados em operação 5,9 GW de data centers — ou melhor, não apenas de data centers, mas de solicitações de grandes cargas em geral.

2:22:58 Uma solicitação de grande carga normalmente significa uma capacidade de 75 megawatts ou mais. Então, dos 474,7 gigawatts, 5,9 estão em operação, mas esse número considera apenas a potência de pico. Não corresponde ao consumo médio de energia durante a operação. E há 284,3 gigawatts que

2:23:29 ainda não tiveram um estudo enviado. Basicamente, funciona assim: um estudo precisa ser enviado em nome da concessionária para determinar se essa demanda é legítima e que nova infraestrutura precisa ser construída para atendê-la. Certo, essa é a parte amarela. A parte azul representa 135,5 gigawatts com o estudo em análise. E os 55 gigawatts em verde são aqueles cujo estudo foi aprovado ou que avançaram ainda mais. Então, dá para ver que é quase como uma lei de potência: quanto menores as parcelas, mais avançado é o processo. E a maioria das pessoas está nessa zona cinzenta — ou melhor, amarela —, em que ainda não foi enviado nenhum estudo ao ERCOT.

2:24:01 E por que isso acontece? Vamos explicar com este exemplo simples. Suponha que você queira construir um data center de 1 gigawatt e esteja considerando três locais para o campus. Acontece que é necessário fazer um estudo separado para cada local,

2:24:31 porque, é claro, construir um data center em uma parte do Texas ou em outra determinará, em grande medida, se será necessário construir mais ou menos infraestrutura para atender a esse gigawatt. Então, o que eles fazem é enviar solicitações para os três locais, já que, como vamos mencionar, o custo de entrar na fila não é muito alto. Depois disso, basta escolher o local e esquecer as outras duas propostas de campus — basicamente, retirar essas solicitações da

2:25:02 a fila. Mas o problema aqui é que talvez as concessionárias de energia não estejam cientes do que realmente está acontecendo com esses pedidos. Uma nova lei do Texas, se não me engano, agora exige que elas sejam transparentes sobre quaisquer pedidos redundantes, para que todo o sistema saiba: “Certo, esta empresa vai construir apenas 1 gigawatt, embora tenha pedidos de 3 gigawatts”. Então, isso está acontecendo agora, em termos de uma mudança regulatória, mas, até agora, era definitivamente um grande problema. E vamos analisar este gráfico da SemiAnalysis

2:25:34 para entender melhor. Este gráfico também é de junho deste ano, e diz que os projetos de data centers acompanhados representam apenas 13% dos 357 gigawatts de pedidos de data centers da ERCOT. E aqui o que estão dizendo é que há 45,4 GW de computação real. Ou seja, são projetos que a SemiAnalysis consegue acompanhar porque há um local físico. Há, de fato, equipes no local. Já os outros 311 gigawatts são apenas data centers fantasmas. Esta parte verde aqui é menos interessante: cripto, H2, acho

2:26:05 que hidrogênio — não tenho certeza do que H2 significa — e indústria. Então, podemos ver que temos quase uma proporção de 1 para 10 entre a demanda real e a demanda fantasma por data centers. Isso pode ser muito preocupante quando pensamos em quem afirma que isso é um indicador de uma bolha. Então, como podemos resolver isso? Há algumas novas reformas que serão implementadas em breve, mas ainda não. A partir de 8 de outubro de 2026, essas novas leis entrarão em vigor. E do que estamos falando? Um grande

2:26:36 pedido de carga na ERCOT agora exige uma garantia para cada megawatt. Antes da entrada em vigor dessa medida, não havia um valor aplicável a toda a ERCOT para o depósito de reserva de capacidade de computação ou de energia; cada concessionária definia as próprias taxas de estudo e garantias. Mas agora haverá valores exigidos pela ERCOT: primeiro, um depósito de US$ 100.000 para a taxa do estudo e, depois, são exigidos US$ 50.000 para cada megawatt solicitado, caso o pedido seja de 75 megawatts ou mais.

2:27:07 Então, isso seria uma grande carga. Imagine que um pedido de 1 gigawatt agora exige uma garantia de US$ 50 milhões. Vale observar, porém, que as regras ainda são relativamente flexíveis: desde que o projeto não esteja muito avançado, se você pagar esse depósito de garantia, ainda poderá receber o dinheiro de volta, ou pelo menos a maior parte dele. Portanto, não pense nisso como uma solução milagrosa para resolver essa fila fantasma. Com certeza vai ajudar. Espero. Mas, na verdade, ainda não

2:27:38 foi implementado. Então, talvez o que aconteça é que, logo antes de 8 de outubro — agora estamos em setembro, chegando a outubro —, um monte de gente faça esses enormes pedidos de fila, porque sabe que não haverá mais… porque sabe que não será necessário pagar depósito. E, depois dessa data, talvez o número de pedidos na fila caia drasticamente. Não tenho certeza, mas espero que isso resolva o que vemos neste gráfico. E agora vamos mudar rapidamente o foco para a interconexão da PJM.

2:28:09 E a questão é que, como essa zona é tão ampla, ela abrange toda a região coberta pela PJM. Vamos falar da Dominion, uma das 21 concessionárias dentro da PJM. Seu nome completo é Dominion Energy Virginia, e ela é a principal concessionária desta zona, a área roxa. Os data centers assinam seus contratos de fornecimento de energia com a Dominion, não com a PJM. E, como não há um agregador de data centers que atenda toda a PJM, vamos analisar especificamente os contratos da Dominion, que excedem em muito o consumo atual dos data centers dela. Para contextualizar,

2:28:40 no pico de 2025, os data centers da Dominion consumiam 4 GW. Agora, olhando para a fila, primeiro, em julho de 2026 havia 32,4 GW em estudos de engenharia, o que significa que o cliente pagou para que o estudo fosse realizado. Mas estamos falando de valores na ordem de US$ 100.000, certo? Se vocês se lembram deste slide, provavelmente o valor fica na faixa de seis dígitos, o que não é tanto dinheiro para essas hyperscalers. E não há

2:29:11 obrigação de construir também. Então, não é preciso construir um data center; basta fazer um estudo. Depois, temos a etapa de construção autorizada, que corresponde a 9,4 GW. Nesse caso, o cliente reembolsa os custos já incorridos se desistir, mas não precisa pagar os custos ainda não incorridos. E há 12 gigawatts em acordos de serviço. Nesse caso, é um contrato vinculante em que o cliente paga independentemente de utilizar ou não o serviço. Temos esses números aqui, comparados a apenas 4 GW de consumo dos data centers. E dá para ver que, desde julho de 2023, ao longo de três anos, esse número

2:29:44 saltou de 16,5 gigawatts para 53. Isso representa um aumento de mais de três vezes nessa fila de estudos de engenharia, contratos, autorizações de construção e acordos de serviço. Então, a pergunta que realmente estamos fazendo é: quantos desses 53,8 GW vão de fato se converter em 4? Porque, atualmente, a proporção continua quase em 1 para 4 entre a capacidade computacional instalada e a capacidade computacional na fila. E, para dar uma olhada em uma previsão da PJM, o que diz este título? Diz:

2:30:14 “Detalhamento da previsão de carga ajustada da PJM para 2025 por tipo”. E a única coisa que nos interessa neste gráfico é a categoria em cinza: os data centers. Aqui dá para ver que, depois dos ajustes, a carga dos data centers continua sendo a maior fonte de crescimento por tipo, e a área cinza passa a ocupar uma parcela muito maior do gráfico. Aqui, vamos de 2025 a 2031. Mas esta é a previsão da PJM, e eles não estão exatamente prevendo AGI. Então, eu imaginaria que esse valor para 2031 é bastante

2:30:45 conservador em comparação com o que outros estariam prevendo. Então, tenham isso em mente. Seguindo em frente, essas filas de interconexão são, claro, muito longas e, por causa disso, a geração BTM entra em cena para fornecer energia atrás do medidor. Isso significa que um campus pode crescer enquanto sua importação da rede permanece limitada. Vamos supor que você tenha um local preexistente com 100 megawatts de potência que possa importar e usar sem nenhum gerador. Isso significa que

2:31:17 você só pode alimentar computação equivalente a 100 megawatts. Em vez de simplesmente tentar obter mais energia da rede, que talvez esteja sob uma carga extrema e tenha filas enormes, você pode trazer seus próprios geradores. Digamos que você tenha encontrado dois geradores, cada um capaz de produzir 500 megawatts. Nesse caso, ainda pode expandir até a escala de um gigawatt e manter o limite da rede como uma espécie de reserva. E é isso que muitos

2:31:47 hyperscalers estão fazendo atualmente. Na verdade, a SemiAnalysis espera que, a partir de 2028, a maior parte da nova capacidade de data centers precise ter sua própria fonte de energia, sendo essencialmente alimentada atrás do medidor. Aqui, o azul representa a geração atrás do medidor, o laranja representa a capacidade disponível da rede e o verde representa o novo fornecimento da rede. Este gráfico mostra a situação atual, em que quase tudo é apenas capacidade disponível da rede, já que esse é o estado atual. E veja como isso cresce

2:32:17 enormemente, de acordo com as projeções deles: de 14,8 gigawatts. Acho que o título está identificado incorretamente. Provavelmente deveria dizer gigawatts, já que aqui mesmo eles mencionam que vai ultrapassar 50 gigawatts até 2028. Então, vamos de 14,8 em 2027 para 65,7, segundo a projeção deles, o que representa mais que uma quadruplicação da infraestrutura de geração atrás do medidor. E, mais uma vez, se alguém tem uma tese de investimento sobre a geração atrás do medidor e

2:32:48 sua evolução no futuro, então dá para ver que, se você acreditar neste gráfico, haverá um aumento enorme nos investimentos em fornecimento de energia atrás do medidor. Certo, com isso encerramos nosso capítulo. Agora, vamos falar sobre como levar o arranjo de fornecimento de energia para o projeto físico do local. E isto vai se concentrar especificamente nas diferentes fases da construção, nas rotas de conexão e nos estados operacionais. Tudo bem, vamos direto ao capítulo 5. Em termos gerais, vamos

2:33:19 falando sobre como transformar um terreno em um lugar onde seja possível construir, operar e reparar um data center. Então, quando falamos do terreno, estamos falando da própria área, das conexões, como fibra, energia e possivelmente gás. Já falamos um pouco sobre isso. O próprio prédio e, depois, os equipamentos. Então, o primeiro conceito que quero apresentar aqui é greenfield versus brownfield. Do que estou falando? Se você nunca ouviu esse termo, ele simplesmente significa que greenfield é um empreendimento que é

2:33:50 feito em uma área greenfield. Ou seja, você constrói tudo do zero. Já brownfield significa que há alguma infraestrutura existente. Por exemplo, o prédio já pode estar lá, ou talvez o terreno já tenha uma fundação. É um termo bastante flexível, mas, no contexto deste exemplo, se eu voltar aqui, temos Abilene, o campus Stargate no Texas, que foi planejado para esse fim e era, em princípio, greenfield antes de começarem a construção. E depois, Colossus

2:34:20 1, que era uma antiga fábrica da Electrolux e já tinha uma estrutura existente, além das redes de serviços públicos e alguma capacidade de energia — apenas 8 megawatts, porém. Então, tiveram que construir muita infraestrutura de energia. O que é a Electrolux, você talvez pergunte? Na verdade, é uma fabricante de eletrodomésticos da Suécia. Então, dentro desse data center, costumavam fabricar máquinas de lavar, o que é meio engraçado. E a vantagem aqui é que o Colossus 1 já tinha o invólucro do prédio. Não precisaram construir um edifício, e as redes de serviços públicos também já estavam

2:34:52 lá, além da necessidade de acrescentar mais eletricidade. Isso permite avançar muito mais rápido, mas também oferece menos flexibilidade, porque provavelmente uma fábrica de máquinas de lavar não foi projetada sob medida para hospedar H100s. Mas há vantagens e desvantagens. Em linhas gerais, Abilene é um empreendimento greenfield, e Colossus é brownfield. Já enumerei algumas vantagens e desvantagens, mas você também pode encontrar muitas outras. Convido você a comentar as que considerar mais convincentes

2:35:23 para você, caso tenha pensado em alguma. Certo. Então, voltando nossa atenção para o Colossus 1, como eu disse, ele já tinha as redes de serviços públicos, mas precisava de mais capacidade da rede elétrica. Precisavam de 150 megawatts. A subestação inicialmente só podia fornecer 8 megawatts. Tiveram que acrescentar 842 megawatts. Isso significava que, embora tenham mantido as tubulações existentes de água e gás, tiveram que adicionar uma nova derivação de gás com 8 polegadas de diâmetro. Suponho que isso ocorreu porque a tubulação de gás de 16 polegadas era

2:35:54 insuficiente para as necessidades de geração de eletricidade deles. E, se vocês se lembram, eles expandiram a geração para 41 turbinas e 1,2 gigawatt, se não me engano, algo assim. Então, sim, precisavam trazer mais gás, mas já havia alguma infraestrutura subutilizada no local. E um exemplo ainda mais maluco de um empreendimento greenfield, um empreendimento greenfield absolutamente impressionante, é a Meta, que tem a instalação Prometheus em New Albany, Ohio.

2:36:27 E, há um ano, publicaram esta imagem em que, basicamente, estavam construindo um data center sob uma tenda impermeável. Não estou brincando. É como uma estrutura leve com uma cobertura de tecido. A estrutura é de alumínio, e o tecido que estão usando é resistente a perfurações. Vale observar que tudo isso é temporário. Tudo está sendo construído enquanto a estrutura principal fica em outro lugar. Então, basicamente, o que fariam seria usar isso como uma instalação temporária e, quando a estrutura permanente estivesse pronta, provavelmente simplesmente desmontar estas

2:36:58 e depois transferir as GPUs para a outra. Isso é muito mais caro do que construir tudo uma vez e instalar na estrutura original, mas montar tendas é muito mais rápido, porque essas tendas podem ser erguidas em questão de semanas ou meses, se não me engano. E, se lembrarmos, assim que você consegue colocar a capacidade de computação em operação, está ganhando bilhões de dólares, e provavelmente isso custa milhões de dólares para desmontar essas tendas e coisas do tipo. Então, para eles, faz sentido, porque conseguem um espaço fechado rapidamente. Sobre as

2:37:28 tendas do Prometheus, elas foram descritas publicamente como temporárias. No entanto, isso pode significar apenas que serão usadas temporariamente, mas que, no futuro, quando construírem os novos data centers, ainda manterão essas tendas. Então, talvez eu tenha interpretado mal a notícia sobre a Meta. De qualquer forma, ainda não chegaram ao ponto de precisar desmontá-las. E, em termos de fundações, energia e refrigeração, isso provavelmente é muito menos importante, e conectar e comissionar a instalação é muito mais rápido. Então, essa é uma maneira interessante e totalmente fora da caixa de colocar capacidade de computação em operação o mais rápido possível

2:37:59 possível. E estou enfatizando isso tantas vezes porque é realmente importante entender que esses métodos alternativos só estão acontecendo e são possíveis por causa do custo elevado de adicionar capacidade de computação incremental à oferta, já que a demanda é muito grande. Certo, vamos falar rapidamente sobre corredores de serviços públicos. Quando você tem um local que está avaliando para construção, primeiro precisa verificar se a plataforma de construção é adequada para o prédio que queremos. Você não quer construir seu data center sobre um pântano na Louisiana. E isso é relevante, porque vários data centers estão sendo construídos na Louisiana. Então, você precisa garantir que esse não seja o caso. Depois, há também a servidão de serviços públicos. Uma servidão de serviços públicos é simplesmente uma parte de um terreno privado à qual as empresas de serviços públicos têm algum direito, para passar suas redes. Então, no contexto de um data center, você gostaria de ter uma servidão de serviços públicos por perto, para poder obter energia, água para irrigação etc.

2:38:31 É preciso verificar se o terreno preparado é adequado para o edifício que queremos construir. Você não quer construir seu data center sobre um pântano na Louisiana. E isso é relevante, porque alguns data centers estão sendo construídos na Louisiana. Então, é importante garantir que esse não seja o caso. Também há servidões de concessionárias. Uma servidão de concessionária é simplesmente uma parte de uma propriedade privada à qual as concessionárias têm algum direito para passar suas redes. No contexto de um data center, você gostaria de ter uma servidão de concessionária nas proximidades para poder obter energia, água para irrigação etc.

2:39:02 E também drenagem. Então, por que estou falando de drenagem? A maioria dessas usinas usa refrigeração líquida em circuito fechado, o que significa que não é preciso acrescentar água continuamente ao sistema depois que ele é abastecido inicialmente. O motivo é que, se chover muito, você precisa garantir que o invólucro do prédio esteja protegido, sem erosão causada pela água nem alagamentos. Como vamos discutir, quando o furacão Harvey atingiu Houston, vários data centers tiveram que lidar com muita água. Então, vou guardar o

2:39:35 spoiler para alguns slides adiante. Não vou revelar agora, porque vamos falar disso daqui a alguns slides. Mas, em linhas gerais, essas são três preocupações relacionadas ao próprio terreno quando um data center está sendo construído. E, quando falamos do Texas, onde a maioria dos data centers dos EUA está sendo construída, há uma lei interessante. Qual é mesmo? Basicamente, comprar terras no Texas pode significar que os direitos minerais pertencem a outro proprietário. O que quero dizer é que, no Texas, há uma propriedade dividida: existe um proprietário da superfície e há

2:40:05 um proprietário dos direitos minerais. Na verdade, o proprietário dos direitos minerais mantém o direito de usar a superfície. É uma lei de propriedade e uso insana, que eu desconhecia até pesquisar sobre o assunto. Basicamente, devido à história do Texas, rica em recursos naturais, eles estabeleceram especificamente arrendamentos de terras apenas para os direitos minerais. Isso significa que você pode muito bem ser dono do terreno, mas, se outra pessoa tiver um arrendamento dos direitos minerais, ela pode simplesmente aparecer no seu terreno sem sua permissão, a qualquer hora do dia,

2:40:35 em qualquer época do ano, e começar a perfurar em busca de petróleo. Há algumas exceções: por exemplo, não podem destruir seu prédio se ele já estiver lá. Mas isso ainda é uma consideração muito importante, e mais ainda porque, como mencionei, a maioria dos data centers dos EUA está sendo construída no Texas. Então, este ótimo gráfico da SemiAnalysis mostra que o Texas tem cerca de 17 gigawatts de geração local contratada. Também vale notar que há outros 29 gigawatts de pedidos

2:41:06 ainda não foram escolhidos em termos de localização. Então há cerca de 29 gigawatts sem localização atribuída. Provavelmente muitos desses locais serão atribuídos ao Texas, mas quem sabe? Em segundo lugar vem a Pensilvânia, como mencionei, porque também há muito gás lá. Mas, de qualquer forma, como tantos data centers estão sendo atribuídos a esses locais, é preciso garantir que você tenha o arrendamento dos direitos minerais, além dos direitos de uso da superfície do terreno onde está construindo seu data center. E, de fato,

2:41:38 há este data center Odessa New Era, que terá cerca de um gigawatt e ficará em 493 acres de terreno já garantido, mas que, em 14 de outubro de 2026, ainda está pendente por causa de uma dispensa relativa aos direitos minerais ou a alguns direitos de superfície. Isso demonstra que essa não é uma lei periférica e insignificante. Se você está construindo um data center no Texas, é melhor garantir que tenha os direitos minerais e os direitos de superfície, ou que o contrato

2:42:08 especifique que não pode haver atividades de extração de gás ou petróleo no local onde o data center está sendo construído. Em contrapartida, há partes do Texas onde não existe petróleo. Então há esta grande planície no Texas onde se encontram a maioria dos recursos naturais. Eu imaginaria — não pesquisei isso — que muitos dos data centers do Texas estão sendo construídos fora dessa região petrolífera, porque é mais fácil garantir os direitos minerais e de uso da propriedade.

2:42:38 Certo, vamos falar de outro empreendimento em terreno industrial previamente desenvolvido, que está sendo construído em Londres, no Reino Unido, como outro estudo de caso. Chama-se ADA, ou ADA é a empresa que está construindo um novo data center nas docas reais do leste de Londres. Esse novo campus terá três edifícios planejados e fica em um antigo terreno industrial. Basicamente, eles precisam dar suporte ao local porque esse antigo terreno industrial fica sobre depósitos fluviais macios e exige estacas de aterro de até 6 m para

2:43:09 reforçar a fundação. Essas estacas profundas são concretadas no solo para garantir que o data center não afunde, suponho. Quanto às áreas externas e aos serviços públicos, foram instaladas cerca de 6.000 colunas de melhoramento do solo. E é apenas mais um exemplo de como, dependendo do terreno onde se constrói o data center, são necessárias adaptações específicas para garantir a integridade do local. Outro caso em que a integridade foi posta em questão foi o de Houston. Então, mais uma vez,

2:43:40 o furacão Harvey ocorreu em 2017, especificamente em agosto, de 25 a 30. Houve inundações repentinas enormes em Houston e por toda a Costa Leste, acredito. O que aconteceu foi que a Equinix, uma grande provedora de data centers — não eram especificamente data centers de GPU, mas data centers comuns — tinha sua instalação HO1 em Houston, que permaneceu operando apesar de as enchentes terem bloqueado o acesso ao próprio data center. O que aconteceu foi que

2:44:11 o data center continuou com funcionários e em operação durante a enchente, sem interrupções, embora as ruas ao redor estivessem fechadas. Isso foi possível porque esses data centers, curiosamente, são construídos — ou pelo menos aqueles que precisam permanecer sempre conectados — com alojamentos onde se pode dormir e comida e suprimentos suficientes para durar algum tempo. A equipe literalmente ficou lá por dias, dormindo e vivendo no local. Segundo relatos pessoais, eles literalmente bombeavam água para fora

2:44:42 do data center para manter a energia ligada. Imagino que tenham usado geração no próprio local para alimentar o data center, porque provavelmente a infraestrutura elétrica também foi comprometida durante o furacão Harvey, mas não tenho certeza absoluta. Outro exemplo interessante é o QTS Swani, que acredito ficar na Geórgia. Fica em algum lugar dos Estados Unidos. O que aconteceu lá foi que o plano do campus está à esquerda. Eles precisaram levar a fibra óptica até o local para conectar

2:45:13 o data center deles ao restante da internet. Nesse caso, instalaram três interconexões — ou melhor, três conexões de fibra óptica até o data center. Para ter um projeto redundante, fizeram as três entradas chegarem de direções diferentes, em vez de terem uma entrada compartilhada, que poderia ser um único ponto de falha. Este é apenas mais um exemplo das maneiras como os data centers oferecem redundância no caso

2:45:44 de, sei lá, alguém perfurar um buraco aqui sem perceber que há fibra óptica. Se isso acontecer, ainda haverá duas maneiras de se comunicar com o restante da internet. Agora vamos falar das considerações de resfriamento relacionadas ao clima local e ao abastecimento de água. No Texas e em muitos lugares dos Estados Unidos há condições de seca. Por isso, não se pode usar o que se chama de torres de resfriamento. O que são torres de resfriamento? É uma torre que, em certas circunstâncias, faz a água circular e, basicamente, provoca a evaporação de parte dela. E o que acontece quando a água evapora é que ocorre uma mudança de fase de líquido para gás, que libera uma enorme quantidade de energia. Assim, a água restante esfria, porque, essencialmente, a energia sai quando a água evapora e vira vapor. Essa é uma maneira muito eficiente de resfriar a água. Mas o problema é que consome muita

2:46:16 água. Isso leva à evaporação da água. Então, é necessário um fluxo constante de água para permitir esse tipo de torre de resfriamento. Isso é feito no Colossus One porque, suponho, há relativa abundância de água na região do Tennessee e do Mississippi. Mas você também deve perceber que eles têm chillers resfriados a ar. O que são chillers resfriados a ar? Eles são resfriados a ar, mas isso não significa que a água vá para o ar. Significa apenas que a água circula passivamente e, essencialmente, transfere calor por convecção ou condução —

2:46:47 não me lembro qual dos termos é o correto —, liberando calor na atmosfera. Mas é um circuito fechado. Não há evaporação. Já em Abilene, no Texas, o calor é simplesmente liberado no ar externo, porque há uma escassez de água e não podem se dar ao luxo de usar chillers resfriados a ar. No Colossus One, é necessário algum tipo de água de reposição. Por isso, no slide anterior, vimos que eles tinham uma tubulação principal de água de 16 polegadas. Então, provavelmente conseguem acessar bastante água para reabastecer o suprimento.

2:47:19 E também é por isso que você ouve muita gente dizendo: “É, cara. Os data centers estão usando toda a água. Estão usando toda a água.” É isso que as pessoas dizem. Mas, se você realmente usa chillers resfriados a ar, isso é simplesmente falso. A única coisa necessária é completar o abastecimento inicial de água, que ainda é bastante grande. Estamos falando de, acho, milhões de galões. Mas, se você amortizar esse volume ao longo de toda a vida útil, o uso de água do data center é extremamente insignificante. E outro fato interessante é

2:47:49 que 80% do uso de água nos Estados Unidos corresponde à agricultura. Então, os data centers não estão usando toda a água, embora existam outros argumentos válidos contra os data centers. O argumento da água é relativamente fraco. A única ressalva que eu acrescentaria é que a geração de energia pode usar muita água, porque, se você usa uma turbina a vapor, essencialmente evapora água para o ar. Mas, se você usa muita geração de energia baseada na evaporação da água, pode haver um efeito de aumento do uso de água a montante. Ainda assim, se

2:48:20 que 80% do uso de água nos Estados Unidos é agrícola. Portanto, os data centers não estão usando toda a água, embora existam outros argumentos válidos contra os data centers; o argumento da água é relativamente fraco. A ressalva, se me permitem acrescentar, é que a geração de energia pode usar muita água, porque, se você usa uma turbina a vapor, está essencialmente evaporando água para o ar. Mas, se você usa muita geração de energia por evaporação, pode haver um efeito no uso de água a jusante — ou, desculpe, a montante. Ainda assim, se

2:48:52 Quando comparamos com o uso na agricultura, é muito mínimo. Certo. Outro estudo de caso interessante que quero apresentar é o da Rogers, uma empresa canadense de telecomunicações que tem um data center — acho que fica nos escritórios da empresa — e usa esses chillers para resfriar as unidades. E, bem em frente, há residências. Acho que são prédios residenciais; ou melhor, acho que os prédios residenciais estão de frente para nós, porque as paredes

2:49:22 ficam aqui. Então, para resumir e ir direto ao ponto, eles têm 16 seções, que são essencialmente paredes que separam os chillers da área residencial. Isso interrompe o caminho direto do som, enquanto a parte de cima aberta ainda permite que o ar suba e resfrie o data center. Essa é outra consideração: se você está construindo um data center perto de áreas residenciais, as pessoas que não querem isso no quintal delas — e é totalmente válido, ninguém quer essas ventoinhas enormes incomodando o tempo todo — vão dizer que

2:49:52 sim, vocês precisam bloquear e enclausurar os resfriadores e os chillers para que eles não propaguem esse ruído enorme o tempo todo, assim como se isolam as rodovias com painéis de isolamento acústico, certo? Se agora entrarmos no data center, também mencionei bem no começo do curso que um rack GB300 NDL72 pesa cerca de 1,5 tonelada, mais precisamente, toneladas métricas. E este é um rack da Lenovo. Então, uma coisa sobre esses racks Blackwell

2:50:25 — esses racks NVL72 — é que há vários OEMs diferentes, ou melhor, fabricantes que os produzem. A Dell fabrica muitos desses racks. A Lenovo também. Imagino que a Nvidia tenha sua própria versão proprietária. Mas, de qualquer forma, como eles são bem pesados, mover o rack e substituir uma bandeja exige planos de manuseio específicos, e é preciso se planejar para isso. Não dá para deixar isso para depois. As próprias bandejas de computação pesam 29 kg. Isso significa que é preciso fazer a manutenção delas usando um

2:50:55 elevador de materiais. Se eu avançar rapidamente um slide, esta é uma prévia de como eles são. Mas também quero mencionar que esses racks são bem interessantes. Dá para ver que, na parte externa, há a entrada e a saída de água e, em seguida, o clip do barramento, por onde chega a energia. E suponho que estes quatro pinos aqui, ou conectores de entrada, ou como você quiser chamá-los, sejam por onde os dados entram e saem. Agora, se avançarmos, é preciso reservar espaço para o elevador de bandejas e para o

2:51:26 técnico. Digamos que uma das GPUs de um rack pare de funcionar. Bem, é preciso fazer a manutenção. É preciso retirar o rack e colocar um novo enquanto você conserta a GPU ou faz um RMA. Então, o que é RMA? Significa autorização de devolução de mercadoria. Isso quer dizer que a Nvidia tem contratos com quem compra suas GPUs: se uma determinada quantidade delas falhar ou algo acontecer com elas dentro de um certo período, a Nvidia as substituirá. Então, se você estiver

2:51:56 fazendo um RMA de uma GPU, precisa garantir que tenha o elevador e os meios necessários para realmente retirá-la, porque você não vai querer inserir e remover manualmente uma bandeja de 29 kg, que provavelmente custa muito dinheiro. Não sei quanto custa a bandeja, mas sei que os racks custam na ordem de centenas de milhares de dólares. Então, não sei o preço da bandeja, mas, como eu disse, o rack custa centenas de milhares. Certo. Isso era sobre as bandejas

2:52:28 com o processamento, mas também há as bandejas de energia. Como mencionei antes, temos essas PSUs. Em uma bandeja, há seis unidades de fonte de alimentação de 5,5 kW com troca a quente. Vamos destrinchar isso. 5,5 kW é a potência nominal de cada unidade de fonte de alimentação, que converte CA em CC. E troca a quente significa que você pode retirar uma e colocar outra sem desligar, desenergizar ou isolar aquele

2:53:00 rack específico. Isso é muito útil, porque tempo é dinheiro e tokens por watt é como se ganha dinheiro. Se você tivesse que desligar o rack toda vez que quisesse substituir uma PSU — o que provavelmente acontece de vez em quando —, isso sairia caro. Mas não é o caso. Basicamente, o que se faz é substituir uma unidade enquanto as outras unidades qualificadas restantes continuam sustentando a carga. Já para substituir uma bandeja de computação, se você estiver trabalhando com o rack da Lenovo, a Lenovo exige que a bandeja seja desligada

2:53:30 antes de ser removida. O que faz bastante sentido, certo? Se você vai retirar fisicamente o rack, provavelmente é melhor desligá-lo; caso contrário, coisas ruins podem acontecer. Outra consideração que parece meio trivial, mas é muito importante: é preciso garantir que o trajeto de remoção permita passar o equipamento por todas as curvas. Alguns desses equipamentos são pesados e podem ser largos. Então, ao construir um data center, garanta que eles consigam passar. E, se você estiver lidando com racks de 1,5 tonelada — não data centers, desculpe —, precisa garantir que o piso

2:54:02 suporte a carga em todo o trajeto. Reforce os pontos onde o rack será instalado. E, quanto ao equipamento de movimentação, garanta que ele não cause rachaduras no piso ao se deslocar. Certo, agora vamos fazer uma última verificação do que aprendemos, só para garantir que estamos na mesma página antes de encerrar este capítulo. Digamos que você tenha o salão A do data center em funcionamento e o salão B em construção, mas os engenheiros não pensaram muito bem na situação, e a fibra passa

2:54:33 tanto pela estrada — desculpe, a fibra passa por onde querem construir o salão B, e a estrada também passa por lá. É uma pergunta simples, mas o que precisa ser deslocado antes de começar a escavação? Acho que você sabe a resposta. A estrada precisa ser deslocada, e a fibra também. Então, nesse caso, você construiria a nova estrada e instalaria a fibra, testaria e faria a transferência. Só depois começaria a escavação. Isso é melhor do que escavar e então perceber: “Ah, droga, acabamos de cortar a fibra do salão A e agora estamos perdendo um milhão

2:55:03 de dólares por dia em receita perdida, como custo de oportunidade”. Então, mais uma vez, é uma consideração a levar em conta. Pode parecer trivial, mas, se você considerar o exemplo anterior das tendas Prometheus da Meta que estão sendo construídas, há muita coisa do tipo: construir algo temporário, depois destruir e colocar no local permanente; e toda essa reconfiguração. Na verdade, outro exemplo maluco é que a Meta estava construindo esses data centers em algum lugar dos EUA com um projeto específico e, durante esse processo de projeto,

2:55:35 mudou para um projeto mais avançado. Mais uma vez, não me lembro dos detalhes, mas, resumindo a história, enquanto o data center estava sendo construído, eles mudaram o projeto principal e, por causa disso, demoliram um data center que estava pela metade e recomeçaram do zero para construí-lo com as novas especificações. Para eles, valeu a pena. O artigo sobre isso está no SemiAnalysis. Se você perguntar ao ChatGPT, mais ou menos com as palavras que usei, com certeza encontrará mais informações, se tiver interesse. Mas, mais uma vez, essas considerações, embora

2:56:05 pareçam triviais, realmente aparecem na vida real. Certo, pessoal. Enquanto editava, encontrei o artigo. Aqui está o que ele diz: “Por exemplo, a Meta demoliu um prédio inteiro que estava em construção porque ele seguia o projeto antigo de data center da empresa, com baixa densidade de potência, usado por muitos anos. Em vez disso, substituiu-o pelo seu novo projeto, preparado para IA. A maioria dos projetos de data center não está preparada para GB200, e a Meta, em particular, tem de longe a menor densidade de potência em seus data centers em comparação com os outros

2:56:36 hiperescala. E aqui estão as imagens, que são a própria evidência. Então, em novembro estavam construindo; em janeiro, demoliram e disseram: “É, vamos recomeçar.” E esse é o novo data center. Então, é realmente incrível falar das economias de escala aqui, certo? Este é um dos meus capítulos favoritos do curso, em que vamos testar — vamos discutir energia e, especificamente, acompanhar o percurso da energia desde a conexão do campus até um rack em funcionamento. Essencialmente, a alta tensão

2:57:07 em corrente contínua que chega à subestação vai para o transformador, depois para esses barramentos, que são como uma rodovia para os elétrons. Eles são chamados de barramentos de fileira porque ficam dispostos em fileiras. Depois, temos o rack aqui, que recebe a energia para alimentar as GPUs. Essa é uma explicação muito primitiva e grosseira. Vamos entrar em muito mais detalhes ao longo do curso — ou melhor, deste capítulo. Mas vamos olhar mais uma vez para uma imagem em alto nível, agora com um pouco mais de granularidade. Vamos acompanhar uma carga

2:57:38 desde a alta tensão em corrente alternada até o rack propriamente dito. Em Abilene, no campus Stargate, a segunda fase da expansão está importando alta tensão em corrente alternada a 345 kV, ou 340 mil volts. Primeiro, na subestação, haverá um transformador abaixador que reduz a tensão de 345 kV para 34,5 kV. Ou seja, uma redução de tensão de 10 para 1.

2:58:08 Depois, haverá equipamentos de manobra de média tensão, que fazem basicamente o chaveamento. O que significa chaveamento? Primeiro, é preciso proteger a eletricidade. Então, haverá vários circuitos e disjuntores para lidar com qualquer pico ou irregularidade de corrente ou tensão. Além disso, a corrente será desviada para vários alimentadores, de modo que cada salão tenha seu próprio alimentador de energia independente. Ao chegar ao salão do data center, a tensão será transformada mais uma vez, de média para baixa. Neste exemplo, vamos

2:58:40 de 345 kV para 480 V em corrente alternada. Ao chegar ao barramento do prédio, alimentaremos cada uma dessas linhas de 480 V em corrente alternada até as fileiras, que então seguirão para os racks ou bandejas. Isso, por sua vez, fará as GPUs fazerem “vruum”. Pronto. E não se esqueça das bombas de refrigeração. Elas também funcionam na mesma rede de 400 V em corrente alternada. Portanto, também precisam ser alimentadas para garantir que as GPUs não

2:59:11 façam “vruum” e queimem. E também, se houver uma expansão — o que acontece, já que, como mencionamos, muitos desses data centers são construídos em fases —, a primeira fase, com 50 megawatts, entrará em operação; depois, a segunda fase elevará a capacidade total para 100 megawatts. Nesse caso, haverá esses alimentadores para expansões futuras, que permanecerão desligados, isto é, sem passagem de corrente. Mas eles serão conectados quando o futuro salão estiver pronto. Certo? Agora vamos ampliar uma parte específica. Vamos olhar

2:59:42 os equipamentos de manobra de média tensão. Vamos lá. Vejamos um equipamento de manobra Siemens NX Air, que é de média tensão. Na verdade, como podem ver aqui, ele opera até 12 quilovolts. E, se vocês perceberam um padrão, a Siemens constrói muitos dos equipamentos de infraestrutura desses data centers, o que é interessante notar. Em alto nível, temos um compartimento de controle de baixa tensão, usado apenas para controlar o equipamento de manobra. É o que os eletricistas e técnicos vão usar. Depois, temos os

3:00:13 barramentos, por onde a corrente alternada de média tensão passa. E temos um disjuntor a vácuo. Ele interrompe a corrente caso ocorra algum evento de corrente, como um pico que exija interrompê-la. Também há uma conexão com o aterramento. E há as conexões dos alimentadores, que se ramificam para os diferentes circuitos. É assim que se vê, por exemplo, a seção transversal de um tipo de equipamento de manobra. E esse é o tipo de equipamento que está em alta demanda e é escasso, porque é necessário para

3:00:44 construir data centers. Por exemplo, a Crusoe está construindo uma fábrica; ou melhor, essa fábrica da Tesla em Tulsa, Oklahoma, entrou em operação neste mês, há apenas alguns dias, e lá eles estão construindo os próprios equipamentos de manobra. Isso provavelmente acontece porque não conseguem obtê-los de outras fontes — ou, melhor dizendo, porque os prazos de entrega dos outros fornecedores são muito longos. Então estão tentando fabricá-los por conta própria para construir data centers mais rápido, porque esse provavelmente é um dos maiores gargalos para eles. Agora vamos acompanhar a conexão trifásica.

3:01:17 Vamos ampliar rapidamente essa parte. Voltando um instante: neste diagrama de engenharia, temos apenas uma linha, que acaba escondendo o que acontece em baixo nível. O diagrama unifilar representa essa corrente trifásica de 480 V em corrente alternada como um único circuito e a envia para a unidade de distribuição de energia, que é uma das formas de dividir a eletricidade e enviá-la aos diferentes racks. Já se olharmos

3:01:48 para isso no nível dos condutores físicos — desculpem —, temos três linhas, que correspondem às três fases diferentes da corrente alternada. Como lembramos da introdução, elas estão defasadas 120° entre si. E, se vocês não se lembrarem da introdução, não se preocupem: vamos falar disso de novo no próximo slide. Depois, temos o neutro, que também é usado para completar o circuito. E temos o terra de proteção, usado simplesmente para aterrar. Só para lembrar: quando temos um circuito, é preciso fazê-lo passar por dois condutores para que a eletricidade flua.

3:02:20 Então, se a corrente passar por duas das fases energizadas, haverá uma diferença de potencial de 480 V entre elas. Ou seja, entre quaisquer duas dessas três linhas. E, se a corrente estiver conectada entre qualquer uma dessas linhas de corrente alternada energizadas e o neutro, a tensão entre fase e neutro será de 277 V. Essa é uma das propriedades da corrente alternada trifásica. Agora vamos falar mais uma vez sobre como três fases equilibradas preenchem as

3:02:51 quedas de potência de uma única fase. Digamos que a carga tenha uma potência média de 100 kW. Com corrente alternada trifásica, podemos fornecer 100 kW no total a cada instante. Vamos analisar isso e ver o que acontece. Primeiro, vamos supor que temos corrente alternada de 60 Hz e que estamos fornecendo essa potência ao longo do tempo. Neste gráfico, temos a corrente em cada fase. E, neste outro, temos a potência das três fases.

3:03:22 Então, seria P igual a I vezes V. Mas acabei de perceber que, tecnicamente, não é P igual a I vezes V, porque isso seria para corrente contínua. Como podem ver, a fórmula usada é mais sofisticada: inclui o termo da raiz quadrada de três, além do valor RMS, que significa raiz quadrática média e é usado para calcular a potência em corrente alternada. Mais uma vez, não precisamos entender a equação fundamental aqui; só precisamos saber que, com corrente alternada trifásica, temos essa faixa de potência constante, que

3:03:53 fornece níveis variados de corrente por condutor, mas, somadas, as fases fornecem 100 kW em qualquer instante. Curiosamente, se somarmos as correntes, como elas são alternadas, a corrente instantânea nas três fases é zero. Mas, como temos essas três fases defasadas em 120°, conseguimos essa faixa de potência constante de 100 kW. E isso pressupõe que o fator de potência

3:04:25 seja igual a um e, mais uma vez, que cada carga forneça essencialmente a mesma quantidade de energia. Portanto, temos aqui uma carga equilibrada em um sistema trifásico de 480 V, o que nos permite obter uma boa quantidade de energia: especificamente, 100 kW no total a cada instante, da fonte de corrente alternada até a carga. Certo. Agora vamos falar rapidamente de um equívoco que algumas pessoas podem ter, inclusive eu. Foi por isso que incluí este slide. A tensão de 480 V é a tensão entre dois condutores de fase energizados. Uma coisa que

3:04:56 Eu estava pensando: certo, você tem 480 volts aqui e 480 volts aqui. Então, quando os conecta, não deveria obter 960 volts? Bem, antes de tudo, isso não está muito bem formulado, porque a tensão em um único ponto nem sequer é definida. Tensão é, essencialmente, a diferença de potencial entre dois condutores diferentes. Vamos analisar esta parte em que pergunto: por que não 960 volts? Bem, 480 volts é um valor eficaz. Não é, na verdade, uma quantidade fixa de 480 volts. E isso acontece porque, mais uma vez, se você

3:05:27 somar as tensões da corrente alternada trifásica em qualquer instante, obtém zero volts, porque elas são intencionalmente defasadas em 120° cada, para que a média resultante seja zero volt. Mas, se você considerar o valor eficaz, obterá uma tensão média positiva, que deve resultar em 480 volts. E, mais uma vez, se você tiver interesse nos detalhes, provavelmente deveria fazer um curso de engenharia elétrica,

3:05:58 porque esse não é meu campo de especialização e, além disso, há muita profundidade e riqueza na maneira como a corrente alternada funciona nas diferentes fases. Mas só precisamos saber que, se você medir a tensão entre fases em uma rede de corrente alternada trifásica de 480 volts, a leitura será de 480 volts; mas, se medir entre fase e neutro, será de 277 volts. Certo. Agora vamos falar um pouco sobre como gerenciamos a infraestrutura elétrica. Temos um relé de proteção

3:06:31 que detecta qualquer falha e, se isso acontecer, manda o disjuntor interromper a corrente. Então, esta linha azul é o nosso condutor, a nossa alimentação, que leva eletricidade da fonte até a carga, e normalmente temos um transformador de corrente em série na alimentação. O que ele faz? Ele reduz a escala da corrente e, essencialmente, faz uma amostragem dela. Você pode pensar nele como uma amostra da leitura da corrente, usada para verificar se ocorre algum pico de corrente. Então, se o relé de proteção detectar isso, ele vai desarmar o disjuntor

3:07:02 do circuito. E, quando o disjuntor recebe o sinal de disparo, ele desarma esse alimentador e abre o circuito, de modo que não haja energia sendo fornecida ao equipamento a jusante, que estaria fora da faixa de corrente de entrada. Isso porque, normalmente, estamos lidando com equipamentos muito caros e não queremos que aconteça nada de ruim, como um curto-circuito ou a queima dos componentes internos do equipamento por causa de um pico de corrente. E, por outro lado, para

3:07:35 a tensão, o que geralmente se usa é um transformador de corrente ou, desculpe, um transformador de tensão ou um transformador de tensão capacitivo. Ambos apenas fazem a amostragem da tensão e reduzem sua escala para obter uma leitura adequada. Eles geralmente ficam em paralelo — na verdade, os transformadores de tensão ou transformadores de tensão capacitivos sempre ficam em paralelo — e medem, mais uma vez, a tensão. Então, o relé de proteção detecta se é preciso disparar. Por exemplo, se um raio

3:08:08 atingir a corrente — o condutor, desculpe —, esse seria um caso em que a tensão poderia aumentar repentinamente e talvez fosse necessário abrir o circuito para evitar que algo de ruim acontecesse com os equipamentos a jusante. E falamos sobre o disjuntor, que pode abrir e fechar automaticamente, mas também existe uma chave seccionadora, que literalmente cria um espaço de ar. Então, a diferença entre um disjuntor e uma chave seccionadora é que a chave seccionadora geralmente é acionada por motor e simplesmente separa os condutores com ar, de modo que não haja caminho para a corrente passar, a menos que ocorra um arco, mas normalmente há proteções para isso. Já o disjuntor geralmente usa algum tipo de mecanismo — talvez… Na verdade, não sei como funciona a maioria dos disjuntores, mas você pode imaginar que a chave seccionadora é uma maneira mais robusta de isolar uma seção do circuito da fonte de alimentação. Neste caso, estamos isolando o transformador da fonte de alimentação, assim como o salão de dados a jusante. Outra coisa interessante é o para-raios

3:08:40 de surto. Então, o que é um para-raios de surto? Bem, ele protege o isolamento do transformador contra sobretensão. O que isso significa? É literalmente um caminho para a terra que, normalmente, conduz uma quantidade extremamente pequena de corrente. Você pode pensar nele assim: em condições normais de operação, esse para-raios conduz para a terra algo em torno de 100 watts de eletricidade. E, em termos gerais, isso é muito pouco. No entanto, se houver um grande aumento de tensão

3:09:11 na linha, de repente esse para-raios se torna um excelente condutor. Geralmente são para-raios de óxido de zinco, se não me engano, e eles fazem com que uma corrente enorme desça para a terra, protegendo o transformador. Mas, é importante, eles não enviam toda a corrente para a terra. Enviam apenas corrente suficiente para a terra, de modo que a quantidade que permanece no condutor fique dentro das condições normais de operação. Isso significa que, mesmo que

3:09:42 um raio — desculpe, um relâmpago — atinja a linha, graças ao para-raios de surto, ainda deve ser possível operar o sistema de distribuição sem problemas. Então, mais uma vez, você tem essa função escalonada bem estranha: normalmente, há pouca condução e alta resistência; mas, assim que a tensão aumenta bastante, o para-raios de surto direciona a corrente para a terra. E a última coisa que quero mencionar aqui é que geralmente eles são instalados logo antes do transformador, e não

3:10:13 logo antes da fonte de alimentação ou do disjuntor, porque você quer que fiquem o mais perto possível do transformador. Digamos que o para-raios de surto estivesse aqui, antes do disjuntor. Se, por acaso, um raio atingisse exatamente este ponto, ele alcançaria o transformador antes do para-raios de surto e ainda poderia danificar o transformador por causa do grande pico de tensão. Certo, agora vamos mudar de assunto e falar um pouco sobre codesign. Vamos falar sobre a Compass, que fabrica — ou, melhor, adquire e constrói — data centers, e sobre a Siemens, de quem já falamos, que projetou o equipamento e reuniu o quadro de distribuição e o transformador em um único conjunto. Então, do que estou falando? Em uma única base fabricada na fábrica, eles incorporaram um quadro de distribuição de média tensão, que faz o chaveamento e a proteção do condutor e da corrente, junto com um transformador, que reduz ou eleva a tensão. Neste caso, provavelmente reduz de média para baixa tensão. E aqui está uma imagem disso. Então,

3:10:43 a Siemens construiu as bases com quadros de distribuição e transformadores para os data centers da Compass. Esse tipo de codesign foi usado para modularizar a construção. No fim das contas, o resultado é uma base personalizada, fabricada na fábrica, com quadro de distribuição de média tensão e transformador, desenvolvida em conjunto. É um estudo de caso interessante de como você pode combinar duas partes em uma só para modularizar e tornar suas fábricas mais modulares. Certo. Já discutimos os prós e os contras de ter uma corrente alta

3:11:15 em termos de perda de calor. E, de modo geral, a lição que tiramos disso é que você deve instalar o trajeto de alta corrente perto do salão de dados. Vamos considerar estas duas opções: reduzir a tensão na entrada do campus e passar imediatamente de média para baixa tensão; nesse caso, seria preciso transmitir 2 megawatts a 2.460 amps, o que gera uma perda de calor absurda. É por isso que as linhas estão azuis. Em vez disso, se você reduzir a tensão ao lado do salão,

3:11:46 haverá muito menos — desculpe, muito menos perda de calor e muito mais eficiência. Neste caso, estamos considerando 2 megawatts, fator de potência igual a um e corrente alternada trifásica. Então, em linhas gerais, você não quer transmitir demais em baixa tensão, se puder evitar. É claro que a imagem de baixo mostra, mais ou menos, o que a SpaceX fez, certo? Eles fizeram bastante transmissão em média tensão, mas isso valeu a pena para eles, já que conseguiram colocar sua capacidade computacional em operação muito antes. Primeiro, eu me expressei mal antes

3:12:17 em termos de perda de calor. E, em geral, a lição que tiramos disso é que queremos posicionar o trajeto de alta corrente perto do salão. Então, vamos considerar estas duas opções: você reduz a tensão na entrada do campus e passa imediatamente de média tensão para baixa tensão. Depois, precisa transmitir 2 megawatts a 2.460 ampères, o que causa uma perda de calor absurda. É por isso que as linhas estão azuis. Em vez disso, se você reduzir a tensão ao lado do salão, então haverá muito

3:12:48 menos — desculpe, muito menos perda de calor e muito mais eficiência. Neste caso, estamos considerando 2 megawatts, com fator de potência igual a um e corrente alternada trifásica. A ideia geral é que você não quer transmitir demais em baixa tensão, se puder evitar. É claro que a imagem de baixo mostra, de certa forma, o que a SpaceX fez, certo? Eles fizeram bastante transmissão em média tensão, mas isso valeu a pena para eles, já que conseguiram colocar sua capacidade computacional em operação muito antes. Primeiro, eu me expressei mal antes

3:13:22 chamando a linha superior de azul em vez de vermelha. E, em segundo lugar, o exemplo da SpaceX é um tanto artificial nesse sentido, porque estamos falando de esquemas de distribuição diferentes. A lição aqui é que a média tensão dentro do campus é melhor do que a baixa tensão. Então, a alta tensão é a melhor para a eficiência energética e, depois que você está no campus, passa para a média tensão. E é melhor manter a baixa tensão, quer dizer, dentro do data hall, tanto quanto possível. Agora, vamos falar rapidamente sobre algo importante para os transformadores. Então, os transformadores funcionam essencialmente com essas bobinas, que ajustam a proporção de quanto a tensão será reduzida ou elevada. Digamos que você tenha um transformador com 80 espiras na bobina de entrada e 20 espiras na de saída. Então, você tem uma proporção de 4:1, de modo que 480 volts na entrada seriam reduzidos para 120 volts. E isso significa que, mesmo que você forneça 504 volts, ele

3:13:54 reduziria a tensão na mesma proporção, para um quarto. Não chegaria a 120, porque o transformador não se importa muito com qual é a tensão de entrada. Desde que ela esteja dentro da faixa, é isso. Ele simplesmente divide por quatro, ou pelo valor correspondente ao número de derivações. Mas, em vez disso, o que você pode fazer é modificar o ponto da bobina ao qual conecta o condutor no transformador. Isso significa que você pode ajustá-lo para que, em vez de ter 80 espiras, você

3:14:26 mude a entrada para 84 espiras e mantenha a saída em 20 espiras na saída de corrente alternada. Mantenha isso igual. Esse número maior de espiras no primário restaura a tensão de saída para 120 volts. Essa é uma observação interessante, ou uma realidade, sobre como os transformadores podem ser ajustados para a tensão de saída específica desejada. E, se você tiver um transformador do tipo seco, as derivações são conexões físicas dos enrolamentos. Então, este é um transformador do tipo seco, e você literalmente muda o ponto em que esses condutores fazem a derivação

3:14:56 para cima e para baixo nos enrolamentos do transformador aqui. E há rótulos diferentes aqui. Normalmente, há diferenças de 2,5 a 5% na proporção da tensão quando você muda de uma derivação para outra. E, sim, vamos deixar isso para os eletricistas, porque imagino que, se você fizer isso errado, as consequências podem ser bem graves. Mas é assim que esse diagrama funciona, pelo menos se você tiver um transformador do tipo seco. Vale observar, porém, que muitos transformadores

3:15:27 não são do tipo seco. Em vez disso, ficam imersos nesse óleo mineral para resfriar os enrolamentos. Mas este é um caso específico de transformador do tipo seco. Certo. E imagino que, a esta altura, você já tenha intuído ou entendido isso. Mas o barramento do prédio alimenta muito mais do que apenas os equipamentos de TI. Então, vamos supor que você tenha esse transformador, que reduz a tensão para 480 volts de corrente alternada. Há um quadro de distribuição que recebe a alimentação de entrada e a divide entre esses alimentadores, que fornecem corrente para as

3:15:58 diferentes partes do data center. Por exemplo, digamos que você tenha o alimentador de TI, que fornece energia ao barramento blindado, que então a encaminha às PSUs dos racks, as unidades de alimentação, que recebem essa energia em corrente alternada e a convertem em corrente contínua. Depois, você tem o alimentador de refrigeração e o alimentador dos serviços do prédio, que alimenta coisas como iluminação, controles e outros serviços prediais. Então, este é um exemplo geral do que fazemos ao distribuir e alimentar as diferentes

3:16:28 fontes finais. E, em cada uma dessas junções, provavelmente haveria uma PDU, que é a unidade de distribuição de energia. Veremos um exemplo disso no próximo slide. Outra coisa que quero mencionar é que os data centers estão, na verdade, passando a usar mais corrente contínua no data hall. Isso acontece por vários motivos relacionados à eficiência, que discutiremos. Mas você já pode imaginar que, se eles convertem parte do fornecimento e da distribuição de energia para corrente contínua, vou até adiantar o que acontece

3:16:59 agora. O que está acontecendo é que, daqui a alguns anos, as GPUs — e isso já está começando a acontecer — serão alimentadas com corrente contínua de 800 volts. Os padrões estão sendo desenvolvidos. Isso significa que ainda será necessário ter uma fonte de 400 volts de corrente alternada, porque a refrigeração e os equipamentos comuns dentro do data center ainda precisam de corrente alternada para funcionar. Então, isso é algo que vale a pena mencionar e considerar na transição geral para corrente contínua para

3:17:30 a alimentação das GPUs. Vamos discutir isso com muito mais detalhes. Eu só queria dar uma prévia rápida. Depois, falei sobre as PDUs. Temos unidades de distribuição de energia, e há dois tipos: a PDU de piso e a PDU de rack. A PDU de piso distribui os alimentadores e fica em algum ponto do data hall. Já a PDU de rack é destinada aos racks específicos das GPUs. Ela distribui corrente alternada para as tomadas. Então, ela distribui corrente alternada para as diferentes PSUs. E as PSUs dos servidores são as unidades de alimentação individuais que fornecem energia em corrente contínua às unidades de computação específicas, já que os componentes de computação e a placa-mãe usam corrente contínua. Então, podemos considerar que a PDU opera no domínio da corrente alternada, e a PSU é o componente que finalmente converte corrente alternada em corrente contínua. Certo. E então falei dos barramentos blindados, nos quais há, essencialmente, condutores de cobre que levam eletricidade pelo data hall, e

3:18:03 eles costumam ficar agora acima dos racks. Há derivações que então alimentam as unidades de computação individuais, e é aí que as PSUs recebem energia. E, só para repetir, a derivação conecta um rack ao barramento blindado suspenso, como vimos neste diagrama. Então, há a alimentação de entrada, que energiza todo o barramento blindado. A caixa de derivação, que recebe uma ramificação protegida do barramento, e depois o cabo até a PDU de rack, que então

3:18:33 fornece energia à PSU separada. Eu disse no slide anterior que a derivação se conectava diretamente à PSU. Isso não está correto. A derivação se conecta primeiro à unidade de distribuição de energia do rack. E então essas prateleiras de alimentação convertem, nas PSUs, a corrente alternada em corrente contínua. Como você viu no diagrama, normalmente usamos barramentos blindados suspensos. Nem sempre foi assim. Na verdade, isso significa que a medição pode ser feita

3:19:04 em cada derivação. Novas ramificações podem ser adicionadas conforme a carga dos racks muda ao longo do tempo. Além disso, isso liberou o espaço sob o piso para a refrigeração. Então, essencialmente, isso simplificou o projeto. E acho que, hoje em dia, o barramento blindado suspenso é a forma mais comum de fornecer energia aos racks. Se vocês se lembram, lá atrás, no slide sobre TPU, também vimos que a energia era fornecida aos racks por cima. Certo? E, quando falamos das derivações,

3:19:35 precisamos garantir que estamos dentro dos requisitos de tensão, ou respeitando o quanto o barramento blindado consegue suportar. Para resumir, uma nova derivação ainda usa os mesmos condutores a montante. Vamos supor que essa alimentação tenha um limite de 250 amperes e que, no momento, estejamos usando 56 amperes por rack em série. Então, neste ponto, restam 111 amperes; ou melhor, há 111 amperes neste ponto do

3:20:07 condutor. E, depois que a corrente se divide para o rack 2, temos 56 amperes. Chegamos a esse número porque estamos usando 415 volts entre fases. Se você usar a fórmula de potência em corrente alternada em função da corrente e da tensão, obterá esses valores em amperes. Agora, vamos para um quarto rack. Como temos 56 amperes por rack, 56 vezes 4 ainda fica bem abaixo de 250. Mas, assim que passarmos para cinco racks

3:20:39 nas derivações, precisamos garantir que continuemos dentro dos requisitos de tensão e respeitar a capacidade da busway. Para resumir, uma nova derivação ainda usa os mesmos condutores a montante. Vamos supor que esta alimentação tenha um limite de 250 ampères e que atualmente estejamos usando 56 ampères por rack em série. Então, neste ponto, restam 111 ampères — ou melhor, há 111 ampères neste ponto do

3:21:09 condutor. E, depois que ele se ramifica para o rack 2, temos 56 ampères. Chegamos a esse número porque estamos usando 415 volts entre fases. Se você usar a fórmula de potência em corrente alternada em função da corrente e da tensão, obterá esses valores em ampères. Então, vamos passar para um quarto rack. Como temos 56 ampères por rack, 56 vezes 4 ainda fica bem abaixo de 250. Mas, assim que passamos para cinco racks

3:21:41 sistema em um barramento, então você ficará 28 A acima do seu orçamento utilizável, e isso provavelmente causará problemas nos equipamentos elétricos mais adiante, já que você terá excedido a capacidade nominal do alimentador de entrada. Portanto, precisamos estar atentos à amperagem e aos outros valores no alimentador, para garantir que não os excedamos, já que continuamos usando os mesmos condutores a montante à medida que

3:22:11 adicionamos racks ao alimentador e ao barramento. Certo, este é o primeiro meme do curso. Vamos ver o que diz. Como a potência aparente se parece com um pint de cerveja? E então aparece esta imagem engraçada, que diz que a potência aparente é igual à potência ativa mais a potência reativa. Na verdade, ela é a hipotenusa, pelo teorema de Pitágoras. Para resumir, você calcula

3:22:43 a potência aparente como a raiz quadrada da potência ativa ao quadrado mais a potência reativa ao quadrado. E o que isso significa? Basicamente, a potência ativa é a potência que de fato chega ao seu equipamento. Já a potência reativa é a energia que fica armazenada e retorna dentro da corrente alternada. Como essa corrente alternada está constantemente se energizando e desenergizando, parte da energia fica armazenada no condutor e depois é liberada, mas não é efetivamente usada como

3:23:13 potência ativa. Isso é chamado de potência reativa. Se você somar a potência reativa à potência que de fato chega à carga final, obtém a potência aparente. Esta foi apenas uma introdução rápida. Agora vamos falar disso com um exemplo. Vamos supor que você tenha um transformador com potência real no sistema igual a 900 kW e potência aparente S igual a 900 kVA. Essa é a

3:23:44 unidade de potência aparente, e a corrente de linha aqui é de 1.083 A. Você pode calcular isso novamente — e isso vale somente para corrente alternada — usando a mesma fórmula que vimos em uma seção anterior. Isso significa que, se o seu transformador puder suportar 1.000 kVA, ele estará carregado a apenas 90%, já que o fator de potência é 1. Mas, na vida real, o fator de potência não será 1. Então, se presumirmos que o fator de potência é 0,8, isso significa que a potência aparente — ou melhor, 80% da

3:24:16 potência aparente — é potência real, enquanto os outros 20% são a espuma no topo da cerveja, que não faz nada: a potência reativa. Isso significa que você precisa compensar fornecendo mais corrente para chegar à mesma leitura de 900 kW. Portanto, na verdade, você ultrapassaria em 12,5% a carga nominal do transformador. Em resumo, podemos dizer que a potência real é consumida, enquanto a potência reativa representa apenas energia armazenada e devolvida pelo condutor. E então

3:24:47 a potência aparente mede a carga que o transformador precisa suportar, pois é a combinação da potência real com a potência reativa. E há outro parágrafo aqui que realmente deixa essa ideia clara: em alguma corrente — desculpe, em corrente alternada, mais uma vez, não em corrente contínua, mas em corrente alternada — parte da corrente pode fluir para armazenar energia temporariamente em campos magnéticos ou elétricos e depois devolvê-la, em vez de entregar essa energia à carga. Isso é chamado de potência reativa. A corrente ainda passa pelo condutor e o aquece. Portanto, o transformador precisa suportar mais corrente

3:25:17 do que a potência real, por si só, indicaria. Um fator de potência de 80% não significa que 20% da energia seja desperdiçada. Significa simplesmente que é necessária uma capacidade maior de condução de corrente para fornecer a mesma potência real. Essa corrente adicional só aumenta as perdas resistivas. Então, a corrente adicional decorrente dessa potência reativa aumenta as perdas reativas, mas ela própria é, mais uma vez, apenas energia armazenada temporariamente em campos magnéticos ou elétricos na corrente alternada. Essa é outra razão pela qual a corrente contínua é vantajosa. Você não tem esse conceito de fator de

3:25:48 potência, porque a polaridade da corrente contínua não muda ao longo do tempo e, portanto, os campos magnéticos e elétricos também permanecem constantes. Então, voltando ao exemplo anterior, se considerarmos diferentes níveis de fator de potência para um transformador com capacidade nominal de 1.000 kVA, estaremos dentro do limite com um fator de potência igual a 1. Também estaríamos dentro do limite com um fator de potência de 0,9. Na verdade, estaríamos exatamente no limite. Então, não sei se isso conta como estar dentro do limite ou não. E a carga do transformador seria de 1.125

3:26:19 kVA se tivéssemos um fator de potência de apenas 80%. Falamos bastante sobre corrente alternada trifásica neste curso. Então, neste slide, vamos considerar uma unidade de distribuição de energia para rack trifásica que alimenta fontes de alimentação monofásicas. Basicamente, essa unidade de distribuição de energia recebe corrente alternada trifásica, e cada fonte de alimentação recebe uma

3:26:49 fase ativa. Digamos que a linha um se conecte a uma fase ativa do grupo A. Esta é uma PSU, e ela também se conecta ao neutro comum para obter essa diferença de potencial de 277 V. Isso fornece 20 A por grupo de fontes de alimentação. Isso significa que, entre A e B, somamos as correntes para obter 40 A. E fazemos o mesmo para cada grupo. Agora, vamos supor que cada barramento tenha um limite de 60 A. Bem, se nós

3:27:21 as dividirmos igualmente entre cada linha, entre cada fase, não teremos problemas. Mas, por algum motivo, vamos colocar quatro das fontes de alimentação na primeira linha. O que acontece é que agora temos 80 A na primeira fase da corrente alternada trifásica e apenas 20 A nas outras fases. Simplesmente ultrapassamos a amperagem que podemos fornecer em uma única fase, e

3:27:53 é por isso que queremos balancear as cargas entre as fases na corrente alternada trifásica. Agora, falando sobre disjuntores e os efeitos a jusante de uma falha no alimentador — ou algum tipo de falha que ocorra nele —, um disjuntor de backup a montante abre quando o disjuntor do alimentador não consegue abrir. O que quero dizer é o seguinte: digamos que haja uma falha no salão A e, por algum motivo, o disjuntor do alimentador do salão A não consiga abrir

3:28:24 mesmo depois de receber o comando de disparo; o disjuntor continua fechado. Talvez seja algum problema mecânico. Isso significa que o barramento compartilhado entre o salão A e o salão B fica comprometido. Embora não haja falha no salão B, como ele está conectado ao que aconteceu no salão A, o disjuntor de backup a montante também é disparado e abre. Basicamente, o que estou dizendo é que ocorre uma reação em cascata: assim que há uma falha, ela se propaga por todos os disjuntores até que um deles abra. E isto é apenas uma

3:28:55 ilustração do fato de que, quando há uma falha, o primeiro disjuntor que abre a isola. Mas, até isso acontecer, você terá que cortar o fornecimento de energia a todos os salões. Na maioria das condições operacionais, esse disjuntor deve abrir, e então você precisaria isolar apenas o salão A. Mas, supondo que ele não consiga abrir por algum motivo, você também teria que desligar o salão B e isolá-lo, o que não é bom para os resultados financeiros, é claro. Certo, com isso encerramos este capítulo.

3:29:26 A seguir, vamos discutir como manter os racks e o resfriamento funcionando durante uma interrupção, para que ainda possamos fornecer energia de backup se isso acontecer. Certo. Para falar sobre como manter os racks em funcionamento durante interrupções, precisamos discutir continuidade, armazenamento e proteção. Então, não vamos perder mais tempo. Como já falamos sobre fontes de alimentação ininterrupta, vamos analisar um exemplo específico de produto. Aqui temos uma Schneider Electric Easy UPS trifásica modular

3:29:58 . São unidades iguais; uma é preta e a outra, branca. A Schneider é outra empresa que fabrica diversos componentes e equipamentos de infraestrutura elétrica para data centers. Especificamente, esses racks podem suportar até 250 kW e no mínimo 50 kW. Quanto às dimensões, têm quase 2 m de altura, meio metro de largura e 1,85 m de profundidade.

3:30:29 Então, o que há dentro da fonte de alimentação ininterrupta propriamente dita? Há o retificador e, em seguida, o barramento CC, que conecta o retificador ao inversor, aos inversores. Desculpe. Depois, há uma interface de bateria. Não a bateria propriamente dita. A bateria fica em outro lugar. Mas a interface para conectar a bateria fica na UPS. Você também tem um bypass estático, que é um condutor que desvia de todo esse caminho do retificador, barramento CC e inversor. E vamos explicar por que isso é uma boa ideia. Basicamente, isso permite que a UPS funcione mesmo se o

3:31:02 retificador, o barramento CC ou o inversor estiverem fora de operação. E vamos mostrar isso em um diagrama para ficar mais claro. Você também tem os controles elétricos e o resfriamento. Mais uma vez, as baterias ficam em gabinetes externos e se conectam à interface de bateria da UPS. Em geral, são unidades de backup de bateria em rack. Ou seja, BBUs que fornecem energia de corrente contínua no rack. Esse tipo de fonte de alimentação ininterrupta para instalações costuma ficar em uma sala de suporte elétrico.

3:31:32 Ou seja, no espaço cinza, não no espaço branco. Em particular, essas UPS específicas são feitas para serem instaladas em uma configuração de quatro unidades, que fornece 1 megawatt. Essa configuração pode operar com as quatro unidades fornecendo 1 megawatt, ou com 750 kW entre as quatro unidades e um nível de redundância. Isso seria um sistema N+1. Além das baterias em gabinetes externos, você também tem as unidades de backup de bateria em rack, que fornecem energia de corrente contínua diretamente no próprio rack.

3:32:06 Certo. Ah, pulei um slide. Então, se olharmos novamente para o fluxo de funcionamento de uma fonte de alimentação ininterrupta, podemos ver que, normalmente, a corrente alternada da rede elétrica vai para o retificador, o barramento CC e o inversor e, em seguida, para a carga protegida, que neste caso é de 100 quilowatts. Sempre que a corrente alternada da rede elétrica cai, ou se algo acontece nesse lado da cadeia de fornecimento da bateria, a bateria da UPS, ou seja, da fonte de alimentação ininterrupta, descarrega pelo barramento CC e fornece

3:32:38 energia à carga. E, assim que o fornecimento é restabelecido, removemos a fonte de alimentação — desculpe, removemos a bateria do barramento CC. Na verdade, se a rede elétrica estiver fornecendo energia suficiente, não só forneceremos energia ao inversor, como também faremos a corrente passar por essa interface bidirecional da bateria para recarregá-la até a tensão normal. Certo. Agora que estamos falando de baterias, também vamos abordar um pouco

3:33:08 os capacitores. Precisamos discutir o conceito de capacitância. O que é capacitância? Ela relaciona a carga armazenada à tensão. Primeiro, sabemos que tensão é esse potencial elétrico, medido em joules por coulomb. Também temos a carga, medida em coulombs. Na verdade, essa unidade de carga é uma forma de dizer quantos elétrons você tem.

3:33:39 Então, se houver uma carga de 160 coulombs em um dielétrico… Não expliquei o que é um dielétrico, mas ele é basicamente um isolante. Um exemplo de dielétrico é literalmente o ar. O ar não é um bom condutor. Ele impede que os elétrons passem e formem uma corrente. Digamos que você tenha algum tipo de condutor deste lado da placa. Então, você tem duas placas condutoras que criam um campo elétrico e um

3:34:11 dielétrico, de modo que não há como os elétrons passarem por ele. Portanto, há um potencial elétrico de 800 volts e, em particular, uma diferença de carga de 160 coulombs entre os dois lados. Nesse caso, diríamos que a carga é de 160 coulombs. E o que acontece é que, quando há uma carga através de um dielétrico, isso, por definição, é um capacitor. Literalmente, a definição de capacitor é

3:34:42 uma certa carga entre dois condutores que cria esse campo elétrico, e cada capacitor tem uma capacitância. Certo. Então, o que é capacitância? Você pode entendê-la como uma propriedade fundamental de cada capacitor, que indica quanto de carga pode ser armazenada para cada unidade de tensão. Primeiro, capacitância é representada por este C aqui. A fórmula é carga igual a capacitância vezes tensão, ou capacitância igual a carga dividida pela tensão. O que a capacitância nos diz

3:35:12 é que, para um condutor físico, esse é um valor fixo. Ela nos diz quanta carga podemos armazenar para cada unidade de tensão. É assim que você deve pensar na capacitância. Digamos que você tenha um capacitor cerâmico específico. Esse capacitor terá um valor de capacitância, medido em farads. Esse é o nome da unidade, representada por F. Isso significa 0,2 coulombs por volt. Ou você poderia ter uma capacitância de um, o que significaria que, para cada coulomb,

3:35:46 há essencialmente um volt através desse dielétrico. Certo. Essa é apenas a unidade de capacitância. E, mais uma vez, como capacitância é igual à carga dividida pela tensão, se dividirmos os dois lados por V, também podemos reorganizar a fórmula para obter carga igual a capacitância vezes tensão. Então, neste caso, o exercício é o seguinte: temos um capacitor com capacitância conhecida de 0,2, e a tensão

3:36:17 entre os dois condutores do capacitor é de 800 volts. Portanto, podemos calcular que a carga é de 160 coulombs. E, se um coulomb corresponde a 10^30 elétrons — é um número aleatório, esqueci quantos elétrons há de fato em um coulomb —, então diríamos que a diferença de carga, ou seja, a diferença no número de elétrons entre os dois lados das placas, seria 160 × 10^30, ou 160 vezes quantos elétrons há em um coulomb. Talvez pareça meio artificial tentar entender o que isso significa nesse nível tão

3:36:49 básico, mas é importante saber, porque os capacitores são muito importantes no contexto dessas fontes de alimentação ininterrupta e desses sistemas de bateria. Vamos passar para o próximo slide, em que falamos sobre como um capacitor é carregado. O que estamos representando neste gráfico? Vamos supor que um capacitor esteja sendo carregado. Isso significa que você moveria elétrons para

3:37:20 este lado da placa e aumentaria essa diferença de carga. A tensão também aumentaria, porque a capacitância é um valor fixo. Então, se você quiser aumentar Q, que é a carga, V também precisa aumentar para manter a proporção. Certo. À medida que a carga aumenta, a tensão também aumenta. Neste gráfico, aumentamos a carga de zero — o que corresponderia a não haver tensão nem carga entre os dois

3:37:51 condutores — até 160 coulombs. Isso também nos dá uma tensão de 800 volts através do espaço entre eles, através do dielétrico. Temos, então, esta fórmula, que diz que a carga multiplicada pela tensão média aplicada através desse espaço nos dá a quantidade de energia armazenada no capacitor. Mas pulei uma etapa. Vamos primeiro explicar como chegamos a esse resultado.

3:38:23 Primeiro, temos a energia, medida em joules. Pela fórmula — ou melhor, pelas unidades — da capacitância… Desculpe, da carga, que é medida em coulombs, e da tensão, que é medida em joules por coulomb, podemos multiplicar esses dois termos e obter joules. Mas precisamos dividir por dois, porque, essencialmente, a tensão forma esse triângulo. Então,

3:38:54 para obter a área desse triângulo, precisamos fazer base vezes altura dividido por dois. Neste caso, é literalmente 160 × 400 ÷ 2. Isso nos dá a quantidade de energia necessária para carregar um capacitor até determinada tensão. Também podemos expressar a energia para carregar um capacitor usando apenas a tensão e a capacitância, porque, se vocês se lembram, Q é igual a CV. Então, podemos…

3:39:27 Substituindo Q aqui, obtemos energia = CV² / 2 como a quantidade de energia necessária para carregar um capacitor ou, de forma equivalente, a quantidade de energia que um capacitor pode descarregar. Portanto, essa fórmula pode ser usada tanto para expressar quanta energia é necessária para carregar um capacitor quanto quanta energia um capacitor pode liberar. E, mais uma vez, isso vai ser muito importante, porque o capacitor é essencialmente o que fornece a reserva enquanto a bateria e o gerador aumentam lentamente até a tensão de operação deles

3:39:57 sempre que houver uma falta de energia. Certo. Então, vamos supor que temos uma carga de 1 megawatt que foi desligada devido a algum problema na cadeia de suprimentos ou simplesmente por uma queda de energia, e queremos saber por quanto tempo nosso capacitor consegue sustentar essa carga de 1 megawatt. Já sabemos que a capacitância, que é, mais uma vez, como coulombs por unidade de volt, é de 0,22 farads

3:40:30 e que a carga é de 1 megawatt, e o capacitor está atualmente a um potencial elétrico de 800 volts. Se voltarmos aqui, isso significa que há 160 coulombs de carga nesse dielétrico. Então, é bem simples. Temos esta fórmula da energia, que podemos simplesmente alterar para energia delta = 1/2 C vezes a tensão no início ao quadrado menos a tensão no final ao quadrado. Então, literalmente, é só esta fórmula

3:41:01 aqui, só que calculamos a diferença entre as tensões para obter a diferença de energia. Essencialmente, o que acontece é que estamos supondo que, quando a tensão neste barramento chegar a 700 volts, a carga será desligada. Essa suposição decorre simplesmente do fato de que presumimos que aquilo que esse barramento, que fornece eletricidade, alimenta tem uma faixa de tensão de entrada permitida até 700 volts; assim que a tensão cair abaixo de 700 volts

3:41:31 ele não poderá mais alimentar a carga. É por isso que calculamos V inicial como 800, porque esse é o valor inicial. Mas, mais importante, é por isso que nosso V mínimo, ou V final, é 700 volts, porque, abaixo disso, não adianta. Na verdade, já vemos aqui que, depois que o capacitor descarrega até 700 volts, ainda tem 49 kJ de energia, mas simplesmente não a libera, porque não faz sentido deixar a tensão do barramento cair abaixo de 700 volts. Nesse ponto, simplesmente

3:42:02 desligaríamos a alimentação dos componentes a jusante. Certo, chega de conversa. Se você calcular essa fórmula, obterá 15.000 joules como a quantidade de energia que a capacitância — desculpe, o capacitor — pode descarregar entre 800² e 700² volts. E, se ele tiver que alimentar 1 megawatt, então, usando tempo = energia

3:42:32 dividida pela potência. É assim que se obtém a quantidade de energia necessária — desculpe, é assim que se obtém o tempo necessário para liberar uma quantidade específica de energia. Nesse caso, ele só conseguiria sustentar a carga de 1 megawatt por 15 milissegundos. Não é muito tempo, mas o capacitor também não tem muita energia, e é preciso 1 megawatt para sustentar a carga. Então, agora sabemos que, até a tensão cair para 700 volts, o capacitor consegue sustentar a carga, ou melhor, o barramento, por 15 milissegundos

3:43:02 e, nesse momento, a alimentação dos componentes a jusante seria cortada, e eles ficariam sem fornecimento de energia. Mas, na realidade, não é isso que acontece. Na prática, o que acontece é que, enquanto o capacitor está aumentando sua carga, ele está fornecendo o déficit. Desculpe, o capacitor é ativado praticamente de forma instantânea, porque os elétrons começam a se mover do terminal negativo para o positivo assim que a tensão cai, para amortecer essa queda de tensão. Então, o capacitor

3:43:35 está fornecendo o déficit durante o aumento gradual da potência da bateria — era isso que eu queria dizer. Portanto, em vez de haver apenas uma coisa acontecendo, temos o capacitor atuando enquanto a bateria aumenta sua potência. Então, em vez de calcular o capacitor fornecendo a tensão sozinho, devemos fazer esse cálculo enquanto a bateria aumenta sua potência. E podemos supor que a bateria fornece energia de forma linearmente crescente.

3:44:06 Portanto, a área que o capacitor precisa fornecer é esse déficit, que corresponde a este triângulo. Se calcularmos, será simplesmente 1/2, porque é um triângulo, vezes 1 megawatt, que é a carga, vezes 10 milissegundos, que é o tempo que a bateria leva para igualar a potência da carga. Certo. Isso significa que, nesse intervalo, o capacitor precisa fornecer 5 kJ de energia. Então, se usarmos a mesma fórmula de antes, mas isolarmos V final, e soubermos

3:44:38 que a energia é 5.000 joules, podemos reorganizar a equação para V² e, então, obter que, após 10 milissegundos, a tensão do barramento cai para 768,1 volts, mas depois se estabiliza, porque a bateria está fornecendo a carga de 1 megawatt e a tensão do capacitor agora é igual à tensão do barramento, então ele não está mais descarregando. Certo, agora vamos voltar rapidamente

3:45:11 porque essas fórmulas são bem assustadoras. Agora estamos em 768,1 volts e, se alimentarmos a carga de 1 megawatt apenas com a bateria, nunca voltaremos a 800 volts, porque precisamos essencialmente recarregar o capacitor, o que significa que precisamos fornecer um excedente acima de 1 megawatt para recuperar a energia. É isso que as fórmulas da próxima página vão nos mostrar. Prometo que não é tão assustador quanto parece. Vamos ver o que diz. Primeiro, usamos mais uma vez tempo = energia dividida pela potência. E, só para dar uma intuição

3:45:42 mais uma vez, temos o tempo em segundos. E estamos dividindo joules por joules por segundo. Então, os joules se cancelam, e os segundos ficam no numerador. Já sabemos que a energia em função da capacitância e da tensão é igual a 1/2 CV². Portanto, temos a energia no numerador, que é 1/2 CV², e o denominador representa essencialmente o tempo; queremos calcular a energia para repô-la

3:46:13 e, então, na parte inferior, queremos saber quanta potência extra precisamos fornecer, que é simplesmente P extra = fonte menos carga. Neste caso, a carga seria de 1 megawatt, e queremos saber quanta potência a mais do que 1 megawatt precisamos fornecer. Essa é a questão. Então, se, por exemplo, fornecermos 50 megawatts de potência extra — desculpe, de potência extra além da carga —, faríamos

3:46:43 5 kJ dividido por 50 megawatts e, então, obteríamos o tempo de recuperação. Isso seria o excedente positivo constante no barramento DC que fornecemos para recarregar o capacitor. Obtemos esses 5 kJ para ter uma intuição rápida fazendo o seguinte: nosso alvo é 800 volts. Então, 800 ao quadrado, e a tensão inicial é 768,1, ou seja, 768,1 ao quadrado. E isso significa

3:47:14 que queremos chegar a 5 kJ; essencialmente, é isso que o numerador está dizendo. Portanto, precisamos acrescentar essa energia de 5 kJ com alguma potência extra. Então, vamos ver o que pode acontecer aqui. Quanto maior o excedente de potência, mais rápido o barramento se recupera. E, mais uma vez, estamos supondo que temos uma carga de 1 megawatt que precisa ser alimentada e que também precisamos fornecer um excedente para chegar aos 5 kJ e recuperar essa energia. Então, digamos que forneçamos 1 megawatt

3:47:44 ao barramento, certo? Não há excedente. Então, a tensão permanece em 768,1. Esta é a linha pontilhada. Em vez disso, suponhamos que agora forneçamos 50.000 kW de potência extra ao barramento. Nesse caso, a recuperação aconteceria em 100 milissegundos, porque, se simplesmente dividirmos 5.000 por 50.000, obteremos 100 milissegundos, um décimo de segundo, se não me engano. E, por outro lado, se fornecermos mais

3:48:16 potência de 1,1 megawatt, que é 100 kW. Então, como você está fornecendo o dobro da potência, o tempo de recuperação será metade. Isso significa que estamos fazendo 50… desculpe, 5.000 dividido por 100.000, e isso nos dá 50 milissegundos de tempo de recuperação. Certo. E também, quando chegarmos a 800 volts, vamos supor que reduzimos a potência da fonte no barramento para 1 megawatt, porque, se você aumentar acima disso, vai começar a carregar o capacitor acima de 800 volts, mas também não quer fazer

3:48:46 isso. Então, é isso que acontece quando usamos uma bateria. Além disso, vamos supor que não estamos usando uma bateria para recarregar o capacitor. Vamos supor que estamos usando um gerador e um retificador. Então, mais uma vez, o retificador converte de CA para CC. Nesse caso, o gerador também faria exatamente o mesmo trabalho de recarregar o capacitor para atingir a tensão de operação do barramento. Certo, isso foi bem longo. Espero que vocês tenham conseguido acompanhar essas equações. Às vezes é bem complicado. Mas agora vamos voltar a diagramas um pouco mais divertidos. Então, se olharmos aqui, certo, a bateria do UPS faz a ponte até o gerador aceitar a energia. Vamos recapitular o que acontece em cada etapa deste ciclo, quando passamos da rede elétrica para uma falha de energia e, depois, para o gerador. Primeiro, a rede elétrica está fornecendo energia e

3:49:17 então vamos supor que a rede elétrica fique indisponível e que o gerador esteja começando a funcionar, mas desconectado, já que precisa de alguns minutos para atingir a potência necessária. Nesse ponto, o capacitor assume o fornecimento pelos primeiros 10 milissegundos e, depois disso, a bateria compensa a carga, que é de 100 kW neste exemplo, e descarrega. Então, diríamos que o gerador já atingiu sua potência de saída operacional e, portanto, a energia passa pelo mesmo UPS normalmente usado com a rede elétrica.

3:49:48 E, por fim, quando a bateria — ou melhor, quando o gerador — estiver pronto para fornecer energia não só à carga, mas também à bateria, vamos fornecer mais de 100 kW para alimentar a carga e recarregar a bateria, de modo que, numa situação futura em que o gerador ou a rede elétrica falhem, a bateria esteja carregada para fornecer energia ao barramento CC.

3:50:18 Certo. E vamos falar rapidamente sobre a potência de saída da bateria. A matemática e a física aqui são bem simples. Suponha que uma bateria tenha capacidade de armazenamento de energia de 1 megawatt-hora. Isso significa que ela pode fornecer 1 megawatt de potência por 1 hora. Além disso, se considerarmos que você provavelmente não vai descarregar a bateria abaixo de 20%, então apenas 80% dela será realmente útil. E, por fim, a bateria não consegue converter perfeitamente sua

3:50:48 energia em eletricidade. A taxa de conversão seria de 95%. Então, na prática, você só obtém 76 megawatt-horas para a carga a partir de uma bateria de 1 megawatt-hora. E, supondo que a bateria tenha um limite de saída de 8 megawatts através do barramento CC aqui, se a demanda for de 6 megawatts, você poderia atender a essa demanda por 7,6 minutos. Isso é simplesmente pegar nossa energia, dividir pela potência e multiplicar por 60 para obter minutos. E

3:51:19 então, supondo que tenhamos um limite de saída de 4 megawatts, não conseguiríamos atender à demanda de 6 megawatts, porque não é possível fornecer a carga inteira. Essencialmente, há 2 megawatts de demanda sem atendimento. Portanto, o conjunto de baterias deve ser capaz de fornecer pelo menos a carga. Neste caso, você precisaria de baterias que pudessem fornecer pelo menos 100 quilowatts, depois de considerar tanto a conversão quanto a faixa utilizável, e também a potência de saída da

3:51:51 bateria. Certo? Até agora, pelo que entendo, estávamos falando apenas de sistemas a combustíveis fósseis para fornecer energia durante uma queda de energia. Mas, na verdade, a Cruso tem este modelo Spark, que é como um data center modular que usa energia solar e armazenamento em baterias para alimentar o data center. O que aconteceu foi que, no projeto-piloto do ano passado, eles tinham 12 megawatts de energia solar e 63 megawatt-horas de baterias para alimentar um data center de 1

3:52:22 megawatt, que também tinha uma conexão de reserva com a rede elétrica. Caso ficasse sem sol por muitos dias e não fosse possível alimentá-lo. Mas, na verdade, se fizermos os cálculos aqui, como eles têm 63 megawatt-horas em baterias — é claro que, neste exemplo, não estamos considerando que não é possível obter eficiência perfeita das baterias —, se ignorarmos isso, teremos aproximadamente 63 horas de autonomia sem nenhuma recarga solar. Então, essa já é uma configuração bem robusta em termos da relação entre energia bruta e carga.

3:52:54 Então, este é um exemplo de um sistema totalmente renovável. Totalmente renovável no sentido de que, esperamos, você nunca precisaria recorrer à rede elétrica. Talvez isso acontecesse de vez em quando. Mas, no balanço líquido, ele funcionaria com energia renovável. Então, acho que esse também é um conceito bem interessante em termos de autonomia em relação à rede elétrica e aos combustíveis fósseis. Certo. Mencionei o bypass estático antes, mas esta é a primeira vez que falamos dele em um diagrama. O bypass estático alimenta a carga quando o inversor está indisponível. Então, essencialmente,

3:53:26 o que acontece aqui é que, como a fonte é CA, tecnicamente podemos pular completamente todo o estágio do retificador, do barramento CC e do inversor, caso alguma parte deste caminho no UPS apresente uma falha ou seja desconectada por este seccionador ou disjuntor. Isso nos permite continuar alimentando a carga, por exemplo, se o inversor estiver indisponível. Mas o problema é que, se você perder o acesso ao bypass estático, não poderá mais alimentar a bateria, porque, como dissemos, a

3:53:57 premissa aqui é que o inversor está com defeito. O problema é que, quando você usa o bypass estático, está meio que correndo um risco, porque, se o bypass estático falhar, você não conseguirá alimentar a carga. Há outro tipo de bypass, chamado bypass de manutenção. O bypass de manutenção alimenta a carga contornando o UPS, que fica completamente isolado. Dá para ver aqui que temos esses seccionadores em todo o circuito da carga, de modo que o UPS não fica conectado a nenhuma fonte de energia. O objetivo disso é que, se você precisar fazer manutenção no UPS, não vai querer que ele esteja conectado a nada energizado.

3:54:29 Então, esse bypass de manutenção externo permite que você continue alimentando a carga enquanto o UPS está completamente desligado. E o que acontece aqui é que, mais uma vez, se você perder a fonte do bypass — se, por algum motivo, estiver fazendo manutenção neste UPS e o bypass de manutenção falhar —, essa carga também ficará sem energia. Então, vale notar que, sempre que você usa um bypass, tem um ponto único de falha, ao contrário do

3:55:00 UPS, em que, se uma das fontes de entrada falhar, geralmente você tem uma segunda opção disponível. Também falei, mais uma vez, sobre a comparação entre CA e CC. E uma coisa interessante é que, mesmo que você isole a CA do restante da rede elétrica aqui, a CC ainda pode estar energizada por causa da bateria e dos capacitores. Então, neste exemplo, é muito importante desconectar a

3:55:30 bateria também e garantir que este barramento CC esteja completamente desenergizado antes de tentar fazer qualquer manutenção na máquina. Além disso, como a CC tem corrente e tensão constantes, ela ainda pode permanecer energizada mesmo depois de ser desconectada. Isso é diferente da CA, que passa por zero duas vezes a cada período, o que significa que é muito mais fácil desenergizar a corrente alternada. Então, isso significa que, ao usar corrente contínua, você precisa de alguma carga do lado da carga

3:56:01 bateria também e garantir que este barramento de corrente contínua esteja completamente desenergizado antes de qualquer manutenção na máquina. Além disso, como a corrente contínua tem corrente e tensão constantes, ela ainda pode permanecer energizada mesmo que seja desconectada. Isso contrasta com a corrente alternada, que passa por zero duas vezes por período; por isso, é muito mais fácil desenergizar a corrente alternada. Então, isso significa que, ao usar corrente contínua, é necessário ter algum componente no lado da carga

3:56:33 um método para desconectar e descarregar a corrente contínua antes de qualquer manutenção nesse componente. Então, mais uma vez, a mensagem aqui é que, mesmo que a corrente alternada esteja desligada, a corrente contínua ainda pode estar ativa. Isso é mais uma precaução de segurança. E, na verdade, o que também pode acontecer com a corrente contínua é… Vamos falar do caso básico antes de entrarmos nos arcos. Quando a corrente está… quando

3:57:06 o circuito está fechado, a corrente flui porque o contato entre as partes completa o circuito. Mas uma abertura pode conduzir corrente mesmo havendo um espaço, se houver tensão suficiente. Literalmente, um gás ionizado e quente ocupa o espaço, e a corrente continua fluindo. O que acontece para destruir ou eliminar esse arco é que, na corrente alternada, como a polaridade muda com tanta frequência, o arco pode se extinguir sozinho, porque, nos intervalos em que a corrente inverte o sentido

3:57:38 e não há tensão, o ar entre as partes pode esfriar o suficiente para que o arco simplesmente se extinga sozinho. O problema com a corrente contínua é que não há essa mudança de polaridade. Então, se você mantiver um circuito fechado — ou melhor, não fechado, mas constante — com um arco em corrente contínua, ele continuará indefinidamente, a menos que a fonte seja desenergizada. E isso significa que é preciso desenergizar

3:58:10 a fonte para impedir que a corrente contínua forme um arco, caso isso esteja acontecendo, ou afastar os dois nós dessa corrente que estão abertos, porque, a partir de certa distância, não haverá tensão suficiente para atravessar o espaço. Ou melhor, a distância será grande demais para que a tensão disponível atravesse o espaço. Então, vale a pena observar também esse aspecto em que a corrente contínua tem uma desvantagem em relação à corrente alternada, quando se trata desses casos extremos

3:58:41 de falhas elétricas ou, mais especificamente, de formação de arcos. Então, lembre-se: em um arco com corrente contínua, a menos que algo mude no sistema, o arco vai persistir. Já na corrente alternada, como a polaridade muda, existe a possibilidade de que, nos intervalos, o espaço esfrie o suficiente para impedir que o plasma ionizado conduza a corrente pelo ar. Certo, temos mais memes. É porque estamos

3:59:11 falando agora de redundância. Então, este primeiro — ou melhor, o segundo — diz: “Vejo que você não tem redundância suficiente no seu data center. Também gosto de viver perigosamente.” E este primeiro meme diz: “Pegue leve, amigo. Pense nos data centers.” Isso porque está fazendo muito calor, e os data centers não se dão muito bem com o calor. Então, vamos usar esses dois memes para fazer a transição para a seção do capítulo sobre redundância. Vamos falar de uma carga de 100 kW alimentada por dois módulos de 50 kW em um barramento de saída compartilhado. Então,

3:59:43 neste caso, temos 100 kW disponíveis e também precisamos de 100 kW. Então, conseguimos alimentar a carga de TI. No nosso caso, com duas unidades de 50 kW, temos redundância N — ou, essencialmente, não temos redundância, porque a quantidade de energia disponível é igual à necessária. Se um módulo falhar, não será mais possível alimentar a carga de TI. Isso acontece quando não há redundância. E se adicionarmos um terceiro

4:00:13 módulo? Neste caso, temos redundância N+1 para uma carga de 100 kW. Vamos fazer uma manutenção. Se fizermos a manutenção neste módulo, vamos desconectá-lo do barramento e isolá-lo; ainda assim, poderemos alimentar a carga final. Mas agora suponha que estejamos isolando um módulo e que outro tenha falhado. Nesse caso, teremos apenas 50 kW disponíveis e, portanto, não conseguiremos fornecer energia suficiente por meio do UPS para atender à demanda final. E se

4:00:48 um módulo falhar e mantivermos os outros dois funcionando, também poderemos continuar atendendo à demanda de TI, porque M1 e M3, esses dois módulos, estarão fornecendo energia à carga. Certo, agora vamos passar à redundância N+2. Acho que vocês já entenderam a ideia. Suponha que estejamos isolando um módulo e que outro tenha falhado. Neste caso, ainda podemos alimentar a carga no fim do barramento, porque temos redundância N+2 e, essencialmente, dois

4:01:19 dos módulos podem falhar e ainda podemos continuar funcionando. Se colocarmos os dois de volta em operação, teremos 200 kW disponíveis no barramento de saída compartilhado, embora sejam necessários 100 kW, e ainda continuaremos funcionando com 100 kW de sobra. Agora vamos a outro exemplo. Certo, temos redundância N+1, mas o barramento de saída é compartilhado. Isso significa que os caminhos não são independentes. Suponha que ocorra uma falha em algum ponto do barramento de saída compartilhado. Isso significa que, apesar da redundância N+1

4:01:50 não podemos fazer nada, e a capacidade do UPS é insuficiente por causa dessa falha no barramento. Se restaurarmos o barramento compartilhado, isso deixa de acontecer. Agora podemos fornecer energia à demanda de TI. Mas lembre-se de que, mesmo com redundância N+1, ainda há um ponto único de falha se o barramento de saída for compartilhado. E agora vamos usar esse exemplo para passar a uma configuração de redundância 2N. Essencialmente, há um caminho A e um caminho B. É assim que normalmente os chamamos. Também chamamos isso de sistema com alimentação por dois cabos. Essencialmente, há dois cabos. E o que acontece é que, se isolarmos o caminho A — suponha que você esteja fazendo alguma manutenção aqui —, ainda será possível conduzir eletricidade, porque metade dos caminhos consegue alimentar toda a carga. Porém, se um dos módulos aqui no caminho B falhar, infelizmente nem a redundância 2N será suficiente. Mas, se colocarmos os 50 kW do caminho A de volta em operação, mesmo que B1 tenha falhado, ainda poderemos fornecer os 100 kW, porque temos essas duas

4:02:22 um sistema com alimentação por dois cabos. Essencialmente, há dois cabos. Então, se você isolar o caminho A — digamos que esteja fazendo alguma manutenção aqui — ainda consegue fornecer eletricidade, porque metade dos caminhos pode suportar toda a carga. Mas, se um dos módulos aqui no caminho B falhar, infelizmente, nem a redundância N+2 é suficiente. Porém, se restabelecermos os 50 kW no caminho A, mesmo que B1 esteja com defeito, ainda poderemos fornecer os 100 kW, porque temos estes dois

4:02:54 unidades de fornecimento de energia independentes. Então, neste caso, a menos que ambas falhem nessa medida, conseguiremos fornecer energia à carga final. Certo. Podemos ir ainda mais longe e falar de redundância 2N+1, que vocês podem entender por meio deste diagrama. Neste caso, é a mesma coisa que 2N, mas agora acrescentamos uma unidade a cada um dos caminhos. Suponha que isolemos todo este caminho. Agora temos 150 kW disponíveis para esta carga final de 100 kW.

4:03:24 Mesmo que um módulo falhe, ainda podemos fornecer os 100 kW. Essa é uma maneira muito mais resiliente e redundante de atender à demanda final, como diz o título aqui: “Uma unidade de reserva em cada caminho oferece margem durante a manutenção.” Essencialmente, isso é o melhor que se pode conseguir. Se você tiver mais redundância do que isso, começará a ter retornos decrescentes, porque seriam necessários eventos extremos bastante incomuns para que esse nível de redundância falhasse. E, seguindo em frente, vamos

4:03:57 falar de N+1 e de uma situação em que aumentamos a demanda de TI para 150 kW. Essencialmente, o que aconteceu aqui foi que passamos de N+1 para N redundância. A vantagem de ter mais redundância é que, se você atualizar o equipamento mais tarde, poderá atender a uma carga maior com as mesmas unidades de energia. Mas, claro, o problema é que você perde a redundância. É uma troca, com certeza. Mas vale saber que ter redundância também permite fazer novas atualizações

4:04:29 sem alterar a infraestrutura de fornecimento de energia. Certo. E só para dar um exemplo rápido de falhas nesses diferentes ramais, nos alimentadores: suponha que haja uma falha no grupo B e que ele seja isolado. Desde que o disjuntor esteja aberto aqui, antes de a falha chegar ao barramento compartilhado, ela para a carga antes de chegar ao disjuntor

4:04:59 abre a montante. E podemos manter os grupos A e B — desculpe, os grupos A e C — energizados. Mas agora vamos considerar outra situação: há uma falha em um ramal e o dispositivo a montante desarma porque, por algum motivo, o disjuntor do grupo B não abriu. Nesse caso, é preciso deixar sem energia todos estes três barramentos ou todos estes três grupos. Isso porque eles dependem desse único ponto de falha na alimentação a montante. Além disso, mesmo que não haja falha em nenhum dos

4:05:30 grupos, digamos que todos estejam em boas condições, mas haja algum problema no barramento e a tensão do barramento entre em colapso. Nesse caso, provavelmente toda esta alimentação a montante será interrompida em algum ponto, porque a falha se propaga até o primeiro disjuntor que abre e, portanto, estes três grupos também ficam sem energia. Então, acho que a lição aqui é que, nesses sistemas de rede hierárquicos, é preciso identificar onde está o ponto único de falha. Sabe, em um sistema realmente redundante, existem redes ou, melhor dizendo, caminhos de energia completamente independentes, de modo que uma linha inteira pode falhar e, ainda assim, a carga continua recebendo energia. Mas isso nem sempre é possível do ponto de vista financeiro. Então, é preciso equilibrar a resiliência e o custo. Outro tipo de falha que podemos discutir envolve os próprios racks. Vamos supor que algum condutor energizado

4:06:00 tenha uma falha de isolamento. Basicamente, vamos supor que o revestimento do fio tenha se rompido e que o fio esteja exposto ao gabinete metálico do rack — literalmente, ao gabinete metálico. Se esse condutor entrasse em contato com o gabinete, ele ficaria energizado, o que poderia causar problemas: se alguém tocasse no rack energizado, coisas ruins poderiam acontecer. E, curiosamente, para evitar que isso aconteça, você conectaria um caminho de retorno do gabinete metálico

4:06:30 à fonte, de modo a completar o circuito da falha. E por que você faria isso? Mais uma vez, um condutor de proteção conecta o próprio gabinete metálico de volta à fonte do circuito, de modo que, em uma situação de falha, a corrente de falha faça a proteção desconectar o circuito. O que isso significa é que, se houver uma falha de isolamento e o gabinete metálico ficar energizado, você deve conectar o gabinete metálico de volta à fonte para completar o circuito e permitir que o disjuntor desarme e interrompa o circuito corretamente, em vez de deixar o gabinete metálico energizado, sem ter para onde a corrente fluiria, caso ele não estivesse conectado de volta à fonte. É interessante: você conecta intencionalmente o gabinete metálico de volta à fonte. Se ocorrer uma falha de isolamento que faça o gabinete metálico ficar energizado, você quer que a corrente retorne à fonte, em vez de seguir para outro lugar. Certo. Quando falamos de redundância, há uma classificação chamada níveis do Uptime Institute, em que o nível 1 é o mais baixo e o nível 4, o mais alto. Então, começando pelo nível mais baixo, o nível 1 diz que

4:07:02 seu data center fornece apenas energia e refrigeração básicas. Nada muito fora do comum. E, no nível 2 — é claro que estes são exemplos um pouco generalizados; há requisitos bem mais rigorosos para esses sistemas, mas estamos dando apenas uma visão geral —, você adiciona equipamentos sobressalentes de energia e refrigeração. O nível 3 afirma que você consegue fazer a manutenção dos equipamentos enquanto eles continuam funcionando. Isso significa que, como neste exemplo, se você isolar o caminho A para fazer a manutenção, ainda poderá manter a carga funcionando porque tem o caminho B. Isso se enquadraria

4:07:33 no nível 3. E o nível 4 significa que, se houver uma falha na infraestrutura — ou seja, se ocorrer uma manutenção planejada —, o sistema ainda consegue suportá-la. Se for uma manutenção não planejada, por assim dizer, o sistema também consegue sobreviver no nível 4. Data centers de nível 4 são menos comuns porque são muito mais caros de construir, devido a toda a redundância. Você verá isso principalmente, por exemplo, em data centers do governo, onde, bem, o governo não é tão sensível aos custos. Então, ele fornece o dinheiro para a maior redundância possível. Além disso, os dados do governo costumam ter um valor muito alto. Por isso, não querem que o data center saia do ar nem que algum serviço governamental vital fique sem energia. Certo. E, só para dar um exemplo, os níveis 3 e 4 dizem, basicamente, que, durante uma manutenção planejada, o caminho A é desconectado e isolado, enquanto o caminho B continua fornecendo energia aos equipamentos de TI. Já o nível 4 diz que, se houver uma falha repentina e o caminho A parar

4:08:05 de funcionar, o caminho B ainda poderá ser usado para fornecer energia a outros equipamentos de TI. No nível 3, estamos dizendo que só podemos garantir que os equipamentos de TI continuarão funcionando durante uma manutenção planejada. Isso não significa que, se o caminho A falhar, o caminho B não possa também ser comprometido por algum problema, por exemplo. Certo. Outra coisa que vale a pena observar é que a geração de energia no local faz parte de todos os quatro níveis do Uptime Institute, porque ela alimenta tanto os equipamentos de TI quanto os sistemas de refrigeração.

4:08:37 Mas, ao passar do nível 1 ao 4 em termos de redundância, você adiciona mais equipamentos sobressalentes — isso corresponde ao nível 2. No nível 3, você acrescenta a possibilidade de fazer manutenção sem desligar o data center. E, no nível 4, o sistema consegue suportar até mesmo uma situação de falha. Você pode pensar, por exemplo, no furacão Harvey e no data center Equinox, ou Equinex. Esse seria um data center de nível 4. Há os níveis e há os noves, que são conceitos distintos. Então,

4:09:08 três, quatro e cinco noves de disponibilidade indicam simplesmente durante quanto tempo do ano seu data center fica em operação. Se você tem três noves de disponibilidade — como, por exemplo, o data center Cruso Spark, em Nevada, que usa painéis solares —, isso significa que você terá 8 horas e 46 minutos de inatividade ao longo do ano. Literalmente, isso é calculado considerando 0,01% do ano. E isso dá 8,46%. E, se você tem quatro noves de

4:09:40 disponibilidade, então este é o caso do Microsoft Fairwater, em Atlanta, Geórgia, sobre o qual falaremos no próximo slide. Isso equivale a 52,6 minutos de inatividade por ano, ou seja, menos de uma hora. E há cerca de 8 mil horas em um ano, se vocês se lembram: acho que são 8.760. Já cinco noves de disponibilidade é algo impressionante. Há um data center em Viena que deve ter muita redundância, e o SLA, que é o acordo de nível de serviço, acho, especifica que você pode esperar, no máximo,

4:10:12 5,26 minutos de inatividade por ano, o que é bastante impressionante, se você pensar bem. Certo? Vamos falar de um exemplo de data center com quatro noves de confiabilidade. Este é o data center Microsoft Fairwater. E, na verdade, é bem interessante. Esse data center alcança quatro noves de disponibilidade com o custo de três noves. Como isso é possível? Na verdade, eles não têm geradores no local, sistemas UPS nem distribuição com alimentação por dois cabos. Só para relembrar: sabemos o que são geradores. Sabemos que o sistema de alimentação ininterrupta fornece energia por meio de uma bateria. E sabemos que sistemas com dois cabos têm, basicamente, caminhos A e B independentes para cada fonte de alimentação. Então, como conseguem quatro noves de disponibilidade sem nenhuma dessas infraestruturas? Vamos deixar Scott Gutry, que fez esta declaração, explicar como. O que eles dizem é: “Também trabalhamos com nossos parceiros do setor para desenvolver em conjunto soluções de gerenciamento de energia que atenuem as oscilações de energia causadas por tarefas de grande escala — um desafio crescente para manter a estabilidade da rede à medida que a demanda por IA aumenta. Isso inclui uma solução controlada por software, que introduz cargas de trabalho suplementares durante períodos de atividade reduzida; uma solução controlada por hardware, em que as GPUs impõem seus próprios limites de energia; e uma solução de armazenamento de energia no local, para atenuar ainda mais as flutuações de energia sem utilizar energia excedente.” Acho que acabei de perceber que esta declaração fala mais sobre como eles atenuam os efeitos das flutuações de energia causadas pela IA. Para falar de como eles conseguem essa redundância de energia sem ter nenhuma dessas

4:10:43 infraestruturas.

4:11:14 disponibilidade, este é um exemplo do Microsoft Fairwater em Atlanta, Geórgia, sobre o qual falaremos no próximo slide. Isso equivaleria a 52,6 minutos de inatividade por ano, ou seja, menos de uma hora. E há cerca de 8.000 horas em um ano, se vocês se lembram: 8.760, acho. E uma disponibilidade de 99,999% é impressionante. Há um data center em Viena que deve ter muita redundância, e o SLA — que significa acordo de nível de serviço, creio eu — especifica que você pode esperar, no máximo,

4:11:45 5,26 minutos de inatividade por ano, o que é bastante impressionante, se você pensar bem, certo? E vamos falar de um exemplo de data center com confiabilidade de 99,99%. Este é o data center Microsoft Fairwater. E, na verdade, isso é bastante interessante. Esse data center alcança 99,99% de disponibilidade a 39% do custo. Como isso é possível? É porque eles não têm geradores no local. Não têm sistemas UPS e não têm distribuição com dois cabos. Só para relembrar: sabemos o que são geradores. Sabemos que a fonte de alimentação ininterrupta serve para

4:12:17 fornecer energia por meio de uma bateria. E sabemos que sistemas com alimentação por dois cabos têm, essencialmente, um caminho A e um caminho B independentes para cada fonte de alimentação. Então, como eles conseguem quatro noves de disponibilidade sem toda essa infraestrutura? Vamos deixar Scott Gutry, que fez essa declaração, explicar como fazem isso. O que eles dizem é: “Também trabalhamos com nossos parceiros do setor para desenvolver em conjunto soluções de gerenciamento de energia que atenuem as oscilações de energia causadas por trabalhos em grande escala, um desafio crescente para manter a estabilidade da rede à medida que a demanda por IA aumenta. Isso inclui uma solução controlada por software, que introduz cargas de trabalho suplementares durante períodos de atividade reduzida; uma solução controlada por hardware, na qual as GPUs impõem seus próprios limites de energia; e uma solução de armazenamento de energia no local, para mascarar ainda mais as flutuações de energia sem utilizar energia excedente.”

4:12:47 à medida que a demanda por IA aumenta. Isso inclui uma solução controlada por software, que introduz cargas de trabalho suplementares durante períodos de atividade reduzida; uma solução controlada por hardware, na qual as GPUs impõem seus próprios limites de energia; e uma solução de armazenamento de energia no local, para mascarar ainda mais as flutuações de energia sem utilizar energia excedente. Então, acho que acabei de perceber que essa declaração, na verdade, fala mais sobre como eles amortecem os efeitos das oscilações de energia causadas pela IA. Para falar sobre como eles realmente alcançam essa redundância de energia sem ter nenhuma dessas

4:13:19 os próprios geradores no local. Acontece que a rede à qual eles estão conectados já tem muita redundância integrada. Então, por alguma razão, a conexão com a rede elétrica em Fairwater, Atlanta, já tem muita redundância latente na própria rede. Assim, eles não precisam construir essa alimentação de energia secundária por conta própria, porque suponho que já tenham a garantia de que a própria rede ficará disponível 56… ficará disponível durante a maior parte do ano e ficará indisponível por, no máximo, 52,6 minutos

4:13:51 por ano. Então, essencialmente, o que está acontecendo é que, em vez de depender dos próprios geradores para garantir disponibilidade de 99,9%, 99,99%, eles conseguiram esse acordo, esse contrato com a rede elétrica. E este parágrafo — meu engano — está apenas falando sobre como eles conseguem usar software e hardware, como mencionei, acho que em um capítulo anterior, para amortecer as mudanças e flutuações de carga entre esses diferentes trabalhos.

4:14:22 Certo, este é o penúltimo capítulo, o penúltimo slide do nosso capítulo. Ele vai nos testar sobre o que acontece em uma situação de falha. Vamos supor que os racks tenham energia, mas a carga de trabalho consegue continuar em execução? Então, qual é a situação aqui? Estamos dizendo que a rede elétrica falha e o gerador entra em funcionamento e alimenta a planta de resfriamento, enquanto os racks de computação têm uma fonte de alimentação ininterrupta e um gerador, o que é bom. Isso significa que eles têm o retificador e o inversor. Mas os controles de resfriamento são alimentados apenas pela rede elétrica, enquanto a bomba e a rejeição de calor

4:14:53 são alimentadas por um gerador. Então, a pergunta é: o que ainda impede a carga de trabalho de continuar? Vou deixar vocês pensarem nisso por um segundo e vou revelar a resposta. Essencialmente, os controles de resfriamento ficam sem energia, porque são alimentados apenas pela rede elétrica. Se você colocar o sistema de resfriamento em uma alimentação protegida, então poderia haver redundância que manteria o data center em funcionamento mesmo se a rede elétrica caísse. Mas, enquanto a rede elétrica for a única fonte de energia para os controles de resfriamento

4:15:25 então, mesmo durante uma interrupção no fornecimento da rede elétrica, você não conseguiria fornecer energia suficiente — ou não conseguiria manter o data center em funcionamento — simplesmente por falta de controle do resfriamento. Certo. Então, a segunda pergunta, e nosso último slide deste capítulo inteiro, é a seguinte. A UPS está em bypass. Vamos supor que o inversor tenha falhado. Na verdade, é isso que está escrito aqui: o inversor falhou. O bypass estático conduz a carga. Agora, a energia da rede elétrica falhou. A pergunta é: a carga continuará energizada sem interrupção? Então, vocês

4:15:56 acham que sim ou não? Não sei. Acho que a carga não continuará energizada. Certo. E qual é a justificativa? O inversor com falha bloqueia o caminho da bateria, e um gerador pode restabelecer a energia pelo bypass após a inicialização e a transferência, mas não consegue cobrir essa interrupção. Então, essencialmente, o que acontece é que, tecnicamente, é possível fornecer energia. Admito que esta é uma pergunta com uma certa nuance. É possível fornecer energia pela rede elétrica depois de alguns minutos, mas não é possível fornecê-la pela bateria. Então, o que estou tentando dizer é que, bem, nós

4:16:27 tínhamos inicialmente esse inversor com falha e, depois, o que aconteceu foi que a rede elétrica também falhou. Portanto, a bateria não consegue fornecer energia à carga porque o inversor está inoperante. Mas uma coisa que ainda pode acontecer é que, se você tiver um gerador aqui, ele pode então assumir o bypass estático e alimentar a carga. Mas o problema é que isso levaria alguns minutos para entrar em funcionamento. Então, por algum tempo, você ficaria sem alimentação e, depois disso, poderia reiniciar o sistema e fazer o rack voltar a funcionar. Essa foi a segunda e última pergunta para verificar o conhecimento que aprendemos

4:16:57 neste capítulo. Agora vamos passar ao capítulo oito. Certo. Então, neste capítulo 8, vamos discutir como alimentamos o rack mantendo estável a tensão dos chips. Este vai ser um capítulo bastante interessante, porque vocês verão como, começando, digamos, em 345 quilovolts na transmissão de corrente alternada de alta tensão, quando a eletricidade chega de fato à subestação do data center, passamos a ter algo na faixa de 1 volt. E, se lembrarmos da

4:17:29 fórmula P= IV, se fizéssemos essa conversão inteira de maneira ingênua, teríamos, tecnicamente, um aumento de 345.000 vezes na corrente. É claro que isso é uma simplificação enorme e também pressupõe corrente contínua, embora boa parte dessa corrente seja alternada. Mas a ideia geral que quero transmitir é que finalmente vamos chegar à corrente que é realmente aceita no nível do chip, normalmente na faixa de 1 volt. Para chegar a essa etapa final, primeiro precisamos passar do barramento do rack

4:18:00 que já discutimos anteriormente. Por exemplo, essa estrutura vertical atrás do nosso rack NVL72, que fornece eletricidade a todas as bandejas que o compõem, as quais então a levam até a própria placa. Se olharmos novamente para esse mesmo exemplo, temos duas placas em cada bandeja do NVL72B300 Ultra. E, nas placas, temos módulos reguladores de tensão, esses VRMs, que convertem a energia para o chip

4:18:31 em si. E, neste exemplo, estas são algumas partes do VRM. Mas, novamente, isto é apenas uma ilustração. Portanto, não tomem isso como uma representação fiel de como todos os VRMs são. Também temos capacitores no nível do chip. Esses capacitores servem essencialmente para amortecer a tensão — ou melhor, para amortecer a corrente. Assim, a tensão permanece constante e o chip sempre recebe uma faixa de tensão de entrada relativamente aceitável.

4:19:02 Certo. Para contextualizar este slide, quero falar de um estudo publicado pelo Bank of America Global Research sobre a seguinte afirmação: até o fim da década, acreditamos que o roteiro da Nvidia poderá levar a racks de mais de 1,5 megawatt na era Fineman, quase 100 vezes mais do que um rack padrão de servidor CV com CPU, de 10 a 15 kow. Os 10 a 15 quilowatts de que estamos falando

4:19:32 aqui são referentes ao rack de servidor tradicional. Na verdade, conversei com alguém que era professor em Berkeley na área de computação de alto desempenho e que tinha muitos anos de experiência no setor. Ele me contou que, em certa época, o entendimento convencional era que 60 kW era a densidade máxima de potência que um rack podia atingir. E já estamos hoje nesta fase em que há, como eu disse, Vera Rubin NVL 144s ou NVL72s. Na verdade,

4:20:03 essa nomenclatura é um pouco confusa. Vou avançar um slide para explicar por que ela é um pouco confusa. É porque nessas GPUs há dois dies que compõem uma GPU. Então, esta GPU tem um die aqui em cima e outro aqui embaixo. E, só para explicar por que um termo é 72 e o outro é 144: essa convenção de nomenclatura diz que contamos esses dois dies separadamente. Já a

4:20:35 convenção em que se diz NVL72 significa que contamos esta GPU como uma GPU funcional e não contamos os dies individualmente. Isso quer dizer que o NVL72 e o NVL 144 têm, na verdade, o mesmo número de dies, que são o que compõe as GPUs. A única coisa que muda entre essas duas gerações é que os dies provavelmente ficam maiores, e é por isso que a demanda de energia é maior, apesar da

4:21:08 realidade de que, de uma geração para outra, os próprios dies ficam mais eficientes. Mas, para recapitular: como o die fica maior e realiza mais computações, apesar dos ganhos de eficiência de uma geração para outra, o consumo total de energia aumenta. Então, todo o motivo de eu ter feito essa digressão é dizer que, atualmente, estamos em 2026, com o Vera Ruben NVL 144/NVL72. As duas convenções de nomenclatura funcionam, e o consumo fica na faixa de 130 a 140 kW. Na verdade, isso não

4:21:40 mudou muito desde Grace Blackwell, sem contar o que virá em 2028. Então, este gráfico — ou melhor, este estudo — já está desatualizado desde que foi publicado, porque o que aconteceu é que o Vera Rubin Ultra Kyber NVL NVL 576 — é realmente um nome complicado — é essa nova solução massiva em escala de rack da Nvidia, que terá 500 — desculpe, não 576 kW, mas algo na ordem de 600 kW — e, por causa do seu spine back extremamente sofisticado

4:22:11 plano, que é essencialmente a interconexão no nível do rack, o domínio scale-up que fica atrás do rack. É essencialmente como uma placa de circuito impresso de 7v2, ou algo como uma placa de circuito impresso de umas 70 camadas, que permite que todas as GPUs se comuniquem umas com as outras. Por causa de vazamentos — e de dificuldades confirmadas pelo setor para fazer essa placa de circuito impresso funcionar —, há todos esses problemas relacionados às diferentes camadas, como empenamento e danos à placa durante a fabricação, além de

4:22:43 da complexidade geral do roteamento e da interconexão de todas as GPUs. Este rack específico foi adiado para 2028. Então, esse é o resumo, o que significa que provavelmente o Rosa Fineman, que é a geração posterior ao Ver Rubin Ultra Kyber — este aqui —, provavelmente chegará em 2029. Nunca se sabe; talvez a Nvidia realmente consiga se sair bem com esta versão. De qualquer forma, há projeções de que a era do Rosa Fineman será da classe de 1,5 megawatt. Isso é simplesmente impressionante

4:23:15 em termos do aumento da densidade de potência. Outra coisa que se vê é que, enquanto antes — ou até agora — havia essas configurações padrão de rack, que são prismas retangulares, a AMD, não a Nvidia, já lançou um novo tipo de rack chamado Helios. Como vocês podem ver aqui, o AMD Helios é quase como um rack largo, porque tem a largura de dois racks. Isso é para colocar uma quantidade maior de capacidade computacional dentro de um único

4:23:46 sistema. E talvez vocês também vejam a Nvidia fazer isso em algum momento. “Talvez” é, na verdade, uma expressão que exige um prazo de cerca de duas semanas. Com certeza veremos isso acontecer também do lado da Nvidia em algum momento no futuro, provavelmente com o Rosa Fineman, porque, nessa configuração vertical, mesmo depois de dois ou três anos de progresso insano, provavelmente não será possível colocar 1,5 megawatt de capacidade computacional dentro de um gabinete tão pequeno. Então, isso é essencialmente

4:24:16 uma ideia de como esses racks também vão mudar com o tempo. E, atualmente, como eu disse, o AMD Helios é o único rack com essa largura dupla, no tamanho dos hyperscalers. Então, temos AMD, Nvidia e outros fornecedores de ASIC. O que este slide está mostrando, afinal? Vamos mais uma vez do rack para uma placa, ao reduzir a escala, e acompanhar a transferência de energia desde este barramento vertical até os módulos reguladores de tensão. Gosto muito deste diagrama. É um Lenovo GB300. É interessante saber que há vários fabricantes que pegam as bandejas e as GPUs da Nvidia e depois colocam seu próprio gabinete em volta delas. A Lenovo é um exemplo. A Dell também é uma grande fornecedora desses racks GB300 e de outros racks da Nvidia. Neste exemplo, podemos ver cada bandeja em detalhes. No topo, se vocês se lembram, temos quatro

4:24:47 prateleiras, cada uma com seis PSUs — seis unidades de fonte de alimentação —, o que significa que há 24 unidades de fonte de alimentação nessas quatro prateleiras. E, da mesma forma, na parte de baixo. Isso significa 48 unidades de fonte de alimentação e oito prateleiras de energia — não 48 prateleiras de energia, mas 48 unidades de fonte de alimentação. E, se temos 48 unidades de fonte de alimentação e cada uma tem 5,5 kW, podemos fazer as contas e obter a potência total de saída de um rack GB300: 264 kW. Isso é bom porque permite bastante

4:25:18 redundância, já que a demanda de pico de um rack desse tipo seria de apenas 142 kW. Portanto, não é uma redundância N+2 perfeita. Desculpem, redundância 2N, porque, nesse caso, suponho que seriam necessários 284 kW de potência. Mas ainda é bastante redundante, o que significa que você pode substituir as PSUs a quente sem precisar desligar as GPUs. E onde estão as GPUs? Aqui. Então, deveriam ser dez racks aqui. Desculpem, dez bandejas aqui e oito bandejas aqui. Cada

4:25:49 bandeja tem duas placas, o que significa que há 36 placas, já que temos 18 bandejas e duas placas por bandeja. Às vezes é muito difícil distinguir essas coisas, mas acho que acertamos aqui. Também temos as bandejas de switches NVLink, que são nove. Cada bandeja tem dois switches NVLink, o que significa que há 18 switches NVLink neste rack. Certo. E a bandeja de computação, que é o que realmente nos interessa, mais uma vez tem duas placas. E é assim que se parece uma única placa. Cada placa tem duas GPUs

4:26:21 e uma CPU. Por isso se chama NVL72. Se multiplicarmos duas GPUs por placa por duas — desculpem, duas placas por bandeja —, temos quatro GPUs por bandeja. E, se há 18 bandejas, temos 72 GPUs por rack. Então, aí está o cálculo completo, de ponta a ponta, de como se chega a 72 GPUs em um rack NVL 72. E, mais uma vez, há apenas 36 CPUs Grace nesta

4:26:53 configuração. Quero ampliar rapidamente a imagem e, antes de tudo, dizer que, se vocês assistirem ao meu curso chamado Chips, que explica como os semicondutores são feitos, do silício até esta placa final, vão aprender esse processo. É disso que estamos falando hoje. Mas quero comentar algumas coisas aqui antes de passar para o próximo slide. Primeiro, falei destes módulos reguladores de tensão. Um dos componentes desses VRMs são os chokes, que são como indutores. E tudo o que vocês precisam saber sobre um indutor é que ele é um tipo de componente que se adiciona a um

4:27:26 circuito para resistir a mudanças na corrente. Isso faz com que a corrente seja mais constante. Então, não precisam saber mais nada sobre um choke. Mas o que quero destacar é que os próprios chokes ficam aqui, ao redor da GPU. E faz sentido, porque são eles que fornecem a corrente à GPU. Portanto, queremos que fiquem o mais próximos possível. Por quê? Por causa da perda de energia na forma de calor resistivo. Como estamos a 1 volt, a corrente será enorme, por causa de P = IV. E queremos que o VRM, que

4:27:57 fornece corrente ao chip, fique o mais perto possível. Ele não é, de fato, o componente mais próximo do chip. Na verdade, estes quadrados dourados são a memória de alta largura de banda, que queremos mais próxima porque a latência da memória é fundamental. Isso é muito mais importante do que minimizar ao máximo as perdas de energia por calor resistivo. Mas dá para ver a hierarquia aqui: a latência da memória é o mais importante e, em seguida, vêm os módulos reguladores de tensão, compostos por

4:28:27 estes chokes, que são indutores e também ficam por perto. Estas peças circulares aqui talvez sejam capacitores, talvez não. Não tenho certeza, porque a Nvidia não divulga as especificações detalhadas das placas. De qualquer forma, queria destacar que há muitos chokes aqui, que compõem o VRM ao redor das GPUs. O mesmo vale para a CPU aqui embaixo, a CPU cinza, mas há menos chokes porque, como todos sabemos, a CPU consome muito menos energia do que as GPUs. E a última coisa é que a GPU tem memória de alta largura de banda,

4:28:58 enquanto a CPU tem um tipo diferente de memória. Ainda é DRAM, mas é LPDDR5X. O que isso significa? É a sigla de “low power double data rate 5x”. É apenas um tipo de DRAM. “Low power” significa baixo consumo de energia, em comparação com GDDR, que é a versão para gráficos da memória double data rate. E “double data rate” significa que, em um ciclo de clock, você pode transferir dados tanto na borda de subida

4:29:29 quanto na borda de descida do ciclo de clock, o que significa simplesmente que você tem uma transferência melhor, além de menor latência e maior throughput da memória. E o “5” é apenas uma versão. Então, essa é a memória low power double data rate 5x. Talvez vocês já tenham ouvido falar de LPDDR ou GDDR. Agora sabem o que esse termo realmente significa. E é tudo o que precisamos saber. A última coisa que também vale a pena mencionar rapidamente é o ConnectX-8 SuperNIC, que forma o domínio scale-out desses chips. Já falamos da rede scale-up. Agora temos a rede scale-out, que é mediada

4:30:00 borda de descida do ciclo de clock, o que significa apenas que você tem melhor latência de transferência e de memória, além de maior throughput. E o 5 é apenas uma versão. Então, isso é memória de baixa potência com taxa de transferência dupla de dados, versão 5. Talvez você já tenha ouvido falar de LPDDR ou GDDR. Agora sabe o que esse termo realmente significa. E isso é tudo que precisamos saber. A última coisa que também vale a pena mencionar rapidamente é o ConnectX-8 SuperNIC, que forma o domínio de expansão horizontal desses chips. Já falamos da rede de expansão vertical. E agora temos a rede de expansão horizontal, que é mediada

4:30:31 por meio dessas super NICs, sigla de placa de interface de rede. Então, era isso que NIC significa ali. Certo, essa é uma visão geral de alto nível. Agora, vamos entrar em um pouco mais de detalhes, da PSU aos núcleos da CPU. Então, a unidade de fonte de alimentação se parece com isto. Há seis delas em uma prateleira. Neste exemplo, ela converte a corrente alternada que chega pelo barramento para 51 volts de corrente contínua. Portanto, ela converte de CA para CC, processo chamado retificação, e também reduz a tensão para a faixa de tensão que

4:31:04 é chamada de faixa de tensão. Você também vai ver que essas PSUs fornecem 51 volts, e então a placa-mãe ou o componente da bandeja que recebe essa tensão, por exemplo, terá uma classificação de entrada entre 52 e 46 volts. Isso é apenas um exemplo de uma especificação da Meta. Então, esta seria a bandeja específica da Nvidia feita para a Meta, que tinha essa faixa de tensão de entrada, sobre a qual vamos falar

4:31:36 daqui a pouco, em alguns slides. Mas perceba que há uma tolerância nas classificações de tensão, porque nem sempre é possível ter uma tensão absolutamente perfeita. Certo, é isso que a PSU faz. E então o módulo regulador de tensão gera e regula a tensão do núcleo. Pode haver uma etapa intermediária de redução de tensão, de 51 para 12 e depois para 1, ou pode haver uma conversão direta de 50 para 1. Mais uma vez, depende da implementação. Tudo o que precisamos saber é que o módulo regulador de tensão é o que realmente realiza uma das etapas de redução de tensão neste

4:32:07 processo. E então temos o trilho Vcore, que é uma abreviação de trilho de tensão do núcleo. É apenas um caminho ou trilho de cobre que transporta a corrente de 1 volt até os núcleos da CPU ou GPU. E queremos ter esses capacitores locais conectados ao trilho, ao lado do chip, para absorver a corrente e compensar caso haja um aumento de corrente. E, se houver uma queda ou pouca corrente no barramento, eles liberam um pouco de corrente para estabilizar a tensão. Certo. E o que realmente está

4:32:41 alimentando o VRM no nível a jusante é a unidade de fonte de alimentação. Neste caso, estamos analisando PSUs Advanced Energy OV3, de 3 kW, que recebem de 200 a 277 volts de CA e fornecem 50 volts de CC, com seis por prateleira, como discutimos no diagrama da Nvidia. Mas elas não seriam usadas no GB300, porque o GB300 usa PSUs de 5,5 quilowatts. De todo modo, cada rack

4:33:11 teria então uma capacidade instalada de 18 quilowatts neste exemplo específico. E o que é interessante e vale a pena observar é que temos a corrente alternada trifásica de entrada. Na verdade, para balancear a carga, em uma prateleira do rack com seis PSUs, provavelmente cada uma das três fases de CA iria para duas unidades de fonte de alimentação, para balancear

4:33:42 a carga. Ou, de qualquer forma, em um grupo de seis, você gostaria que um terço das linhas fosse para cada uma das unidades de fonte de alimentação. Então, neste caso, teríamos a linha um conectada a uma aqui, a linha dois a outra, e assim por diante. E então isso receberia, neste caso, 277 volts de CA e reduziria a tensão para 50 volts de CC. Talvez você esteja se perguntando: se a corrente é de 480 volts de CA, por que estamos dizendo que aqui é corrente alternada de 277 volts? É porque

4:34:13 mais uma vez, como a tensão é definida como a diferença entre dois potenciais elétricos, 480 volts é a tensão entre fases, enquanto 277 volts é a diferença de potencial elétrico entre qualquer uma dessas fases e o neutro. É por isso que estamos falando de 277 volts aqui. E então a corrente seria direcionada, como indica a seta, para este barramento vertical do rack. Mais uma vez, isto mostra um DGXB300, mas essas PSUs não estariam realmente ali, porque precisamos de

4:34:44 PSUs de 5,5 kW, por causa do enorme consumo de energia desses chips GB300. Certo, agora vou fazer um cálculo com vocês para podermos percorrer o que acontece quando partimos de uma carga de entrada. Por exemplo, nossa carga exige uma certa quantidade de energia. Como determinamos a quantidade de energia que realmente precisamos fornecer ao rack, considerando os requisitos de energia da CPU ou da GPU? Vamos supor que temos uma carga de energia do processador de 72 kW

4:35:17 e que os módulos reguladores de tensão locais tenham 92% de eficiência. Então, essencialmente, vamos fazer o cálculo de trás para frente, levando em conta a ineficiência e o calor perdido, para obter a tensão de entrada necessária no nível da corrente alternada. Vamos fazer essa conta na calculadora. Então, 72 dividido por 0,92 nos dá a quantidade de watts que precisamos fornecer a

4:35:48 este regulador para obter 72 kW, o que dá 78,26, como vemos aqui. Outra coisa é que a energia deste barramento vertical aqui não vai exclusivamente para os chips. Ela também vai para a memória, a rede, as ventoinhas e os componentes auxiliares. Então, vamos supor também que precisamos acrescentar 12 kW a esse processo. Vamos somar 12 para obter 90,26. Como podem ver aqui, este é o barramento CC da prateleira. E, quando quisermos efetivamente levar a energia até o barramento, vamos supor que

4:36:19 as prateleiras de energia do rack, ou seja, as PSUs, tenham 97% de eficiência. Então, agora vamos colocar esse valor entre parênteses e dividi-lo por 0,97, obtendo 93,05, como indicado no diagrama. Portanto, essa seria a potência que entra no rack, e o cálculo também está na parte inferior, onde acrescentamos o calor para obter o valor final. Então, dá para imaginar que, em linhas gerais, é isso que os engenheiros de data center fazem

4:36:51 quando determinam quanta energia fornecer a cada rack, sabendo de antemão a eficiência de cada etapa de conversão. Esse é um exemplo passo a passo do tipo de cálculo que um engenheiro de data center faria na vida real. Certo, vamos voltar ao tema de que um VRM realiza essa grande conversão de tensão, o que pode causar uma corrente muito alta e, portanto, perdas de calor. A 1 volt

4:37:22 uma pequena resistência no caminho pode consumir uma grande parte da tensão e gerar muito calor por efeito resistivo. Vamos supor que, no nível da placa, precisemos de 1.000 watts de energia para alimentar nossas GPUs e os demais componentes da placa. Isso significa que, a 1 volt, precisamos de 1.000 ampères, já que P = I × V. No entanto, isso não leva a resistência em conta. Então, se supusermos que há 100 micro-ohms de resistência no caminho entre a saída do regulador e o chip, devido a

4:37:55 à lei de Ohm, que diz que a variação da tensão é igual à corrente multiplicada pela resistência, teremos uma queda de tensão de 0,1 volt, o que significa que, na verdade, precisamos fornecer 1,1 volt no regulador para obter 1 volt no chip. Outra coisa que quero acrescentar é que, como temos os valores da resistência e da corrente, também podemos calcular a perda de calor nesse caminho, que é de 100 W. E essa é, mais uma vez,

4:38:26 a razão pela qual queremos que o caminho da saída do regulador até o chip seja o mais curto possível. Se diminuirmos a resistência em uma ordem de grandeza, dá para ver o quanto isso ajuda. Nesse caso, precisamos fornecer apenas 1,01 volt no regulador, em vez de 1,1 volt, para obter 1 volt no chip. Além disso, o calor perdido no caminho por aquecimento resistivo é de apenas 10 watts. Então, a essência deste slide é que pequenas mudanças na resistência podem causar grandes

4:38:56 efeitos a jusante, tanto em termos de queda de tensão quanto de aquecimento, o que faz desse um espaço tão importante para a eficiência no ciclo de conversão de CA de alta tensão em cerca de um volt de CC para alimentar o chip. Este slide é muito legal porque tem o título “Todos os caminhos levam a Roma”. E o motivo de eu ter dado esse título é que há muitas maneiras de chegar a um volt. Aqui estão dois métodos. Pode haver outros. O setor de data centers é muito

4:39:27 diverso. E, mais uma vez, estas são apenas duas possibilidades. Vamos passar por elas rapidinho. Uma possibilidade para ir do rack ao die de computação é ter o barramento vertical do rack de 51 V, de que já falamos, e um conversor CC-CC com uma proporção aproximada de 51 para 1, ou seja, passar de 51 volts e aproximadamente 20 amps para 1 volt e 1.000 amps com uma carga de 1 kW. Isso exigiria que a versão final ficasse ao lado do die; caso contrário, haveria perda resistiva

4:39:58 de calor demais, e é por isso que a corrente alta fica localizada. Mas você pode ter um barramento intermediário, e é isso que realmente é feito com o chip da Meta, que veremos no próximo slide: há um conversor CC-CC de 51 para 12. Isso fornece aproximadamente 83 amps nesta fase intermediária e, depois, convertemos novamente para a tensão desejada de 1 V no die de computação, o que permite uma distribuição de tensão mais alta na placa. Isso também significa que pode haver mais opções de reguladores e flexibilidade de layout, simplesmente porque você pode

4:40:29 dividir essa conversão em duas fases. Certo. Como prometi, vamos falar sobre a bandeja GB300 da Meta, que tem especificações completas. Então, se alguém tiver interesse, o Open Compute Project fala sobre essa bandeja, que foi feita em setembro do ano passado, na verdade. E dá para ver que todas as pessoas aqui são engenheiros da Meta. É uma leitura muito boa se vocês quiserem fazer um pouco mais de tarefa depois deste curso. Em alto nível, o que eles fazem na placa é o que acabamos de explicar aqui na

4:41:00 fase do barramento intermediário. Então, eles passam de 51 para 12 e, depois, para aproximadamente 1. Além disso, ela permite uma faixa entre 46 e 52 volts na placa de distribuição de energia. A placa de distribuição de energia fica em algum lugar no nível da placa. Então, essencialmente, é isso que acontece quando se vai do rack à placa. Aí está. Este é um exemplo real de como ocorre a regulação local para chegar a um volt no nível do processador. Certo. Agora vamos

4:41:33 falar do VRM, não apenas como uma caixa-preta, mas ver o que ele faz na prática. Onde posso ficar para não bloquear este slide? Certo, pronto. Como mencionei, para compartilhar a corrente dentro de um VRM, esses VRMs têm chokes e muitos deles, dependendo da demanda de energia da computação que estão alimentando. Esses chokes correspondem aproximadamente às fases da corrente e, na

4:42:06 indústria, há várias fases por VRM — ou melhor, várias fases paralelas por módulo regulador de tensão. Se considerarmos o caso extremo, que você nunca usaria de verdade, em que há apenas uma fase de corrente no VRM, o que acontece é que, embora digamos que você tenha uma média de 1.000 amps, como são 1.000 watts — desculpe —, a amperagem em si seria muito volátil. Isso não é bom para o chip, que espera uma tensão constante. E, se você

4:42:37 alterar a amperagem, a tensão também vai mudar, por causa de P = IV. Em vez disso, o que se faz é ter várias fases paralelas em um VRM. Neste caso, temos fases de 250 amps, quatro delas, que se somam para chegar a 1.000 amps. E, se você intercalar essas fases, pode estabilizar a corrente e, assim, manter uma tensão estável na computação a jusante. Em um nível ainda mais baixo, é assim que isso

4:43:07 funciona: você tem um modelo de regulador de tensão, chamado, na verdade, de conversor buck. Se quiser pesquisar, basta acessar este link e você encontrará uma explicação muito boa de como ele funciona. Em essência, há dois transistores aqui, além de indutores, que comutam em frequências muito altas para criar essa diferença de tensão. Neste caso, passaríamos de 12 para 3 volts, uma proporção de 4:1. E, se olharmos à direita, temos a

4:43:39 tensão do nó de comutação, que mostra a tensão aplicada em cada chave em função do tempo. Além disso, temos aqui a corrente do indutor. Os indutores são o que resiste à corrente. Eu me expressei mal. Eu disse que o indutor resiste à corrente, mas é o contrário: o indutor resiste a mudanças na corrente. Como ele faz isso? Bem, um indutor armazena um campo magnético e, quando a corrente muda, o indutor inverte a polaridade da tensão para forçar a

4:44:11 corrente a continuar fluindo, gerando uma tensão contrária. Em outras palavras, o indutor resiste a mudanças na corrente, e isso é usado para auxiliar na conversão de tensão mesmo quando a chave está aberta, permitindo que a corrente flua no circuito. Isso significa que, quando intercalamos essas duas correntes, obtemos uma corrente normalizada — ou melhor, suavizada — com menos picos. Mais uma vez, isso permite amortecer a

4:44:42 potência exigida pela carga, que é o próprio chip. E, quanto mais fases você adiciona, mais a corrente e a tensão ficam estabilizadas. Aqui temos várias ilustrações: mais fases compartilham a carga, e intercalá-las reduz a ondulação. O número de fases depende de vários fatores. Mas estes são apenas exemplos. Em geral, quanto mais exigente em potência e sofisticada for a sua carga de trabalho, mais fases você provavelmente terá. É por isso, mais uma vez, que a GPU

4:45:14 tinha mais desses chokes — especificamente, indutores — do que a CPU na placa GB300. Certo. Estivemos falando em um nível bem baixo. Vamos voltar a uma visão geral de nível mais alto de como alimentamos o sistema e, em particular, falar sobre o papel da energia de backup nesses data centers. No nível da instalação, temos a rede elétrica, que pode ser complementada tanto por um gerador quanto por um BESS, que significa sistema de armazenamento de energia em baterias. Isso significa

4:45:45 que, se lembrarmos do centro Sparks da Crusoe, que tinha uma rede de painéis solares de 12 megawatts e baterias de 63 megawatt-horas, essas baterias formariam o sistema de armazenamento de energia em baterias. Ambos alimentam o barramento principal de CA, que provavelmente ficaria em uma configuração de média tensão para equilibrar a perda resistiva de calor com a densidade de potência. Depois, há a fonte de alimentação ininterrupta, que

4:46:15 passa pelo barramento de CA para permitir que uma bateria na UPS assuma a carga caso haja uma interrupção no fornecimento. Assim, temos o retificador e o inversor, e então vamos do campus mais amplo ao prédio e ao rack. No nível do rack, temos a PSU do rack, que já discutimos em detalhes e que, a partir daí, converte CA em CC de forma definitiva. Você também pode ter algumas BBUs. Isso significa unidades de bateria de backup. E

4:46:46 elas ficariam, por exemplo, ao lado do rack. Você poderia ter um rack aqui e, depois, um segundo rack com algumas unidades de bateria de backup. Elas também poderiam ficar no próprio rack. Mais uma vez, depende da escolha de projeto, mas elas alimentam o barramento CC do rack. Esta é uma maneira ainda mais local de compensar faltas ou excessos de energia. Você pode pensar nisso como uma versão local do que as baterias da UPS fazem e com menor latência, porque, quanto mais você espera, mais longe fica da computação,

4:47:18 quanto maior o atraso para algum tipo de sistema entrar em ação. O exemplo mais extremo seria um gerador que leva vários minutos para entrar em ação após uma interrupção no fornecimento de energia. E, se ampliarmos até o chip, que era justamente do que estávamos falando, certo? Temos os capacitores no mesmo nível do VRM que, por meio deste trilho Vcore, este trilho de alimentação do núcleo de tensão, fornecem energia até o chip e fazem as GPUs funcionarem a todo vapor. Certo, então vamos falar um pouco sobre as BBUS e ver onde elas entram em

4:47:49 cena. Em particular, digamos que estejamos executando uma carga de computação e alguém tenha acabado de enviar uma nova solicitação para uma carga de trabalho de ML muito pesada, fazendo a carga aumentar em 40 kW. A questão é que as unidades de fonte de alimentação, embora rápidas, não são instantâneas. Então, vamos supor que as unidades de fonte de alimentação levem um intervalo de tempo linear para aumentar 40 kW em 0,2 segundo. Isso significa que, durante

4:48:19 este intervalo triangular, há, na verdade, um déficit de energia que precisa ser fornecido por… Então, é isso que a unidade de bateria de backup faz. Podemos supor que a unidade de bateria de backup é muito mais rápida que a PSU e consegue fornecer essa carga instantaneamente. E, se simplesmente calcularmos a quantidade de energia necessária, como se trata de um triângulo, primeiro multiplicamos por metade e depois por 0,2 segundo; o eixo y aqui seria 40 kW. Se multiplicarmos esses valores, obtemos 4 kJ de energia necessários da unidade de bateria de

4:48:50 backup para compensar esse aumento de carga. E, se olharmos para a parte superior, tanto a unidade de fonte de alimentação quanto a unidade de bateria de backup estão fornecendo energia ao barramento CC vertical do rack. E, se considerarmos outro exemplo em que a PSU é duas vezes mais lenta, a energia necessária dobra. Então, multiplicar 0,4 em vez de 0,2 segundo nos dá os 8 kJ necessários da unidade de bateria de backup. E, como você pode

4:49:20 imaginar, assim que a unidade de fonte de alimentação fornecer a energia necessária para a carga, a unidade de bateria de backup diminuirá gradualmente a potência e deixará de alimentar o barramento. Certo. Assim como podemos ter um déficit de carga, também podemos ter um excedente de carga. Digamos, por exemplo, que você esteja fazendo uma multiplicação de matrizes pesada e, em seguida, as GPUs parem para fazer uma redução global, ou seja, compartilhar seus pesos e atualizar seus parâmetros para que fiquem sincronizadas. Nesse caso, você

4:49:51 com certeza terá uma diminuição da carga. Então, considerando a mesma queda de 40 kW, se as PSUs levassem 0,2 segundo para parar de fornecer esse excedente de 40 kW, em vez de descarregar 4 kJ, a bateria aceitaria 4 kJ para impedir que a tensão do barramento aumentasse. Isso porque, essencialmente, se houver excesso de energia nesse barramento CC, a tensão ficará acima da classificação de 50 V, ou seja qual for a classificação do barramento, por causa da nossa fórmula favorita, P = IV.

4:50:23 E, se a PSU levar o dobro do tempo para reduzir a potência, será necessária o dobro da energia para absorver. Dito isso, se a bateria estiver cheia ou, por algum motivo, tiver a carga limitada, a tensão do barramento aumentará. Não há outra opção. A energia precisa ir para algum lugar e, essencialmente, acaba aumentando a diferença de potencial da tensão nesse barramento vertical. Na prática, isso

4:50:54 pode significar que ela vai para algum capacitor. Certo, já falamos das unidades de bateria de backup em termos abstratos. Agora, vamos ver o que elas são. Elas se parecem bastante com as unidades de fonte de alimentação. Eu presumiria que isso não é por acaso. É desejável padronizar esses componentes e fazê-los caber nas mesmas bandejas, para não ser necessário fabricar uma bandeja personalizada para cada peça. Neste exemplo específico, temos BBUS da Delta, de 3 kW, com saída de 48 V CC. Curiosamente, isso corresponde exatamente às

4:51:25 unidades de fonte de alimentação que discutimos antes, que forneciam 3 kW de CA para CC. Estas fornecem diretamente CC, já que é assim que as baterias funcionam. Mas vale observar que este sistema tem potência nominal de apenas 15 kW, o que provavelmente significa que há redundância N+1. Então, a qualquer momento, talvez apenas cinco das baterias estejam ligadas, ou talvez as seis estejam ligadas, mas não estejam operando na potência máxima. Esse talvez seja o melhor exemplo. Isso significa que você tem um nível de redundância, em vez de fornecer 18 kW, situação em que, assim que uma das

4:51:56 unidades de bateria apresenta um erro, você fica abaixo da potência nominal de saída. A última coisa a observar é que, quando as baterias estão recarregando entre ciclos, se não lhes dermos tempo suficiente, elas podem acabar descarregando completamente com o passar do tempo. Se olharmos primeiro para o lado direito, temos uma descarga de 40 kW em 0,2 segundo, deixando um déficit de 8 kJ. E vamos supor que a bateria tenha apenas meio segundo para recarregar 10 kW. Nessa hipótese, supomos

4:52:27 que a velocidade de descarga, ou melhor, a taxa de potência, seja quatro vezes a taxa de carga. Nesse caso, se isso ocorresse repetidamente, você poderia acabar com a bateria descarregada, o que não é desejável quando realmente precisa que ela dê suporte a alguma carga excedente. À esquerda, temos uma situação em que há tempo suficiente. Então, se a proporção entre descarga e carga for de 4:1, você precisará de pelo menos quatro vezes mais tempo para recarregar a bateria

4:52:58 simplesmente porque energia é igual a potência vezes tempo. Certo, espero que agora você tenha alguma intuição sobre as compensações entre ter uma tensão mais alta e uma corrente menor, o que proporciona maior densidade de potência, e o contrário, que, na maioria dos casos, não é prático, mas também ajuda a ter uma tensão mais baixa, que é mais segura em geral. Com essa compensação em mente, neste capítulo vamos discutir como a corrente contínua de 800 V

4:53:28 pode reduzir a quantidade de cobre e liberar espaço nos racks de computação, aumentando a densidade desses racks. E o que eu realmente quero que você tenha em mente agora é aquele gráfico que vimos no capítulo anterior, que mostrava os racks chegando a 1 megawatt daqui a poucos anos. Em particular, neste caso, vamos discutir ao longo deste capítulo 100 quilowatts de energia, ou melhor, de potência, e como o fornecimento disso difere entre corrente alternada e corrente

4:53:59 contínua. Então, vamos direto ao assunto. Primeiro, já podemos dizer que é necessário um terço a menos de cobre ao converter ou, melhor dizendo, fornecer energia e corrente por meio de corrente contínua. Por quê? Porque, se você usar corrente alternada trifásica de 400 V, precisará de três fases, o que exige três condutores de cobre iguais. Já se usar corrente contínua, ela terá apenas um condutor positivo e um negativo. Portanto, será necessário um condutor a menos

4:54:30 para fornecer os mesmos 100 kW. Você pode estar pensando: certo, mas talvez a corrente seja diferente. Na verdade, essa é uma representação ou comparação ruim. Mas, de fato, os mesmos 100 kW precisam de quase a mesma corrente em cada condutor, tanto em CA trifásica de 400 V quanto em CC de 800 V, supondo, por exemplo, que o fator de potência seja 1, para simplificar. Então, vamos mostrar as correntes: para CA trifásica de 480 V, são necessários 120,3 A; já em CC de 800 V,

4:55:02 são necessários 125 A. Também podemos ajustar isso. Então, se quisermos exatamente a mesma corrente, precisamos aumentar um pouco a tensão, para algo como 829 V. Mas, sem perda de generalidade, em CC de 800 V, para a mesma corrente, usa-se um terço a menos de condutores. E, por usar um terço a menos de condutores, também há quase um terço a menos de perdas térmicas nessa comparação. Então, vamos supor 10 micro-ohms, ou 10 miliohms

4:55:33 Desculpe, por condutor, resistência e a mesma eficiência energética, partindo de uma suposição. Se calcularmos isso para a corrente alternada trifásica usando a fórmula de perda de calor resistivo para corrente alternada, obtemos 434 watts de calor perdido por resistência. Em contrapartida, obtemos 312,5 watts de perda de calor com 800 volts em corrente contínua. Então, já dá para ver que precisamos de menos cobre e perdemos menos calor porque há menos cobre, o que nos permite fornecer mais energia de maneira eficiente em um nível elevado

4:56:04 de desempenho. Também há algumas desvantagens e vantagens. É isso que vamos discutir com cada vez mais detalhes. Na verdade, esse roteiro para converter data centers para corrente contínua será executado nos próximos anos, em aproximadamente três fases. Este slide mostra as três fases, mas vamos falar de cada uma separadamente. Primeiro, o que acontece é que, na configuração e no regime atuais, a corrente alternada entra no rack de computação e depois é convertida para

4:56:36 corrente contínua dentro dele. É isso que acontece hoje. A corrente alternada da instalação vem da sala de energia a montante. Depois, dentro do próprio salão de dados, a energia é distribuída em corrente alternada. E, dentro do rack de computação, as unidades de fonte de alimentação convertem de CA para CC. Então, no próprio dispositivo, já estamos no regime de corrente contínua. Neste exemplo, estamos falando apenas do que acontece hoje. Portanto, o espaço ocupado pelos equipamentos de conversão de CA para CC, as unidades de fonte de alimentação, ocupa espaço. E vocês podem ver no

4:57:07 próximo slide que esse espaço será liberado. Mas, antes de passar a ele, vamos ver do que estamos falando neste slide. Agora, na fase 1/2, que deve começar neste ano e se estender até 2028, temos um módulo lateral que converte CA para CC ao lado do rack de computação. Na prática, um módulo lateral é simplesmente um rack ao lado do outro. Não sei por que o chamam de “carro”. Acho que um nome melhor seria rack lateral, mas vocês podem imaginá-lo como um rack ao lado da unidade principal de computação

4:57:38 que converte CA para CC de 800 volts. Nesse caso, a corrente alternada da instalação entra no módulo lateral, que a converte para CC de 800 volts. A partir daí, dentro do próprio rack, não temos nada que funcione com corrente alternada. Talvez isso seja uma afirmação exagerada, mas há muito menos corrente alternada do que antes. Assim, só temos essa regulação de CC para CC e, obviamente, ainda precisamos reduzir a tensão para o nível baixo dos dispositivos no próprio rack de computação, para que possamos

4:58:10 fornecer energia aos chips dentro da faixa de entrada desejada. Mas agora as unidades de fonte de alimentação, que ocupavam espaço no exemplo do GB 300 — oito bandejas —, ficam liberadas. Podemos colocar mais bandejas de computação ou mais switches NVLink nesse espaço. A densidade de computação aumenta; é isso que vocês devem reter deste capítulo, em linhas gerais. Por fim, nesta terceira e última fase, prevista para ocorrer entre 2028 e 2029, a conversão a montante permite que 800 volts de corrente contínua circulem

4:58:42 pelo salão de dados. O que queremos dizer com isso? Em alguma sala de energia a montante, provavelmente se converteria diretamente de corrente alternada de média tensão para corrente contínua de 800 volts. Então, dentro do salão de dados, a maior parte da corrente contínua seria distribuída a 800 volts — ou, desculpem, a maior parte da corrente seria distribuída a 800 volts, pelo menos a corrente destinada à computação. E este lado não muda. Se vocês se lembram, esta caixa final não muda em nada. Na verdade, o motivo para adicionar esses módulos laterais é

4:59:13 permitir que se chegue ao resultado final pretendido com essa transição: um rack de computação que funcione inteiramente com corrente contínua. Mas, antes de chegarmos à distribuição em corrente contínua de 800 volts pelo salão, que exigirá muitas peças novas e muitas mudanças, teremos essa fase temporária, em que os módulos laterais funcionam mais ou menos como uma distribuição provisória pelo salão de dados, antes de ela ser construída de fato. Mas o que vocês devem guardar é que, na

4:59:44 segunda e na terceira fases, o rack de computação permanece igual. Certo, há uma coisa que não mencionamos nas três fases anteriores: em que ponto reduzimos os 800 volts de corrente contínua para tensões mais baixas? Por exemplo, talvez reduzamos de 800 para 50 volts para então converter para uma tensão ainda menor. Mais uma vez, falamos que todos os caminhos levam a Roma no que diz respeito à conversão de tensão. Vamos considerar dois exemplos neste

5:00:15 miniestudo de caso. Digamos que a redução de tensão ocorra na entrada do rack. O que quero dizer é: a corrente contínua de 800 volts entra no rack e, ao chegar à barra vertical, antes de entrar nela, usamos um conversor CC para CC para que a tensão dessa barra vertical seja de 50 volts. Depois, basta fazer a conversão no dispositivo, na bandeja ou placa, e os trilhos para a tensão do chip ficariam na faixa de um volt.

5:00:46 Por outro lado, poderíamos reduzir a tensão nas bandejas, ou seja, manter a barra vertical em 800 volts e fazer a conversão na bandeja, com uma determinada relação de tensão. Depois, novamente, nos módulos reguladores de tensão, obteríamos a mesma tensão final. Portanto, estas são duas opções para reduzir os 800 volts. A principal diferença é que, em uma opção, a barra vertical fica em 50 volts e, na outra, em 800 volts. Neste caso, o aspecto positivo é

5:01:16 que teremos uma densidade de potência melhor — ou, melhor dizendo, menos perdas de calor resistivo — porque mantemos a tensão mais alta por mais tempo. Mas, no exemplo de cima, há mais compatibilidade, porque já existe muito mais suporte para racks com uma barra vertical de 50 volts para a distribuição de energia. Outra bifurcação é decidir se, ao passar para 800 volts, primeiro reduzimos a tensão ou primeiro fazemos a retificação, pois há duas maneiras de

5:01:47 obter 800 volts de corrente contínua a partir de corrente alternada de média tensão. O que quero dizer é: suponha que você tenha CA de média tensão, digamos, 10.000 volts de corrente alternada. Você pode retificá-la para corrente contínua e depois reduzi-la para 800 volts de corrente contínua, ou primeiro reduzir os 10.000 volts de CA para, por exemplo, 800 volts de CA e depois retificar para corrente contínua. Então, a primeira

5:02:17 opção que acabei de explicar é a de cima: partimos de CA de média tensão, transformamos em CA de baixa tensão e, depois, passamos por um conversor de CA para CC para retificar e regular para 800 volts de CA. Esse é o caminho convencional. Por que esse é o caso? Porque ele utiliza transformadores estabelecidos e componentes eletrônicos de potência de baixa tensão, que são muito mais desenvolvidos e consolidados. Mas, no segundo exemplo, primeiro fazemos a retificação, ou podemos até fazer tudo de uma vez. Assim, podemos retificar e também realizar essa redução de tensão se usarmos o que é chamado de transformador de estado sólido. Transformadores convencionais usam um enorme núcleo de ferro e bobinas magnéticas para reduzir ou elevar a tensão. Os transformadores de estado sólido são diferentes porque usam vários componentes eletrônicos e semicondutores. São muito mais sofisticados, mas também menores que um transformador tradicional. Por isso, permitem mais ajustes e podem ser integrados a diferentes circuitos eletrônicos. Para percorrer esta etapa aqui, dentro do

5:02:52 redução da tensão se usarmos o que é chamado de transformador de estado sólido. Transformadores convencionais usam, por exemplo, um enorme núcleo de ferro e bobinas magnéticas para reduzir ou elevar a tensão. Já os transformadores de estado sólido são diferentes porque, na verdade, usam vários componentes eletrônicos e semicondutores. São muito mais sofisticados, mas também menores que um transformador tradicional. E, por isso, podem ser ajustados com mais precisão e integrados a diferentes circuitos eletrônicos. Então, para percorrer esta etapa aqui, dentro do

5:03:23 No transformador de estado sólido, passamos para corrente alternada de média tensão para retificá-la e, então, temos esse barramento interno de corrente contínua. Depois disso, o que faríamos seria usar chaveamento de alta frequência para converter a tensão para 800 volts em corrente contínua. Este não é um curso sobre transformadores de estado sólido. Esses sistemas são bastante interessantes e sofisticados. Há um ótimo material sobre o assunto, feito por professores da ETH Zurich, na Suíça. Então, eu recomendaria pesquisar por “transformadores de estado sólido data centers ETH Zurich” se

5:03:54 você tiver interesse em aprender mais sobre transformadores de estado sólido. Mas o ponto simples a observar aqui é que ele integra as funções em um sistema eletrônico de média tensão, de modo que tanto a retificação quanto a redução da tensão acontecem em um único sistema. Vale observar que esses novos dispositivos de carbeto de silício de alta tensão podem tornar os transformadores de estado sólido mais simples e competitivos do que são hoje. No entanto, sua adoção generalizada em data centers ainda precisa ser

5:04:24 demonstrada. Outra coisa que vale observar é que os primeiros transformadores de estado sólido a serem usados em larga escala também foram instalados na Suíça, por volta de 2012, acho. Então, o problema é que há apenas uns 14 anos de dados sobre o desempenho desses equipamentos. E, quando se faz uma análise de custo-benefício para um data center, isso não representa muitos dados para embasar as decisões. Além disso, o transformador de estado sólido fabricado em 2012 não é igual ao de hoje. Já os transformadores convencionais foram

5:04:56 testados e aprovados, e todos sabem como funcionam. Então, mais uma vez, o caminho de baixo tem mais incertezas quanto a funcionar ou não, mas poderia tornar o sistema muito mais simples e competitivo em comparação com o processo convencional. Certo. Para falar de um data center bem antigo que migrou para corrente contínua, este talvez seja um dos primeiros de todos. O Zurich West, um data center em Zurique, na Suíça, transferiu a retificação para uma etapa anterior, em 2012, usando

5:05:29 basicamente um sistema de corrente contínua de 1 megawatt, que recebia uma entrada de corrente alternada de 16 kV e a convertia em uma distribuição de 300 volts em corrente contínua nessa unidade central de conversão. Primeiro, ela reduzia a tensão da corrente alternada e, em seguida, a retificava de corrente alternada para corrente contínua, que é o caminho convencional. Depois, a distribuição de 300 volts em corrente contínua seguia para os servidores e o armazenamento. Dá para ver, porém, que esta é uma unidade incompatível, já que provavelmente era um sistema feito sob medida. Eles

5:06:01 escolheram a própria tensão de distribuição de corrente contínua. Em qualquer sistema futuro, o Open Compute Project, que é basicamente quem define os padrões para essas tensões e requisitos de potência, estabeleceu 800 volts como a tensão de corrente contínua que será usada nos futuros sistemas de distribuição dos salões de dados. Certo. Então, uma novidade quando se passa a fornecer boa parte da eletricidade em corrente contínua é que agora

5:06:32 é necessária uma proteção dimensionada para corrente contínua. O que quero dizer com isso? Aqui temos apenas um circuito de exemplo. Primeiro, vamos estabelecer que tanto a corrente alternada quanto a corrente contínua precisam de proteção contra falhas. Isso não é algo necessário apenas para a corrente contínua. Mas, no caso da corrente alternada, ela naturalmente passa por zero duas vezes a cada período, o que ajuda um disjuntor, que está bem aqui, a detectar um arco depois que os contatos se abrem. Mencionamos isso brevemente, mas

5:07:03 como a corrente contínua não tem cruzamentos periódicos naturais por zero, a proteção precisa, em vez disso, forçar a interrupção da corrente. Então, neste caso, tanto o retificador quanto o capacitor e este indutor podem alimentar um curto-circuito. Portanto, o disjuntor precisa interromper essa falha em corrente contínua e suportar a tensão depois disso. Na verdade, corrente zero não significa tensão zero, certo? Porque, se você tiver um sistema de tubulação fechado, ainda pode haver pressão, como no exemplo que mencionamos na introdução. Resumindo,

5:07:35 no caso da corrente contínua, desconectar a alimentação, por si só, não remove a energia armazenada no circuito. Também há semelhanças e diferenças em relação à corrente alternada. Mas, no geral, os desafios apresentados pela corrente contínua são maiores e exigem adaptações às normas atuais de redundância e interrupção de corrente, usadas em sistemas de corrente alternada. Certo. Vamos discutir rapidamente um exemplo de migração da corrente alternada para a corrente contínua usando esses módulos sidecar, ou esses racks sidecar. Vamos supor que temos uma alocação existente de 240 kW em corrente alternada e que o módulo sidecar que adicionamos tem eficiência de 96%, com 3 kW de cargas auxiliares a montante, o que significa apenas que também precisamos fornecer 3 kW para outras coisas, como ventiladores, por exemplo. E vamos supor que temos dois racks de 120 kW que usam corrente contínua

5:08:08 ou, basicamente, que aceitam energia em corrente contínua, como a maioria dos racks. Então, vamos fazer o cálculo: primeiro, multiplicamos 2 por 120 para obter 240 e depois dividimos por 0,96, porque é essa a quantidade de calor que perdemos — ou melhor, precisamos multiplicar esse valor um pouco para levar em conta a quantidade de calor perdida — e também somamos 3 kW. Com esse cálculo, obtemos uma alocação necessária de 253 kW em corrente alternada, ou seja, 13 kW

5:08:42 a mais do que a alocação disponível, o que significa que, neste sistema, a alocação existente de corrente alternada é insuficiente. Então, ou você aumenta essa alocação, ou outra opção é reduzir de algum modo a potência dos racks. Talvez isso signifique remover uma GPU de cada rack. É claro que este é um exemplo um tanto artificial, mas, de qualquer forma, se você realmente fizesse isso, teria 7,83 kW de capacidade restante, porque a entrada necessária de corrente alternada passaria a ser de 232,17 kW. Então, esse é um exemplo interessante, que

5:09:15 provavelmente é parecido com o cenário que os data centers terão de enfrentar ao calcular o que precisam fazer para integrar esses módulos sidecar aos seus data centers. Agora, vamos discutir uma última vez as três fases da retificação a montante que serão usadas para substituir a distribuição de corrente alternada no salão. Na verdade, a fase atual é simplesmente o que acontece hoje. Então, eu deveria ter reformulado: vamos discutir o que acontece hoje e o que acontecerá no futuro. Quando você instalar o módulo sidecar de corrente contínua, passará da corrente alternada de média tensão para transformadores redutores, que reduzem a tensão da corrente alternada. Depois, há esse quadro de distribuição de corrente alternada, que basicamente distribui a corrente alternada para os vários alimentadores, os vários edifícios e os vários racks, sejam eles quais forem, por meio dessas unidades de distribuição de energia. E então, no ponto em que a distribuição — ou melhor, onde ela diverge deste primeiro diagrama —, as unidades de distribuição de energia passam a alimentar esses módulos sidecar, que convertem a energia para 800 volts em corrente contínua

5:09:45 e, depois, os 800 volts em corrente contínua seguem para os próprios racks, em vez de as unidades de distribuição de energia fornecerem corrente alternada para as unidades de alimentação. Ou seja, em vez de as unidades de distribuição de energia fornecerem corrente alternada aos racks, que a enviariam às unidades de alimentação, e estas finalmente a converteriam em corrente contínua, passamos, no cenário de corrente contínua no nível do salão de dados, ou de corrente contínua de média tensão direta, da corrente alternada de média tensão e podemos usar

5:10:17 um retificador de média tensão ou um transformador de estado sólido para chegar a 800 volts em corrente contínua no salão de distribuição do data center. Depois, essa energia seguirá por um barramento acima dos racks, também com 800 volts em corrente contínua, e será distribuída a 800 volts dentro dos racks. Quando você mantém toda essa transmissão em 800 volts, dá para imaginar que precisa de muito menos retificadores e muito menos transformadores. Isso simplifica bastante o sistema e, além disso, permite

5:10:48 que a energia seja transmitida com mais eficiência do que em corrente alternada de 400 volts, considerando o que estabelecemos no início do capítulo, quando falamos que se precisa de cerca de um terço a menos de condutores e que as perdas de calor também melhoram. Certo, nos dois últimos slides, abordamos basicamente a arquitetura de energia do data center de IA. E esta é apenas uma figura que percorre as camadas, da camada 1 até a

5:11:19 um retificador de média tensão ou um transformador de estado sólido, para obter 800 volts em corrente contínua no salão de distribuição do data center. Depois, isso seguirá por um barramento acima dos racks, também a 800 volts em corrente contínua, e chegará aos racks a 800 volts. Então, quando você mantém toda essa transmissão a 800 volts, dá para imaginar que precisa de muito menos retificadores e muito menos transformadores. Isso simplifica enormemente o sistema e, além disso, permite

5:11:50 que a energia seja transmitida de maneira mais eficiente do que com corrente alternada a 400 volts, considerando o que estabelecemos no início do capítulo, quando falamos que são necessários cerca de um terço a menos de condutores e que as perdas de calor também diminuem. Certo, nos dois últimos slides, analisamos essencialmente a estrutura de energia do data center de IA. Esta é apenas uma figura que vai da camada 1 até a

5:12:21 endpoint, que é o die da GPU da Nvidia, e fala sobre algumas das diferentes empresas envolvidas em cada um desses setores. Então, se você tiver interesse específico em alguma das seções desses capítulos, talvez queira conferir empresas como Hitachi Energy, Genosa, Genova etc. Passando rapidamente por essas camadas, no nível da infraestrutura da rede elétrica e das subestações, temos transformadores de alta tensão; temos equipamentos de manobra, que, mais uma vez, distribuem a tensão e também usam circuitos e disjuntores para proteger a

5:12:52 energia. Depois temos as subestações. Em seguida, temos interconexões de alta tensão em corrente contínua, que podem ser usadas quando a energia é transmitida em corrente contínua. Esse é o caso em alguns cenários específicos, mas, na maioria das vezes, usa-se corrente alternada. E, se olharmos os prazos de entrega aqui, estamos falando de prazos de quatro anos para transformadores de alta tensão específicos e equipamentos de manobra, o que é uma evidência da enorme escassez desse tipo de infraestrutura energética. Na segunda camada, estamos no nível do

5:13:22 data center e da distribuição de energia. Temos unidades de distribuição de energia. Temos fontes de alimentação ininterruptas. Temos barramentos blindados. Temos distribuição de alta tensão em corrente contínua, que será cada vez mais importante no futuro, porque, atualmente, HVDC não é realmente usado em tantos data centers. E, claro, temos a distribuição de refrigeração. Também temos a alimentação elétrica crítica, ou seja, sistemas de bateria de reserva e outras formas de garantir que a energia continue disponível sempre que houver um problema com a concessionária ou a rede elétrica. Certo. Agora, descendo mais um nível,

5:13:55 ao nível do rack e da energia. Aqui estamos falando das unidades de fonte de alimentação, das próprias bandejas e da conversão de alta tensão em corrente contínua no rack. Isso corresponderia aos módulos laterais na transição para 800 V. Além disso, temos essas novas fontes de alimentação que anunciam entre 18,3 e 30 kW por unidade, o que, se você se lembra, é cerca de 10 vezes mais potência do que as unidades de 3 kW que mencionamos antes. E, para ser específico, é a Delta Electronics que anuncia esses

5:14:28 níveis de potência por unidade com a futura transição para corrente contínua de 800 V. Seguindo em frente, temos os semicondutores de potência, que não são exatamente uma camada por si só, mas sim os diferentes materiais que serão usados para tornar a corrente contínua de 800 V ainda mais eficiente. Por exemplo, temos esses transistores de efeito de campo de metal-óxido-semicondutor de carbeto de silício, que são essencialmente transistores usados nos

5:15:01 transformadores de estado sólido. E, de forma semelhante, temos esses transistores de efeito de campo de nitreto de gálio, que podem ser usados para substituir os transistores de silício — desculpe, não transformadores, mas transistores —, aparentemente com 25% a 40% menos perdas. Mas você definitivamente deve considerar essa afirmação com cautela, porque essas tecnologias específicas foram muito menos testadas do que as técnicas convencionais de transformação. E isso, mais uma vez, está no contexto da retificação para 800 V. Algumas empresas

5:15:32 que vale a pena mencionar aqui são Infinion, Wolf Speed e SC Micro, em particular. E, na camada final, temos o ponto de carga, ou seja, o próprio die da GPU e o módulo regulador de tensão no nível do chip. Foi disso que acabamos de falar neste curso, ou neste capítulo. Mas também temos os reguladores de tensão integrados, que são essencialmente um módulo regulador de tensão mais inteligente e que podem ser usados para substituir esse componente no futuro. E também temos o circuito integrado de gerenciamento de energia, se não me engano, que é apenas outra forma de gerenciar a energia fornecida no nível do circuito. E aqui também há algumas empresas, como Vicer, Texas Instruments e Monolithic Power Systems, que você pode conferir se tiver interesse. Certo. No capítulo 10, vamos falar de redes e interconexões, um dos meus tópicos favoritos. Na verdade, segue mais ou menos o mesmo esquema hierárquico de rack para computação e GPU que vimos com a energia, exceto que,

5:16:04 desta vez, em vez de elétrons, estamos falando de dados que se movem por fibra óptica e cobre para permitir a comunicação entre esses diferentes dispositivos. Então, vamos começar este capítulo com um meme para deixar o clima mais leve. Redes e interconexões, claro, exigem muita memória. Como vocês podem ver aqui, o Ceifador da IA já acabou com toda a RAM, as GPUs e os SSDs, dificultando a compra desses itens pelos consumidores.

5:16:34 Em seguida, vêm as CPUs, por causa do aprendizado por reforço, mas isso não tem nada a ver com o assunto. Enfim, começamos com um meme legal. Espero que tenham gostado. Agora, vamos ao assunto. Um modelo distribuído usa redes diferentes em escalas diferentes, como vimos naquela primeira imagem. A primeira coisa de que vamos falar aqui é o scale-up, que já conhecemos. Vamos falar de um exemplo específico. Digamos que você tenha um GB200 NVL72. Nesse caso, você pode executar uma instância do Kimi K3, que tem alguns trilhões de parâmetros, alguns trilhões de parâmetros… Acho que o Kimi K3 tem 2 e tantos trilhões de parâmetros. E essas 72 GPUs se comunicam por meio do NVLink, uma plataforma — ou paradigma — de comunicação all-to-all, o que significa que cada GPU tem uma conexão direta com todas as outras, a zero saltos de distância.

5:17:05 E, quando se trata de um domínio de scale-out, isso é mais relevante para treinamento e, em particular, pré-treinamento. Estamos falando de comunicação entre racks. Um exemplo inicial disso foi o Llama 3.145B, treinado em mais de 16.000 H100s em 2024. Isso aconteceu dentro de um data center. Fora de um data center, estamos falando de comunicação entre campus e regiões. E quero destacar por um momento o Fairwater, a plataforma da Microsoft para conectar diferentes data centers. Na verdade, os dois exemplos que vamos destacar no próximo slide são os principais data centers da empresa em Atlanta e Wisconsin. Então, vamos direto

5:17:38 ao assunto, e vou ampliar a imagem primeiro. Estes são os data centers principais da empresa. Dá para ver que a conexão vai da Geórgia até Wisconsin, e acho que fica em Atlanta. Não sei onde fica exatamente o data center em Wisconsin. Ele usa algo chamado AI Wide Area Network, ou AI WAN. Essencialmente, é a própria rede de fibra óptica da Microsoft, que permite a comunicação entre esses dois data centers em milissegundos, algo que também é possível pela internet convencional.

5:18:08 Mas a vantagem é que eles conseguem reduzir um pouco a latência, sem precisar lidar com filas nem competir com o restante do tráfego da internet. São literalmente apenas esses dois data centers se comunicando por meio de uma interconexão pertencente à Microsoft ou alugada por ela, instalada no solo. Outra coisa que quero observar é que esses dois data centers têm, na verdade, dois andares. Isso é bastante incomum: a maioria dos data centers tem apenas um andar, para simplificar.

5:18:39 E fizeram isso para aumentar a densidade de computação, porque, assim, dá para ter essencialmente o dobro. Mas, se você ler sobre a construção do Fairwater, encontrará observações e notas interessantes sobre os gargalos e obstáculos que tiveram de superar. Por exemplo, como suportar o peso de todos esses racks de 1,5 tonelada no segundo andar e garantir que não caiam no primeiro. Então, se tiver interesse, recomendo pesquisar a arquitetura Fairwater da Microsoft para ver como eles

5:19:10 montaram tudo isso. Esse é o nível de comunicação entre data centers. Duas citações da publicação do blog deles que quero destacar: segundo a Microsoft, no futuro, a infraestrutura poderá dar suporte ao treinamento de modelos com centenas de trilhões de parâmetros. Ainda não chegamos lá. E acho que, quando chegarmos à faixa de modelos com cem trilhões de parâmetros, esse data center provavelmente já estará obsoleto. Então, não sei até que ponto essa afirmação é realmente confiável. Mas a outra

5:19:41 E eles fizeram isso para aumentar a densidade computacional, porque assim você pode ter, essencialmente, o dobro, se tiver dois andares. Mas, se você ler sobre a construção do Fairwater, encontrará algumas observações e notas interessantes sobre os gargalos e obstáculos que precisaram superar. Por exemplo, como sustentar o peso de todos esses racks de 1,5 tonelada no segundo andar e garantir que eles não caiam no primeiro. Então, recomendo que, se tiver interesse, pesquise a arquitetura Fairwater da Microsoft para ver como eles realmente

5:20:12 configuraram tudo. Esse é o nível de comunicação entre data centers. E quero destacar duas citações da publicação no blog deles. Segundo eles, no futuro, a estrutura poderá dar suporte ao treinamento de modelos com centenas de trilhões de parâmetros. Ainda não chegamos lá. E acho que, quando estivermos na faixa dos modelos com cem trilhões de parâmetros, esse data center provavelmente já estará obsoleto. Então, não sei até que ponto essa afirmação é realmente confiável. Mas a outra

5:20:43 A afirmação mais pertinente aqui é a fibra dedicada entre os locais, ou seja, segundo eles, ela permite que os dados trafeguem sem congestionamento, que é o mais importante, quase à velocidade da luz. É claro que a velocidade da luz é máxima no vácuo; fora dele, é menor do que o valor real de C que aparece em todas as fórmulas. De qualquer forma, o aspecto de tráfego sem congestionamento dessa rede é bastante atraente, e isso também pode ser visto nos data centers com Google TPU. Então, dentro do rack de GPUs e entre

5:21:14 os níveis da hierarquia de racks, como é o layout real da memória? Em uma GPU, é muito simples. Você vai da HBM da GPU até a unidade de computação. Então, se estiver fazendo computação em uma GPU Nvidia, vai usar os tensor cores para fazer os cálculos e, em seguida, carregar os pesos, as ativações etc., além do KV cache, a partir da HBM. Quanto ao que acontece dentro do rack, já falamos disso. Você passa pelos switches NVLink e, entre racks, provavelmente vai da GPU para

5:21:44 algum adaptador ou placa de interface de rede. No caso do NDL72, era a ConnectX-8 SuperNIC. Em seguida, você vai desse adaptador até esses switches de fabric, que são links ópticos entre racks. Depois, vai de um adaptador para o outro, até a placa de interface de rede da outra GPU. Assim, você estabelece uma conexão entre dois racks diferentes e pode transferir dados entre eles ou fazer o que quiser em termos de comunicação. Então,

5:22:15 talvez você esteja se perguntando agora: por que estamos falando de interconexão de data centers — ou melhor, de interconexão de modelos e GPUs em um curso sobre data centers? O motivo é o codesign de hardware e software. Neste exemplo, temos duas GPUs que, de certa forma, combinam resultados para realizar algum cálculo por meio de switches NVLink. Neste caso, talvez seja uma forma de paralelismo, como paralelismo de tensores. Digamos que você estivesse

5:22:46 construindo um data center de maneira ingênua, sem ter consciência dos níveis de interconexão e comunicação que as GPUs precisariam coordenar. Talvez você esteja construindo um data center para treinar modelos, para pré-treinamento, e não invista em largura de banda de expansão horizontal. Isso significa que, dentro dos racks, os chips conseguem se comunicar muito rápido. Talvez seja NVLink, mas digamos que você não invista em InfiniBand, a rede de expansão horizontal da Nvidia, de modo que

5:23:18 na hora de treinar os modelos, você acabe tendo uma latência de memória absurda e nem consiga treiná-los rapidamente. Aí, qual seria o sentido de ter o data center? A razão para enfatizarmos a rede e as topologias é que, se você não as usar para orientar a construção de um data center, talvez se arrependa do produto final depois que ele estiver pronto. Com isso, vamos falar de InfiniBand — ou InfiniBand, desculpe —, a tecnologia de expansão horizontal da Nvidia.

5:23:49 Os adaptadores ConnectX-7 são, essencialmente, o que se usa para comunicar chips em racks diferentes. Essa placa de interface de rede específica, que também podemos chamar de adaptador, opera a 400 gigabytes por segundo e usa PCIe 5, ou seja, Peripheral Component Interconnect Express 5.0. É o que se usa para conectar muitos dispositivos diferentes, e é um padrão universal com um

5:24:19 barramento de 16 vias. Depois, você instala esses adaptadores nos Quantum-2 QM9700. O nome não é importante; mais uma vez, esses equipamentos são os que acomodam os adaptadores individuais. E isso é o InfiniBand em si. Cada uma dessas folhas, como vamos chamá-las no próximo slide, tem 32 encaixes físicos. Cada encaixe tem dois desses adaptadores. Portanto, são 64 portas por Quantum-2, cada uma com 400 GB por segundo. E eu chamei isso de folha,

5:24:50 certo? Isso porque a maneira como esses componentes são organizados na topologia de um data center é por meio de uma estrutura do tipo spine-leaf. Então, se você tiver dois racks Nvidia DGX H100 — uma versão mais antiga de rack da Nvidia —, eles podem estar interconectados por dois nós leaf de InfiniBand e um nó spine de InfiniBand. Assim, para se comunicar entre eles, você iria até o leaf, passaria pelo

5:25:20 spine e chegaria à outra H100 pelo leaf dela. Isso é especificamente em um SuperPOD. Esse é o nome dessa arquitetura específica de H100. Talvez você esteja se perguntando: essa é a única tecnologia — ou melhor, topologia — que usamos para comunicar racks diferentes? Não. É comum, mas não universal. Aqui temos uma cópia da arquitetura que vimos anteriormente, em que o tráfego entre leaves diferentes passa pelo

5:25:50 spine, e todos eles são chamados de switches, de modo geral. Por exemplo, o nó InfiniBand propriamente dito, que realiza a comunicação entre os servidores, é chamado de switch, mas também temos outros sistemas. Taurus e Dragonfly são dois tipos de topologia usados especificamente para unidades de processamento de tensores, as Google TPU. No caso de Taurus, basicamente cada TPU é conectada a todos os seus vizinhos, em uma configuração de seis direções.

5:26:22 Dragonfly também é um sistema sofisticado, em que há esses pods conectados a outros pods por redes de interconexão de data centers muito rápidas. De qualquer forma, não é tão importante conhecer essas topologias a fundo; basta saber que elas existem. Também existem fabrics personalizadas diferentes. Imagino que, no caso do AWS Trainium, que é o chip deles, talvez usem a própria topologia. Não tenho certeza, mas estou certo de que essas informações estão disponíveis publicamente e são fáceis de encontrar, caso você queira descobrir por conta própria.

5:26:53 Certo. Quanto ao meio físico propriamente dito, por onde a informação trafega, geralmente há duas opções principais: cobre e fibra óptica. Isso quer dizer, basicamente, que a informação é transmitida por luz ou por eletricidade: o cobre conduz eletricidade e a fibra óptica usa luz. Aqui, E para O significa que você passa do domínio elétrico para o óptico. O que estou tentando explicar neste slide é que, quando se usa cobre, normalmente é

5:27:25 para distâncias curtas, enquanto a luz é usada para distâncias maiores. Por que isso acontece? O cobre perde e distorce os sinais elétricos. É por isso que esse cabo de cobre de até 2 metros, neste link 400G específico da Nvidia, usado para conectar esses domínios de expansão horizontal de alta velocidade, tem esse limite: acima de 2 metros, começam a ocorrer distorções e

5:27:55 perdas de sinal. Então, você usa esses links curtos de cobre passivos, que são simples e consomem pouca energia, e depois passa para a fibra, que usa módulos nas duas extremidades para converter eletricidade em luz e vice-versa. Neste slide, estamos falando especificamente de um cabo de cobre passivo de 2 metros como uma opção para transferir dados entre duas portas diferentes. Na fibra óptica, há duas opções. Temos até 50 metros para a óptica multimodo, o que significa que há

5:28:26 vários sinais de luz transmitindo informações. E temos até 500 metros para a óptica DR monomodo; nesse caso, um único feixe de luz transmite informações. Dá para imaginar que isso reduz a latência, mas também reduz a largura de banda, ao mesmo tempo que permite um sinal mais forte e reduz a perda de sinal. Essas são as duas maneiras de transferir informações, desenvolvidas basicamente por razões práticas para

5:28:59 equilibrar a simplicidade com a distorção em distâncias maiores. Quanto à óptica no próprio chip, existe um conceito novo — ou não tão novo assim, mas importante — que você deve conhecer. Chama-se óptica coempacotada, ou CPO, em oposição à óptica conectável. À esquerda, temos a óptica conectável, que coloca a conversão de elétrico para óptico no painel frontal, aqui. Portanto, o trecho elétrico é mais longo

5:29:30 caminho, enquanto a óptica co-packaged fica ao lado do próprio chip do switch. Então, o silício do switch está aqui, e o componente óptico, o mecanismo óptico, está aqui, encurtando o caminho elétrico. O que você precisa saber é que as duas abordagens continuam em uso. Assim como nos servidores tradicionais, provavelmente você terá apenas óptica plugável padrão, enquanto em aceleradores de IA de alto desempenho, provavelmente será usada óptica co-packaged. E eu gostaria de comparar isso com a lição que aprendemos sobre os módulos reguladores de tensão, que buscam tornar o caminho da eletricidade de alta resistência e alta

5:30:01 corrente o mais curto possível. Da mesma forma, aqui você quer deixar o caminho elétrico bem curto para chegar mais rápido ao domínio óptico e simplesmente enviar a informação à velocidade da luz, certo? Então, há uma espécie de compensação aqui: a óptica co-packaged definitivamente aumenta a complexidade do encapsulamento, mas permite chegar ao domínio óptico muito mais rápido do que no diagrama à esquerda, com óptica plugável. Percebi durante a edição que esqueci de mencionar duas das

5:30:32 maiores vantagens da óptica co-packaged. A primeira é o consumo de energia muito menor, já que o caminho elétrico é bem mais curto. E a segunda é que a largura de banda que você pode oferecer é muito maior do que com condutores elétricos. Certo. Agora, vamos fazer um estudo de caso rápido para garantir que estamos realmente aprendendo do que estamos falando. Mas, antes de discutir o exemplo, percebi que ainda quero mencionar algumas coisas sobre esses switches. Então, na plataforma Quantum-2 InfiniBand, como mencionei,

5:31:02 há 32 cages, cada uma com um par de portas de 400 gigabits por segundo. Acho que até agora me expressei mal. O “b” minúsculo em Gb significa gigabit, enquanto o “B” maiúsculo em GB significa gigabyte. Isso seria oito vezes mais rápido, mas estamos falando de gigabits aqui. Então, peço desculpas se usei esse termo incorretamente até agora. Também é engraçado que a Nvidia publique seus números em gigabits, porque isso faz parecer mais rápido. Se você informar em

5:31:34 gigabytes, parecerá oito vezes mais lento. Este é um exemplo clássico de matemática do Jensen. Outro exemplo seria um adaptador de rede com 200 Gbits em uma direção e 200 Gbits na outra. Embora a velocidade simultânea em qualquer momento seja de 200 Gbits, se você somar os dois valores, obtém 400 Gbits. E, às vezes, isso também é apresentado pelo próprio Sr. Jensen. Então, é só um detalhe curioso. Mas menciono isso porque, quando você tem uma rede em uma

5:32:05 configuração leaf-spine com essa plataforma Quantum-2 InfiniBand, há estas setas de uplink e estas de downlink. Acho que, se eu mostrar aqui, fica mais fácil de entender. O que isso demonstra, essencialmente, é que há 32 GPUs conectadas abaixo, no nível do DGX-1 H100. Na verdade, há oito GPUs por rack no sistema DGX H100. Então, fazendo as contas, temos quatro racks H100 conectados a uma leaf, porque

5:32:37 há 32 conexões para baixo — desculpe, quatro racks H100, o que dá 32 GPUs conectadas abaixo. E, na spine, há 32 uplinks que vão até ela. Então, 32 para baixo, 32 para cima. É assim que se conecta a rede leaf-spine. Quando pensamos nisso, a lógica é bem clara: essas portas correspondem uma a uma nesse tipo de relação. E, voltando agora ao nosso estudo de caso, estamos falando de largura de banda entre leafs. O que

5:33:08 quero dizer com isso? Quando mencionei que quatro racks estão conectados a uma leaf, isso significa que, se houver qualquer tipo de comunicação entre esses quatro racks, não é preciso passar pela spine para chegar lá. Basta ir até a leaf e fazer a comunicação ali, e depois voltar. É assim que isso é feito na prática. Vamos ver um exemplo. Digamos que você queira comunicar quatro portas em uma leaf sem passar pela spine. Você

5:33:38 chamaria isso de largura de banda entre leafs, e o tráfego passando por essa leaf seria chamado de corte entre leafs. Então, se tivermos quatro portas separadas, isso nos dá 1.600 gigabits por segundo vindos dessas quatro portas de servidor. Mas vamos supor que tenhamos apenas dois uplinks entre elas. Isso nos daria uma velocidade de transferência de 800 GB por segundo através desse limite. Portanto, é uma sobressubscrição de 2:1 e uma proporção de 2:1 entre downlinks e uplinks.

5:34:10 Então, se usarmos gigabits e dissermos que vamos transferir 256 Gbits, só conseguimos fazer isso em 0,32 segundo. Esse é o tempo mínimo de transferência. Portanto, é o limite inferior; com alguma sobrecarga e outras coisas acontecendo, provavelmente será mais lento. E isso também pressupõe tráfego limitado a uma direção. Essas são as premissas deste cálculo. Mas, se adicionarmos mais dois links, chegando a uma proporção de um para um entre downlinks e uplinks, então

5:34:40 podemos reduzir pela metade o tempo, nessa velocidade de transferência de 1.600 Gbit por segundo, para 0,16 segundo. Dá para ver que há alguns fatores a considerar na largura de banda do corte entre leafs, em termos da velocidade com que podemos transferir armazenamento, pesos ou qualquer outra coisa entre as leafs. E dá para imaginar que, se você subir até a spine, terá ainda mais latência, porque adicionará um salto até a spine e outro salto até a leaf para a qual quer enviar os dados. Também dá para pensar nisso no contexto de uma hierarquia de

5:35:11 RAM. Se você já ouviu falar em cache hit ou cache miss, isso é, essencialmente, quando a CPU tenta consultar a RAM e seus registradores. Quanto mais alto você precisar subir na hierarquia da RAM, mais terá de esperar para receber os dados de volta. Então, nesse contexto, pense nessa topologia leaf-spine como uma versão ampliada da memória da CPU. E o fenômeno de vários emissores sobrecarregarem um único receptor — que era mais ou menos o que víamos aqui, quando havia apenas dois uplinks disponíveis em cada

5:35:42 leaf — chama-se incast. Ou seja, quando um receptor recebe dados de muitos emissores diferentes, na mesma largura de banda do seu uplink, ele acaba sobrecarregado. Esse é apenas um termo técnico. E, como mencionei aqui, o tráfego que permanece dentro de uma leaf evita seus uplinks compartilhados. Se você atravessar essas duas leafs — digamos, indo da leaf um à leaf quatro —, talvez passe por essas duas spines, divida a carga de trabalho entre elas e consiga ir duas vezes mais rápido de uma leaf à outra.

5:36:14 Mas, se o tráfego ficar apenas entre dispositivos conectados à leaf um, a troca permanece na leaf um. Não é preciso sair da leaf em que o cálculo está sendo feito, se não houver necessidade. Certo, agora vamos falar de uma implementação real desse tipo de expansão horizontal com InfiniBand. Curiosamente, a Meta construiu grandes clusters usando tanto Ethernet quanto InfiniBand. O InfiniBand é a tecnologia proprietária usada pela

5:36:44 Nvidia — ou melhor, criada pela Nvidia —, enquanto Ethernet é o outro padrão. Em particular, eles usaram Ethernet mais RoCE, sigla de RDMA over Converged Ethernet; e RDMA significa Remote Direct Memory Access. O que significa acesso remoto direto à memória? Basicamente, significa que os adaptadores, ou seja, as placas de interface de rede, podem transferir dados para a memória remota sem passar pela CPU, que normalmente gerencia a cópia

5:37:14 da memória para dentro e para fora do chip local. Isso permite mover dados na memória muito mais rápido e com menos sobrecarga. De qualquer forma, tanto usando Ethernet mais RoCE quanto o padrão InfiniBand desenvolvido pela Nvidia, as duas fabrics precisam coordenar o roteamento, o controle de congestionamento, o software para operações coletivas e a alocação de tarefas. Esses critérios específicos determinam quão bem a carga de trabalho vai aproveitar a rede instalada.

5:37:46 E, como dá para concluir a partir deste conjunto de critérios, trata-se de um espaço de otimização em quatro dimensões. E talvez haja ainda mais critérios que não mencionei aqui. De qualquer forma, em baixo nível, o que temos são esses adaptadores se comunicando com esses switches, usando um ou outro protocolo, em algum tipo de topologia. E, quando chegamos a uma orquestração de 24.000 GPUs — o que, na verdade, é pouco em comparação com a escala das execuções de GPU que temos hoje, com implantações de GPUs e TPUs na escala de um milhão —, a rede fica tão

5:38:18 complexa quanto; quero dizer, fica ainda mais complexa à medida que aumentamos o número de dispositivos. Mencionei os switches ópticos, esses OCS, ou switches de circuito óptico, que podem mudar quais extremidades das fibras se conectam. Falamos disso em um capítulo anterior, quando tratamos das TPUs. Eu só queria explicar, não em baixo nível, mas em alto nível, como eles funcionam. Digamos que você tenha um switch de circuito óptico com espelhos apontando de

5:38:50 A para C e de B para D. Bem, como os espelhos podem direcionar o caminho da luz, digamos que você queira ir de B para C e de A para D. Basta reposicionar os espelhos, e você consegue mudar em tempo real para onde os dados estão indo. Este diagrama mostra como isso funciona no TPUv4, com esses espelhos MEMS. De qualquer forma, dá para ver que a complexidade é impressionante. Há 136 espelhos neste arranjo, e ele simplesmente conduz essa luz com comprimento de onda de 855 nanômetros. E é ele

5:39:23 que, mais uma vez, pode se reconfigurar ativamente se algum caminho deixar de estar disponível. Acho que este gráfico e diagrama são bastante convincentes para entender como funciona um switch de circuito óptico em alto nível. E, mais uma vez, acesse o link no canto inferior esquerdo da tela se quiser saber um pouco mais sobre isso. E, quando se trata de sair do data center, falamos do Microsoft Fairwater, que tinha sua própria rede de acesso amplo de IA, como eles

5:39:55 a chamavam, acredito. Essa é uma opção; outra é simplesmente usar a internet tradicional. Então, vamos falar sobre a conexão de fibra do campus, que conecta o cluster de IA a serviços externos. Isso pode ser para os próprios usuários ou talvez para outro data center. Primeiro, você vai do cluster de IA ao roteador, que direciona o tráfego. Depois, o painel de conexão organiza as conexões físicas e envia os dados para a sala meet-me. O que é a sala meet-me? É um nome engraçado.

5:40:27 É basicamente o conector de fibra do data center com a operadora. Então, quando você pensa em operadora, pode pensar na AT&T ou em outros provedores de internet, que conectam clientes diferentes. Então, pode ser, sim, um cliente, ou também pode ser o caso da fibra usada exclusivamente pela Microsoft em seus próprios data centers para se comunicar entre si. E, depois que você sai da rede, o tráfego segue pela rede privada ou pela internet aberta. Vale observar, em termos de

5:40:58 espaço, que a instalação precisa ter lugar para essa conexão, para as entradas de fibra planejadas e para os dutos, de modo que isso não interfira com a energia, o resfriamento ou outros aspectos do data center. Além disso, se vocês se lembram, falamos de um data center que tinha três rotas separadas para a fibra. Bem, quando essas três rotas de fibra chegam, surge a questão: haverá três pontos de conexão diferentes ou eles serão todos concentrados em uma única sala? O problema, nesse caso, é que há um ponto único de falha, mas será menos

5:41:29 redundante. Há muitas questões a considerar quando se fala de como os dados entram e saem do data center. E acho isso bastante instigante. Agora, para dar uma ideia das distâncias de que estamos falando, digamos que você queira percorrer 100 km, ou 60 milhas. Essa é a distância entre duas instalações diferentes. Como, neste cálculo, a velocidade do sinal não é a velocidade da luz, vamos supor que seja de 200.000 km/s. Bem, para percorrer a distância entre essas duas instalações diferentes,

5:41:59 levaria cerca de 1 milissegundo. Na verdade, há um conjunto de cálculos de Fermi muito interessantes que Jeff Dean publicou, mostrando, basicamente, qual é a latência em milissegundos que se deve esperar ao ir da Europa à América do Norte. Se você estiver indo entre dois estados dos EUA, esta é a latência que deve esperar. Acho isso bastante interessante porque, quando você está otimizando sua largura de banda e sua

5:42:31 rede na escala do Google, esses são números que você precisa considerar ao atender seus usuários finais e seus clientes. Este é apenas um exemplo, mas ter esses números em mente como uma aproximação de primeira ordem pode ser bastante útil para raciocinar sobre os diferentes tempos de latência que se deve esperar ao se comunicar entre diferentes data centers. Como sabemos, em tudo, é o elo mais lento que determina o ritmo. Então,

5:43:03 mesmo que você esteja trabalhando com servidores, digamos que esteja esperando o quarto servidor realizar uma operação coletiva. Talvez esteja tentando sincronizar — sincronizar, desculpe — os pesos e fazer uma operação all-reduce para calcular os gradientes da sua passagem direta ou, desculpe, da sua passagem reversa em uma execução de treinamento. Bem, se um servidor demora muito mais que os outros, então todos os quatro ficam limitados a 50 milissegundos, mesmo que três servidores levem 20 milissegundos. Então, já falamos um pouco sobre isso: se você

5:43:35 estiver fazendo uma comunicação coletiva, sua velocidade será a do componente mais lento. Isso também se aplica à própria topologia do switch e à hierarquia spine-leaf. Certo. E agora, antes de encerrarmos este capítulo, quero falar de um exemplo rápido, mais uma vez com a Meta. Este é o RSC deles, o supercluster de pesquisa. Se eu ampliar, vocês verão o nome: Meta Research SuperCluster, de janeiro de 2022.

5:44:06 Faz algum tempo. Eles construíram o armazenamento em camadas para manter as GPUs abastecidas. Mais especificamente, tinham 175 petabytes de armazenamento em massa, 46 petabytes de cache e 10 petabytes para armazenamento de arquivos compartilhados. Para que servia isso, afinal? Basicamente, eles preparavam com antecedência os conjuntos de dados que seriam usados nas execuções de treinamento, para reduzir preparações e transferências repetidas. E, quando se trata de dados da internet nessa escala, para treinar esses modelos enormes, estamos falando de petabytes. Então, não é

5:44:39 simplesmente carregar um arquivo em um pendrive para enviar os dados e treinar o modelo. Você realmente precisa de equipamentos de armazenamento e capacidade de rede para garantir que os modelos tenham acesso aos dados usados no treinamento. Essa capacidade de armazenamento e de rede também precisa de espaço em racks, energia, resfriamento e cabeamento próprios. Portanto, não devemos pensar apenas nas GPUs, mas também em como conectá-las em rede, especialmente no contexto de execuções de pré-treinamento em grande escala. Quando você está

5:45:09 apenas atendendo usuários em escala de inference, isso é menos preocupante. Mas, se você estiver montando um cluster especificamente para pré-treinamento, isso definitivamente precisa ser considerado. Certo, agora estamos no capítulo 11, sobre captura de calor em chips e racks. Comecei com um título bastante provocador: por que o resfriamento a ar está morto? E, se vocês se lembram, lá no começo do curso mencionei que mostraria uma estatística que demonstra a vantagem comparativa do resfriamento a líquido em relação ao resfriamento a ar.

5:45:40 Então, vamos definir os parâmetros: queremos resfriar um sistema de 100 kW com uma diferença de temperatura de 10 °C. Certo. Se esse é o sistema que você quer resfriar, basicamente vai resfriá-lo em 10 °C. Para fazer isso usando a equação fundamental de transferência de calor

5:46:12 o que essencialmente afirma que esse ponto aqui, aliás, representa apenas o delta de tempo; é a isso que ele se refere, porque se refere a alguma mudança no tempo. A forma de calcular isso é multiplicar a vazão mássica — que é esta vazão mássica aqui — pela capacidade térmica específica e pela variação de temperatura que você quer obter na equação de transferência de calor. E, se de fato isolarmos a vazão mássica, ou, de forma equivalente, o volume vezes a densidade, obteremos que, para esta

5:46:43 situação de resfriamento, seriam necessários 8.292 L de ar por segundo e 2,39 L de água por segundo para obter um resfriamento equivalente. E há duas razões para isso. Primeiro, a densidade da água, que é de 1.000 kg por metro cúbico, contra 1,22 kg por metro cúbico do ar. Além disso, a capacidade térmica específica, que é basicamente a quantidade de calor que a água consegue absorver e armazenar em suas ligações, é quatro vezes maior que a do ar. Então, o ar tem uma capacidade térmica específica

5:47:15 de cerca de 1 kJ por quilograma por grau Celsius, e a água, de cerca de 4 kJ por quilograma por grau Celsius. Então, você não precisa realmente conhecer a teoria por trás disso. Só precisa saber que uma capacidade térmica específica maior significa que o material consegue armazenar mais energia, essencialmente. Então, esta é apenas uma maneira mais teórica de começar o capítulo. Mas não se preocupe, vamos falar desses números de uma forma muito mais concreta. Mas primeiro vamos falar do que estamos fazendo agora com o resfriamento a ar. Então, sai o velho, entra o novo. Só para completar, vou explicar como funciona o resfriamento a ar em geral.

5:47:46 Um rack resfriado a ar é basicamente como um computador com ventoinhas — como um, como um CP… quer dizer, não um CP, um PC que você teria em casa —, em que o ar quente sai e o ar frio entra. E o trocador de calor é chamado de CRAH, um climatizador de sala de computadores, no qual o ar é trocado usando água — ou acho que geralmente é água, já que ela é simplesmente melhor — ou talvez se possa usar um climatizador ar a ar. Não sei se isso existe, mas, de qualquer forma, essencialmente o ar dos

5:48:16 racks é trocado por algum tipo de trocador aqui, que leva o calor dos nossos computadores para fora. E, nos sistemas atuais, usamos uma unidade de distribuição de refrigerante, que essencialmente tem refrigerante nos dois lados do trocador: o refrigerante tecnológico, que vai até as cold plates, e a água da instalação, que vai para fora. A CDU leva o calor da esquerda para a direita. E o interessante aqui é que pode haver algum calor residual no ar. Então, pense assim: se

5:48:48 você colocar uma cold plate sobre a GPU e fizer circular água para captar e absorver o calor, ainda haverá uma parte que escapará pelas laterais e será preciso fazer algo com ela para que não vá simplesmente para o ar e aqueça o data center. E uma forma de resolver isso é usar seu próprio CRAH junto com a CDU ou, o que é mais interessante, usar um RDXH, que significa trocador de calor na porta traseira. Ah, então seria um RDHX. Desculpe. Vou

5:49:20 falar em detalhes sobre o trocador de calor na porta traseira em um slide futuro, mas saiba que, mesmo usando resfriamento líquido em circuito fechado com cold plates, ainda pode haver algum ar residual escapando. Isso precisa ser resolvido porque, embora em pouco tempo provavelmente não cause um grande aumento de temperatura, ao longo de muitos dias, a temperatura do data center certamente aumentaria de forma perceptível se isso não fosse resolvido, já que a captura de energia pelas cold plates dos chips não é perfeita. E o que são, de fato, as cold plates dos chips? Estas são duas

5:49:52 imagens de cold plates da GB300. Elas também são feitas de cobre, porque o cobre é um condutor de calor muito bom. Essencialmente, há um fluxo de entrada e outro de saída para o líquido: o quente sai e o frio entra, provavelmente pelo conector azul ali. Neste diagrama, eles ficam à esquerda e à direita, em vez de no centro. E, para conectar isso à CDU, a cold plate tem seus próprios engates rápidos, que estão ali para que, se houver um vazamento ou se você precisar substituir alguma coisa, possa

5:50:22 remover apenas uma cold plate, em vez do sistema inteiro. E então isso segue para o manifold, onde o refrigerante tecnológico circula; é assim que se vai da cold plate até a unidade de distribuição de refrigerante. Na prática, pelo menos no que diz respeito ao sistema geral de tubulação, isso fica assim. Esta é uma visão do resfriamento líquido dentro de Abalene, onde dá para ver esses coletores que vão até o topo dos data centers. Desculpe, não até o topo do data center, mas até o topo dos racks, e

5:50:53 é assim que o calor é trocado. Mais uma vez, provavelmente o azul e o vermelho indicam se o líquido que circula dentro dos racks está quente ou frio. E eu falei sobre o trocador de calor na porta traseira. Então agora vou explicar direito o que ele faz. Digamos que esse calor extra escape da cold plate e vá para o ar ao redor. Bem, então você tem um pouco de ar quente no rack. E o que você

5:51:25 faz para se livrar desse ar quente é usar algumas ventoinhas na frente do rack, que sopram o ar para a parte de trás. E então você tem um trocador de calor na porta traseira, que literalmente é só um conjunto de manifolds de resfriamento líquido. Pense em tubos de líquido passando pela parte de trás do rack e capturando o ar para que ele não escape do rack. Acho que este diagrama à direita mostra isso melhor. Digamos que o refrigerante entre pela parte de baixo e passe por um radiador

5:51:57 como o de um carro, de modo que as ventoinhas que sopram o ar quente para a parte de trás do rack façam com que o ar seja capturado por essa água — quer dizer, por esse líquido —, e então o refrigerante aquecido volte para a mesma unidade de refrigeração. Assim, ele passa pelo mesmo circuito dos chips resfriados a líquido, mas por uma circulação separada. E agora o ar é resfriado, de modo que você não tem o problema do excesso de ar aquecer o data center. Então, essa é outra maneira de usar o resfriamento líquido para resfriar o

5:52:30 ar, essencialmente direcionando o ar para o refrigerante e fazendo a troca de calor dessa forma. É assim que funciona um trocador de calor na porta traseira. Agora quero falar de algo bem diferente, chamado resfriamento por imersão. Eu diria que, em geral, isso é menos aplicável no contexto de aceleradores de IA em data centers de IA enormes como estes, mas ainda é usado em data centers. E é exatamente o que o nome sugere: você coloca os racks dentro de um fluido. Tive o cuidado de não dizer

5:53:02 água, porque a água conduz eletricidade e isso provocaria um curto-circuito em tudo. Em vez disso, usa-se um líquido dielétrico. Líquido dielétrico significa um líquido que age como isolante. Então, essencialmente, você tem um data center com racks cheios de fluido dielétrico. Vou pular rapidamente um slide. Os computadores ficam dentro do fluido. E, mais uma vez, não quero dizer água, porque não é água, mas algum tipo de fluido dielétrico. Pode ser algum tipo de óleo mineral. E, essencialmente, o que acontece é que há um refrigerante que bombeia o

5:53:33 água por esse rack, e então ele tem seu próprio trocador de calor, que resfria a água no circuito dele. Isso pode ser feito de qualquer método. Pode ser um circuito de água gelada, uma torre de resfriamento evaporativo ou um resfriador a seco. Vamos discutir cada um deles em detalhes em alguns slides. Mas, de qualquer forma, o que você deve saber é que existem dois tipos de resfriamento por imersão. Há o resfriamento líquido monofásico, mostrado aqui, em que o líquido dentro do rack não evapora, e, em segundo lugar, há o bifásico. Então, nesse

5:54:05 sistema, o que acontece é que, quando o líquido em que as unidades de computação estão imersas — desculpe, quando o líquido que está em contato com as unidades de computação — aquece o suficiente, ele ferve e depois condensa. Quando condensa, volta a esfriar e, então, é recirculado no circuito. Essas são duas formas de fazer resfriamento por imersão: somente com líquido ou com líquido e gás. E, sim, esta é apenas uma imagem de como é o interior de um tanque de imersão. Aprendi isso literalmente enquanto estava

5:54:36 preparando este curso. Talvez isso não seja novidade para ninguém que esteja assistindo. Mas, de qualquer forma, ainda fiquei chocado ao descobrir que existem computadores imersos em líquido. A princípio, achei que essa imagem fosse falsa. Agora que já vimos o resfriamento por imersão, vamos mudar de assunto e definir dois termos importantes. O primeiro é fluxo de calor e o segundo é resistência térmica. A ideia principal aqui é que o mesmo calor pode ser mais difícil de remover. O que quero dizer é que, no caso do fluxo de calor, ele é

5:55:06 essencialmente a taxa de transferência de calor dividida pela área. À esquerda, temos uma matriz de computação de 4 [fungada] cm² — não cúbicos, mas quadrados. Vamos dizer que seja algum chip e que você queira remover 400 watts de calor em um segundo, ou 400 joules em um segundo. Isso daria 400 watts. Nesse caso, você teria um fluxo de calor de 100 watts por centímetro quadrado. Essa é a transferência de calor que você precisa realizar por centímetro quadrado. Mas, se tivesse uma matriz de computação ainda menor, digamos que ela tivesse

5:55:38 um quarto do tamanho, em vez de 4 cm², teria 1 cm². Então, o fluxo de calor seria quatro vezes maior. Se considerarmos que a taxa de transferência de calor é a mesma, podemos pensar que, no caso da imagem à direita, é mais difícil remover a mesma quantidade de calor, porque ele está mais concentrado do que à esquerda. Certo? Na verdade, vamos falar sobre resistência térmica no próximo slide. Por enquanto, basta lembrar que fluxo de calor é a taxa de transferência de calor por unidade de área de algum tipo de objeto. Neste

5:56:09 caso, você pode imaginar que, quanto mais denso ele for, mais difícil será resfriá-lo. Agora vamos falar sobre resistência térmica. Se você se lembra, a fórmula é ΔT = P Rθ, em que P é a taxa de calor e Rθ é a resistência térmica. Ao dividir esses termos, obtemos unidades de Celsius, o que faz sentido, porque a temperatura está à esquerda. Ela pode ser dada em Celsius, Fahrenheit, Kelvin, Rankine etc. Agora vamos

5:56:40 desenvolver alguma intuição sobre o que essa fórmula está dizendo. Primeiro, vamos começar pelo significado de resistência térmica. Neste exemplo de uma GPU resfriada a água, isso significa que a GPU precisa estar 0,2 °C mais quente do que a água por watt de fluxo de calor. Se pensarmos nisso em um nível realmente, na verdade, baixo, se quisermos

5:57:10 resfriar a GPU ou remover um watt dela, a diferença de temperatura entre a GPU e a água precisa ser de 0,2. Nesse caso, a GPU estaria a 30,2 °C e a água, a 30 °C. Mas agora vamos dizer que queremos remover 100 watts da GPU e que a água está a 30 °C. Se conhecemos esses dois números, basta substituí-los na fórmula aqui. A taxa de calor é a quantidade de calor, e a resistência térmica é uma propriedade específica dessa GPU. Obtemos 20 °C como a diferença necessária entre a água e a GPU para transferir 100 watts da GPU para a água. Então, você pode pensar na resistência térmica como o quanto um material específico resiste a ser resfriado ou

5:57:40 a ser aquecido, dependendo de como você interpreta a equação e de como define o ΔT. Mas, de qualquer forma, esta é uma fórmula útil porque nos diz qual será a capacidade de resfriamento necessária para um material específico. Neste slide, vamos falar sobre por que um líquido de arrefecimento a 35 graus pode resfriar dois chips de maneiras diferentes. Neste caso, vamos realmente aplicar na prática essa fórmula da resistência térmica. Então, vamos considerar a situação estranha em que

5:58:11 você tem dois chips, um a 67° e outro a 83°, apesar de o líquido de arrefecimento estar à mesma temperatura e de a quantidade de calor transferida ser a mesma. O que poderia explicar isso? A resistência térmica. Se presumirmos que o chip 1 tem uma resistência térmica de 0,0808 Celsius por watt e que o chip 2 tem uma resistência térmica de 0,12 Celsius por watt, isso significa que o chip 2 precisa de uma diferença de temperatura

5:58:42 maior para alcançar a mesma quantidade de resfriamento. E, se você simplesmente substituir esses números, supondo um limite de 80° para o chip, para remover 400 W de calor desse chip, você ultrapassaria a temperatura em 3°, porque a diferença de temperatura seria de 48 °C. Já neste caso, como ele tem uma resistência menor, pode ter uma diferença de temperatura menor para resfriar a mesma quantidade de watts na placa fria. Então, você imaginaria que, ao

5:59:12 construir esses sistemas de resfriamento, quer que a interface entre o chip e a placa fria tenha baixa resistência térmica. Certo, vamos voltar à equação fundamental de transferência de calor que vimos no primeiro slide. Mais uma vez, ela diz que a vazão mássica multiplicada pela capacidade térmica específica e pela diferença de temperatura é a taxa de calor. E o que queremos concluir com isso é que

5:59:45 mais fluxo significa menor aumento de temperatura. Vamos considerar duas situações. Primeiro, temos água entrando a 35 °C e passando por um sistema de captação de calor em um sistema de 100 quilowatts. Ela sai aquecida a 44,57 °C, o que resulta em um ΔT de 9,57. O que você precisa notar é que

6:00:17 inserimos 2,5 kg/s como vazão mássica nessa fórmula. Mas digamos que agora dobremos o fluxo para 5 kg/s. Como dobramos o fluxo aqui, o valor de m dobrou e o ΔT passou a ser metade, o que significa que o aumento da temperatura é menor. Essencialmente, estamos dizendo que, se você conseguir mover mais água pelo sistema, ela aquecerá menos. Acho que isso faz bastante

6:00:47 sentido intuitivamente. Imagine que você simplesmente dobra a quantidade de água: o dobro de água pode absorver a mesma quantidade de calor e aquecer apenas metade, porque há duas vezes mais água para absorver o calor. E essa é uma forma de ter alguma intuição sobre essa equação fundamental de transferência de calor. Como alternativa, se reduzirmos pela metade a taxa de calor, então a taxa de temperatura — desculpe, se reduzirmos pela metade a massa que está fluindo pelo sistema, a temperatura dobrará em termos do aumento.

6:01:18 E, claro, a capacidade térmica específica CP é um número específico para aquele tipo de água ou para o tipo de líquido de arrefecimento que você estiver usando. O glicol também é muito comum como líquido usado para resfriamento. Mas não é algo que possamos mudar, a menos que realmente troquemos o que há dentro do sistema. Certo. No slide anterior, vimos por que o fluxo do líquido de arrefecimento é importante. Aqui, vamos falar sobre o que determina o fluxo que realmente obtemos. O eixo horizontal representa o fluxo em

6:01:48 aumenta. E, claro, o calor específico, CP, é um número específico para aquele tipo de água ou qualquer outro tipo de fluido refrigerante que você esteja usando. O glicol também é muito comum como líquido usado para resfriamento. Mas não é algo que possamos mudar, a menos que mudemos o que há dentro do sistema. Certo. No slide anterior, vimos por que a vazão do fluido refrigerante é importante. Aqui, vamos falar sobre o que determina a vazão que realmente obtemos. O eixo horizontal mostra a vazão em

6:02:20 litros por segundo, e o eixo vertical representa a diferença de pressão que a bomba acrescenta para fazer o líquido de arrefecimento circular pelo circuito. Neste caso, a velocidade da bomba é fixa, e a linha é descendente porque, nessa velocidade, ela consegue produzir uma diferença de pressão maior com vazão baixa e menor com vazão alta. É assim que funciona uma bomba de velocidade fixa. Agora, se observarmos as duas linhas ascendentes, elas mostram o que o circuito de resfriamento exige

6:02:51 para uma determinada vazão. Qual seria a diferença de pressão correspondente? Basicamente, empurrar mais líquido de arrefecimento pelos tubos, válvulas e cold plate gera uma diferença de pressão maior. Na verdade, essas duas grandezas se relacionam quadraticamente. Assim, à medida que a vazão aumenta, a pressão correspondente aumenta quadraticamente. Uma vazão duas vezes maior causaria uma diferença de pressão quatro vezes maior. E, quando digo diferença de pressão, quero dizer a diferença entre a pressão da água que está saindo

6:03:21 da bomba e a pressão da água que está entrando nela. Basicamente, à medida que a água passa pelo circuito, ela perde pressão ao longo do percurso e depois recupera pressão ao passar pela bomba. Portanto, o ponto em que essas duas linhas se encontram — a linha da bomba e cada uma das duas linhas de vazão — é onde o sistema se estabiliza. Esse ponto pode ser chamado de ponto de operação. E por que há dois pontos diferentes? Porque estou

6:03:52 considerando dois circuitos diferentes. No ponto A, a bomba fornece a pressão de que o circuito precisa para manter uma vazão de 2 L/s, que corresponde a 120 quilopascais. Mas agora vamos imaginar que a válvula esteja parcialmente fechada ou que um filtro esteja entupindo. Talvez haja muitos minerais na água, que começam a formar depósitos e causar um entupimento. Nesse caso, para manter a mesma vazão, essa restrição exige mais pressão. Isso nos dá esta linha tracejada vermelha, mais inclinada. E, embora a velocidade da bomba não tenha mudado, a vazão cai para cerca de

6:04:22 1,4 L/s, enquanto a diferença de pressão sobe para 140 quilopascais. Em resumo, a bomba continua funcionando e produz uma diferença de pressão maior, mas há menos líquido de arrefecimento circulando. É por isso que precisamos verificar tanto a vazão quanto a pressão, já que o equipamento ainda precisa de líquido de arrefecimento suficiente para dissipar o calor. Certo. Agora, vamos falar do que se chama aproximação térmica da CDU. Basicamente, é a diferença entre as duas temperaturas de fornecimento. Então, é uma

6:04:52 conta bem simples. O cálculo pergunta qual é a temperatura da água que vai para os chips menos a temperatura da água que vem da instalação. Essas são as temperaturas do lado frio do circuito. Se observarmos as linhas de retorno, veremos a água depois que ela foi aquecida. Em vez disso, a aproximação térmica considera a temperatura fria dos chips e a temperatura fria da instalação. Qual é a diferença entre elas? Basicamente, uma aproximação menor oferece mais margem de temperatura para o líquido de arrefecimento, mas pode exigir mais área de troca térmica, vazão, bombeamento ou custo.

6:05:24 Então, neste exemplo, temos uma diferença de temperatura de cinco graus. No caso extremo, a aproximação térmica poderia chegar perto de zero se houvesse uma troca de calor quase perfeita entre o circuito da instalação e o circuito dos chips. É claro que, na prática, não é o que acontece, e geralmente a aproximação fica na faixa de três a cinco graus, mas isso é apenas uma estimativa.

6:05:56 De qualquer forma, essa é uma das métricas importantes que usamos para determinar a troca de calor na CDU. E como seria uma CDU, em termos de aparência? Aqui está um exemplo da CoolIT CHX2000, um trocador de calor com capacidade nominal de 2 megawatts térmicos com uma aproximação de 5°. Agora dá para entender por que a aproximação térmica é importante. Basicamente, é o número que usamos para informar as especificações desse trocador de calor

6:06:26 — ou seja, com uma diferença de cinco graus entre a água que vai para os chips e a água que vem da instalação, conseguimos trocar 2 megawatts térmicos. Isso significa que é possível trocar 2 milhões de joules de calor por segundo. As próprias bombas operam a 2.125 — ou melhor, 2.125 L por minuto, a 30, e isso gera 35 PSI. E o que mais é possível controlar? Bem, você pode

6:06:56 ajustar a temperatura, a vazão e a pressão de acordo com o sistema com que está trabalhando. Mas estas são apenas algumas das especificações padrão usadas na CDU. E é assim que ela fica com o gabinete. Dá para ver a diferença entre o interior da CDU e o exterior do gabinete. Quero mencionar rapidamente que a CoolIT é uma empresa interessante, porque começou fabricando equipamentos de resfriamento para PCs de jogos, depois migrou para data centers e agora vale bilhões de dólares.

6:07:27 É uma história e uma reviravolta bastante interessantes para essa empresa. Falamos de redundância no contexto de fontes de alimentação ininterrupta, linhas de alimentação e caminhos duplos com cabos A e B. Agora, vamos falar de redundância no contexto da distribuição do líquido de arrefecimento. Se você produz 1.000 kW de calor na sua computação, então a redundância N, ou aproximadamente a redundância N, seria ter duas CDUs de 600 kW, porque

6:07:59 você consegue fornecer 1.200 kW de resfriamento. Assim, consegue atender aos requisitos de resfriamento. Já N+1 seria: você consegue fornecer 1,5 megawatt de aquecimento? Neste caso, desculpe, 1.000 kW — isso é, na verdade, 1 megawatt —, então 1,5 megawatt de resfriamento. E, nesse caso, você teria três dessas CDUs. Se passarmos para um sistema 2N, seriam dois circuitos separados: um circuito A e um circuito B,

6:08:30 cada um com duas CDUs completamente independentes, porque, se um circuito da instalação falhar, precisamos que o outro assuma a carga. Para ter uma ideia melhor de como isso funciona, significa que qualquer uma das linhas de resfriamento consegue suportar a carga. Em operação normal, você tem 2.400 kW de capacidade, mas provavelmente usa apenas cerca de 1.000, que é o valor da sua carga. Você pode ter uma linha ligada e a outra desligada ou, talvez, dividir a carga, com cerca de 500 kW em cada uma. E então, quando houver

6:09:04 uma perda de caminho, ou talvez você esteja apenas fazendo manutenção, a segunda linha pode atender à demanda de resfriamento e permitir que as cargas de trabalho computacionais continuem em execução. Dá para imaginar que, ao lidar com um data center que precisa de uma disponibilidade de cinco noves — que, se não me engano, equivale a apenas alguns minutos de indisponibilidade por ano —, provavelmente haverá algum tipo de redundância 2N, ou até mesmo 2N+1, no sistema de resfriamento. E acredite:

6:09:34 há muitas configurações diferentes que você pode usar para resfriar o equipamento. A escolha depende simplesmente dos requisitos do projeto e também do orçamento, já que o sistema fica mais caro quanto maior for a redundância. Agora, vamos supor que você tenha esse sistema com redundância N. Você tem apenas duas CDUs e consegue resfriar normalmente, mas digamos que uma delas falhe. Então,

6:10:05 o que aconteceu foi que você tinha uma CDU de 600 kW e outra de 600 kW, o que era suficiente, mas agora, com apenas uma CDU restante, sua carga original excede a quantidade de calor que você consegue resfriar, ou de calor que consegue extrair. Então, usando algum tipo de controle, você poderia simplesmente reduzir a carga para diminuir a demanda e ainda realizar alguma computação. Talvez possa adiar algum trabalho que não seja sensível ao tempo e continuar operando a carga.

6:10:36 Com certeza, você verá nos data centers algum tipo de controle que reduz a carga quando há um problema de resfriamento e a capacidade de resfriamento diminui. Em um gráfico, isso ficaria assim: você está operando a 1.000 kW e perde a alimentação de uma das CDUs. Talvez agora você só tenha uma capacidade de resfriamento de 600 kW. Você reduz a potência e então

6:11:06 Você mede para garantir que a capacidade do líquido refrigerante esteja acima da carga atual. Certo. Também mencionei bem no começo que temos esse trocador de calor na porta traseira. Vamos fazer um exercício com ramificações para praticar o que aprendemos sobre como funciona o resfriamento de data centers. Vamos supor que temos um rack de 100 kW e sabemos que as placas frias conseguem remover 85% do calor.

6:11:38 Isso significa que restam 15% do calor no ar, ou 15 kW. O que você faria nesse caso? Uma opção é usar uma unidade de tratamento de ar para sala de computadores (CRAH) para remover esses 15 kW. Vamos supor que você tenha uma capacidade de 20 kW. Nesse caso, podemos simplesmente usar a CRAH e ainda ter 5 kW de sobra caso o clima esteja muito

6:12:09 quente ou haja algum problema que exija um pouco mais de capacidade de resfriamento a ar. Mas, mais uma vez, a outra opção, que acho mais interessante, é o trocador de calor na porta traseira. Com ele, você pode usar as placas refrigeradas a líquido para remover o calor dos chips e também direcionar o ar para a parte de trás do rack, onde o calor é coletado na porta traseira. O líquido então leva esse calor para fora do prédio. Essas são duas maneiras de pensar em como remover o calor do ar, e isso encerra

6:12:40 este capítulo. Agora vamos passar para o próximo, no qual vamos tratar de forma semelhante do calor, mas da sua rejeição em uma escala mais ampla, além do uso de água. Falamos principalmente do calor dentro do rack, numa perspectiva local, mas, na realidade, o calor ainda precisa sair do local. Se observarmos este fluxograma de três etapas, primeiro coletamos o calor dos chips em um líquido refrigerante aquecido. Depois, transportamos esse calor pela unidade de distribuição de líquido refrigerante até um circuito separado da instalação, que conta com este trocador de calor. Por fim, rejeitamos o calor para o exterior.

6:13:11 É basicamente assim que funciona. É bem parecido com um sistema de HVAC, como o de uma casa, mas aqui o resfriamento é feito com líquido, em vez de apenas com ar — ou depende, na verdade, do tipo de sistema de HVAC que você tem. De qualquer forma, na Avalene, o calor é transferido para o ar externo. É assim que o sistema deles foi implementado. O funcionamento é o seguinte: a água da instalação recebe o calor da CDU e então…

6:13:43 um chiller refrigerado a ar é usado para transferir o calor para fora, algo que você pode imaginar como um ar-condicionado. O chiller contém um refrigerante, e a eletricidade aciona um compressor que comprime esse refrigerante, aumentando essencialmente a capacidade de transferir calor para o ambiente. Você usa esse compressor para remover o calor do prédio. Outro termo para esse tipo de rejeição de calor é rejeição não evaporativa. Mas uma coisa que você precisa

6:14:14 observar é que o abastecimento inicial e a manutenção ainda usam água. O enchimento inicial do sistema exige muita água, e a manutenção pode exigir que você esvazie toda a água ou substitua uma parte dela em algum momento. Certo. Quando se trata da interação com o ambiente, há duas categorias diferentes de rejeição de calor: evaporativa e não evaporativa. Em geral, podemos classificar o resfriamento evaporativo como resfriamento úmido e o não evaporativo como resfriamento seco. Faz sentido. Vamos começar pelos resfriadores secos. O que

6:14:45 você faz, essencialmente, é coletar o calor do prédio, conduzi-lo até um radiador e então soprar ar através dele. É simples assim. Você também pode adicionar aqui um refrigerante com um compressor, caso queira aumentar a capacidade de transferência de calor, mas, mais uma vez, isso depende do ambiente e do próprio sistema. E o que acontece quando você está usando resfriamento úmido? O calor coletado do prédio é conduzido até o que se chama de enchimento, que tem bicos. O enchimento é essencialmente esse

6:15:18 material. Geralmente é um polímero que maximiza a área de superfície em determinado volume. É como uma estrutura de treliça, na qual a água passa pelo enchimento para ficar exposta ao máximo de ar possível. Assim, pelo menos uma parte dela evapora e vira vapor d’água, levando o calor embora. Isso faz com que a água que retorna ao sistema fique muito mais fria, já que muito calor foi perdido por evaporação. É claro que agora você precisa do que se chama água de reposição para compensar

6:15:48 o calor que… desculpe, a água que se perde. Em segundo lugar, também há o que se chama purga. O que é essa purga? Basicamente, é a água que você precisa remover do sistema porque contém minerais demais. Por que isso acontece? Quando você perde água na forma de vapor, a concentração de minerais na água restante aumenta. Isso é muito ruim porque causa incrustações e calcificação nos canos, reduzindo a vazão e a pressão, como vimos em um slide do capítulo anterior.

6:16:18 Para evitar isso, é feita uma purga periódica: você simplesmente remove do sistema a água cuja concentração de minerais está alta demais. Portanto, além de adicionar água de reposição, também é preciso remover água por meio da purga. É um golpe duplo em termos de consumo de água, o que demonstra o quanto as torres de resfriamento úmidas consomem. Então, mais uma vez: você quer que seu resfriamento seja úmido ou seco? Essa é a questão. Depende muito do ambiente e, se você está no deserto, a resposta é clara.

6:16:49 Só para dar outra maneira de entender o que acontece com a evaporação: a água evapora, a concentração de minerais aumenta, depois você a descarta — isso se chama purga — e então reabastece o sistema com água de reposição. Esse é o ciclo simples em três etapas. Certo, falei sobre resfriamento seco e resfriamento úmido. Agora há outro conjunto de conceitos, relacionados de certa forma, mas não exatamente: temperatura de bulbo seco e temperatura de bulbo úmido. Então…

6:17:20 Primeiro, a temperatura de bulbo seco é a temperatura comum. É simplesmente a temperatura do ar medida com um termômetro seco e à sombra. Em contraste, a temperatura de bulbo úmido é medida com um termômetro coberto por um pano encharcado de água e exposto ao fluxo de ar. A evaporação resfria essa água e aumenta a diferença entre as temperaturas. Gosto de pensar nisso como o suor. Quero dizer, se você molhar

6:17:50 a pele e medir a temperatura dela, ela estará fria por causa da evaporação. E adivinhe: é assim que funciona o suor. Essencialmente, o corpo deixa a água se acumular na superfície da pele por meio da transpiração. Assim que essa água sai da pele, ela evapora e remove calor da pele. Por isso, se você tocar um braço suado que não esteja diretamente exposto à luz do sol, ele estará frio ao toque, porque o efeito da evaporação retirou calor do corpo. É assim que funciona a transpiração. E, curiosamente,

6:18:23 só há uma situação em que as temperaturas de bulbo seco e de bulbo úmido são iguais. Talvez você consiga adivinhar: quando a umidade relativa é de 100%. O que quero dizer é que, se a umidade relativa for de 100%, não há espaço para mais água no ar: a atmosfera está saturada. Não há mais água que possa entrar nela. Então, se você suar, a água simplesmente ficará na sua pele e, na verdade, isso não vai funcionar. Da mesma forma, se você tiver um termômetro coberto de água e toda a atmosfera, ou seja, o ar ao redor

6:18:56 desse termômetro também estiver saturada de água, não haverá efeito evaporativo, e a leitura será igual à temperatura de bulbo seco. Isso é obviamente raro, a menos que você more em uma floresta tropical. Então, podemos manipular ou aproveitar essa diferença de temperatura quando usamos resfriamento úmido. Mais uma vez, o ar úmido deixa menos espaço para o resfriamento evaporativo. Mas, se o ar estiver seco, pode haver uma grande diferença entre ele e a temperatura comum.

6:19:27 A temperatura pode estar em 35% no termômetro de bulbo seco, mas a temperatura de um sensor de bulbo úmido pode ser de 22°, por causa do efeito evaporativo no ar seco. No entanto, se você aumentar a umidade, menos água evapora e o sensor de bulbo úmido fica mais quente. Mas, ainda assim, a menos que você alcance 100% de umidade relativa, o bulbo úmido continuará mais frio que o bulbo seco. E isso será muito importante quando discutirmos o resfriamento úmido com mais detalhes. Certo, mas vamos começar pelo resfriamento a seco. Então,

6:20:00 quais são os requisitos aqui? Primeiro, temos um rack que está sendo resfriado por este circuito do rack. É apenas um circuito líquido fechado que vai até a CDU, e esta é a fase de coleta. Certo. Depois, na fase de transferência, temos um fluido refrigerante a 55 graus que é aquecido e então transfere seu calor, aquecendo agora o circuito da instalação, e

6:20:32 ele segue para a serpentina selada, que basicamente faz o ar passar pela água. Você pode pensar nela como um radiador, essencialmente, mas a água fica dentro, em um circuito selado. O que acontece é que o ar passa pela parte externa da serpentina e a água permanece dentro, mas o calor ainda é transferido para o ar externo. E então temos esse retorno, em que o circuito resfriado da instalação entra a 40° e resfria o

6:21:02 circuito do rack, que está a 55°, para 45°. Uma coisa que quero que você calcule aqui é qual é a diferença de aproximação. Espero que você tenha chegado a 5 graus, porque, mais uma vez, é 45 menos 40 °C. Certo. Mas digamos que o limite do fluido refrigerante nos chips seja 35 °C. Nesse caso, não conseguimos resfriar os chips até uma temperatura suficientemente baixa

6:21:33 para que funcionem corretamente, se a temperatura de operação deles for 35°. Então, o resfriamento a seco não nos ajudaria a executar essa carga de trabalho com o throughput máximo. E você pode até chegar a essa conclusão observando a temperatura de bulbo seco. Então, se a temperatura de bulbo seco for 35°, não dá para deixar o ar mais seco — ou melhor, não dá para resfriá-lo abaixo da temperatura de bulbo seco em um sistema passivo como este, porque não há compressão, refrigeração nem evaporação. Portanto, o melhor que você poderia

6:22:04 obter é 35°, e isso exigiria uma transferência de calor perfeita — desculpe, uma transferência de calor perfeita, algo que não conseguimos alcançar na realidade. Então, nesse caso, o sistema não consegue resfriar os racks até a temperatura necessária. Mas agora vamos pisar fundo. Vamos entrar no modo Need for Speed. O que podemos fazer para melhorar o sistema? Podemos usar o chamado resfriamento adiabático. O que significa resfriamento adiabático? Na verdade, é um termo da meteorologia, usado em

6:22:34 previsões do tempo. E significa apenas que, embora o circuito de água seja fechado, podemos molhar as serpentinas de água. Você pode ver aqui: molharíamos as serpentinas. Isso faz com que, quando o fluido refrigerante quente entra, esse ar frio e úmido deposite vapor d’água nas serpentinas e faça essa água

6:23:05 evaporar e depois aquecer. Desculpe, isso faz essa água evaporar. Exatamente: ela se transforma em ar quente, que então remove muito mais calor do fluido refrigerante quente do que o resfriamento passivo com ar seco, que seria esta etapa aqui. Basicamente, o que você faz é passar o ar por esta almofada úmida, obtendo esse ar frio e úmido, que provavelmente condensaria nas serpentinas. Depois, quando você passa o fluido quente pelas serpentinas, essa água evapora e rejeita mais calor do que

6:23:38 o normal. Então, esta seria uma maneira de superar esse limite térmico se o ar externo estiver a 35 °C, usando o chamado resfriamento adiabático. Vale notar aqui que o circuito do fluido refrigerante continua fechado, mas agora precisamos adicionar água na parte externa. Certo. Agora vamos falar de uma torre completamente úmida, ou seja, há um efeito evaporativo ocorrendo dentro do circuito, dentro do circuito do fluido refrigerante. O primeiro ponto a notar

6:24:09 é que o circuito do rack é o mesmo. Aqui, coletamos água dos racks e a transferimos para a unidade do fluido refrigerante, e então essa unidade a transfere para outro trocador de calor, que tem o circuito da torre. Basicamente, a torre de água faz a água passar por algum tipo de torre, uma estrutura grande, para que ela atravesse esse tipo de enchimento e permita que o máximo possível evapore, rejeitando calor por meio da evaporação. Então,

6:24:40 na fase de rejeição, o que acontece? A água cai sobre o enchimento, o ar absorve calor e parte da água evapora. E, embora a temperatura externa seja de 35°, a temperatura de bulbo úmido no próprio enchimento é de 28°. Portanto, calor e vapor d’água escapam pela torre de água. Além disso, toda a água restante cai na bacia, onde também bombeamos um pouco de água de reposição e, em algum momento, fazemos também a

6:25:12 rejeição da água com alto teor de minerais. E, no retorno, vemos que, neste caso, o fluido refrigerante do rack ainda fica acima de 35 °C, embora tenhamos uma temperatura de bulbo úmido de 28°. Isso acontece simplesmente porque precisamos adicionar outro trocador de calor nesta configuração de torre úmida, o que significa que há mais um ponto em que existe essa diferença de temperatura, que não é perfeita. E isso

6:25:43 também leva em conta o ambiente de alta umidade. Então, se voltarmos aqui, dissemos que, com alta umidade, a temperatura de bulbo úmido é de 28°, mas, com baixa umidade, temos uma temperatura de bulbo úmido de 22°. Se mudarmos agora para baixa umidade, com 22 °C, podemos alcançar a temperatura desejada de fornecimento do fluido refrigerante do rack, de 35 °C, e operar nossas GPUs com o throughput desejado e a

6:26:15 carga desejada. Então, esse foi um exemplo prático interessante de como partimos da coleta, em que aquecemos o fluido refrigerante vindo dos chips. Depois, ele também passa pelos dois trocadores e, curiosamente, temos aqui três circuitos de água. Mais uma vez, liberamos água na atmosfera por evaporação e, se a umidade for suficientemente baixa, podemos atingir a temperatura desejada do fluido refrigerante do circuito do rack. Certo. Uma coisa que quero observar é que, mais uma vez, ainda é possível ter um

6:26:46 circuito fechado no rack e uma torre de resfriamento evaporativo, porque esses circuitos são separados. Então, é preciso analisar o sistema e perguntar: todo o fluido refrigerante circula em circuito fechado ou apenas parte dele? Isso pode fazer a diferença entre o sistema precisar ou não de muita água para funcionar. Já com um resfriador a seco, você tem um circuito fechado no rack e um circuito fechado na instalação, que usa água ou glicol. Esses são dois materiais comuns — ou melhor, líquidos — usados como fluido refrigerante. E então há o resfriador a seco,

6:27:17 que simplesmente expõe os tubos ao ar externo, sem evaporação dentro do próprio circuito da instalação. Então, essas são as duas opções diferentes: o resfriador a seco e a torre úmida. E é isso. Seguindo em frente, vamos falar um pouco sobre o compressor. Se você estiver usando um compressor, como é o caso em Abalene, digamos que haja uma transferência de calor de 10 megawatts dos racks para o exterior. Mas a eletricidade do compressor também se transforma em calor

6:27:49 neste ciclo. Então, você precisa acrescentar isso. Vale notar que haverá mais calor na saída por causa da eletricidade usada pelo compressor. Neste exemplo simples, temos 12 megawatts de calor da computação mais o calor do compressor, que passarão pelo chiller e reduzirão a temperatura por meio da refrigeração. Sem um compressor, o resfriamento externo ainda pode remover todos os 10 megawatts, mas isso só é possível se a temperatura e a capacidade permitirem. Então, provavelmente, nem sempre é possível garantir que, com o resfriamento passivo, você consiga remover

6:28:21 uma certa quantidade de calor em todo o data center, especialmente se estiver muito quente lá fora. É por isso que ter um compressor é muito útil. Então, como mencionei, o clima frio pode basicamente deixar o compressor descansar: a água quente que vem dos racks vai para um resfriador externo, que a resfria com o ar de fora, e a água fria volta para os racks. Assim, você terá algo como um modo econômico, ou modo eco, em que o compressor fica desligado e apenas os ventiladores e as bombas ficam ligados. Então, ainda há algum consumo de eletricidade pelos ventiladores e pelas bombas, mas o

6:28:53 compressor, que definitivamente consome a maior parte da eletricidade, não está funcionando nessa situação. Certo, agora vamos fazer aqui uma grande comparação geral de todos os diferentes tipos de resfriamento que acabamos de descrever. Em primeiro lugar, a parte da frente é consistente, ou seja, você tem o circuito de líquido refrigerante de TI, depois a unidade de distribuição de líquido refrigerante, e o circuito de água da instalação. Mas a questão é: o que se conecta depois do circuito da instalação? Então, podemos dividir o que acontece em três categorias

6:29:24 depois do retângulo roxo aqui. Em primeiro lugar, temos o exemplo sem chiller, em que não há nenhum tipo de refrigeração ou condensador com compressor. Nesse tipo de exemplo, podemos usar um resfriador a seco, que simplesmente faz esse aquecimento passivo com um ventilador e serpentinas do lado de fora, com a opção de assistência adiabática, que mencionamos ser como o óxido nitroso de Need for Speed. Ou você pode, na verdade, usar uma torre úmida

6:29:55 além de não ter chiller. Então, como seria isso? É basicamente o resfriamento evaporativo que discutimos, em que você tem esse terceiro circuito separado do trocador, com a distribuição do líquido refrigerante, que então evapora como água e precisa ser reposto com água de reposição por meio da torre úmida. E essas são as duas opções sem chiller. Certo, agora vamos falar das opções com chiller. Também há duas delas: um chiller resfriado a ar e um chiller resfriado a água. Começando pelo chiller resfriado a ar, você tem esse circuito fechado

6:30:26 de refrigeração, em que o refrigerante circula com um compressor para resfriar. E, depois que o compressor esquenta, você o resfria em um condensador resfriado a ar, de modo que o vapor refrigerante se condense novamente em líquido e seja recirculado no circuito. E temos, opcionalmente, uma terceira possibilidade: o chiller resfriado a água. Então, o circuito fechado de refrigerante continua igual, exceto que aqui você tem

6:30:57 um condensador resfriado a água. O que ele faz? Basicamente, é um trocador de calor entre o circuito de refrigerante e o outro circuito, que é o circuito de água. Então, você tem o circuito fechado de refrigerante, que recebe esse refrigerante e captura o máximo possível do calor do circuito de água da instalação. E, depois que o circuito de refrigerante esquenta, há outro trocador de calor, chamado condensador resfriado a água, que interage com um resfriador a seco ou uma

6:31:27 torre. E, se estiver prestando atenção, é este ou este. Então, o chiller resfriado a água é quase como o chefão, porque realmente combina muitos componentes diferentes. E, se olharmos o diagrama lá adiante, seria assim: você adicionaria aqui outro circuito, chamado circuito fechado de refrigerante, em que, antes desse trocador de calor, o refrigerante passaria pelo compressor, que interagiria com o circuito da instalação. Então, você teria o

6:31:57 circuito da instalação, o circuito de refrigerante e, depois, o circuito da torre. São quatro circuitos no total que realizam a função de aquecimento. Acho que não devemos nos perder demais nos detalhes aqui, mas basta perceber que há muitas maneiras diferentes de resfriar esses data centers, e estas são algumas das configurações mais comuns. Certo, agora vamos falar de uma métrica muito importante, chamada coeficiente de desempenho, o COP. O coeficiente de desempenho nos diz quanto calor cada unidade de eletricidade move. Então, o que você deve

6:32:27 saber é que, quando se tem um compressor, é possível ter uma proporção de eficiência quase infinita: com uma unidade de eletricidade, você pode remover quatro unidades de calor. Como isso é possível? Porque você está aproveitando a diferença de temperatura entre o edifício e o ambiente. Então, se você usasse uma unidade de eletricidade para remover quatro unidades de calor, teria um coeficiente de desempenho de quatro. Certo. Essa é uma forma muito comum de determinar o grau de eficiência do nosso resfriamento,

6:33:00 especialmente quando usamos compressores. E essa também é uma ótima maneira de determinar como o clima quente afeta a eletricidade usada no resfriamento. Vamos supor que tenhamos uma carga térmica de computação de 8 megawatts que precisamos remover da instalação e que, com um coeficiente de desempenho em clima frio — desculpe, em clima frio, digamos que está frio lá fora —, o coeficiente de desempenho seja oito. Então, precisamos de 1 megawatt de

6:33:34 eletricidade para o resfriamento para nos livrarmos desse calor. E, se tivermos 10 megawatts de eletricidade, podemos fazer isso. Na verdade, mesmo que reduzamos a potência de computação e também consideremos a energia auxiliar, continuamos dentro do nosso limite. Mas, se estiver muito quente lá fora e o coeficiente de desempenho em clima quente aqui for, digamos, metade, só poderemos remover quatro unidades de calor para cada unidade de eletricidade. Então, agora precisamos de 2 megawatts de eletricidade para remover 8 megawatts de calor. E, com

6:34:06 a carga máxima, na verdade precisaríamos de mais eletricidade: exatamente 10,4. Ou seja, 400 kW a mais do que podemos realmente custear. Nesse caso, teríamos que nos adequar à potência disponível, o que significa que precisaríamos reduzir um pouco a carga, de 8 megawatts para 7,68 megawatts. E essa é outra forma de criar uma margem de segurança e, basicamente, reduzir o risco de superaquecimento do data center. E agora você provavelmente entende o meme que mostrei há muito tempo, em que falamos

6:34:37 sobre “calma aí, amigo”. Pense nos data centers quando está muito quente lá fora. Então, é preciso perceber que o coeficiente de desempenho é muito afetado pela temperatura externa. Certo. Vamos também falar de uma questão interessante: esses data centers geram muito calor. Então, às vezes, quando as pessoas são espertas, usam esse calor para o aquecimento distrital. E o que é aquecimento distrital? Basicamente, o calor de um data center é usado e reaproveitado para aquecer outros edifícios, o que é uma ótima maneira de não desperdiçar

6:35:09 esse calor. Então, vamos supor que o data center funcione, obviamente, 24 horas por dia, sete dias por semana, e que, da meia-noite às 6h, talvez tenha um contrato com um hospital para fornecer 2 megawatts de calor. Essa seria a cota para o dia inteiro, enquanto o data center produz 4 megawatts de calor ao longo do dia. Então, se houvesse um acordo desse tipo, durante 6 horas do dia você teria que direcionar esse calor para o hospital

6:35:40 e, no restante do dia, teria que liberá-lo ao ar livre. Isso serve simplesmente para destacar que há maneiras de reutilizar e reaproveitar esse calor, mas talvez nem sempre seja possível fazê-lo. Isso exigiria que os processos de resfriamento se adaptassem em tempo real ou, pelo menos, tivessem um cronograma para direcionar o calor para fora ou para algum sistema de aquecimento distrital. Certo, para encerrar este capítulo, quero discutir este estudo de caso interessante: a enchente de 2013 em

6:36:12 Toronto, no Canadá. Então, primeiro vamos contextualizar o que está acontecendo aqui, apresentar o cenário. Curiosamente, Toronto usa o Lago Ontário para resfriar os edifícios do centro da cidade. O Lago Ontário fica ao longo da fronteira de Toronto e, no fundo do lago, a temperatura é sempre de 5 °C. Portanto, não está congelante, mas é muito frio. Então, eles usam essa captação profunda, passam a água pela estação de tratamento e a usam tanto como abastecimento de água para a cidade quanto como trocador de calor para, basicamente, resfriar

6:36:45 edifícios, mas também resfriar data centers, atuando como trocador de calor. É muito interessante como isso funciona, e acho que você consegue entender o mecanismo. É basicamente como um ar-condicionado grátis, exceto que é preciso alimentar as bombas, claro. Vale observar que houve alguns problemas durante a inundação. Só vou dizer que este edifício, 151 Front Street West, é o centro de telecomunicações de Toronto e abriga praticamente todas as diferentes conexões de telecomunicações. Então, talvez você já tenha estimado ou previsto o que iria

6:37:15 acontecer. Houve alguns problemas com o fornecimento de energia para o centro de telecomunicações. Na verdade, o gerador entrou em funcionamento, o que significava que ainda era possível aquecer todos os equipamentos — não aquecer, mas sim alimentar todos os racks. Mas, infelizmente, esse sistema de resfriamento distrital foi interrompido e, basicamente, havia redundância nos geradores, mas não no sistema de resfriamento N-wave. Isso fez com que o calor começasse a se acumular no sistema, embora os racks continuassem funcionando. Então, como uma espécie de medida de mitigação,

6:37:47 medida de mitigação, eles desligaram equipamentos e transferiram os serviços, mantendo apenas os essenciais. Basicamente, desligaram os sistemas não essenciais e também transferiram as cargas de trabalho de computação de uma suíte que estava aquecendo — desculpe, que estava acima de 43 °C — para outra área do data center que estava se recuperando mais rápido, e transferiram os serviços para lá. Então, tiveram que fazer uma transferência das cargas de trabalho em tempo real, o que foi bem interessante. Na verdade, há este

6:38:17 estudo de caso em que o CTO de uma empresa chamada Uberflip relatou que trabalharam desde o meio-dia até a 1h da manhã para garantir que esses jobs estivessem em execução e também para remover as cargas de trabalho não essenciais, a fim de reduzir o calor ao máximo. E é isso. Um estudo de caso muito interessante. O relato completo do que aconteceu está no link. Recomendo a leitura. Foi, mais uma vez, a inundação de 9 de julho de 2019 2013 em Toronto. Certo. Como resumo deste

6:38:50 slide, de que depende cada método de resfriamento? Bem, se estivermos usando resfriamento seco, sem evaporação, ele depende apenas de eletricidade, além do enchimento inicial e das dependências operacionais. Mas, se você estiver usando uma torre de resfriamento úmida, ou resfriamento úmido em geral, dependerá tanto de água quanto de eletricidade. Esse é o conjunto de fatores que você precisa levar em conta ao considerar diferentes tecnologias de resfriamento. E, dentro de cada uma, como vimos naquele gráfico maluco, há muitas

6:39:20 opções diferentes. Certo, capítulo 13: engenharia, aquisição e construção, também conhecido como EPC. Vamos pôr a mão na massa e fazer os martelos voarem. Para resumir em uma frase o que cada um desses três termos pode significar em relação a um data center, digamos que engenharia é dimensionar os equipamentos de manobra, o transformador e as conexões. Os equipamentos de manobra são os componentes elétricos e eletrônicos que direcionam a eletricidade para as diferentes

6:39:52 salas de dados e os diferentes edifícios, além de garantir que a tensão e a corrente estejam em uma faixa segura e operacional. Os transformadores servem para alterar a tensão, e as conexões, para conectar os circuitos. Depois vem a aquisição: encomendar o pacote coordenado e reservar capacidade de fábrica. Por fim, a construção: fazer as fundações, trazer os módulos que contêm todos os equipamentos e conectar a instalação. Vamos fazer um pequeno estudo de caso. Digamos que você esteja construindo um data center com 20 megawatts de capacidade de TI, ou melhor, de carga

6:40:24 que precisa ser fornecida, e que originalmente havia projetado racks de 100 kW, mas agora o projeto mudou para racks de 200 kW. Basicamente, estamos dizendo que a densidade dos racks dobrou. Para deixar isso claro com este diagrama: os mesmos 20 megawatts agora estão concentrados na metade do número de racks. Antes, em uma zona de 2 megawatts deste data center — e seriam 10 zonas, já que temos 20 megawatts —, havia o dobro de racks. Então, nesta zona de 2 megawatts,

6:40:57 originalmente pretendíamos ter 20 racks de 100 kW, mas agora são 10 racks de 200 kW na zona. E seriam necessárias 10 dessas zonas para chegar aos 20 megawatts de potência de TI. Vamos falar de algumas hipóteses. Primeiro, o novo rack excede a capacidade elétrica nominal do circuito de derivação existente. Vamos supor que estejamos usando o mesmo barramento compartilhado para alimentar esses data centers — esses racks, desculpe. Nesse caso, se supusermos que cada circuito de derivação tinha um limite de 160 amperes,

6:41:28 então, se dobrarmos a potência, aproximadamente também dobraremos a corrente. Portanto, excederemos o limite desse circuito de derivação. Assim, a corrente do circuito já precisa ser ajustada; mais especificamente, é preciso atualizar o equipamento que limita a corrente do circuito. E vamos falar também do resfriamento. Como lembramos, a pressão é proporcional ao quadrado da vazão mássica. Vamos

6:42:00 fazer alguns cálculos. Supondo que, originalmente, precisássemos de uma vazão mássica de 2,4 kg/s para resfriar um rack de 100 kW, sem perda de generalidade, vamos supor que seja necessário dobrar essa vazão mássica para manter o mesmo aumento de temperatura de 10°. Portanto, chegamos a uma vazão de 4,8 kg/s. E, mais uma vez, se supusermos que o limite do circuito de

6:42:30 resfriamento é de 3 kg/s, então será preciso repensar o que está acontecendo ali. E vamos também propor, ou supor, que a diferença de pressão através da conexão era limitada a 60 quilopascals no circuito. Nesse caso, ela passou de 20 para 80 quilopascals por causa dessa relação entre a pressão e a vazão mássica. Portanto, o sistema de resfriamento também precisaria ser repensado se houvesse um

6:43:02 aumento tão grande na densidade de potência. E nem vamos falar do peso, certo? A mudança nos racks concentra a carga no piso em poucos pontos. Antes, havia uma unidade de carga por pé, pois eram 20 racks em uma zona. Agora, você dobrou a carga na mesma área de 4 pés — ou qualquer que seja a área do rack que está construindo. Então, este é um exemplo meio artificial de racks que, de repente, ficam com o dobro da densidade. No entanto, eu diria que, mais uma vez,

6:43:36 se nos referirmos àquele gráfico da análise de pesquisa do Bank of America, que mostrou o aumento quase exponencial da densidade dos racks ao longo do tempo, é quase como se essa situação exata estivesse acontecendo na vida real, só que ao longo de um período maior. Então, a cada poucos anos, a densidade dos racks dobra e, por isso, é preciso garantir que os ramais dos tubos e as conexões das válvulas suportem o aumento da pressão e da vazão mássica, e que os circuitos possam suportar uma corrente mais alta ou

6:44:07 sejam convertidos para 800 volts em corrente contínua, como discutimos no capítulo 9. Há muitas maneiras diferentes de resolver isso. De qualquer forma, fica aí algo para pensar sobre as mudanças necessárias à medida que a densidade de computação aumenta com o tempo. Certo. Também queremos falar um pouco sobre pré-fabricação neste capítulo sobre EPC, porque ela está se tornando parte integrante da forma como os data centers são construídos. Pré-fabricação é quase um termo autoexplicativo. Significa transferir a montagem para a fábrica. Na fábrica, provavelmente podemos cuidar da distribuição de energia e torná-la mais integrada. Os coletores de líquido refrigerante podem ser montados. Os controles e os testes podem vir prontos de fábrica. A fiação interna pode ser feita na fábrica. E tudo pode até ser testado antes de chegar ao local. Quando chega ao local, ainda é preciso fazer as fundações e os acessos. É preciso garantir que a rede elétrica e a instalação de resfriamento estejam conectadas e distribuídas. Depois, é preciso posicionar

6:44:37 um termo autoexplicativo. Significa transferir a montagem para dentro da fábrica. Na fábrica, provavelmente podemos cuidar da distribuição de energia e torná-la mais integrada. Os manifolds do fluido refrigerante podem ser montados. Os sistemas de controle e os testes podem vir prontos para o envio. A fiação interna pode ser feita dentro da fábrica. E tudo pode até ser testado antes de chegar ao local. E, quando estiver no local, ainda será preciso preparar as fundações e os acessos. É preciso garantir que a rede elétrica e a instalação de resfriamento estejam conectadas e distribuídas. Depois, é preciso posicionar

6:45:09 os diferentes componentes da fundação e as juntas de campo, e depois também trazer os racks de TI e fazer os testes integrados. Essencialmente, o que estamos tentando fazer aqui é levar para a fábrica o máximo possível do trabalho que pode ser feito em paralelo e, então, fazer no local apenas as partes em que precisamos aceitar esse sistema de junção. Vamos falar de um exemplo real. Ele se chama Project Houdini, um projeto da AWS que está fazendo exatamente isso. Eles fizeram uma parceria com a Cupertino Electric, e esta é a fábrica deles. Dá para ver muitos equipamentos de manobra sendo montados na

6:45:41 fábrica, em vez de no local. E esses módulos pré-montados do data hall são infraestrutura tanto de energia quanto de refrigeração. Mais uma vez, eles fazem a montagem e os testes na fábrica e, no local, conectam o conjunto depois que ele chega. Se falarmos de um produto específico, a Siemens, que todos conhecemos como uma empresa que fabrica várias infraestruturas diferentes para data centers, fez uma parceria com a Compass, uma empresa de data centers, para criar um módulo único com equipamento de manobra e transformador.

6:46:13 Então, em um conjunto fabricado na fábrica, temos um equipamento de manobra da Siemens, que distribui a energia para seus alimentadores separados e também tem circuitos e outros disjuntores para garantir que, em caso de sobretensão ou alguma irregularidade de corrente, a energia seja interrompida por uma falha. E então temos o transformador, que fará a conversão de tensão para unidades e conexões internas. Portanto, para esse processo específico, tudo é levado para a fábrica.

6:46:44 Na verdade, talvez você tenha pensado: “Certo, se estamos fazendo todo esse trabalho de pré-fabricação na fábrica, acabamos com uma situação maluca de Lego, com várias peças se encaixando, mas tudo personalizado e difícil de entender o que vai caber em cada lugar?”. Felizmente, o Open Compute Project, que mencionei uma vez até agora neste curso, tem um guia que define essencialmente a interface entre os fornecedores. Por exemplo, um UQD, sigla de universal disconnect, pode ser especificado

6:47:14 em um guia do Open Compute Project, de modo que o fornecedor A possa fabricar sua peça e simplesmente adicionar um plugue UQD, e o fornecedor B possa ter o conector UQD que aceita esse plugue. Assim, eles não precisam se preocupar com as peças não se encaixarem. Basicamente, é como definir o contrato para a saída e a entrada, permitindo que as empresas continuem fabricando o que há dentro. Digamos que, então, você tenha conectado esses conectores rápidos universais. E

6:47:46 infelizmente, porém, se lembrarmos que você ainda está usando aqueles racks de 200 kW, esses conectores não são muito úteis para você, porque só suportam 3 kg por segundo de líquido refrigerante, e você precisa de 4,8 kg por segundo. Então, mesmo que os conectores tenham sido feitos, o ramal ainda precisa ser redesenhado. Outro exemplo de iniciativa do Open Compute Project é essencialmente padronizar o rack open source. Enquanto os racks convencionais com PSUs no nível do servidor se pareceriam

6:48:16 com isto, com uma PSU em cada prateleira, no padrão do Open Compute Project você tem a unidade de distribuição de energia do rack na parte superior, que fornece energia trifásica, assim como no formato convencional. Mas, em vez disso, esses racks open source têm PSUs consolidadas, o que traz muitas vantagens, porque agora os fornecedores de PSU podem se concentrar em criar uma solução no nível da bandeja, e os fornecedores de computação podem se concentrar em criar sua própria solução no nível computacional

6:48:47 sem precisar se preocupar com a integração das unidades de fonte de alimentação. Esse é um grande benefício do Open Compute Project e, na verdade, é o Open Compute Project que está liderando o esforço de 800 V em corrente contínua, junto com seus parceiros do setor. O Open Compute Project é patrocinado e apoiado por empresas como Nvidia, Microsoft e todos os suspeitos de sempre, mas, pelo que entendo, ainda é tecnicamente independente. Certo. Para dar uma visão geral do que discutimos sobre pré-fabricação,

6:49:17 a principal ideia que precisamos lembrar é transferir os testes de aceitação para a fábrica. O que agora é feito na fábrica inclui a fiação interna e a proteção, a tubulação interna e o teste de vazamento, a lógica do controlador e a sinalização simulada. E o que agora é verificado no local são os cabos de campo e a coordenação da proteção, as juntas reais que conectam o que foi pré-fabricado e, depois de conectar os diferentes tubos, por exemplo, de um coletor de refrigeração, a medição do fluxo, além dos sensores reais e dos equipamentos de resposta. Então, embora seja possível simular os sinais na fábrica,

6:49:48 provavelmente ainda é uma boa ideia verificar também no local se os sinais e os sensores funcionam, para evitar surpresas desagradáveis. E, antes de encerrarmos este exemplo da mudança de concentração de energia para 20 megawatts, digamos que agora modificamos nossos equipamentos e que, nessas zonas, cada uma com 20 racks, temos a parte elétrica, a refrigeração e a rede

6:50:19 em diferentes níveis de conclusão. O que podemos ver claramente é que, para atingir a capacidade operacional dos racks, precisamos dos três componentes. Então, neste momento, vamos supor que apenas as zonas A21 — ou melhor, os racks A21 a A60, ou seja, a segunda e a terceira zona, já que esta é a primeira zona — tenham atendido a todos os requisitos de homologação elétrica, de refrigeração e de rede. Vamos também adicionar refrigeração a esta zona.

6:50:52 E agora temos mais 60 racks energizados. Esse é um processo que você repetiria várias vezes neste exemplo hipotético para, por fim, atingir a meta de 20 megawatts e alimentar tudo, depois dessa mudança relativamente grande na densidade dos racks, de 100 para 200 kW. Neste ponto, teríamos 60 racks de 100 kW, o que nos daria 12 megawatts. Então ainda haveria essas duas zonas que precisariam estar em

6:51:23 rede em uma situação e, depois, conectadas eletricamente em outra. Nem cheguei a falar de rede, mas você pode imaginar que eu tinha switches InfiniBand Quantum-2, com 32 links de descida e 32 links de subida. É claro que estamos falando aqui de algumas GPUs que são apenas imaginárias. Não especificamos de fato de quais GPUs estamos falando. Mas, se você pensar que os switches originais tinham o dobro de links, agora que dobramos a densidade,

6:51:54 provavelmente não precisaremos mais de metade desses links, devido ao aumento da densidade de GPUs. Então, essa é outra coisa que não discutimos, mas que provavelmente vale a pena considerar. Certo, este é o último slide deste capítulo sobre EPC. Ele apenas diz que, como mencionamos antes, a CoreWeave fechou um acordo com a Applied Digital no outono do ano passado para que construíssem um conjunto de data centers para ela. E um ponto importante aqui é o argumento de que tempo é dinheiro: precisamos conectar

6:52:26 os próximos 50 megawatts mantendo o primeiro megawatt em operação. Essencialmente, a lição aqui é que, quando você está construindo o local durante a fase de construção do EPC e consegue colocar um data center em operação antes que toda a estrutura esteja pronta, antes que o local inteiro esteja concluído, precisa garantir que possa manter o primeiro em operação enquanto constrói o segundo. Isso certamente exigiria muito planejamento de contingência e levar em conta diferentes variáveis. Planejar

6:52:56 talvez algum incidente de construção que possa acontecer durante a construção do segundo cluster e garantir que isso não deixe o primeiro fora de operação, porque esses data centers estão imprimindo dinheiro e os clientes downstream da CoreWeave querem que eles estejam em operação. Certo. Agora, o capítulo 14 de 16 trata de controles, operações e confiabilidade. Ou seja, manter um data center funcionando e solucionar problemas quando a coisa dá errado, para dizer com educação.

6:53:26 Vamos considerar um estudo de caso hipotético para começar o capítulo. Temos um painel da instalação que mostra que o líquido refrigerante fornecido pela instalação está a 30 °C, o que é normal. No entanto, um chip em um rack da fileira B ultrapassa seu limite operacional de 80 °C. Ele está a 85 °C, apesar de o limite ser 80 °C. Isso certamente indica um problema. E também indica que a medida adequada não é apenas

6:53:58 olhando apenas para a temperatura do líquido refrigerante. Você também precisa garantir que está medindo as temperaturas no nível dos chips. E vamos demonstrar por que isso acontece neste capítulo. Então, em resumo, a fileira B ainda está recebendo água a 30°, mas com apenas metade do fluxo. Se olharmos para a coluna, para as fileiras aqui, a potência do rack é a mesma, a água que entra na fileira B está à mesma temperatura, mas agora a vazão passou de 100 kg/s para 50 kg/s e, consequentemente, a água que sai

6:54:29 da fileira B passou de 35° para 40°, um aumento de 5°. Além disso, o chip mais quente agora está operando a 85 °C, o que representa um salto de 50° em relação à temperatura inicial e está 5° acima do limite. Então, podemos supor que talvez tenha havido algum vazamento, o que seria muito ruim, ou um exemplo mais viável, mais realista,

6:55:01 seria que há algo no circuito causando uma redução do fluxo. Então, vamos ver como esse incidente com o chip poderia se desenrolar ao longo do tempo. O título aqui é: um fluxo menor pode deixar os chips quentes demais depois que a temperatura se estabiliza. O que isso significa? Primeiro, vamos falar sobre o gráfico superior, que representa o calor gerado em comparação com o calor removido ao longo do tempo. O calor gerado é constante. É apenas esta linha pontilhada

6:55:32 aqui, que corresponde a 2,09 megawatts. Mas podemos ver que há uma função em degraus aqui: quando o fluxo falha, quando cai pela metade, o calor removido diminui drasticamente. Na verdade, como sabemos pela equação fundamental da transferência de calor, isso significa que o calor removido cairia pela metade. Mas o interessante a observar é que, à medida que o calor se acumula — representado por esta área dourada entre as duas linhas —, o

6:56:04 calor removido volta a se normalizar em 2,09 megawatts e atinge o equilíbrio. É bem interessante notar isso. É como dizer que, essencialmente, à medida que os chips absorvem esse calor extra que não está sendo removido adequadamente, a diferença de temperatura aumenta, o que permite que ocorra uma transferência de calor maior, por causa desta equação, a equação da transferência térmica de calor, e, portanto, a transferência de energia volta a atingir 2,09 megawatts. Mas, a essa altura, já

6:56:36 acumulamos muito calor extra no rack. E, se observarmos o gráfico do chip mais quente ao longo do tempo, ele apresentaria essencialmente um aumento relativamente acentuado no início, já que, de repente, a remoção de calor caiu pela metade, e depois diminuiria gradualmente à medida que o equilíbrio térmico fosse restabelecido. E, mais uma vez, em cada chip, o fluxo de calor é igual à diferença de temperatura dividida pela resistência térmica. Então, no início, a diferença de temperatura é

6:57:08 menor, mas, como agora há menos fluido passando pelo chip, a temperatura dele aumenta em relação à do fluido. Então, quando a diferença de temperatura fica grande o suficiente, voltamos a esse estado de equilíbrio, mas, nesse ponto, os chips já estão a 85 °C. Portanto, neste exemplo, podemos ver que a moral da história é que, mesmo que o circuito de refrigeração esteja normal e ainda a 30 °C, isso não é um indicador

6:57:39 de que tudo está funcionando bem nas outras partes do sistema. Certo. Esse foi o nosso exemplo neste capítulo. Agora, vamos falar sobre alguns estudos de caso reais. Então, o Google desenvolveu com a DeepMind um mecanismo de controle autônomo para a refrigeração dos centros de dados. Essencialmente, em 2016, o alcance desse algoritmo era que a IA recomendava que uma pessoa agisse. Então, ainda havia bastante intervenção humana, mas, depois de apenas

6:58:10 dois anos, a IA controlava a refrigeração em intervalos de 5 minutos, enquanto o operador ainda definia os limites e mantinha a opção de substituí-la. Mas vamos ver como esse sistema funciona em quatro etapas. Vou ampliar cada uma delas. E, só para lembrar, isso acontece a cada 5 minutos. Então, na etapa um, a IA baseada na nuvem coleta um retrato instantâneo do sistema de refrigeração do centro de dados, representado por milhares de sensores físicos. Essencialmente, ela lê os sensores. Depois, na etapa dois, à direita, ela prevê

6:58:42 os resultados com base em uma rede neural. Na etapa três, escolhe uma ação dentro dos limites definidos pelas configurações de segurança, com o objetivo de minimizar o consumo futuro de energia. Então, na etapa quatro, as ações ideais são enviadas de volta ao centro de dados. Como a rede neural está sendo executada em outro centro de dados, o sistema local verifica as ações em relação às próprias restrições de segurança antes de implementá-las. Então, dá para ver que há uma etapa de verificação local e também uma etapa em que a IA seleciona suas ações

6:59:12 dentro das restrições de segurança. Então, há aqui um protocolo de segurança em duas etapas, só para garantir que não haja nenhum caso em que a IA faça alguma previsão absurda e provoque o superaquecimento dos chips. Mas isso não é algo com que valha a pena se preocupar, porque, se observarmos o gráfico do que aconteceu ao longo de 9 meses, a energia de refrigeração por unidade melhorou de cerca de 12% para 30% abaixo da referência anterior à IA. E também

6:59:43 dá para ver que, à medida que os dados de treinamento aumentaram, esse é um dos indicadores do setor para avaliar o desempenho do sistema de refrigeração. E acho que isso é apenas uma demonstração do poder de ampliar a escala dos dados. Então, isso realmente funcionou na prática e foi implementado em 2018. Imagino que hoje o Google tenha generalizado isso para muitos outros centros de dados, e esses algoritmos estejam funcionando enquanto falo e enquanto você assiste a este vídeo, o que acho fascinante. Certo. Quando se trata das operações em um centro de dados, há

7:00:15 três camadas de controle, e cada uma resolve um problema diferente. Os controles locais das bombas simplesmente dizem às bombas quais vazões devem ter e quais pressões devem manter. Isso não é algo que uma pessoa ajustaria manualmente, mas é algo que você poderia acompanhar em uma análise em tempo real, por exemplo. Depois, há os controles da instalação, que determinam quando as unidades de refrigeração devem funcionar e quando se deve reduzir a energia máxima que elas estão usando. E também há o nível de computação, que define quais

7:00:47 cargas de trabalho estão sendo executadas e se você deve mover ou adiar a computação, por exemplo, com base em restrições de refrigeração. Este é o nível mais baixo, à esquerda, e estes dois estão em níveis de abstração semelhantes, exceto que este é no nível da instalação, enquanto o agendamento de cargas de trabalho está no nível da computação. Certo. Então, vamos nos concentrar primeiro nos controles da instalação e ver como eles influenciam a operação de um centro de dados, usando o seguinte cenário. O título aqui é: um novo trabalho

7:01:18 precisa de refrigeração, que leva 3 minutos para começar. Vamos supor que esse novo trabalho consuma 2 megawatts, ou seja, que seu orçamento computacional, isto é, a quantidade de GPUs necessária, corresponda a 2 megawatts de calor, e que já haja uma carga de base de 4 megawatts em execução neste centro de dados. Podem ser trabalhadores de inference ou talvez já haja um trabalho de pré-treinamento acontecendo ao mesmo tempo. Dadas essas circunstâncias e o fato de que, naquele momento,

7:01:48 quando esse novo trabalho começa, temos apenas 5 megawatts de capacidade de refrigeração disponível. Se iniciássemos o trabalho imediatamente, podemos presumir que a refrigeração não entraria em funcionamento ao mesmo tempo, então haveria um excesso de calor de 1 megawatt por 3 minutos enquanto os controles da instalação ativam as unidades de refrigeração, e isso não é bom. Um megawatt por 3 minutos pode ser prejudicial, e você poderia perder milhões de dólares em hardware. Então, em vez disso, o controle da instalação primeiro

7:02:20 ativa a refrigeração, ou aumenta a capacidade de refrigeração, em 2 megawatts, o equivalente à quantidade necessária para o novo trabalho. Depois que a capacidade de reserva estiver pronta, após 3 minutos, podemos iniciar o trabalho de 6 megawatts e evitar qualquer problema causado pelo acúmulo de calor excessivo no centro de dados. E também dá para notar, neste exemplo, que geralmente temos 1 megawatt a mais de capacidade de refrigeração do que a quantidade de calor. Isso

7:02:51 é apenas uma maneira de ter redundância no sistema de resfriamento. Vamos falar de algumas outras maneiras. A Johnson Controls, que publica informações sobre padrões de resfriamento para data centers, tem a seguinte diretriz. Há dois tipos diferentes de chillers aqui. Eu nem sei o que eles fazem, e você também não precisa saber. Só precisamos saber que, para o chiller de deslocamento positivo, eles recomendam uma proporção de 80% entre a carga térmica e a capacidade de resfriamento, o que significa que, se você tiver 8

7:03:22 megawatts de calor, deve ter 10 megawatts de capacidade de resfriamento. Já este chiller centrífugo de velocidade constante pode lidar com uma carga térmica de até 9 megawatts, com 10 megawatts de capacidade de resfriamento. E, sempre que houver uma carga sustentada acima do limite, você iniciaria o próximo estágio do sistema de resfriamento, de modo que esteja sempre arredondando para cima. Por exemplo, se você tivesse 9,5 megawatts de calor, não iria querer

7:03:53 ter apenas 10 megawatts de capacidade de resfriamento. Provavelmente escolheria 11 ou 12, dependendo do que a proporção indicar. De todo modo, podemos imaginar que, com base na especificação do chiller, você determinaria o nível real de redundância para a margem ou o buffer de resfriamento no seu data center. E quais critérios você consideraria no geral? Bem, primeiro, observe a demanda. Se você estiver usando modelos de machine learning, como o Google, eles provavelmente perceberão que, historicamente, às 14h, o volume de computação aumenta. Então, essa seria uma carga esperada.

7:04:23 Você poderia aumentar o resfriamento de antemão para evitar isso e não ter nenhum throttling nos seus jobs. A capacidade utilizável é simplesmente uma questão de quanto fluxo você tem, quantas unidades de resfriamento tem, como está o tempo e qual é o cenário de falha exigido. E, por fim, qual é o tempo de resposta? Há sempre essa questão do atraso de inicialização em comparação com a duração do buffer térmico. Ou seja, a duração do buffer térmico é esta área aqui, em que talvez o seu data center consiga suportar um pouco disso, mas, se for demais, você entra numa situação ruim. Então, é uma

7:04:56 troca entre operar no limite e ter um atraso de inicialização, o que, claro, consome mais eletricidade. Certo, este slide também é interessante porque fala de como a Intel armazenava água para que ela durasse mais do que as fontes de alimentação ininterrupta dos servidores. Ou seja, no caso em que ficamos sem água fria em Toronto porque o sistema falhou devido à inundação, a Intel tinha um sistema em um de seus data centers, em 2007 — na verdade, isso foi publicado em 2007 —, no qual

7:05:26 ainda era possível manter, ou melhor, fornecer, 12 minutos de resfriamento. Ou seja, o sistema foi projetado para cobrir cinco minutos de fonte de alimentação ininterrupta mais sete minutos caso houvesse um problema no próprio sistema de resfriamento. E, de fato, durante uma interrupção em 2006, ele conseguiu suportar 15 minutos de carga autônoma, com uma quantidade menor de equipamentos de TI. Mas, de qualquer forma, essa é uma maneira de ter, essencialmente, água fria como reserva caso o seu sistema de resfriamento falhe.

7:05:56 Certo, outra coisa interessante que o Google fez foi estabelecer uma parceria com as empresas de serviços públicos no Oregon para reduzir a demanda durante os períodos de maior movimento na rede elétrica. Basicamente, o que aconteceu foi que eles combinaram uma resposta à demanda programada para o dia seguinte com a empresa parceira de serviços públicos, a Northern Wasco County PUD. Eles programaram menos computação durante uma restrição prevista na rede elétrica. Assim, o Google continuaria atendendo às buscas, ao Maps, à reprodução de vídeos e a tudo que precisa ser atendido em tempo real,

7:06:27 mas, como vocês sabem, os vídeos do YouTube são processados de forma assíncrona. Então, provavelmente, eles poderiam fazer a tradução dos vídeos do YouTube e o processamento de vídeo em outro momento. Foi exatamente isso que fizeram. E, na verdade, esta não é a carga real, mas é uma representação de como seria, digamos, nos horários de maior demanda do dia — das 14h às 16h, ou provavelmente, para ser mais preciso, das 14h às 18h. De todo modo, geralmente é à noite

7:06:57 na verdade. O Google pausaria os jobs flexíveis durante o período de maior pressão na rede e depois os transferiria para mais tarde, quando houvesse menos pressão de outros consumidores, como residências ou outras pessoas que usam a rede elétrica. Então, acho que este é um exemplo muito interessante de adiar trabalhos que não são urgentes para a confiabilidade e a resiliência da rede elétrica. Certo, agora vamos falar da Cloudflare, que todo mundo sabe que é como a espinha dorsal da segurança na

7:07:28 internet. O que aconteceu com a Cloudflare foi que um único ponto de falha interrompeu o cluster de três locais da empresa em Portland, também no Oregon. Os serviços principais, incluindo o dashboard, a API e a análise de dados, ficaram fora do ar por bastante tempo. E por que isso aconteceu? Porque o local PDX04, que armazenava o banco de dados ClickHouse e o CFKA, saiu do ar, e os locais B e C, que continuavam

7:08:00 funcionando, deixaram de operar porque, ao que parece, ambos dependiam desse data center. A interrupção real tirou de operação toda a instalação PDX04, mas os locais B e C também ficaram inoperantes. Depois desse incidente, foi declarado um código laranja, e eles fizeram todo um trabalho de acompanhamento para garantir que isso não acontecesse de novo. Basicamente, expandiram a capacidade, adicionando mais servidores e redes. Também corrigiram o failover para remover dependências de serviço de um único local

7:08:30 e testaram a perda da instalação para encontrar e corrigir as lacunas restantes. Obviamente, olhando em retrospecto, você diria: “Ah, isso é tão simples. Por que eles não tinham o conjunto de dados ou o banco de dados nos outros locais?” Mas, dada a complexidade dos data centers, dá para imaginar que haja outras mil possibilidades de pontos únicos de falha. Então, talvez a Cloudflare já tivesse resolvido 999 delas, e esta fosse a última. Basta um único ponto de falha que cause danos colaterais para provocar uma grande

7:09:01 interrupção. Mas, de todo modo, eles fizeram algum tipo de teste para encontrar e corrigir as lacunas restantes. E tenho o prazer de informar — ou acho que foram eles que tiveram o prazer de informar — que, na falha de energia seguinte, as APIs e os dashboards voltaram a funcionar em sete minutos. Então, no ano seguinte, acho que isso foi em novembro de 2023. Sim. Em março de 2024, a mesma instalação ficou sem energia de novo. Quer dizer, acho que isso já é um sinal de que talvez essa instalação tenha algumas ineficiências ou inadequações na distribuição de energia. De todo modo, ficou sem energia

7:09:33 às 14h58 e, às 15h05, sete minutos depois, tudo estava funcionando de novo, sem que fosse necessária intervenção humana para recuperar a API e o dashboard. E, sim, a análise de dados voltou mais tarde naquele dia. Então, claramente, fizeram algo certo aqui: passaram de uma interrupção de várias horas ou vários dias — na verdade, não lembro quanto tempo durou — para uma interrupção de sete minutos. Agora, vamos falar de outro tipo de interrupção, que, no caso do Google, foi causada pelo calor. Isso aconteceu na Europe West 2A, que acredito que fica no Reino Unido.

7:10:03 A citação diz que um dos data centers que hospedam a zona Europe West 2A não conseguiu manter uma temperatura operacional segura devido à falha simultânea de vários sistemas de resfriamento redundantes, combinada com a temperatura externa extraordinariamente alta. Primeiro, o Google é uma empresa enorme e atende bilhões de pessoas, então já conta com vários sistemas de resfriamento redundantes. Mas, apesar disso, ainda houve essa

7:10:34 interrupção, provavelmente em parte devido às temperaturas externas extraordinariamente altas em julho de 2022. E o que fizeram em resposta foi bastante fascinante. O calor extremo fez os sistemas redundantes de resfriamento falharem, e então eles fizeram um desligamento preventivo. Ou seja, a Europe West 2A foi parcialmente desligada e algumas máquinas virtuais foram interrompidas, para que os outros serviços não sofressem danos colaterais devido à falha do restante do

7:11:05 sistema. Isso é uma espécie de manutenção preventiva nesse cenário muito ruim, para impedir que o problema se propagasse para o resto do sistema. E a cronologia real foi que a restauração do resfriamento começou mais 14 horas depois da recuperação do serviço. Vamos ver o que aconteceu. Foram 4 horas e 8 minutos para reparar o sistema de resfriamento. Depois, o resfriamento foi restaurado, mas ainda foram necessárias outras 14 horas e 15 minutos para recuperar o serviço, o que aconteceu no dia seguinte e envolveu, de fato, reiniciar os servidores.

7:11:35 restaurar as dependências e reconciliar o estado, apesar da sequência de reinicialização e da reconciliação do estado dos serviços continuarem logo depois que o resfriamento foi restabelecido. Então, eles levaram 14 horas, o que faz sentido, considerando a dimensão desses data centers e a quantidade de dados que processam. Mas o resumo desse cenário é que você pode desligar intencionalmente o sistema quando ele começar a apresentar problemas, para evitar que a situação fique pior do que já está. Certo, agora vamos falar da Meta e do Llama 3 em

7:12:08 particular. No pré-treinamento do Llama 3, que durou 54 dias, eles conseguiram avançar apesar das interrupções. Na verdade, durante o treinamento do Llama 3, houve 466 interrupções de treinamento, sendo 47 planejadas e 419 inesperadas. E todas essas interrupções foram recuperadas, o que significa que o tempo efetivo de treinamento foi superior a 90%, com apenas três incidentes exigindo intervenção manual significativa. E dá para imaginar que, quando você está treinando modelos cujo custo fica na faixa de dezenas a centenas de

7:12:39 milhões de dólares, uma interrupção, que reduz substancialmente o tempo efetivo de treinamento, custa milhões ou dezenas de milhões de dólares. Por isso, é extremamente importante ter um data center capaz de se recuperar de algum tipo de interrupção em todo o sistema ou de falta de sincronização. Para falar do esquema de redundância descrito pela Meta, primeiro, eles atualizam apenas um grupo de manutenção por vez. Eles os chamam de trens, e são grupos de clusters

7:13:11 nos quais colocam um cluster offline, formando intencionalmente esses grupos de modo que deixar um deles offline permita que toda a carga de trabalho continue. É assim que fazem a manutenção. Você pode consultar este artigo para ver especificamente quais são os tamanhos dos domínios. Gostei deste gráfico do artigo, que mostra que o custo de manutenção forma uma curva em U, ou uma curva em V: à medida que você aumenta o tamanho do domínio, há menos interrupções, porque não é necessário desligar todas as unidades individuais para fazer a manutenção delas. Mas então existe um ponto ideal, em que o tamanho específico do domínio é suficiente para você fazer a manutenção de uma grande quantidade de unidades com eficiência, enquanto as unidades restantes ainda são numerosas o bastante para manter a capacidade. Se continuar avançando para a direita, a perda de capacidade causada pelo domínio aumenta.

7:13:42 Dá para ver que a manutenção já é, por si só, um problema de otimização: quanto devemos desligar e quanto devemos manter online durante a manutenção dos nossos sistemas? Neste caso, a Meta tem uma resposta. Leia este artigo se quiser saber mais. Certo, este é o último slide do slide 14. É uma pergunta para testar seus conhecimentos. O que ele está perguntando? A fileira C pode receber mais 2,5 megawatts, dadas as restrições? Primeiro, em condições normais, a fileira C consome 2,09 megawatts de energia, usando resfriamento a água, e temos uma vazão mássica de 100 kg por

7:14:12 segundo, para obter uma temperatura de entrada de 33 °C e de saída de 35 °C, com uma temperatura máxima de retorno de 40 °C. E agora a pergunta é: se aumentarmos a carga de trabalho em 2,5 megawatts e presumirmos que temos folga elétrica suficiente, em termos da amperagem nos barramentos, além de folga no resfriamento, em termos do aumento de pressão que precisamos alcançar, ainda conseguimos manter

7:14:44 essa temperatura máxima de retorno abaixo de 40 °C? Se quiser usar a equação fundamental de transferência de calor para verificar se conseguimos responder a isso, fique à vontade. A capacidade térmica específica da água já é conhecida, então podemos substituí-la aqui. A vazão mássica também é constante, então não precisamos alterá-la. Na verdade, a única coisa que muda é o delta T. Basta adicionar 2,5 megawatts a este lado da equação e ver o resultado. E

7:15:14 na verdade, a maneira como resolvemos isso aqui é simplesmente dizer: certo, já estamos a 35 °C. Se quisermos chegar a 40 °C, quanta energia precisamos transferir? O resultado é 2,09 megawatts. Então, aqui, você poderia chegar a 4,18 megawatts de computação, que então se converteriam em calor, mas não pode chegar a 4,59 megawatts no lado direito. Há duas maneiras de resolver isso. Ou

7:15:46 você pode calcular 40 menos 35 ou, equivalentemente, fazer o que eu faria: dizer que queremos calcular Q. Na verdade, sabemos que Q deve ser 2,5 megawatts; então vamos dividir esse valor pela capacidade térmica específica da água e, depois, pela vazão mássica, que é 100. É claro que as unidades aqui estarão erradas, mas podemos ver que teríamos um aumento de temperatura de 5,9 °C, se corrigirmos a casa decimal. E a que temperatura isso nos levaria? A 40,9 °C. Então fica

7:16:17 acima do nosso limite. E a última coisa é que você poderia aumentar a vazão mássica. Se, em vez disso, substituir 100 nesta equação, obterá aproximadamente 2,5. Portanto, esse é outro parâmetro que podemos ajustar: a carga adicional precisa de uma vazão total de aproximadamente 100 kg/s, se também quisermos modificar isso para suportar mais 2,5 megawatts. Certo. Tudo bem. Então, capítulo 15: economia da nuvem de GPUs. E o Grim

7:16:48 Reaper, o Ceifador, voltou. Na verdade, agora o Ceifador está atrás dos jogos de PC como hobby, em vez de CPUs, como da última vez. E, infelizmente, já levou a VRAM de consumo, a disponibilidade de modelos intermediários e os preços sugeridos baixos. Mas vamos dizer que azar dos consumidores, porque precisamos ganhar dinheiro com os data centers. E vamos falar da economia da nuvem de GPUs. Se falarmos da CoreWeave, que é uma das maiores empresas de hyperscale, 98% da receita dela veio de contratos de longo prazo em 2025.

7:17:19 Então, a verdadeira pergunta é: o que é vendido? Quem assume o risco e como o cluster é financiado? É nisso que queremos entrar quando falamos do modelo de lucro de um data center. De um lado, você pode vender computação por meio da API do modelo, vendendo tokens — a economia dos tokens. Do outro, você tem horas de GPU e compromissos com clusters, provavelmente vendendo para alguém que revende a outra pessoa por meio da API do modelo. Assim, há clientes

7:17:49 que executam treinamento ou inference, enquanto, do lado direito, o provedor opera o serviço do modelo e o usuário final simplesmente compra tokens. Esses são os dois exemplos diferentes. Você pode pensar no lado esquerdo como executar a inference por conta própria: você tem seu modelo e sua aplicação e precisa cuidar da disponibilização, da escalabilidade e das atualizações, mas ainda usa a infraestrutura central de GPUs. É o caso em que você compra capacidade de nuvem de GPUs da CoreWeave. Há outra opção, em que a CoreWeave executa a inference para você. O modelo e a aplicação continuam sendo seus, mas a CoreWeave cuida da

7:18:21 disponibilização, da escalabilidade e das atualizações. Então, o denominador comum é a infraestrutura central de GPUs da CoreWeave, mas a forma de operá-la muda: à direita, a CoreWeave cuida disso; à esquerda, você cuida. Então, o que queremos dizer quando falamos que há duas maneiras de fazer a mesma coisa? Vamos ver. A Anthropic, por exemplo, é cliente da CoreWeave e usa a capacidade de computação da CoreWeave, mas faz o gerenciamento por conta própria para executar suas

7:18:53 próprias cargas de trabalho. Esse seria o lado esquerdo, em que eles cuidam da disponibilização, da escalabilidade e das atualizações. Outro exemplo é a Cursor, cliente da Fireworks, ou pelo menos era até a aquisição pela xAI. Não tenho certeza se ainda é. Eles têm um contrato de inference gerenciada com a Fireworks, que é uma provedora de computação para inference. O que acontece é que eles têm o modelo Fast Apply, que funciona como o modelo de autocorreção da tecla Tab, e a Fireworks o executa e faz o deploy para a Cursor. Então, claro, em

7:19:24 as próprias cargas de trabalho. Esse seria o lado esquerdo, em que eles executam o serving, o escalonamento e as atualizações. Outro exemplo é o Cursor, que é cliente da Fireworks — ou pelo menos era, até a aquisição pela xAI. Não sei se ainda é. Eles têm um acordo de inference gerenciada com a Fireworks, que é uma provedora de computação para inference. O que acontece é que eles têm o modelo Fast Apply, que é como o modelo de correção automática e sugestões por tabulação deles, e a Fireworks o executa e faz o deploy para o Cursor em nome deles. Então, é claro, em

7:19:55 No paradigma de inference gerenciada, você se preocupa menos com escalabilidade e com atender a aumentos enormes no tráfego. Esse é mais um problema para a fireworks resolver. Já no caso da anthropic, você tem muito mais flexibilidade para executar suas workloads. Além disso, não precisa se preocupar com a CoreWeave vendo os pesos do seu modelo nem fazer alguma criptografia sofisticada para garantir que eles não vejam no que você está trabalhando em termos da arquitetura em si. Então, essas são as duas maneiras de vender capacidade de GPU na nuvem: ou

7:20:26 a capacidade bruta, às vezes chamada de bare metal, ou a inference gerenciada, que não é bare metal. Certo. Quando se trata de alugar capacidade computacional, esse mercado está ficando cada vez mais interessante, dado o volume, e muita gente o compara aos mercados financeiros tradicionais. Há três categorias relevantes para discutir aqui. Primeiro, há a modalidade sob demanda, que basicamente consiste em pagar pela capacidade usada, sem um contrato de vários anos. Ou seja, não há

7:20:56 contrato. Você pode pensar nisso como o plano empresarial do Claude Code ou o plano empresarial do Codex, que é personalizado: você paga pelos tokens que usa. Assim, quanto mais usa, mais paga, mas, no fim do mês, pode encerrar o serviço. Isso é a modalidade sob demanda. Vale notar que a modalidade sob demanda é quase confiável, mas ainda não é garantida. Se você quer capacidade garantida, precisa assinar um contrato, mas ela ainda é muito mais confiável do que spot. O que é spot? Então,

7:21:27 spot, como o nome sugere, é alugar capacidade excedente pelo preço vigente, determinado pelas dinâmicas do mercado e sujeito a mudanças. Além disso, o provedor pode retomar a capacidade computacional sem aviso. Ou seja, não há garantia de que você terá essa instância pelo tempo que estiver disposto a pagar. Em vez disso, ela pode ser retirada de você para se adaptar a outro compromisso de capacidade, que seja mais firme. Por exemplo,

7:21:58 para dar acesso à capacidade computacional a um cliente que tem um contrato. Quanto ao spot, o que você deve fazer é executar apenas workloads com redundância. O que quero dizer é que, se estiver treinando um modelo em uma instância spot, é melhor salvar checkpoints — isto é, salvar os pesos do modelo periodicamente — para que, se a instância for retomada, você não precise reiniciar o treinamento do zero. Em vez disso, poderá retomar do checkpoint mais recente quando conseguir uma instância spot de novo. Certo, é assim que

7:22:28 spot funciona. E normalmente é a opção mais cara de todas. Desculpe, normalmente é mais barata do que a modalidade sob demanda. A modalidade sob demanda é mais cara porque é menos garantida. Já em relação à capacidade comprometida, ela pode custar mais ou menos do que spot, dependendo do compromisso. Capacidade comprometida é simplesmente uma reserva. É um prazo definido em que você paga para ter acesso a essa capacidade computacional por, por exemplo, um ano, e isso é um contrato. Ou seja, é um compromisso. E é basicamente isso. O contrato define um preço por GPU por hora, e você paga esse valor ao longo do prazo do

7:22:59 contrato. Certo. Quando se trata de um acordo contratual de capacidade computacional, um contrato mais longo troca oportunidades de reajustar preços por receita garantida. Isso do ponto de vista de quem faz o contrato, ou seja, de quem está vendendo esse contrato. Se essa pessoa assina um acordo de um ano, isso significa que, depois, no segundo ano, pode renová-lo ou vender para um novo cliente. E, se a capacidade computacional estiver ainda mais escassa, esse é o acordo mais atraente, porque você pode assinar um contrato de um ano

7:23:29 — normalmente mais caro do que um contrato de cinco anos — e depois renová-lo. Mas o risco é que, se a capacidade computacional valer menos agora do que valia quando você assinou o contrato, você ficará com uma taxa pior, como acontece com qualquer outro contrato ou ao fechar um financiamento imobiliário com taxa fixa. A mesma coisa se aplica aos acordos de três e cinco anos. Esses são os principais tipos de acordo que você verá em relação à capacidade computacional. E é bastante interessante, porque muitos dos acordos de cinco anos assinados atualmente são verdadeiras pechinchas

7:23:59 porque, como você sabe, o ambiente de capacidade computacional está extremamente limitado no momento. Isso significa que, se você assinou um acordo de cinco anos no ano passado, está pagando bem menos do que o preço de mercado e ainda terá esse poder de precificação por mais quatro anos. Então, se uma hyperscaler ou mesmo um Frontier Lab tiver um desses contratos, vai lucrar bastante com ele pelos próximos três ou quatro anos. Mas, quando tiver que assinar de novo, vai pagar um bom adicional em relação ao preço do contrato anterior. Vamos ver

7:24:31 os preços do H100 ao longo do último ano. Mais especificamente, estamos vendo o histórico público de preços da SemiAnalysis para a faixa entre os percentis 25 e 75 dos contratos de um ano do H100, com base em US$ 1 por GPU-hora, com a ressalva — ou condição — de que, normalmente, esses contratos exigem o pagamento antecipado de um trimestre e o restante é pago ao longo do tempo. Em outubro de 2025, a faixa ia de US$ 1,45 a

7:25:01 US$ 1,95, com o quartil de 50% no meio. Depois, passou para US$ 1,50 a US$ 2 e, em abril, quando estava acontecendo o frenesi dos coding agents, chegou a US$ 2,10 a US$ 2,70. Um ativo computacional que deveria se depreciar, na verdade, dobrou de valor contratual em cerca de sete meses, de outubro a abril. É realmente impressionante de ver. Certo. E agora, quanto à

7:25:31 taxa de aluguel cobrada dos clientes, se você for uma neocloud ou uma hyperscaler, vamos analisar um exemplo de um acordo de um ano para 1.024 GPUs em toda a frota. Supondo que você consiga um preço melhor alugando menos capacidade para um grupo de aluguel sem compromisso firme, mas com a ressalva de que só pode garantir que 50% será alugado, seria melhor cobrar US$ 2,50 por GPU-hora, o que

7:26:02 é bem barato, mas garantido, porque todas as horas são pagas, em vez de cobrar US$ 4 por hora e ter apenas 50% da capacidade alugada. Nesse caso, estamos falando de US$ 22,43 milhões contra US$ 17,94 milhões de ARR, ou receita recorrente anual, com esses preços para 1.024 GPUs. Mas podemos calcular o ponto de equilíbrio da receita, que é simplesmente dividir 2,5 por 4. E o resultado é que, com 62,5% das horas alugadas, você ganha tanto quanto com o compromisso da frota inteira, cobrando US$ 4. E ainda fica com o quê? 37,5% da frota.

7:26:34 E, se você conseguir alugar 80% da capacidade, mesmo sendo um grupo de aluguel sem compromisso firme, poderá ganhar ainda mais. Poderá ganhar, tipo, 6,3. Quanto dá isso? Você poderá ganhar US$ 6,27 milhões a mais do que ganharia com o compromisso da frota inteira a US$ 2,50 por GPU-hora, se tiver um grupo de aluguel sem compromisso firme com 80% da capacidade alugada ao longo daquele ano, a US$ 4 por GPU

7:27:06 por hora. Claro que esse preço flutuaria ao longo do tempo. Estamos supondo que esse seja o preço médio que você conseguiria ao longo do ano inteiro. E é uma troca realmente interessante entre dinheiro garantido e uma aposta mais arriscada. No fim das contas, é mais ou menos como a diferença entre um financiamento imobiliário com taxa variável e um com taxa fixa. Certo. Mas vale notar que, se você escolher essa opção, isso é chamado de receita garantida, porque há um contrato, certo? E a vantagem da receita garantida é que ela pode ajudar a financiar GPUs. Funciona assim:

7:27:37 certo, eu sou a empresa de nuvem de GPUs. Compro hardware e ofereço um serviço, e meu cliente assina um contrato para pagar o custo total desse hardware ao longo, por exemplo, do próximo ano. Para um credor, é muito mais atraente financiar esse hardware se eu tiver um contrato garantido, que funciona como garantia do serviço da dívida para o credor, a fim de respaldar ou garantir que o capital emprestado será pago por meio desse contrato com o cliente.

7:28:08 Então, dá para ver que a classe de ativo aqui é interessante porque é uma GPU, e ela está sendo usada como uma forma de capital de garantia. E o contrato de capacidade funciona como uma maneira de ajudar a convencer esses credores a financiar as GPUs. Certo. Tudo bem, agora vamos falar da Nvidia. Este é um gráfico muito interessante que muitos talvez já tenham visto. É o gráfico circular de como a Nvidia e a OpenAI aparentemente impulsionaram a máquina de dinheiro da IA. Ele é da Bloomberg

7:28:39 News, e vou usá-lo como uma espécie de introdução ao que a Nvidia está fazendo nesse cenário, já que ela é a grande potência. Vamos falar de um exemplo: o acordo que fizeram com a CoreWeave. O que fizeram? Fecharam um acordo para comprar a capacidade não vendida da CoreWeave, com valor contratual de US$ 6,3 bilhões. Então, o que isso significa? Significa que a Nvidia vendeu várias GPUs para a CoreWeave e garantiu que, se você

7:29:09 não conseguir alugar essas GPUs, nós pagaremos US$ 2 por hora pelas GPUs que você não conseguir alugar. Estou dando apenas um exemplo. Não sei quais eram, de fato, os termos acordados para a Nvidia comprar o restante não vendido. De todo modo, eles chegaram a um preço, e o que você deve saber é que esse preço fica abaixo da taxa de mercado. Isso significa que a CoreWeave tem incentivo para encontrar clientes que aluguem a capacidade, porque, na verdade, o preço acordado com a Nvidia é apenas

7:29:40 o suficiente para empatar ou talvez fique até um pouco abaixo do ponto de equilíbrio. Não tenho certeza absoluta. Então, isso garante um compromisso de capacidade até abril de 2032, que a CoreWeave pode apresentar aos credores e dizer: “Olhem, esse cluster de US$ 6,3 bilhões que eu tenho já está comprometido até daqui a seis anos. Então, vocês deveriam me conceder um empréstimo para eu comprar isso e montar esse cluster de GPUs.” E é mais ou menos assim que funciona:

7:30:10 a Nvidia confia que haverá demanda suficiente por computação para que a CoreWeave nunca precise vender essa capacidade de volta à Nvidia, o que provavelmente não seria bom para a Nvidia. E a CoreWeave pode usar esse financiamento, esse mecanismo de proteção, como é chamado, para obter financiamento de outros credores. Se analisarmos isso como uma linha do tempo, o que acontece é que um mecanismo de proteção de seis anos dá suporte a aluguéis mais curtos para clientes. Isso significa que, em vez de a CoreWeave ser

7:30:42 obrigada a assinar um contrato de cinco anos, o que provavelmente não seria do interesse dela por causa do travamento de preços que isso exigiria, ela pode, por exemplo, fechar três contratos de dois anos. E, em cada ocasião, ter a garantia de que, se houver algum intervalo em que não tiver ninguém para alugar sua capacidade computacional, ainda poderá aproveitar esse compromisso de capacidade de seis anos da Nvidia. Mas, na realidade, o que ela quer fazer é renovar o contrato ou substituí-lo por outro ainda mais lucrativo

7:31:13 dependendo das condições de mercado. Em resumo, essa receita contratada de reserva é o que permite que ela busque financiamento para o cluster. Pela perspectiva da Nvidia, ela recebe uma parte do ganho adicional e assume algum risco. Então, como isso funciona para a Nvidia? Quando o cliente aluga a GPU da CoreWeave, não é só a CoreWeave que fica com todo o dinheiro. Na verdade, ela recebe uma parte da receita, mas a Nvidia recebe uma parcela acordada do valor que exceder certa margem. É daí que vem o incentivo da Nvidia.

7:31:45 É daí que vem o incentivo para a Nvidia. Mas, mais uma vez, se a capacidade não for vendida, a Nvidia compra essa capacidade e talvez consiga ou não usá-la ou revendê-la. É meio difícil pensar nisso no mercado atual, quando você diz: “Nossa, se eu tivesse capacidade sobrando, poderia fazer tanta coisa com ela.” Mas ainda existe esse risco, certo? Há uma possibilidade remota de que talvez haja simplesmente muita capacidade computacional sobrando. Na verdade, nem é tão remota. Talvez seja uma possibilidade bem real que, no futuro, haja muita capacidade computacional excedente no mercado e, portanto,

7:32:17 isso acaba sendo um risco para a Nvidia. E, de fato, em julho de 2026, os compromissos da Nvidia com nuvens de IA na forma de garantias de compra somavam US$ 36 bilhões, segundo a SemiAnalysis. É muito dinheiro, mas a Nvidia também vale algo como US$ 5 trilhões e tem um balanço patrimonial enorme. Então, em comparação com empresas como a Oracle, isso é relativamente conservador. De todo modo, existe esse tipo de financiamento circular com garantias de compra, que algumas pessoas criticam e do qual a Nvidia também participa. Este é um exemplo específico de um acordo que ela fez com a CoreWeave.

7:32:47 Certo, estamos falando das neoclouds e de como elas calculam a venda da capacidade computacional por determinado custo por hora. E não podemos esquecer que a eletricidade também é um custo que elas precisam pagar por GPU-hora. Então, qual é o exemplo aqui? Digamos que, ao longo de 100 horas, você consiga alugar sua GPU em 80% do tempo. Ou seja, ela foi alugada por 80 das 100 horas e funcionou a 1 kW. Isso corresponde a 80 quilowatts-hora de energia que

7:33:18 você teve que pagar. Nas outras 20 horas, ela não foi alugada. Mas, felizmente, você pode deixar as GPUs ociosas quando nenhum cliente as aluga. Assim, o consumo de energia é muito menor. O que podemos ler neste gráfico é que, para 80 horas faturadas, a neocloud hipotética teve que pagar por 84 quilowatts-hora de energia. Então, o custo aqui é de 1,05 kWh por GPU-hora faturada. Se considerarmos o seguinte preço, de US$ 80 por megawatt-hora, isso

7:33:50 significaria um custo de US$ 0,084 por GPU-hora faturada. Mas, se dobrarmos o preço, chegamos a 16 centavos, ou 16,8 centavos por hora de uso de GPU faturada. Esses valores são, obviamente, muito menores do que os preços de aluguel que vemos. Os preços de aluguel são em dólares, enquanto esses valores são em centavos. Claro, não devemos ser ingênuos e pensar que a eletricidade é o único custo para operar uma GPU. A própria GPU é

7:34:21 o maior custo. Essas GPUs custam muito caro por causa das margens de lucro de 75% da Nvidia. Esse é apenas um dos custos. Pelo que vi, as neoclouds têm tido margens de lucro positivas até agora. Mas vale a pena lembrar que, se considerarmos esse futuro em que pode haver excesso de oferta de capacidade computacional, esse cálculo se tornaria muito importante para essas novas nuvens, na hora de determinar se serão lucrativas ou não. E, quando se trata de quem paga quando os preços da eletricidade sobem, então,

7:34:54 este gráfico aqui mostra que há duas maneiras de fazer isso. Primeiro, você pode ter um preço fixo que inclui tudo, em que o provedor absorve tanto os aumentos quanto as quedas. Ou seja, digamos que eu seja a CoreWeave e esteja vendendo capacidade computacional para a Anthropic. Se o preço da eletricidade cair drasticamente, ou se eu encontrar uma fonte de energia mais confiável e renovável, que seja mais barata, então minha margem de lucro aumenta. Por outro lado, se houver uma guerra e os preços do petróleo

7:35:24 dispararem, então eu terei que absorver o aumento do preço. Essa é uma maneira de fazer isso. Na prática, o risco fica oculto e recai sobre o provedor. A segunda maneira de estruturar esse contrato é determinar que o custo da eletricidade será repassado ao cliente. Ou seja, o cliente paga o aumento, ou então há algum ajuste acordado, de modo que, quando a eletricidade fica mais cara, o custo por GPU-hora faturada aumenta em certa proporção. Essas são apenas duas maneiras de estruturar o preço da eletricidade. E, quando falamos da própria Abene,

7:35:57 Usina, como talvez você já tenha ouvido falar, da Crusoe, da Oracle e da OpenAI. Quanto a como isso é financiado, quem constrói e opera Abilene: bem, a estrutura é a seguinte: a Crusoe constrói a instalação, e a Oracle é a provedora de nuvem em hiperescala que a opera com a Oracle Cloud Infrastructure. Acredito que OCI seja a sigla disso. E então a OpenAI executa as cargas de trabalho de IA nessa instalação. Então, é meio engraçado como existe esse acordo entre três partes. Faria sentido a Crusoe simplesmente vender diretamente para a OpenAI, mas isso…

7:36:30 …faria sentido, mas, dada a forma como esses acordos são estruturados e a estratégia interessante da Oracle de assumir essa enorme obrigação de capacidade computacional com a OpenAI, essa é exatamente a operação que está acontecendo em Abilene. E uma pergunta que tem surgido muito no setor de data centers é sobre as pessoas que falam que metade da capacidade de data centers dos EUA foi cancelada, ou que metade dessa capacidade foi adiada. Então, antes…

7:37:02 …de avançarmos para o 16º e último capítulo, vamos analisar o estudo de caso de Abilene e o que está acontecendo de fato. Isso faz referência a um artigo da SemiAnalysis, de junho deste ano, no qual eles analisam as estatísticas sobre qual porcentagem dos data centers está sendo adiada. Então, leia o artigo se tiver interesse. Mas, resumindo o caso específico de Abilene, vamos falar do plano em comparação com o que foi informado sobre a entrega. Nesta coluna, falamos da meta anunciada; na coluna da direita, falamos do…

7:37:33 …relato posterior, o que é interessante porque esses números foram anunciados em 2025 e agora, depois de um ano, podemos ver o que realmente foi realizado. Foi anunciado que os dois primeiros edifícios seriam energizados no primeiro semestre de 2025, e eles foram energizados dentro de um ano a partir de junho de 2024. Então, a data exata foi em algum momento de setembro de 2025. Ou seja, não foi no primeiro semestre de 2025, mas ainda foi em 2025. Esses são os dois primeiros edifícios. Já no caso dos outros seis, a construção…

7:38:04 …tinha previsão de ser concluída em meados de 2026. E, em setembro, apenas 75% da capacidade total do campus havia sido entregue; o restante deveria chegar nos trimestres seguintes. Então, nesse caso, eles não atingiram a meta, pois projetaram que a construção estaria concluída em meados de 2026. Acho que tecnicamente ainda estamos em meados de 2026. Não sei como isso é definido, mas agora a meta seria simplesmente colocá-lo em operação antes do fim do ano. Pronto. Fizemos juntos uma breve visão geral da economia da computação em nuvem com GPUs. E agora…

7:38:35 …vamos para o capítulo final, que é montar uma fábrica de IA. Então, como montamos uma fábrica de IA, como ela é chamada agora? Bem, como diz o título, começamos pelo hardware e depois dimensionamos a instalação, porque o hardware é o que manda. O que fazemos é partir da demanda dos processadores e calcular para trás, considerando as perdas de conversão, as outras cargas do rack e as cargas da instalação. Se vocês se lembram do exemplo anterior, tínhamos um processador de 72 kW que exigia essa quantidade de energia nos trilhos. Depois, tivemos que adicionar 12 kW de outras cargas do rack e, por fim…

7:39:07 …chegamos a 90,26 kW de potência necessária no barramento de corrente contínua e 93,05 kW no barramento de corrente alternada, devido às outras eficiências de conversão. Esses são apenas exemplos. Não é exatamente o que está acontecendo, por exemplo, no data center de Abilene. Mas aquele exercício que fizemos analisou apenas um rack específico e foi somente até a transmissão em corrente alternada para o barramento. Já se você estiver desenvolvendo um data center inteiro, precisa considerar a distribuição nos racks, o sistema de backup e também a…

7:39:38 …distribuição de média tensão. Para o resfriamento, você precisa determinar quais serão as placas frias e os requisitos de resfriamento do calor restante no ar. Vai usar um trocador de calor na porta traseira? Vai usar uma unidade de tratamento de ar para sala de computadores, uma CRAH? Com data centers, há muitas possibilidades. É como uma enorme combinação de opções. E também, como você vai conectar a malha de GPUs para que elas possam se comunicar? Como mencionamos naquele exemplo anterior, você não quer um data center otimizado para inference executando cargas de trabalho de…

7:40:08 …pré-treinamento, porque as cargas de trabalho de pré-treinamento exigem muita comunicação entre racks e entre clusters, ao contrário de inference, que normalmente é escalada dentro de um único domínio de scale-up. Então, no rack NVL72, você já pode executar uma quantidade considerável de inference e atender muitos clientes com alta interatividade. De qualquer forma, podemos pensar no cálculo de uma fábrica de IA como algo que leva em conta energia, calor e dados. E, ao planejar o data…

7:40:39 …center, também é preciso considerar como levar energia aos chips o mais rápido possível. Uma coisa que discutimos no capítulo anterior foi o papel da usina a gás de Abilene antes e depois da expansão da rede elétrica. No início, o papel da usina a gás era fornecer energia de transição, e acho que ainda é esse o caso. Não tenho certeza do status. Talvez ela já tenha passado a ser usada como backup de longo prazo. De qualquer forma, no começo eram 350 megawatts de geração a gás no local, como esse tipo de fornecimento de transição, e depois, no longo prazo, o plano é que ela se torne…

7:41:11 …a usina a gás de reserva, e que a rede elétrica — o Conselho de Confiabilidade Elétrica do Texas — assuma essa função. É essa rede que fornece energia no Texas, então agora ela fica responsável por alimentar as salas de dados e o sistema de resfriamento. Dá para ver que esse é um dos principais métodos que usaremos para ampliar a capacidade de energia no futuro próximo, porque é muito difícil se conectar à rede, com essas enormes filas de interconexão. Em muitos estados, em particular…

7:41:42 …no Texas, o tempo de espera para obter acesso à rede nesses data centers será de muitos e muitos anos na maioria dos casos. Então, o melhor incentivo aqui é instalar geração a gás no local o quanto antes. E, depois que você tiver geração a gás no local, ou qualquer outra fonte de energia para o data center, precisamos perguntar: no caso de Abilene, como o campus rejeitaria esse calor? Aqui estão três opções diferentes. Qual escolheram? Bem, em Abilene, instalaram chillers resfriados a ar, que usam refrigeração sem rejeição de calor por evaporação. Porque, no Texas, considerando que grande parte do estado é…

7:42:14 …desértica, a água é um recurso escasso. Então, usar um chiller resfriado a ar é uma boa opção para evitar a escassez de água. E, de fato, é interessante ver o que a Crusoe disse sobre o uso de água. Eles disseram que aceitar o custo extra por uma gestão responsável da água foi um dos motivos pelos quais escolheram essa tecnologia, os chillers resfriados a ar, em vez de, por exemplo, um chiller resfriado a água. Mas sabe o que eu acho? Acho que escolheram chillers resfriados a ar porque, se usassem um chiller resfriado a água, perceberam que…

7:42:44 …enfrentariam uma enorme reação negativa do público. Além disso, talvez fosse até mais viável economicamente usar esses chillers resfriados a ar, que consomem muito mais eletricidade. Por que acho isso? Porque, se considerarmos um futuro com muitos e muitos data centers, se todos competirem por água, ela se tornará um recurso escasso. Já a energia, embora seja relativamente finita, se você for inteligente o bastante e…

7:43:14 …relativamente ambicioso, pode ser obtida de muitas e muitas maneiras. Por exemplo, do ponto de vista da Terra, o Sol é uma fonte de energia quase infinita. Dito isso, provavelmente é melhor se prevenir contando apenas com o pagamento da eletricidade, em vez de precisar de água e eletricidade para resfriar suas GPUs no futuro. Então, acho que este é, na verdade, um exemplo de greenwashing. Digam nos comentários se vocês têm outra opinião. De qualquer forma, gostei muito deste comentário em particular quando li o relatório da Crusoe sobre o data center, porque acho que ele é apenas uma…

7:43:45 …meia-verdade. Certo. O que mais fizeram em Abilene para colocar a capacidade computacional em operação rapidamente? Bem, enquanto o campus estava sendo construído no local, a Crusoe fabricava equipamentos elétricos em suas fábricas. Na verdade, a linha de montagem fica em Tulsa, Oklahoma. E eles acabaram de inaugurar um novo galpão de montagem neste mês. Aliás, o relatório sobre essa segunda instalação de fabricação em Tulsa só foi publicado há alguns dias, em 14 de setembro. Isso pode ter…

7:44:16 já faz bastante tempo, dependendo de quando você estiver assistindo a isto. De qualquer forma, a fábrica já produziu mais de 200 quadros elétricos, fornecidos diretamente a Abilene para acelerar a construção e eliminar a dependência da cadeia de suprimentos de outras empresas, pelas quais Abilene teria de esperar. E aqui vocês podem ver, acho que é uma renderização do chão de fábrica que acabou de ser inaugurado em Tulsa, Oklahoma, pela Crusoe. Quero muito destacar isto: vocês estão vendo muitas dessas empresas de data centers de IA se verticalizarem em grande medida. Antes,

7:44:48 uma empresa de data centers era mais uma coordenadora, dizendo: “Certo, vou obter isto da Siemens. Vou obter aquilo da ABB. Vou obter aquilo da Schneider Electric.” Agora, elas estão tentando se verticalizar e controlar toda a pilha para poder controlar os prazos de entrega, ou seja, o tempo que precisam esperar para receber os equipamentos. Certo. E, quanto à hierarquia do acordo, mais uma vez, quando falamos de Crusoe, Oracle e OpenAI, a hierarquia é a seguinte: a Crusoe constrói e opera o campus.

7:45:18 A Oracle fornece a capacidade computacional de GPU para a infraestrutura de nuvem, e a OpenAI treina e executa os modelos para suas cargas de trabalho de IA. Também devemos lembrar que não é só a Crusoe que está financiando isso. Ela tem outros parceiros, como Blue Owl Funds e Primary Digital Infrastructure, que estão essencialmente financiando o data center em nome da Crusoe — ou melhor, ao lado dela —, de modo que a Crusoe reduz sua própria responsabilidade. Depois, esse aluguel de longo prazo sustenta os retornos de todas essas empresas, mas tudo isso depende de que

7:45:51 a fatura da OpenAI continue sendo paga. Se considerarmos um cenário futuro em que haja um excedente muito maior de capacidade computacional, toda essa estrutura talvez não seja viável ou econômica. Certo. Quanto ao preço premium pago para obter capacidade computacional rapidamente, isso aconteceu no caso de Abilene: ela começou a executar suas primeiras cargas de trabalho enquanto o campus continuava a crescer. Assim, a primeira fase, concluída em 2025, conseguiu dar suporte a

7:46:23 cargas de trabalho da OpenAI assim que foi concluída. Estamos falando de setembro de 2025, um ano atrás. Isso significou que a energia, o resfriamento e a rede já estavam em condições operacionais enquanto os próximos salões ainda estavam sendo construídos. Nesse meio-tempo, precisamos conectar essas interfaces, porque, eventualmente, a OpenAI provavelmente vai querer alguma comunicação entre data centers para suas grandes execuções de pré-treinamento. Também precisamos manter a fase já em operação funcionando enquanto o próximo salão é construído e enquanto a energia, o resfriamento e a rede ainda não estão

7:46:54 ativos. Isso exige muita coordenação e planejamento cuidadoso, incluindo planos de contingência, como mencionei, para garantir que não haja contratempos pelo caminho. Certo, neste curso, começamos pelo rack. Determinamos a carga de trabalho a partir da própria computação, isto é, quanta energia, resfriamento e rede são necessários. Em um salão, essas necessidades se traduzem em sistemas de distribuição e resfriamento que atendem a fileiras de máquinas. E, em todo o campus,

7:47:25 são necessárias subestações, sistemas de resfriamento externos, geração de energia, terreno e financiamento. Curiosamente, uma escolha de hardware se transforma em um projeto de instalação. É por isso que, pessoalmente, acho os data centers tão fascinantes: dependendo do chip que você escolhe colocar neste pequeno rack, que depois vai nesta bandeja, que por sua vez vai neste salão de data center, o projeto final pode ser completamente diferente. Esse foi o curso “De watts a tokens”. Começamos com a eletricidade no limite do local, e vocês

7:47:56 agora podem acompanhá-la até a computação e seguir o calor de volta para fora. Esse é o sistema físico por trás de cada token. Muito obrigado por assistir.

Transcrição original

[00:00] This course takes you deep inside the physical infrastructure powering the artificial intelligence revolution. You will learn about the massive power distribution networks, advanced computing racks, and complex cooling systems that make modern AI data centers possible. The course traces the journey of electricity from the grid all the way down to the GPU. Across 16 detailed chapters, Kian will break down the

[00:30] complete anatomy of an AI factory, showing you exactly what it takes to turn raw megawatts into the tokens generated by today’s leading AI models. Hello and welcome to this free code course. My name is Kian and today I have the pleasure to present to you the course from watts to tokens which answers the following question. What does it actually take to make an AI data center work? And to answer this, we’re going to follow electricity from the grid to the GPUs, see how those GPUs

[01:03] communicate, and then follow the heat back outside the data center. Here’s what you’ll understand after following this course. You’ll be able to follow the power, cooling, and data paths. Explain the major equipment required in making a data center work and understand why adding more GPUs or electrical capacity does not automatically yield more usable compute through many intuitive case studies. The broad journey in this course is we’ll go from electricity and racks to networking and

[01:35] cooling. then follow it up with construction, operations, and economics and finish by tying this all together with how a real data center was put together. Specifically, Abalene, the Stargate site currently be bu being built for OpenAI in Texas. The reason I made this course is because data centers is what I believe will power the economy the most in the near future in terms of just year-over-year growth. And

[02:05] furthermore, it’s such an impressive and interesting industry due to all of the constraints which make it such that there is so much innovation occurring. Why is this the case? Well, when for example, there are just bottlenecks on getting power to your site, you come up with a lot of ingenious ways to find alternative power sources. And for this reason, it’s just incredibly interesting to dive deep into, which is what this course does precisely. What are the prerequisites of this course? Well, I assume basic arithmetic percentages and

[02:38] simple graph reading capabilities. And then beyond that, I have a primer which is the first chapter in the course which establishes shared vocabulary across the three components electricity, computing and cooling. So if the fundamentals of electrical engineering and computing overall are already familiar with you, you can jump to chapter 2. Otherwise, start with the primer. The slides, written explanations, and glossery are all linked below at the course homepage.

[03:08] So, if there’s ever a term you don’t understand, there’s a very high probability it’s in the glossery. Or just simply ask your agent. I think that’s the highest agency thing you can do is get your agent to explain a concept that you don’t understand. That’s how I taught myself many of the concept which I’ll be teaching you today. The last thing to note is that as I am not a data center expert yet, there may be minor errors here and there in the course. If you are a data center expert watching this, I apologize. Please correct me in the comments section so that I can learn. And then I

[03:40] have many people to thank for this video in terms of progressing and helping me to learn more about data centers. But Semi analysis is probably the one that I should thank the most because their content as well as the podcasts which are recorded have helped me and given me the passion and interest to dive deep into this topic. Without further ado, let’s jump into the primer. Okay, so starting off with the basics in this primer, let’s introduce the concept of a circuit. And starting off, we have a conventional DC circuit in front of you

[04:12] with a source on the left here with a negative and positive terminal. Then there’s a load which could be a light bulb. It can be anything that takes energy and then the return. So essentially you have electrons in the classical uh diagram. It’s actually moving from the positive end to the negative end. And then there’s this lever that we have. So if you open the circuit, the current would be equal to 0 amps. So as a reminder, current is in the unit of amps and it’s represented with I. Um there would still be voltage

[04:42] though across the gap. So let’s say that we have a 12volt battery here. Then if you measured the difference with a voltmeter or a multimeter rather between the two terminals of the battery, you would read 12 volts. And the same thing would apply at the load. It’s essentially the electrical potential between those two points. That’s the definition of voltage. It’s essentially the difference in electrical potential between two points. I like to think of it as like somewhat similar to gravitational potential energy, which is to say like if you’re at a higher

[05:12] position, you have more gravitational potential energy than somebody that’s at sea level. The one thing also worth noting is once again there is still voltage across a gap even if the circuit is open. And how can you init this? Well, think of electricity as a pipe with water flowing through it. So if you have a pipe which is flowing you have both current which you can think of as the moving of electrons and then voltage um which I guess in like some convoluted sense you can think of as uh as the pressure of the water. And so the thing is if you stop the water in that pipe

[05:42] meaning there’s no current there is still pressure because if you have like let’s say 100 L of water above this pipe and it wants to go down there’s a lot of pressure that wants to force it down but it’s closed. And this is why, for example, in a circuit that does not have current, you can still have a voltage across it. And now let’s talk about adding in a resistor. We had a resistor before, which was the form of the load, but let’s actually give it a a number um 6 ohms, which is the unit of resistance.

[06:14] And then now that we have both current, resistance and voltage, we have Ohm’s law which is essentially V equals IIR. And using this formula we can calculate for example if there are 2 amps of current in the system and a six and there’s a 6 ohms resistor then um we would have a 12vt DC source or better said um if we have a 12vt DC source and a 6 uh ohms resistor then we can expect

[06:46] 2 amps of current um that are flowing through this circuit and you just literally get that by doing 12 / 6. So once again voltage is between two points and then current is through the path. The units here are in volts which is actually one jewel divided by one kum and kulum is the unit of um just how many electrons. It’s like some really big number that I forget. And then ampers if I’m not mistaken is kulum per second. So it’s how many kums which is this massive amount of electrons is flowing through your circuit at any

[07:18] given instant. Okay. Now let’s talk about resistance and how modulating resistance increases the heat loss in the circuit. So we talked already about Ohm’s law which states that voltage equals current multiplied by resistance. And then there’s another really important formula here which is that if you look down here at the bottom heat loss in a circuit is equal to I^2 R. What does that mean? It’s essentially saying that the more current you have in a circuit, you’ll

[07:48] quadratically have more heat loss and you linearly will have more heat loss as you increase resistance. So just as an example, if we have a source voltage that is equal to 12 volts, then we can calculate once again that we’ll have 2 amps with a 6 ohm resistor and then therefore the power loss is 2 ^ 2 * 6. So 24 watts in this circuit. But let’s double our source voltage. And then once again through Ohm’s law, we can calculate that the current in this

[08:18] circuit will be 4 amps. And let’s remind ourselves that the resistor is actually fixed. We’re not making the resistor larger. But all of a sudden, we have quadrupled the amount of heat loss from 24 W to 96 W because we’ve doubled our current, which quadratically scaled means we’ve quadrupled the loss of heat. Of course, these are this is an ideal source and we’re assuming they’re ideal wires. You can just think of this as like a simplification because in a real system there’s more factors and physical

[08:50] effects at play. But um without loss of generality, we can assume that in any circuit doubling the current will quadruple the heat loss due to resistive effects. And why am I even talking about this in this primer? It’s because once we start to really talk about data centers in detail, we need to move power to get these GPUs online, right? And if we want to have power GPUs that require more and more power, we need more and more current. And this can lead to pretty large amounts of heat loss if we

[09:22] simply scale current um more and more. And then the the teaser to how we’re going to resolve this issue is essentially by increasing voltage instead of current. So we have Ohm’s law which states that V= IIR. But then also there’s another formula that you might have heard of. It says P= IV. So let’s break that down. Power which is in units of watts equals current time voltage. And why is this the case? If you remember power is equal to jewels per

[09:53] second and current is equal to um kum/s and then voltage is equal to jewels per kum and then if you multiply these together then you get jewels per second. So uh sorry if that was kind of confusing but all I’m trying to say here is that instead of increasing current what we can do and what we’ll discuss in more detail in the next few chapters is increasing voltage such that we can make more power arrive at the GPUs.

[10:24] All right and I think I gave a teaser to what we’re talking about. So essentially here watts is jewels per second. Power equals voltage time current. And I’ll just say one more time, voltage is in units of jewels per kumm. And then current is kum/s. That gives us jewles per second. Um if we look at this circuit that we have actually in front of us, we know that it has a uh I believe we had a 6 ohm resistor. And then this gives us 2 amps through Ohm’s law. And then now we can calculate the

[10:55] the power in this circuit which is just 12 * 2. And uh this is in a ideal steady direct current circuit. This gives us 24 watts. So once again, power, which we’ll be talking about in a lot of detail in this course, is simply energy transferred per second. And what is W hours? Well, even though it’s watts, this unit is actually equal to energy because energy is just jewels. And Watt hours means watts multiplied by hours. So if you have jewels in the numerator and then seconds or hours in the

[11:26] denominator, if you multiply by hours, then you just get uh jewels, which is energy. So that’s is essentially what I said here. Energy equals power times time. So let’s say that we have a 1 kilowatt load. So some type of tool or maybe there’s a GPU. So actually I think H100s are like maybe somewhere close to 1,000 watts or maybe like if you have two H100 GPUs by Nvidia, then you’ll have somewhere around 1,000 watts or 1 kilowatt. So if you run that for an hour, that will cost or that will use 1

[11:56] kilowatt hour of energy. And this is simply 1 kilowatt* 1 hour. And then um just as a reminder here in terms of units we have kilowatt or kilo rather is a thousand m like megawatt or megabyte is a million and then gigabyte is a billion. So if we just double this um we run a 1 kilowatt GPU for 2 hours then we will have consumed 2 kow hours of energy. And of course, this is going to be really important as well since when you need to calculate the power bill of your GPUs or whatever electricity that

[12:28] you’re using, you’re measuring it in kilowatt hours most of the time. And okay, so I’ve discussed direct current or rather we’ve implicitly been talking about direct current this whole time where you have current that is flowing only in one direction from one of the terminals of the battery to the other. And this is in opposition to alternating current where both the voltage and the current and alternating current are alternating um as as the

[12:58] name suggests. So just as a reminder here in DC voltage the if you calculate the voltage of one terminal relative to the other it will always be constant. In fact, if we say that the left terminal relative to the right terminal is positive, then if you switched the two nodes that you’re measuring, then you should get a negative uh voltage between those two terminals. And then the current flows in the um engineering diagrams that you’ll see from the positive end to the negative end. And

[13:29] then in AC voltage, you have uh this oscillating form which you would call a sign a sign curve. So it’s sinosodal. Um and in this case the voltage essentially every period passes through zero and then reaches a peak positive and then a peak negative uh amplitude. And then in terms of the current it um it also is uh essentially going from left to right 60 times uh a second if you’re in North America because it’s 60 hertz. Uh that’s

[13:59] the frequency of the alternating current or it would be 50 hertz for example if you were in the in Europe. Okay. But um this is in the positive peak when we said the current is flowing to the right for um AC. If we’re at the zero crossing where the voltage and the current pass through zero, then there’s no current at that instant. But um for DC, right, it doesn’t care about uh these three values. These these um these AC moments are only dependent on having AC current. And then if we’re at the negative peak,

[14:31] the current is flowing left and um the left terminal relative to the right is actually negative. So there you have it. This is the fundamental difference between alternating current and direct current. There’s a really good book called The Electricity Wars which describes how when electricity was first being essentially expanded through the United States, you had Thomas Edison who was a big proponent of direct current and Nicola Tesla who was a big proponent of alternating current. In fact, Nicola

[15:01] Tesla worked for Thomas Edison at some point and um it was a very fierce battle to see which type of current would win out um in in the market. So I recommend that book as a as a reading. So one more thing that I want to talk about about alternating current that’s really interesting is that it’s not necessarily a sine wave. Although utility AC is approximately cinosodial and in most all applications it is. There are actually other types of alternating current that you can have. Right? Alternating current doesn’t necessarily mean that you need

[15:31] to have a current which see uh which is like which must conform to this shape. Right? As long as it alternates, then it te it technically meets that definition. I’m not an extra I’m not an electrical engineer, but this is what I read online. So, for example, you can have a square AC. You can also have a triangle/zig AC, and then you can have a sawtooth AC. But for all of the purposes in this course, we’re always going to be dealing with a sinosodal alternating current just because like all utility AC is is produced in this method. So this

[16:01] is just a more of an anecdote for interest interest sake. And then when we talk about the the voltage magnitudes when we’re comparing direct current and alternating current um both can vary in voltage. In fact if you like literally used a multimeter to check the outlet of your house and see what is the current and you live in like 120 volt uh region it might not be precisely 120 volts. It could be like 117 volts. And this is just because the

[16:33] uh this the grid essentially varies in voltage. It tries to maintain the voltage which is the the target but um it may be above or below based on the load that’s on the the grid. So for example, if there’s somebody in the same distribution area as you, which all of a sudden starts to consume a lot of energy, that could bring the voltage down. And um this is apply this applies to both types of voltage AC and DC. Um, so if we do a few uh a few perturbations here to the to the voltage, if you have

[17:04] like a 10% higher um voltage in either case, then you would just go to 13.2 and then 10.8 on the lower band. And the reason why I’m bringing this up is because most electrical tools or anything that consumes electricity, they accept a band of voltage just because of the fact that the grid does not provide voltage exactly at its uh target voltage all the time. So they must have some flexibility in the voltage range that they accept. And when we talk about alternating current which is the

[17:36] predominant form of current used uh worldwide and also this is not an exception in data centers. There are certain places where you actually use DC and there certain places where you use AC but for the uh electricity distribution it’s currently mostly all done in alternating current and specifically it’s done in three-phase alternating current. So what does this mean? As I mentioned um alternosodal so you have one sine wave but the problem is if you have only one sine wave sine wave so let’s look at phase A

[18:06] only then you’ll have like some moments where there’s no voltage and this is fine for like using a charging your phone or some like trivial electronic that doesn’t need that much power but if you’re powering like large GPU racks that can be in the hundreds of thousands of watts then um you want a more constant power band and what happens is if if you have three phases of AC. So essentially three wires that are all alternating currents, but each one is 120° apart. Then you have a more constant power band. And what do I mean

[18:37] by 120° apart? I mean that a period of a alternating current cycle can be thought of as 360° or in radians 2 pi. And if you shift a another one to be um essentially 1/3 to the right or 120° to the right, then you would get this phase B. And then if you shift it further like 240° from phase A or 120° from phase B, then you would get this third phase, phase C. And what this means is that at

[19:09] any given moment you have a phase that is um that is at a positive voltage even though the sum of the voltage across these three is always zero. So, for example, um if you just do like the vertical line test and you look at this point, um if you were to add these two values of phase A and B with this value with phase C, you’d actually get a net voltage of zero. But, um on the individ individual phases, you always have a voltage reading. And as I mentioned, this allows you to have a more constant power band. So, as we’ll talk about in

[19:40] in the later chapters, you have these PSUs, which are called power supply units. And these are what convert the alternating current into direct current for the GPUs. And they’re usually spread across the phases. So essentially, you’ll have the three-phase wires going into a specific rack where you have a bunch of GPUs. And each PSU will connect to one live phase. So one of these energized phase and then one neutral phase. Uh that’s usually the arrangement that you done that you do. And then um

[20:12] you you would take the voltage difference between the live phase and the neutral phase as the the voltage reading. And this can be around 277 volts. But it really depends on the equipment in the rack that you’re using. But as I mentioned, right, each power supply unit uses two conductors, uses one live phase, and then also one neutral phase. So that’s a little primer on what three-phase alternating current is. So on this next slide here, I’m going to demonstrate how come on a graph

[20:44] alternating current that’s three-phase has a much more constant power band than singlephase alternating current. So what we’ve done here is we’re plotting something with respect to time. It’s not actually voltage anymore. It’s power. And how we did this is simply by multiplying each voltage phase by its corresponding current at that point in time. So you should think of you have I * V on the Y axis which is just equal to power and then you have time on the X axis and it turns out that if we take

[21:14] any specific moment in the cycle for example 0° which is at the very beginning of time then you’ll have phase 0 is uh 0 kow phase B is 15 kow phase C is and then phase C is also 15 kow and this is with the assumption that we’re with 480 volts I believe and then if we just jump to 30° you’ll now have phase phase A ramping up to 5 kW at this point phase B is 20 kow and phase C is actually intersected with phase A so it’s also 5 kow so we have 30 kow still

[21:47] and then finally you have at uh the last example 60 60° phase A and phase B are at 15 kow and then phase C is at 0 kow and so you can imagine is that if we had singlephase AC um if we just only consider interface a at 0° you’d have 0 kow you’d have no power then at 30° you had 5 kow and at 60° you would have 15 so you can imagine that um if you really are requiring power constantly

[22:19] three-phase is much more advantageous so you have these balanced side waves and we’re assuming here that you have equal resistive loads and this means simply that each each of the three phases is providing the same power to the end consumer consumer which we would call the load and yeah that’s uh that’s what it is we have three-phase adding up to steady power. Moving on we’ll quickly discuss power factor. So what is power factor? It means in short to what extent are the waveforms for the current and

[22:53] the voltage and alternating current in sync. So for a same for a singlephase supply if we are currently if we’re completely in sync then the power factor will be equal to one and this just means that the amount of power that we deliver through our circuit is all delivered to the end load and then we have yeah precisely 8 kow delivered if that’s the amount of power that’s in the circuit. Whereas if the waveform of the voltage

[23:23] and current are out of sync, then you might have a power factor below one and what this means is that in order to de deliver the same 8 kow, you need to have 25% more current. And um in this case, I think this is just doing 1 divid 0.8. That’s how you get the amount of current that you need if your power factor is not equal to one. So at best in an ideal circuit, you have a power factor of one. And then um in in real in the real world you’d have anything it would be strictly less than one and the more efficient or

[23:55] the more synchronous your voltage and current uh waveforms the closer your power for uh your power factor would be to one. And uh this is a more of a quick introduction to power factor. In fact in chapter 7 or eight when we discuss this in more detail I’ll give a better motivation to what this actually means in practice. But this is just a quick little resume of what power factor means. And also I want to discuss the different notation that we’re going to use throughout this data center course.

[24:25] So of course different converters do different jobs. So you don’t want to put the wrong symbol for something that is doing a job that’s different. So very quickly if you have a transformer what you’re doing is you’re changing voltage. So in this case you have a AC transformer and this changes the voltage of an alternating current. It could go from lower to higher or from higher to lower. That depends. In fact, um you would call a voltage or sorry a transformer that is transforming to a higher voltage like a step up transformer. You’re stepping up the

[24:56] voltage and then conversely a step down voltage or step down transformer for one that is stepping down to a lower voltage. And then also two extremely important concepts of this course are the rectifier and the inverter. Inverter you might have heard of it’s what changes DC current to AC current. So the most common example in a residential use case would be if you have solar panels. Those generate electricity that’s direct current. And then in order to use that in the grid, you need to change it to alternating current. So you would have an inverter if you have solar panels. And then a rectifier does the opposite

[25:27] job. It converts from alternating current to direct current. And then if you have a power supply, um this can take alternating current and convert it into direct current. For example, when we have our GPUs, we have the power supply unit which takes alternating current from the grid or wherever it comes from. It could come from a grid, it could come from a gas turbine, it could come from a generator and then converts that to direct current. Simply put, electronics and low-level semiconductors are they consume direct

[25:59] current. Okay? And I already mentioned this in fact, but not only do electronics take in a voltage range, but transformers do as well. So here we have a example of a Schneider Fasio. I’m not going to say the entire name. This is a transformer, I suppose. And what this does is it has a nominal 400 volt um input, but it can also accept voltage readings between 360

[26:32] and 440 volts. And these are the published limits for this specific transformer. And um in this case, it’s accepting a plus or minus 10% voltage differential. So here’s one example of a voltage difference that a transformer can accept. We’ll also be discussing solid straight solid state transformers in this course as well which are really cool because they can essentially be tuned to accept different ranges and also rectify the output range automatically and uh those are really cool new types of transformers that are much more sophisticated than uh standard

[27:03] transformers but we’ll we’ll leave that there for now in terms of the depth of the transformers. And here we’re going to quickly talk about a UPS which is another fundamental concept in this course. So, it’s not the United Postal Service. It’s in fact an uninterruptible power supply, which is a very self-explanatory name. All it means is that it’s a power supply which in principle should always supply power to its source. So, how does it work? It’s really useful that we just talked about rectifiers and inverters because that’s

[27:34] what a uninterruptible power supply is composed of. So, let’s start from the very left here. On the left, we have the utility or the generator, whatever is providing the electricity. And this is almost always an alternating current. And then you have the UPS which does something really weird. So it first converts AC to DC with a rectifier and then it converts DC to AC with an inverter such that if you consider the UPS a black box, it does nothing. And so

[28:05] you might be like very offended that you would have something that does nothing. Especially since these two steps are not free. You can think of them as each requiring or rather causing a few percentage heat loss or just regular inefficiencies. So like as an example, an uninterruptible power supply if you put in 100 KOW may only return 95 kW. So why are we doing this? It’s because of the thing that’s on the bottom here. So you have this battery which is the

[28:36] entire point that the UPS exists. So one thing that’s really important to know is that batteries supply current in direct current and this is just a property of the electrochemical reaction that happens inside of a battery that supplies electrons in one direction. And the entire point of the UPS is that when the generator or the utility shuts down that we can take the battery and instantly um protect this protected load or essentially instantly take over the generator’s capacity on the protected

[29:08] load. So in order to explain why we have this redundant conversion, consider the counterfactual where we have a generator that is directly supplying this AC load. That would be very fine. But now if the generator went down, you would first have to route the battery through an inverter that is DC to AC and then route it to the load. And then this would take some time, meaning that this load would actually not be protected for some period of time. there would be no power

[29:40] being passed to the load because of the fact that um this path would be separate. But since the utility generator and the battery are are are both pointing to the are both pointing through the same stream, essentially what happens is that as soon as the UPS detects that the generator is no longer supplying electricity, the battery will instantly through this DC toDC link pass energy into the UPS and then invert it to AC as if nothing happened. as if from

[30:12] the from the point of view of the protected load, it is still receiving AC AC electricity. It’s just that instead of being passed through the utility/g generator, the battery is now supplying this alternating current. And once again, this is such that there is no interruption in the supply of power. If we routed the battery directly to the pro protective load or the pro protected load through an inverter, then there would be some gap of time or some lapse of time where the load does not receive power. And for many use cases that’s just simply not an option. Okay. And the

[30:43] example that I just proposed to you and um explained is actually a online uninterruptible power supply. So it’s called online because it’s on the link. It’s online. It’s where the power actually get routed to. That’s where it’s connected. And what this means is that the in inverter will keep supplying the load instantly or near instantly once the utility goes down. And this is used for example in data centers or sensitive medical systems. And then an offline power supply is the other example that I proposed. So essentially

[31:14] what happens is that you have a direct path from utility to load and then the utility will feed the load directly whereas when the supply is interrupted the battery will go through an inverter and then there’s a switch essentially a transfer switch which will switch from the utility to the battery inverter setup. And here is once again where the delay comes from. This switch is not instant. Okay. And then if we look at the bottom here, if we just go from normal to supply interrupted, the

[31:45] battery feeds directly onto the DC link and now the inverter keeps supplying the load. Whereas there’s this brief transfer then battery power on the offline UPS. And so you’d have an offline UPS for example on desktop PCs. I suppose this is the case because a PC probably has some capacitance in its power supply already such that if the power goes down um it can still keep the PC running for like a few seconds or milliseconds until the uh the battery starts to feed the the PC. So there’s a

[32:15] difference between online and offline UPS’s on interruptible power supplies. But for the sake of this course, we will assume that any UPS is an online UPS because in the in the context of data centers, we’re only ever talking about uh uninterruptible power supplies that are online. Okay. And now let’s talk a bit about redundancy. So let’s say that you have a 100 kow load. If that’s the case, then it would need two 50 kW modules. So essentially two modules that are

[32:46] supplying that power to the load. And this would be called like n redundancy because you have as many power modules or rather the number of the amount of power that you have is equivalent to the amount of power that you must uh supply. And let’s say now that you add a second or rather a third 50 cal 50 kowatt um power supply then you would have n plus1 redundancy. Okay. And this is just uh the notation. So n equals 2 normally. If you have a

[33:17] third one then you would have n plus1. And if you had four then you would have 2 n or n plus2. These are equivalent terms. A quick editing correction. N plus2 and 2n in this case are the same but that’s not always the case. Stay tuned for the UPS section where we discuss this in more detail. We’ll talk about all the different configurations later in the course, but this is just the first taste of the differences in redundancy. And if we just quickly talk about the hierarchy of what a rack actually contains. At a high level, you have the rack itself, which is just a

[33:49] vertical rack of metal. You can think of it as like a really tall bookshelf. Um, and within this rack, you have multiple trays. Literally, they’re trays that you can take in and out. almost like the tray that you put your dirty dishes in a cafeteria. Um, and each tray holds a compute server. On each compute server, if we take a canonical example of like a GPU accelerator, you have the CPU that runs the system, some C some system RAM, some NVMe probably to um handle different networking and communication,

[34:19] and then of course the main star of the show here is the GPU, which has GPU cores as well as memory. So this is kind of a mini hierarchy of what a rack looks like. We’ll discuss this in much more detail later on in the course. And with respect to memory in particular, it’s really important to talk about this for a second because this is how the GPU actually has access to its model. So in an example here, let’s say that you’re getting your model from HuggingFace, which you might have heard of. It’s a very common open- source library for

[34:51] getting models that um are open source. So you would get this from some server, a model file. You pass it through the network. It would first get loaded onto the system RAM of the CPU likely and then be copied directly to the GPU memory. And then you would pass those into the GPU cores if you’re using a Nvidia GPU into the tensor cores where you actually multiply these matrices with whatever prompt you have in order to generate output tokens. And just a quick little tangent on networking and network speed. It’s the

[35:22] speed of the network that um determines how fast you can load the model from storage server to compute server. So let’s say that you have an 8 megaby 8 megabyte chunk which is the same thing as 64 megabits since we have one uh one bite equal to 8 bits. Well, if we consider a 10 GB per second transfer speed, then you would take 6.4 four mess to send all the bits and this also uh assumes a 10 microcond first bit latency that is not dependent on the transfer

[35:54] rate. But then if you have 100 Gbit per second uh uh transfer speed, then you would essentially reduce that by an order of magnitude to 0.64 milliseconds to transfer the entire uh 8 megabyte chunk. And so this is just a trivial example, but you can already tell that transfer speed and latency for passing data between the model and the server is one of the most important metrics that determines like how fast can you serve your users and will they actually be satisfied with the service they receive because nobody likes a really laggy and

[36:26] slow model endpoint. Another thing that we really want to emphasize in this course is the fact that these GPUs don’t simply run for free or they don’t need to be it’s not like they need to be cared for. They do they produce a lot of heat and they are producing more and more heat in the sense that with each successive GPU generation the number of watts that each GPU uh component consumes is increasing. This isn’t to say that they’re becoming less efficient. It’s just more so to say

[36:57] that like the actual GPU is becoming bigger. So even if the GPU is becoming more efficient, if it’s still getting bigger over time, it’s getting more it’s getting bigger than it is getting efficient. So this means that the the net power consumption will increase and this has been the trend um in the past few years. So let’s say for example you input 500 watts. If the temperature of the GPU stays constant over time, then you also need to essentially get rid of this 500 watts. If there is like a deficit of input to output watts, which

[37:29] is to say if you input more watts than you take out, then over time your GPU will overheat. So you need to have this equilibrium. And this equilibrium is achieved through a cold plate, which is literally just a plate that is really close to the top to the top of the GPU die and where you run coolant, right? That in this case, in this example, is 30° C. And this coolant will go through the cold plate. It will absorb heat from the GPU. Let’s let’s say that it gets to 45 degrees CC and um then the cold plate

[38:01] is temperatures to 45 degrees CCelsius and then the coolant coming out is now increased in temperature by 5° and then you would get rid of this heat by one of various methods which we talk about and this would be your steady operation of the GPU. So you can’t just assume that the GPU will run on its own and be happy. You need to make sure that it stays nice and cool. And if we look at this process one level of abstraction higher, you have the cold plate which was essentially zooming up into this cycle. But in fact, you usually have

[38:32] this two loop um protocol. So you have the equipment coolant loop on the left here which cycles coolant between the GPU cold plate and with a pump to the CDU which stands for the coolant distribution unit. And this coolant distribution unit has a heat exchanger that will exchange the heat from the coolant from the uh the cold plate from the IT uh coolant loop with the facility

[39:03] coolant loop. And this is the loop of uh coolant that will in some way exchange heat with the outside. So this could be like through an air conditioning similar a similar mechanism as air conditioner. It also could be evaporative. We’ll talk about these in more detail as I mentioned. And in this example, we just have like literally a fan rejecting heat through a passive cooling system. And so the heat crosses the heat extender on this coolant device unit, but it actually the fluid does not uh cross

[39:33] boundaries. And one of the reasons for this is like the coolant in the IT loop is much more treated and needs to be uh essentially taken care of to a much greater extent because it’s coming like in millimeters to the chip which is worth like $70,000 or it’s really expensive. So this type this coolant loop is very tuned and like watched for. They have like a lot of sensors on these racks to make sure that if there’s ever a leak it’s detected instantly. Whereas the the coolant that is in the outer

[40:03] loop in the facility coolant loop, um it’s still probably like some pretty clean and sophisticated cooling system, but um it doesn’t need to be as closely monitored as uh as the facility, sorry, the equipment loop because if there’s a leak here, it likely won’t cause like a whole rack to go down. You’d probably just have to fix it up, even though it’s still a bad thing. Um, I’m just trying to say that there are two different levels of priority when it comes to these two coolant loops. And the last

[40:33] thing worth noting is that I’m only talking about loops and like liquid cooling. It’s because in any data center that is built today or onwards, even in the past, like past 5 years, like all of these are liquid cooled. And this is because liquids can absorb much more heat than air. Um, really like the days of air cooling data centers are long gone. And I’ll show you guys a very specific metric in the cooling section that demonstrates why this point is so salient. But just know for now that anything that has to do with cooling in this course is liquid cooling. And right

[41:08] when we talk about cooling, it’s interesting because this is another source of power consumption. So when you talk about how much how many watts a data center requires, you can’t just look at like okay there’s 10 GPUs, each GPU is 1 megawatt. Like this is a really bad example. Let’s say that each GPU is 1 kilowatt. So in this case, you would have 10 kilowatts of it power. But of course, you need other things as well to supply the entire system. So this could be pumps, fans, support, literally just

[41:38] like leaving the lights on um and other trivial uses for electricity. the IT system which is includes the computers, storage and network takes up the vast majority of power most of the time but you still have this um this fringe on the on the right which does require powering and there’s actually a really important ratio here called the PUE the power usage effect effectiveness which is equal to the facility total um power consumption or in this case we have it

[42:08] as energy so in this case it’s 1 hour of use So really like 1 hour of energy use is quite similar to just um the power the power metric itself. So you can either view this as 120 kwatt hours of energy or just 120 kilowatts. It doesn’t really matter. In any case um we we we would divide the entire power usage of the facility by the IT power usage and get the power usage effectiveness. In this case it’s 1.2. And if you haven’t already guessed, the number which you

[42:40] want to approach is one. Because if you approach one, that means somehow your data center is running only by powering the GPUs. That would be impossible because you have to cool them. But um you can definitely approach one, which means that essentially you’re using less and less power for things that are not the GPUs and um more for just powering the GPUs themselves. So this is just an example of a really important metric that you can see for a data center and already get an idea of like how efficient is this data center and what are the different uh uses of power that

[43:13] it is consuming. Okay, [snorts] so that’s everything for our primer. Now I’m excited because we’re actually going to get into the first I guess real chapter here. So we’re going to talk about just an overview of data centers. So it’s similarly going to be like a highle floor plan and like lay of the land but uh we’re going to get a bit more into the the details here. So if we talk about a a working rack like let’s say a GB300 which is a Blackwell rack that has 70 GPU. So it’s called a NVL72

[43:44] GB300 which stands for um Grace Blackwell. 300 is just the model name and then NVL is NV link which is the interconnect technology and then there’s 72 GPUs. So that’s the whole name. And let’s say that we have three of these racks here. Well, the first thing that has to happen is that we need to bring in power from the grid. It will first probably go into like some electrical room where you have a power backup. So some sort of some some sort of battery configuration which in the primer we introduced through the uninterruptible power supply, the UPS. And then you also

[44:15] have a distribution system because you don’t just distribute all of the power through one wire. Um it’s more sophisticated than that for many reasons. One of them being if you distribute the power all through one wire and that wire goes down then all of the racks will turn off. Whereas if you have a more redundant system where you have some sort of hierarchy, well if one of the wires goes down then hopefully it will only affect one rack. That’s uh that’s the whole point of having redundancy. And then now if we jump on to heat you’ll have the compute racks which do computation that’s useful but

[44:46] also generates heat loss. And then this will pass through some cooling interface which we defined as the coolant device unit the CDU in some mechanical gallery. This is usually like not inside of the IT hall which you can think of as like the main computation area of the data center. And this heat is rejected outside. And then finally you have the information which you’ll pass through some fiber network because at the end of the day a data center serves to allow users to make some sort of changes to their data or in the case of AI to make

[45:18] calls to cloud code or codecs. And you’ve heard the word IT hall. We also can call this a data hall. So if you want to see what that actually looks like in practice in this case we have a Google data center in New Albany, Ohio. And these are TPUs in fact in this photo. So the Google data centers really are just a beautiful thing in my opinion. Like look at that wire management and all of the sophisticated equipment here. Um these pipes are probably passing coolant. I’m not 100% sure, but that’s just my initial guess.

[45:49] So you can already see kind of where the different parts of the data center are routing in. And then also these black wires are likely supplying the power to each of the TPU uh racks. And then on the top here we have white space houses the IT which is the data hall and the gray space supports operation. So let’s go back to to the picture that we saw in the the previous slide. And the reason why I had this initial part in white and the the two left sides in gray is because this is actually how data

[46:19] centers are labeled or uh organized. Essentially you call the IT/ data hall. It also has a few other names but in in any case where the GPUs are you call it the white space and um it might be called this because this is a place that you keep clean and you need to be like very attentive to whereas the other spaces like the gray space where you have the electricity and the the gray space where you have the coolant um it’s less important but um in any case both are important you should just know that these are the different names that you use to refer to these parts of the data center and so we talked about grid and

[46:52] we’re just assuming that the power is coming from somewhere Let’s actually talk where the power is coming from. You guys probably know main mainly where power comes from and let’s describe it. So on the left you have thermal. You guys might be confused like where’s nuclear, where is gas, where’s coal. Well, you can think of nuclear, gas, coal, and all forms of energy where you’re burning some fuel or creating heat as forms of thermal energy because essentially you make steam in most of these cases and then use steam to power some turbine which then spins a

[47:22] generator and creates electricity. It’s the same principle for actually wind energy except instead of doing it through thermal um thermal energy, it’s through mechanical energy. It’s through the wind moving the rotor blades and then um creating energy that way. And then also solar energy which is becoming more and more important throughout the world. An interesting fact is there’s literally a solar farm in the Tibetan plains of China which is like 18 gawatt or something insane. Like this is one of the largest power generating um things

[47:53] ever built by humanity. There’s of course like the three gorgeous dam in China as well which is even higher in terms of peak gawatt production. But um yeah solar farming and solar in general is becoming more and more important. And interestingly this is the only form of energy in this entire um assortment which is producing energy in direct current. The only other main form of energy which which performs and creates direct current energy is uh fuel cells. So there’s one company that’s really wellknown it’s called bloom energy which

[48:23] uses a fuel cell to burn natural gas but it’s not through oxidation. It’s not through a regular oxidation process where you add oxygen and then create like oxygen. Sorry, you add oxygen to some carbo hydrocarbon and then you burn it to create carbo carbon dioxide and then also energy. Instead, um it’s through some other electrochemical process. In any case, solar and fuel cells is the only two types of energy that are mainly used for direct current and then also you have hydro which is a similar principle to other forms. You spin some turbine in this case with

[48:53] water and then you create electricity in the grid and then the grid itself is an alternating current in every single system throughout the world to my understanding. So these are some forms of energy that we need to use in order to power our data centers. And once the energy has arrived at the data center, we use well first of all high voltage transmission to carry the power between the regions and the the destinations. And the reason why we do this is once again in our primer we introduce the formula P= IV. So the amount of power

[49:25] that we uh transmit through some transmission is equal to the current multiplied by the voltage. And the problem is if you increase current a lot then you’ll have a lot massive heat losses which is very bad. It’s inefficient. In order to make transmission efficient you need to step up right once you generate the energy at like a wind turbine you need to step up the voltage to a very high voltage so that the current can be sufficiently low in order to keep the heat losses down because heat losses as a reminder square

[49:57] I mean scale quadratically with increase in current. Okay. So that’s why we use high voltage transmission and then once we get to the receiving end we will step down to a lower voltage and this is for multiple reasons like you don’t just you don’t just like port like 345 kilovolts energy to your house because first of all it’s like dangerous you need to have like specific clearance um in order to uh to prevent for example arcing from happening where you have like literally beams of electricity that ionize gas and turn into plasma and many other reasons

[50:27] which I won’t even go into. Um, so we don’t always do this everywhere. We only do this for high voltage transmission where you have these power lines which are at a specific height and are engineered to support this type of electricity efficiently. And when I did some research on this in terms of transmission and distribution of energy, you have like around 95% uh efficiency from generation to reception in most systems. like this could be more or less, but this is like a ballpark estimate of how efficient this whole system is to take energy from

[50:59] where it’s produced and then give it to the destination. Of course, if you produce energy at the destination itself, then you’ll have a much higher efficiency for transmission at least because um you don’t need to do like many as many steps as you would if you’re like producing energy at a dam and then you have to move it 1,000 km or 1,000 miles to the data center. So distance is another factor that affects the efficiency of transmission. When we actually receive the energy at the data center, it’s at a substation. So substations are just what you call

[51:32] the equipment and the facility that takes this high voltage utility connection and then converts it eventually uh to medium voltage which is then used after we process the energy in multiple further steps by the power shelves of the rack to uh actually feed the GPUs. So you can think of the campus substation as connecting the site to its buildings power systems. And when we have the campus substation, we’ll first add a on-site generator optionally, but most data centers do have some type of

[52:03] generation scheme because if the utility grid ever goes down, then you don’t want to be stranded. And in fact, there are some data centers specifically like that are being made by XAI, SpaceX, and Crusoe which are using behind the meter electricity, which is to say that they’re not even connected to the utility grid. This isn’t ideal, but the best advantage of having BTM, which is behind the meter, essentially meaning we’re not on the grid, is that you don’t have to wait to get permitting and

[52:34] submit interconnect submit into inter interconnect queue to like wait in line to get permitted and connected to the grid. Like that’s the one benefit. In any case, if we are using the utility connection through the grid, then we’ll have our campus substation which will feed to some building distribution with an generator that is most always there. And then this building distribution will feed to the rack power shelves that contain the power supply units. And those power supply units will convert actually the alternating current to the direct current that the GPUs will use in

[53:04] order to perform their computations. So let’s suppose that you are on the utility grid and there’s some power interruption. Well, in that case, the store a stored energy will bridge a supply interruption while, for example, generators are spinning up because you can think of generators as taking at least like one or two minutes or some interval of time between turning on and providing a stable power source. So, generators are not instant. And we’re talking usually like diesel generators or some type of gas turbine that is going to provide energy to the data center when the utility fails. So in

[53:37] this intermediary time let’s say it’s 1 minute you still need power and as we introduced in the primer the util the uninterruptible power supply is what actually provides this buffer power to the IT load while we wait for the backup generator to spin up and at a very high level what this is doing once again is first of all taking this alternating current rectifying it to direct current and then inverting it back to alternating current and this whole redundant process This is once again done because we have a battery which

[54:08] produces direct current and has a DC toDC link to this bus which is essentially where the power is flowing and we we do this entire redundant process in order to ensure that we have a instant uninterruptible power supply to the IT load because to repeat myself if the battery was connected to an inverter that was off of the main link then there would be some delay because there would need to be that switch which essentially decides are we taking power from the battery or are we taking power from the utility/generator and this

[54:38] switch is not instant. In order to have instant power delivery to the IT load in the event of a grid failure, then you need to have this UPS which includes both a rectifier and an inverter. Interestingly enough, even the battery is not instant. A battery might take 10 milliseconds to spin up and that 10 millisecond buffer could be too slow in terms of like the GPUs requiring constant sources of energy. So you also likely have capacitors in this setup as

[55:09] well somewhere within the UPS such that the capacitor can provide instant voltage to supply the uh the power to the IT load while the battery in that 10 millisecond interval is actually supplying um energy to this DC link. And now if we look at the power rack in particular, we have the power entering the GB300 rack which I presented earlier, the Grace Blackwell 300 through its power shelf. So I’m going to zoom into this for a second here and we’re

[55:40] going to talk about the vertical hierarchy of this rack. So one thing you should know, we’ll talk about this later that these racks are pretty big and they’re on the order of 1.5 tons. So think of something pretty pretty heavy and pretty expensive. So at the top you have four power shelves here and also four power cell shelves at the bottom which which is eight in total and around 260 kW of power that you can supply to the 8 + 10 compute trays plus the 9v

[56:12] link switch trays. So at a high level these compute trays is what’s actually doing the matrix multiplications for the transformer or other uh accelerated workload that you’re running. And then the NVL link switches is what’s allowing for these different GPUs to communicate with each other at like terabit per second terabyte per second speed just insane speeds that you have within this within this rack. And then um at the very top you have further rack switches which are used for other networking capabilities.

[56:42] And I mentioned that we have 260 kW I think it’s 264 kW of power through these power shelves that we can supply to the to the IT load whereas the full rack requires up to 142 kW at peak load. So why do we have like 120 kW more power delivery than required? Uh this is just for redundancy. So, for example, if a PowerShell fails, then in that case, we

[57:12] can still run all of the GPUs normally. Um, and furthermore, these power shelves are actually hot swappable most of the time. And what hot swappable means is that while the rack is still on, you can take out an entire power shelf, remove a defective unit, and then put it back. And um, the last thing I’ll say is that each of these power shelves contain six power supplies. So you actually have four + 4 power shelves which is eight and then 8* 6 48 power supplies in this

[57:43] rack. Um and then you can take them out and then re reset them if one of them is defective. The really key thing here is that they’re hot swappable and this allows you to do replacements while you can still have the the rack online which is very critical. So one thing that I’ll mention here and we’ll which we’ll repeat of the course is that the alternating current supply that comes to this rack is then received by these power shelves which have the power supply units six of them per shelf and then this will convert the alternating

[58:14] current to direct current. In the case of the GB300 it converts it to approximately 50 to 51 volts direct current into this rack bus bar. So we’ll be talking about bus bars and buses a lot. You can think of a bus bar as essentially like this highway for electrons and these electrons will move across the bus bar to supply load to supply the various loads. In this case, the various um compute trays of this uh power rack. So inside the rack, right, we have the compute and the switch trace. This is what’s actually consuming

[58:46] the energy. And I actually have a picture of what this looks like from the back. Um in fact, the power bus bar is highlighted here. So, it’s kind of hard to see, but it’s literally a vertical bar, which is some type of conductor, probably probably copper, but I’m not sure. And this runs vertically because we want to supply every single one of the power shelves. And um then the power shelves will supply each of the uh compute trays. Feel free to pause here as well if you want to see what the other components of the back of the rack

[59:16] are, which are really cool, honestly. Like for example, you have seismic bracing for like earthquakes and then also a lot of the liquid cooling components are also here and labeled in quite detail. Right? So coming back to the overall hierarchy of the data center or at least the rack, you have the chip which you can think of as the GPU if we’re using an AI accelerator. Then the AI accelerator/GPU is in some type of tray and then you have many of these trays which form a rack and then many racks

[59:46] which form a cluster and then these clusters areworked um in the case of Nvidia they’reworked with um NV switches um some type of in interconnect in order to allow them to communicate across racks and um this is how we perform for example large training runs because when you’re training trillion parameter models then you need a lot of me memory and a lot of racks of GPUs in order to uh train the model in a timeefficient manner. Right? So if we look at the

[1:00:19] interconnect on a cluster level and even a campus level, these serve different communication roles. So you might have heard of a scaleup domain which is within a single rack. So within a rack, the domain that you can essentially freely pass information or at least pass information at an extremely high bandwidth. So in this case we would be talking about a single GB300 NDL72 rack. It’s called the scaleup domain. Then the scale out domain is across multiple racks. And in fact um you can scale out

[1:00:50] to a carrier/wide wider network which could include other sites and users outside of the campus. Um and then within the scaleout domain, you’ll usually have access to some storage network as well where you can host model weights or other networking information that is useful. And um at this campus edge, you’ll have your interface between the data center and um the other receiving points. So that could be another data center, it could be just your end users. And this is usually through some fiber optics. In

[1:01:21] fact, there’s a really cool special case which is the TPUs. So, Tensor Processing Units by Google uses optical switches that connect 4,96 TPUs. Um, this number is now insanely larger because we’re actually at TPU V8. So, this is four generations too old, but um this this uh this specific generation had the best photos, so this is why I chose it. So, essentially, we have these chips that are in reconfigurable pods. There’s 4,96 per pod. And in this case, you have only

[1:01:51] 1/8 of a TPUv4 pod in this in this image. So each pod has 64 of these um racks. So in this case there’s eight. So it’s um 1/8 of 64 is uh is eight. And then um essentially 64 of these racks or blocks is how they’re called. And each one has 64 chips. So there’s in total 64 square chips. This is 4,96. And um you might think this is a nightmare to connect which it probably was. But um you should always trust the engineering

[1:02:23] ingenuity of Google engineers. And how they do this is essentially each block is connected with what you would call optical circuit switches, which we don’t need to know exactly what they are, but they’re essentially mirrors that pass light that has information, which is the data that you’re passing between the different racks. And interestingly, these mirrors can reconfigure links to bypass faults. And that’s something that I find really cool. So essentially if there’s some fault in a in a optical circuit switch, you can reconfigure the mirrors to essentially pass through the

[1:02:55] the error and um allow the data to pass and be communicated. So in this hypothetical example, we’re passing data from block A to block B through this optical circuit switch. And the entire system that is allowing the data to be transferred between different TPU pods in particular, if you’re interested, is called ICI, which is called interchip interconnect. So pretty also common sense name here and uh in this case we’re just connecting two blocks uh with this link and Gemini 1.0 ultra which was

[1:03:28] the largest Google model in 2023 trained across multiple data centers. So in this case, we actually are only communicating between a single pod. But um whatever the Gemini Ultra Run was doing, it had these OCS switches between data centers as well. And since Google is such a big company, they can actually make these data centers connected with their own fiber and essentially control the network that is um connecting them in order to have the best possible bandwidth. So that’s a quick little taste of the

[1:03:58] extent to which these racks are optimized for latency and communication. Now moving the focus to heating. As we discussed in the primer, in every single data center that’s being made today that has liquid cooling, you usually have two coolant loops that carry cold plate heat to the outdoor plant. So when I’m talking about cold plate heat, you’re talking about these metal plates that sit on top of the GPU and absorb the heat that is created while it’s running. And in this case, the coolant is called like the it or the technology coolant.

[1:04:30] So this is one loop and then this is then fed to the coolant distribution unit which has a heat exchanger between the facility coolant and these are completely separate fluid circuits to be precise and that you can see precisely in which part of the cycle if we’re going clockwise the coolant is hot on on the top and the right and then cold on the bottom and the left in both instances. And then in this case, we’re just using a passive cooling system where literally just fans are fanning the heat outside to the atmosphere and then returning the cool heat to exchange

[1:05:03] with the heat from the GPUs that were that were interfaced with the cool plate. So we’ll get more in more detail as we go on for the course. And then now just to talk a bit about it versus facility support. So let’s assume that we have a 2 megawatt supply and that it must power 1.5 megawatt worth of racks. So in this case we have 10 racks that are 142 kW which gives us 1.42 megawatt and then also let’s assume that we have

[1:05:34] 80 kW of networking and storage and then that gives us 1.5 kW of it and then we have a name plate rating. What is the name plate rating? That is essentially the maximum amount of power that a data center can provide. So let’s say that like the utility companies were like okay we can give you at max 2 megawatt of power that’s the maximum amount that we will provide to you. So in that case that would be where the name plate rating comes for or if you’re using behind the meter power let’s say that you literally have 2 megawatt worth of

[1:06:04] gas turbines. Well you can’t produce more than 2 megawatts if that’s the rating of your gas turbines. So that’s the name plate capacity. And then usually the amount of power that you consume is not worth 2,000 kilowatts because you don’t want to be right at the edge just because for example your gas turbines might not always be powered or rather running at their maximum throughput. So let’s assume that we have 1.5 megawatts of IT capacity and then 300 kW of support which could be cooling also just heating up the facility not heating up the facility but um essentially the the HVAC system for the

[1:06:36] normal offices that are in the data center as well as lighting. um then you’d have 1.8 megawatts of total energy. So that would be it plus facility support and this would fit within your name plate rating which is 2 megawatt. So these are some numbers that we talk about when we’re talking about the overall power consumption of a data center. We have the IT equipment and then IT plus facilities port which in this case would be 1.8 kilowatt versus two um one 1,800 kW sorry versus 2,000

[1:07:07] kilowatts that it has it has rated. So in this case we the data center should should be able to provide enough power to supply both the IT and the facility. Okay. So one interesting thing that I want to mention here is that like most machine learning and AI workloads are not like steady and constant. So for example, let’s say that you’re running some large evaluation that would cause a large peak in demand. And assume this

[1:07:38] evaluation is ready at midnight and is due at midnight the next day. So you have 24 hours to complete this evaluation. And that um over a 12-hour period, it requires 4 megawws of power to complete. But if you could stagger them, then you could actually double the amount of time it takes to 24 hours and then it would only require 2 megawatt of energy. And assuming that our our data center can

[1:08:09] only supply up to 6.5 megawatt, then this would be a way for example to ensure that um the batch evaluations could actually perform. Assuming once again that we have a overhead of four four megawatts as constant from like live inference. just assuming just just to serve our users and other overhead from for example like this networking and storage that we talked about. So in both cases we would have a total energy consumption of 144 megatt hours per day. But the problem is that here we can’t

[1:08:39] actually run that because the peak demand exceeds the 6.5 megawatt supply limit. But if we stagger them as I mentioned here, then we can complete both of these jobs and um have a better energy use over the entire day as opposed to only being able to run essentially half of the batch in this example here. So one other thing just coming back to the example that was two slides ago is if we have a 300 kilowatt hour support system with a 100 1,500

[1:09:12] kwatth IT uh facility consumption then we can calculate the power usage effectiveness which was introduced in the primer as 1,800 divided by 1500 which is 1.2. But let’s say that we actually make our facility more efficient. we half the energy required by our supporting system, then we would change this ratio to 1.1. And this demonstrates that the lower the power usage effectiveness, the better our facility is at supporting its IT equipment, its GPUs with less energy.

[1:09:43] And so let’s just jump into here a quick example. So let’s say that a hypothetical data center campus records 12 megawatt hours at the facility meter and 10 megatt hours at its IT meters. So this would be like the GPUs during the same hour. An analyst adds them and reports 22 megawatt of useful compute as the amount of compute used by this campus. And the question here is correct the total and explain what these readings leave unknown. So I’ll let you pause if you

[1:10:16] want to actually attempt this question and then we’ll work through it together. So essentially what’s being done here is that this 12 megatt hours already includes the 10 megatt hours. So it’s being counted twice. So really what we can say is that the entire facility is consuming 12 megatt hours of energy over 1 hour and 10 of the 10 of that is for the it. So what we can do here is calculate the power usage effectiveness um which would be 12 divid 10 that will give us 1.2 um but we can’t really

[1:10:47] calculate much else other than that I think if we look at the answer here we essentially have the uh the p is 1.2 two but um neither the ratio nor the electrical demand tells us how much accepted work the camp is computed completed. So from these numbers that’s essentially the extent of what we can compute and if somebody says that 22 megawatt of useful compute was done then they would be wrong. We can’t really also assume that 10 megatt hours is equal to the compute itself because the it is not just purely compute there’s

[1:11:18] also networking involved. So we would know that the amount of useful compute that was done for doing matrix multiplications is something less than 10 megatt hours of energy. All right. So that was the uh the the little knowledge check from the chapter 2 that we just finished and now let’s head to chapter three. So in this chapter we’re going to be discussing the model and its users which determine what the data center

[1:11:48] must deliver. So, we’re talking about workloads in this chapter. And why do I have a picture of the Nvidia CEO Jensen Hong here beside this really funny graph? Well, this was from Computex um which is a conference that happened in 2026. I think it’s like Nvidia chip conference. And in this conference they were talking about AI factory revenue in particular tokens per watt because tokens per watt is becoming one of the most important metrics for how much you can profit from a data center because in

[1:12:20] the current regime there is definitely a constraint on how much power you can procure. And what this means is that if you have a given amount of power, let’s say 1 gawatt, then the amount of tokens you can perform and produce for that gigawatt of power determine how much you money you can make. And that’s why you have Jensen Hong talking about tokens per watt in this graph. And then also there’s just TTFI, which stands for tokens to or sorry, time to first inference. That’s a strange um term

[1:12:50] here. That’s usually not the term that’s used in the industry. Um you would say time to first token. So, TTFT, but in any case, um there’s many different acronyms for the same thing here. The the main reason I put this graph here is just to highlight the fact that well, your workflow, how you’re serving your users determines how much money you can make and also the amount of power you have and your token swap ratio determines how much you can make at the end of the day. Okay. So the three criteria we’ll talk about in this

[1:13:22] chapter are like what is the actual model and what is the state. So we’ll talk about weights, we’ll talk about the overhead of context and also like if you’re training what is the overhead of actually having to train a model because it’s in general much more expensive in terms of memory as opposed to just inference where you’re serving users on a model that was already trained. Then once it comes to serving users, well, there’s a bunch of things that you can do in terms of batching and response time in terms of latency as well. So, we’ll dabble a lot a bit into that field

[1:13:54] to talk about the trade-offs that are made in terms of balancing cost versus serving your users at a specific speed. And then also, we can’t ignore the big elephant, which is like the electrical demand, right? There’s no infinite energy or electricity. So you need to balance your users needs with the actual amount of power that you have. And furthermore, as I’ve mentioned already, ML workflows are not in particular steady. So there’s lots of peaks and transitions where at one moment you

[1:14:25] could have a large load of inference that you’re serving and then at another moment it could draw down. So this means that the electricity infrastructure needs to be resilient to these transitions. And the two different workloads that are the main types of ML workflows are um training and inference. So if we look at a really high level what are these two things doing? So training you have a forward pass where you calculate the loss and then a backward pass which gives you gradients and then after you get the gradients you

[1:14:55] use an optimizer to update the weights in order to learn parameters. One important metric in terms of training is flops which stands for floating operations per second. So in training you have these massive batches of uh text that you’re processing through your transformer model and the amount of flops on your hardware usually determines like what is your batch size how many model how many how many how much text can you process in one single batch of course there’s a lot of other things that are in this calculation as

[1:15:26] well in particular these models are so large that they’re actually not on a single GPU they’re sharted across many um different devices in different forms of parallelism is what you call these different schemes. So that’s also a really important metric to to consider. But um one important thing in training is just how much how many operations can you do per second across your rack or your data center scaleout domain. And then moving on to inference. What we want to do here is produce produce tokens for end user. Um important metrics here are the prompt which we

[1:15:58] must prefill. So essentially if the prompt of the user is 1,00 tokens then you need to prefill that into the model and calculate a KV cache such that in every consecutive inference step when you produce the next output token which is called decode. So you’re decoding with this uh auto reggressive model which is the transformer. Then um this KV cache allows you to not have to produce the key and the value states of every previous token at every inference

[1:16:28] step. Um and if you don’t know what a key and a value token is, you can think of it. It’s just some internal representation which tells you the semantic meaning of all the preceding tokens that you use to inform the next token generation. And if you don’t have the KV cache, then you have to do a much more computation. So it’s essentially just avoiding redundant computations. So you need to store this in memory and then use that in every decode step and then in terms of batching right you have a scheduler which will have a bunch of active requests that it has to handle and um essentially batch those in an

[1:17:00] efficient way to balance once again the trade-offs between serving models serving users quickly and not having a really inefficient um batching scheme. So the two uh the two metrics here we’ll talk about is throughput which is just across all users what is the tokens per second. So let’s say that we are serving 100 users at 10 tokens per second. Then the throughput there would be a,000 tokens per second since this is essentially um aggregated across all users. And then per user the two

[1:17:31] important metrics here are first token. So how long does it take to get to the first token? Um this is TTFT time to first token and then inter token latency. In between every single token generation after the first one what is the subsequent um gap? So if you’re saying like if you have a,000 tokens per second as your your speed then essentially the inter token latency would be the reciprocal 1 divided by a th00and seconds which I don’t know is that like one microcond something like that. Uh so these are the two metrics

[1:18:02] that we care about and then the last thing which combines these two is called interactivity. I think we talked about this in a previous in a in a in a in a succeeding slide rather um interactivity is just tokens per user per second. So this is just another metric that we use to determine to what extent is our inference bandwidth um optimized or what is our inference bandwidth essentially. So oh I I literally just jumped ahead of myself. So I don’t know if I said this in the right order but in any case interactivity is tokens per second per

[1:18:33] user. I think I said tokens per user per second. So forgive me for that mistake. In this example we have one user having an interactivity of 40 tokens um per second. And this means that we have 25 milliseconds between tokens. I think this is justly 1 divided by 40. Uh 1 second divided by 40. Uh and then the throughput here depending on how many users we have would just be 40 times the number of users. And in fact um let’s look at the interactivity right. So if you have a interactivity of 20 then this

[1:19:04] gives you of a this gives you a inter token latency of 50 milliseconds which is larger. And then if you double or rather quadruple from 20 to 80 80 tokens per second then you will have an inter token latency of 12.5 milliseconds. So here we’re talking about just on a on a single user basis. In this next graph let’s talk about how we can serve um multiple users. So on on on the y-axis here you have throughput which is just tokens per second per GPU.

[1:19:35] And as Nvidia and Nvidia has um laid it out here in the graph, higher AI factory throughput as you go up. And then in particular here we have the Nvidia GB300 NVL72 which we’ve already talked about throughout this course on a Quen 3.8 model. So if you look at the um the specs here, it’s a three sorry it’s a 2.4 trillion parameter model, but it’s a mixture of expert models. So at any given inference step only 95 billion of

[1:20:06] the 2.4 trillion parameters are active. So that means that only 95 billion parameters are being used for every single inference step. Uh and this is called mixture of experts if you haven’t heard of it. And then otherwise we have FP8 which is just to say that the model parameters are in 8 bit precision or one bite floating point precision. And then we also use multi-token prediction which is a type of speculative decoding which allows us to predict multiple tokens at once instead of predicting them one by

[1:20:38] one. Uh we’re just going to go through this one by one. So Tensor RTLM is the LM inference engine. So maybe you’ve heard of VLLM or SG lang. These are all different frameworks for serving models at a high efficiency on on the hardware that you have. And then um in terms of the task, it’s essentially just a task where you get 8,000 input tokens and you output 1,00 tokens. So that that is what this benchmark is based off of. And um

[1:21:08] essentially we’re we’re plotting interactivity here. So NVIDIA has said for example, if you have a minimum interactivity requirement, so let’s say you have an SLA, which stands for a service level agreement. So let’s say that you’re selling compute to some company and they say that we want at least 100 tokens per second per user. Well, that would give you a total throughput of around a,000, which means that you could serve maybe like around 10 users at 100 uh tokens per second per

[1:21:38] user. And let’s say now the company says I want at least 200 tokens per second. And I guess I didn’t actually do the vertical, sorry, the horizontal line test to see where this intercepts, but um essentially taking this here and bringing it to the left will tell you however many tokens per second you can serve across the entire uh rack of 72 GPUs. And then finally, if you say that you want 300 tokens per second per user, then um you’ll only be able to serve like probably one user. And what you can

[1:22:09] tell is that it’s there’s diminishing returns. So this is not a linear plot. Like if this was a linear plot, then essentially if you could serve 10 users at 100 tokens per second, that means you could serve one user at a thousand tokens per second. But that’s simply not how this optimization works. It’s um it’s nonlinear. So this is a important thing to know in terms of the more and more you go into the latency um sensitive regime or you want to be faster and faster, the more the returns are diminishing. The last thing though

[1:22:39] that I’ll mention is that this is out of the box quen 3.8 2.4 fort. So probably with a lot of interesting optimization schemes, you could make this graph look much more appealing, which would essentially mean that like the the line would go higher for a given interactivity, you could probably have a higher throughput. But um with the base out of the box quant 3.8 2.4 T 2.4T 4T model. This is the interactivity graph and this is a extremely important metric to to keep in mind because this determines essentially the profitability

[1:23:10] and the feasibility of how many users at what throughput you can serve for a given hardware configuration. So I mentioned earlier how training is generally more expensive in memory as opposed to inference. And to make that more specific let’s let’s look at an example. So the same 70 billion parameter model needs much more state when its parameters are being trained as opposed to being served. So let’s say that we’re serving a llama 70B model at two byte precision. So this means 16

[1:23:41] bits per parameter. Then um to serve just the weights, we just do 70 * 2 which gives us 140 GB of BF16 um BF16 weights. And we do have to add the KV cache plus runtime workspace as overhead. So it’s not just 140 GB, but if we compare this to the training, then we can see that the margin of KV cache and runtime workspace doesn’t really make up for the fact that this is like one order of magnitude larger. And why

[1:24:12] is it one order of magnitude larger? Well, it’s because we still have the same 70 bytes times sorry 70 billion parameters times 16 bytes uh per parameter. But we also have the atom state which is actually in um four four bytes precision. So 32 bits floating point 32. Um you can think of atom optimizer as like an optimizer state. So this is essentially tracking for example momentum which is a metric that is extremely useful when you’re training

[1:24:43] models to allow the train to be more stable. We don’t need to get into the details but just to just to be um giving a summary here. We have the same two bytes for the weights here as as in the inference. But then we also have two bytes for the gradients. We also have a set of master weights which are uh four bytes. We have the once again the gradient and the second moment sorry not the gradient but rather the momentum and the second moment estimate which comes from the optimizer state optimizer state. And then also you have activations which you store in order to calculate the gradient. So all of that

[1:25:14] is once again not really important to know at a extremely low level. It’s simply important to realize that all of these different states which must be tracked mean that um in this like naive example we have to store an order of the magnitude more memory to train a model versus serve it. And once again there are probably a lot of techniques to reduce this by a lot in in making the memory of the training more efficient.

[1:25:44] The same thing also applies for the serving part. But um once again we’re just trying to get a high level overview of the different memory requirements of training a model on the right versus serving one. And then if we talk about context length, it’s also interesting. So this is independent of training and serving. This is just the case of um what you have to do when um when you want to store a KB cache for any given model. And in this case, the model we’re considering is llama 3.1 78b. And the general lesson here is that longer

[1:26:15] contexts retain more state because the key and the values grow for every request. So how do we calculate how much a single token? So what it’s a token for LM inference? It’s simply a term that the LM can recognize. So for example, the word ‘the’ might be split up into th and the and the letter E. In reality, the word ‘the’ is so common that it it’s probably it’s probably its own token. So let’s say that the word ‘the’ is cached in our model such that we don’t need to

[1:26:45] recmp compute it at every inference step. Well, you have a cache for your keys and your values which are two two matrices. The actual model itself if you search up the model card is 80 billion parameters and then per layer um per layer there are 80 there sorry there 8 KV heads. So, I don’t know if I said layers or not, but anyways, there are 80 layers. Per layer, we have 80 KV heads. And each head has a width, which means that the the vector is 128 um 128 values

[1:27:17] in length. So, essentially each vector is 128 uh dimensional. And then for each value in this 128 length vector, we are storing a number which is in BF-16 format, which is two bytes or 16 bits. And so if you do this multiplication you get this value. So 327,680 bytes per token or 220 kilobytes per token. And this is the KV memory. So this is actually the KV memory for one token. So the number of cache tokens

[1:27:49] times 3220 kilobytes gives us the overhead for uh the amount of memory that we need to store for a single token. And I’d like to take this moment to just discuss a interesting thing that happened in the market probably at the end of 2025 to beginning of 2026. You probably know what I’m talking about already. I’m talking about all of these memory stocks like Micron, like SanDisk, etc. Western Digital that have been increased immensely in value. And this calculation should demonstrate why these

[1:28:19] companies have increased their market cap to such a great extent. um for a single token you literally need this many bytes to store it in your model and also I didn’t mention this but this excludes block overhead what is block overhead it’s simply the fact that um when you want to assign memory in your HBM your high bandwidth memory on your on your GPU you need to do this in blocks which are some defined width and um likely the block will not be a

[1:28:51] perfect multiple of the size of your cache for your KV cache. So there’ll be some like min minimal buffer that you also need to add to this cache token bite requirement but um it’s probably relatively minimal and we can ignore that. But in general, you have this massive amount of token that you require. And as reasoning models became more and more popular in uh 2025, then what happened is that um the amount of KV cache became longer and longer as your reasoning traces became more and

[1:29:22] more protracted and um this led to increase requirement in memory and a lot of these companies that were producing their memory became very valuable. All right. uh and then context length and model design changed the KV cache budget. So what do I mean here? I’m saying that in the naive sense when we had llama 3.170B um we like had a really big memory requirement for our KB cache. So let’s assume that we have 64 GB allocated for

[1:29:54] our KB cache. Well, so if we have 8,000 tokens and if we multiply by the number that we computed in this slide, 327,680 bytes, then for these 8,000 requests, sorry, 8,000 tokens, then we can have at most 25 requests concurrently with this 64 GB of allocated KV cache because if we do more than uh 25 requests, then we will just simply go over our 64 GB uh weight a lot. sorry a memory a lotment

[1:30:26] and then in fact if you quadruple the amount of tokens per request then you will divide by four the amount of requests that you can serve concurrently. So 25 divided by 4 rounded down uh gives us six. So in this case we have 10 gigabytes per request and just as a legit check if you do 10 gigabytes per per request multiply by six then you get back your 60 or 64 if we account for rounding. And um this is probably in the regime here in this graph where we have a pretty inefficient um way of routing

[1:31:00] and storing our KV cache. And although I’m comparing Llama to DeepSeek, the the lesson here is still the same. Essentially what has happened over time is that you have new techniques such as like multi head latent attention uh which was one of the techniques developed by DeepSeek in order to make the KV cache require less memory. So just in this example here you are comparing the accumulated KV cache on the y- axis in gigabytes to the sequence length in in thousands of um in

[1:31:30] thousands. So essentially this the sequence length here is not 1,000 it’s rather 1 million and in deepse 3.2 two for a million u for 1 million context window you would have a 50 GB requirement and then in deepseek v4 pro that same 1 million token context window was I don’t know somewhere around 5 GB and then in deepseek v4 flash it became 13.7 times smaller um somewhere below 5 GB and now we’re already at deepseek v4.1 flash as their latest model if I’m

[1:32:02] not mistaken so this is why you should naively assume that like memory will just keep on going up in terms of the stocks. Um the me the methods are also adapting to this memory crunch to use less and less memory while maintaining performance and um it’s essentially doing this by compressing attention in um in DeepSeek V4. So this is another lesson that we can take is that even though the memory a lotment was initially pretty crazy, it is becoming more and more efficient. But because of uh what what what you would call

[1:32:33] Givvon’s paradox even though we’re becoming more efficient this is actually this is resulting in more people using the models because they’re more efficient and still in net we require more memory than we did before. Okay. Um we we did we briefly discussed the difference between prefill and decode which are the two different regimes that occur in inference when you’re serving a model. So at a high level, prefill needs compute and decode needs memory bandwidth. So what do I mean here? Let’s

[1:33:03] remind oursel let’s remind ourselves what the difference is between prefill and decode. So in prefill you’re processing the prompt. Um you’re doing many prompt tokens in parallel usually in a batch and this is just a really large matrix operation. So let’s say that you’re open AAI and you have 10 users which just submitted their codeex requests. Each request is maybe like a million tokens. Um that’s that’s exaggerating but let’s say there’s literally a million token codebase. So you would have 10 million tokens that you’re operating in batch and usually this is computebound. Um and the most

[1:33:33] important metric here is time to first token. What I mean by computebound is that as opposed to the speed of loading the uh the tokens into memory being the bottleneck here. It’s rather the speed of waiting for the matrix multiplications to finish as the bottleneck of what what is what is stopping you from processing these tokens faster. And then if I move on to decode, what’s happening here is that you’ve already processed the the model or the the the prompts once. So at every

[1:34:05] subsequent decode or auto reggressive token step, you just have to read the weights of the model as well as the cache context and then generate the next token. And this is often memory bandwidth bound because you’ve already done the brunt work of computing the KV cache in the prefill phase. And in this in this phase, you’re just um worried about the time between output tokens and you’re worried about moving the weights in and out of memory and [snorts] moving the new KV cache in and out of memory to generate subsequent tokens. So that’s why it’s memory bound. And this

[1:34:38] fundamental difference between prefill and decode has led to what’s called prefill decode disagregation, which essentially just means that you’re using different hardware to perform each job because each job is tailored to a different type of hardware. So if you have a really compute fast um machine, you’d want to do that on prefill. And then a type of a type of chip, if you’ve heard of Cerebrris, would be better for decode because it has extremely fast memory bandwidth speeds. Okay. And another thing that I

[1:35:09] highlighted here is that we have large matrix multiplications that were many that were usually processing in parallel if we’re smart about it. Because if you read the weight into memory and you only compute it with one prompt. So you essentially have your weight matrix here that you load into memory from HBM onto the GPU’s chip. And if you only multiply by one by one prompt, then you’re not really amortizing this weight transfer at to a good extent. It’s essentially

[1:35:40] costing you a really a really large amount in terms of time and energy because you’re not really doing this in a batch manner. Whereas let’s say that you’re doing this on eight requests, then you’re having more arithmetic for the same weight read whereas we just use one vector here. And this is allowing you to amortize. It’s the term that’s used this memory um transfer of the weight onto memory to a larger extent given that you’re using this in a more parallel and batched manner and in particular when we’re talking about preill and um decode and this

[1:36:13] disagregation I wasn’t just talking about this in theory literally you have hardware that’s being introduced in this case in Nvidia’s case you have the Nvidia Gro 3 LPX which is their product that is made specifically for inference and what it does is it has a Vera Rubin NVL 72. So Vera Rubin is the generation after uh Grace Blackwell and we have the same Envy link 72 rack which processes the prompt and does the prefill and then it

[1:36:44] transfers the KV cache to these Gro 3 LPXs which was a company that Nvidia acquired and they made these special chips that stream the answer really fast because they have what’s called SRAMM that can have a extremely high bandwidth in order to stream and process the decode phase. in a in a quick manner. Um, and then this has a really quick time not time to not time to first token but inter token latency. And this is what allows you to have extremely fast token generation both for the prefill

[1:37:16] phase and the decode phase. Last time I’ll repeat myself. This is called decode or rather prefilled decode uh disagregation. Okay. So now we’re talk quickly about batching and why do I have a picture of a bus here? So um let me explain myself. There’s two different types of batching or there are many types but I’ll only introduce two in this case. There’s a fixed batch which is the naive implementation. So in in this case essentially like let’s say every 5

[1:37:48] seconds you will process some batches of prompts that users come up with and you only process new batches every 5 seconds. So even though at slot three you could process another batch um because you have the space in memory, you still wait until the next one or rather you would wait until the last batch is done. So you’re kind of like waiting for the slowest batch to finish and this just wastes compute. And if we have a bus here, the example here would be like the bus can only pick up new

[1:38:19] passengers once it’s emptied all of the passengers, which would make no sense, right? You would essentially be passing people even though the bus still has space. Of course, if the bus is full, then you can’t let any more anybody else on. But until that happens, you can still welcome new passengers. And then how a bus really works is what you would call continuous batching. So as soon as a is released, the C batch would uh fill its place. And uh this is essentially how most inference engines, so we talked about tensor RT, we talked about VLM, we

[1:38:51] talked about SG lang. This is how they work in practice. They use continuous batching. And in a bus this would just be like every single stop if there are passengers you will let them board. And then every single stop if somebody wants to leave you will let them come off. And then the last edge case is like if the bus is actually full if all the slots are full then you do not let anybody on the bus until somebody leaves. So that’s the example here about batching. And um with respect to speed and like processing tokens, we really emphasize interactivity as one of the important metrics. But once again power is

[1:39:23] something that cannot be ignored. So let’s let’s consider two runs run A and run B which both have if we assume the same completed tokens and quality on whatever workload they’re running. And let’s assume that run A uses 100 kilowatts um on average and that run B uses 80 kow. So naively you would think, okay, if they both do the same job, then run A is worse because it uses more power at any given moment. But let’s assume that run A takes 10 minutes and run B takes

[1:39:53] 15 minutes. So if you just multiply this to get kilowatt hours, it turns out that run A is actually more efficient in terms of power consumption or energy use 16.7 kwatt hours as opposed to run B that uses 20 kilowatt hours. So this is because like run B took five more minutes and this resulted in a 20% energy increase. And all of this is to say that even if you have a system which uses more power, if it can complete the job faster, then it might actually have a better energy consumption.

[1:40:26] On that same note, we can also talk about energy consumption in the sense of the synchronization of GPU jobs in the and to be more specific um when you’re training a model, the GPU falls or the power consumption falls while you’re waiting for the exchange of the weights. So essentially what happens right is when you do a large model training run, you have a forward pass where you pass the the activate. So essentially you you pass the prompt through the model to get

[1:40:57] your activations and then use those activations in a backward pass to calculate your gradients and then once you calculate the gradients you will update your weights with the optimizer and then you’ll do what’s called an all reduce which will sync the gradients across all of the models. Sorry not the gradients but will sync the weights across all of the models in order to calculate the new model weights for the next step. And what happens is that during this all to all communication which is the all reduce you have less computation. And what this means is that the low the

[1:41:27] GPU power is much lower. And don’t just take my word for it. Let’s look at this graph which is really cool. So this graph comes from a 2025 paper by Microsoft OpenAI and NVIDIA which shows the DGX H100 in a production training run. And um the power on the on the y- axis here is normalized just to be between zero and one but it is actually measured in watts. And um the GPU draw in this time plot which is in seconds. So we go from 0 to 200 seconds. So we’re on the order of 4ish minutes. You can

[1:41:59] see how much this goes up and down. So they don’t actually label all right this is the forward pass. This is the backward pass. This is the optimizer step. But I would assume that like this would be the point in time when the GPUs are communicating. And this is just an extremely telling graph. Why is that the case? It’s because it already gives us the intuition that when we’re powering these systems and we just naively give them the same amount of power over time, then there’ll be a lot of problems where at a at a given moment, if you’re

[1:42:30] serving like the maximum power, then you’ll essentially have a lot of excess power that must go somewhere. So this means that the the power supply that we’re feeding to these models needs to be much more resilient. Of course, if we’re mixing up training with inference, then that will also help because the inference will kind of will kind of serve to dampen these massive ups and downs that occur during training time. And we’ll talk about these specific techniques that Microsoft use for example which are both on a software level and a hardware level to make sure

[1:43:01] that uh this synchronization that leads to really low power uh consumption at specific intervals does not affect the downstream grid or the downstream infrastructure and that will be in a subsequent chapter. But for now just understand that this is a problem which must be addressed when we’re training models at a large scale. Okay. And we already saw this graph in the previous example, but let’s actually determine uh let’s actually attribute numbers to it. So the computing exchange phases creates

[1:43:32] this time varying electrical load. Let’s assume in the simplified case that if we have watts on or sorry kilowatts on the y-axis and seconds on the x-axis that the compute phase consumes 120 kow uh the exchange is 40 kow. And then when we are saving the model weights to the model for the next compute phase, this requires 60 uh kilowatts of energy. Sorry, not energy but power. And that the mean power is 85 kW. Well, once

[1:44:04] again, if you now put shard this across four GPUs, then the differences become four times larger. And the peak now is 480 kW instead of 120 kW with a 340 kW mean. And per 60 cycle, we are consuming 5.6 repeat kilowatt hours of energy. And the one thing that I wanted to say and the reason why I brought up this entire example is that

[1:44:37] this might not always be the case and maybe it’s actually difficult to make it such but if we assume or if we can have a instantiation where the jobs are independent then in fact staggering them by 15 seconds or starting them 15 seconds apart to spread the power demand would mean that the entire power band is 340 watts sorry 340 kW and the energy consumption still says the same because we’re doing the same amount of work over this one minute of time, but we’re just staggering it such that the the the the

[1:45:08] power spike doesn’t occur like it does here. So, this is kind of like an idealistic uh framing of the problem. But at a high level, this is one method that we can use in order to prevent our power requirements from peaking and going to troughs over the cycle of our workloads. All right. So what did we discuss in this chapter? Essentially what we said is you need to size the supply from the workload’s measured power trace. So the supply is like the actual energy. The

[1:45:39] power trace is the power as a function of time. And then the workload is what are you actually like running? Are you doing training? Are you doing inference? And for each specific category there’s some key terms. So for the workload it’s like the model. So what is the size of the model that you’re training? the context like how large is the KV cache, how much memory do you need for it. When we talk about token service is like what are the requirements that you need to serve to your users also are you doing training are doing inference with respect to power trace we need to know the peak the energies the transition

[1:46:11] speed so like how much is the energy varying over as a function of time essentially like what is the acceleration of the of the power use um and then the supply is just simply right what is the grid what are what are we dealing with in terms of power that we can access how does the generation work how fast can it adapt And also is there like local storage essentially is there like batteries which can supply a large increase in energy surge and then also turn off when the energy dampens. So

[1:46:42] we’ll we’ll dive deeper into these uh specific energy requirements and accommodations in uh in subsequent chapters but this is kind of a taste of what we need to expect in terms of how data centers need to adapt to the workloads that um that AI comes with. And these are very diverse. So now let’s talk about a bit more physical infrastructure. So in this chapter we’re we’ll really talk about like site preference and how you like choose

[1:47:12] sites. So if we literally look at this on a three question basis. We’ll talk about when. So this is to say like at what rate can the power actually get online? How are we going to connect to the grid? Are we going to connect to a local supply? Are we going to use gas? Are we going to use renewable energy etc? And what so um what is like the logistics of the power that we’re getting? How does it peak? What are the backup supplies? And the bottom line is we need to choose a site that can supply each phase on its required deadline. And in fact, if I just jump to the second

[1:47:44] slide here in this chapter, if we have multiple deadlines, what we can do is stagger the construction such that we incrementally put compute online. So this isn’t just theoretical. Literally Cororeweave, which is one of the largest hyperscalers, had a set of data centers that they were building in October of last year. And they received the first first 50 megawws in October. So October 27th is when the first phase was ready

[1:48:14] for service. And then the second phase was less than a month later on November 24th. And at this point, they had 100 megawatts of compute online. And you can think of this as one way to cut your oyster or whatever the idiom is. In the second instantiation, you would just build them all at the same time. And maybe it would still take somewhere around November to get the 100 megawatts of comput online. But um you’ll often see that if you have like a massive 1 gawatt project, it’s probably faster and

[1:48:46] better to develop them incrementally based on the supply chain um constraints and then at that point put the power put the compute online as fast as possible because right now there’s an insane premium for having compute that is ready to go instead of just like building it all at the same time and then um having to wait longer for the entire thing to come online. And then we can see this same trend here on Abalene which is the campus that is

[1:49:16] being built in Texas by Crusoe currently. So the entire target for this target campus is 10 gawatt but the Abene campus that’s currently being built is planned for 1.2 GW. And the reports from Oracle as of um this month September 2026 are that 75% of the capacity has been delivered and is online. And they didn’t actually tell us the precise amount of megawws that are actually online. But if you just do 3/4 of 1.2, then you get 900 megawatt as currently

[1:49:49] online. And um this is just once again a second case study of what happens when you incrementally put compute online versus wait until everything is done. It just gives you the ability to make profit much earlier than you would otherwise. And um another cool thing about Abalene is the fact that it uses gas for on-site generation. So behind the meter with these gas turbines, which you can actually see right here, um these these the power plants in Abalene. And in order to service this, they they

[1:50:22] actually made their own gas lateral. And what’s a gas lateral? You can think of it as an offshoot of a main of a main gas line. So we’re in Texas where there’s abundance of gas. And um in order to get this gas, they needed to build a 14-mi offshoot, which they just built themselves in order to supply uh Abene with a source of natural gas to to uh to supply their gas turbines. And um yeah, this is just an example of if you don’t have the the resources, then

[1:50:52] there’s there’s ways to get it. And in this case, they literally built their own gas pipeline to uh to supply these gas turbines with fuel. And when one talks about the feasibility and kind of inspecting whether or not a data center is ready and can actually access enough power to be put online, you need to have some joint studies to occur. Because let’s consider you’re building two data center campuses, campus A and campus B

[1:51:23] right beside each other. If they both depend on the same substation, then you should ensure that this substation is capable of supplying enough power to both campuses and not naively assume that okay um it meets the capacity for campus A and like forget oh crap, we need to double that because campus A and campus B are both requiring the same amount of power. Uh so this is just one thing that we should keep in mind that you need to do a lot of feasibility studies before these data centers are built. Um and this comes down to like does the substation have enough

[1:51:55] distribution capability and also does the substation even receive enough power from the grid or do we need to do our own on-site generation in order to make up for the deficit. And then um there’s four main types of power um consumption or power generation techniques. So let’s distinguish between imports, local supply, and just being completely island off in a behind the meter um in the in a behind the meter regime. So let’s go through each one one by one. Starting off with grid supply. This is the case

[1:52:26] where utility supply is the normal demand and backup is a separate design even though most data centers will have some type of backup scheme. But in these grid supplied um scenarios, the the expectation is that the grid is what’s supplying the power at normal times. And before this whole like data center crazy GPU regime where everything is like out of stock and there’s these lead times of multiple years, this is what the main regime was because getting energy from

[1:52:57] the grid is just much cheaper and much more reliable than making generator making energy yourself. And then if we talk about grid parallel, this is similar to just grid supplied except you have local output which is to say like you have your own on-site generators and then you’re also allowed to permit imports. So you can think of like maybe you know your you know your data center is like 1 gawatt and there’s always at least like 500 megawws or 0.5 gawatts of

[1:53:29] base load. So let’s say that you bring in a half a gigawatt or a 500 megawatt turbine in order to supplement this base load which is guaranteed and then you will import from the grid in order to essentially satisfy the spikes that occur like maybe at noon there’s a lot of requests that happen. So you need to import a lot of electricity to make up for that um that spike that surge but otherwise you’re depending on this local generator and then you will yeah just

[1:54:00] reserve import capacity for whenever you need it. Uh and this is essentially a agreement that would be determined between the utility provider and the data center operator. And then you have a export only setup where essentially you supply all of the energy that the data center needs to data center uh yourself through your own means of generation and then you export or you have some agreement with the grid

[1:54:31] to export energy that is created in surplus. So in this case you would have your IT capacity. Let’s say that your IT capacity is 1 me 1 gawatt and that your um nonIT so your facility energy consumption is 100 kilowatt so you have 1.1 um yeah you have 1.1 gawatt of energy use in that case um sorry one let’s say that you have 1 gawatt of um energy

[1:55:01] consumption by your IT capacity and one megawatt of um energy use for the other facility equipment. So that would be 1,0001 megawatt of uh 1,0001 megawatts of total consumption. So your your generator would probably be larger than that since you need to guarantee that you can always support at least that base load. So let’s say it’s like a 1.5 gawatt generator. Then you’d be supporting the data center through this generator and then exporting access uh to to the grid. And then the one thing

[1:55:31] here is that there would be no imports at all. So there would be no way to get energy from the grid which means that um if your generator goes down then you should have like some redundancy in the system and then completely off the grid kind of behind the meter is saying that you’re just completely off the grid. So you generate all of the energy uh locally and you need some like type of balancing some fast balancing to to make up for peaks and troughs in your energy demand. So this might be in the form of a

[1:56:02] battery system or other capacitors to absorb these shocks. But in any case, this is the fastest way to put a data center online normally, but also likely the most expensive. And another thing that’s interesting is like Crusoe, which once again is this data center AI factory serer or contractor, have have had this hybrid scheme. So what what have they done here? Essentially they used gas turbines as their initial power source and then once the gas turbines or sorry

[1:56:35] because why why did they do this? Let me let me set this up for you guys. So essentially there’s these interconnect cues which mean that you cannot instantly get access to the grid and so that they had this bridge where while they were waiting to get grid access energy they were using these gas turbines to supply the data centers. So you had this bridge supply, but then once they finally got connected to the grid, this gas turbine just became the backup generators and then they instead were importing energy from the grid. So this is one one technique. I think also

[1:57:06] SpaceX or XAI, whatever you want to call them, have also had this same strategy in one of their data centers. Um, and it’s kind of a way to get your data center faster online so you can start to generate tokens and make a lot of money. And then once you finally get connected to that grid, have a way to import electricity from the grid and use this latent capacity as your backup capacity. All right. So when we talk about generating behind the meter, the most common form of generation is through gas

[1:57:37] turbines. And you have two types. So you have a simple cycle and a combined cycle. The only difference between them is a simple cycle has a gas turbine and so does a combined cycle. But a combined cycle has a steam cycle as well. Um another thing is that you’ll call these you’ll often hear these called CCGTs which stands for combined cycle gas turbine. And this would just be a simple cycle gas turbine. What you really need to know too is that CCGTs are in immense scarcity. So like

[1:58:08] you’ll have to wait many years to uh to get these if you want to order one. Um the two biggest manufacturers or among the two biggest manufacturers are GE Vernova which is General Electric’s Oh there you go which is General Electric’s um generator um department. So they make the the generators and the steam turbines these these massive uh gas turbines for for the General Electric. And then you have Seammen’s Energy which is the German company that also makes these gas turbines. Um, the reason why I

[1:58:39] said that they’re in immense demand is just because these are one of the most efficient ways to turn gas into electricity. In particular, CCGTs can have up to 64% efficiency, which for fossil fuels is almost unheard of. That’s like really efficient. And also, they can just uh produce immense amounts of electricity. So, you can have a CCGT turbine in the order of gigawatts. And um simple cycle is less efficient and also less um less energy because it only uses one of the cycles. And I’ll

[1:59:10] explain why that is the case. But overall, these are really good ways to turn gas into energy. And if you’re building a data center in Texas, which is where a lot of data centers are being built, or in Pennsylvania, which is the second largest gas producing state in the US, then you have a lot of access to natural gas. And so this is the best way to turn or to just get just get energy. Um and the last thing I want to say is an interesting dynamic which has occurred is that there have been like speculators who foresaw the demand in data centers

[1:59:41] before others and essentially had the capital to place orders for these combined cycle gas turbines or for these simple cycle gas turbines with no intention to actually buy them. and then now they’ve essentially sold their spot to others and made a pretty handsome profit because of the fact that these are in ma im immense demand. So that’s just an interesting anecdote that I wanted to explain. But now I want to actually explain how these work. So how does a simple gas turbine drive its generator. So at a at a high level these

[2:00:14] simple cycle gas turbines kind of work how like a a turbine works on a um on an airplane. So you have a compressor which compresses air into very high pressure and then this high pressure air is then combusted. So you inject the fuel and then you burn it and then this extremely high velocity um burned fuel with high pressure just moving really fast turns this turbine and then this turning turbine turns the generator. Um it’s that simple. You can get into much more detail if you want to but this is

[2:00:44] at a high level how a simple cycle gas turbine works. And I think you’re talking about like 30 to 40% efficiency in terms of the amount of jewels in the gas versus the amount of uh energy that you produce from the generator. And these are much simpler than a simple than the combined cycle gas turbines. So when I do the comparison, I’ll first describe how a combined cycle gas turbine works and then compare the two. So the gas turbine here in the in the combined cycle is the exact same mechanism as the simple cycle. So this

[2:01:14] is the same. The only thing is now you add a steam turbine also to the mix. So what’s happening here? Well, it turns out right this combined cycle gas turbine creates a lot of heat and in fact like I think you have these offshoots here which are offshooting the excess heat and that’s wasted in a simple cycle gas turbine. But in instead in a CCGT, you’re recovering it and then using a steam turbine in order to just um turn a turn a turbine through steam and generating excess power. Uh this is

[2:01:45] also like how like a a nuclear power plant works. It creates steam and then turns a turbine. So essentially you have this double cycle turbine which is not wasting the heat but instead using it to power a second generator. So I hope this gives some intuition on how a combined cycle gas turbine is more efficient than a simple cycle gas turbine. This is a diagram provided by Seammens. So then the natural question is why the heck wouldn’t you just only use a CCGT?

[2:02:17] There’s multiple reasons. So first of all they’re more expensive and they’re more complicated. there’s two parts like there’s two principal parts like maintenance and just overall cost is higher but nevertheless it’s still like on a very long basis um more cost effective for the amount of power you can produce there’s also just the fact that it’s more complex so it takes longer to build these and then lastly it serves different roles so what do I mean um you use CC CCGTs often for base load so let’s say that you know your data

[2:02:48] center requires 500 megawatts all the time then you would get a 500 megawatt combined cycle gas turbine to serve that load and always be on. And then let’s say that it spikes to 800 megawatts in the daytime. So then what you might want to do is buy a 800 sorry buy a um buy a single cycle gas turbine that is 300 megawws that will serve this peak. And why would you do that? It’s because simple cycle gas turbines can actually spin up faster since it’s there’s less parts. It can reach its peak power

[2:03:19] output faster. And then also there’s a specific trade-off point where because the combined cycle gas turbines are more expensive, you want them to run all the time to amortize their cost. But in fact, if you’re only using a generator for some peak power since it’s like probably going to be off half of the time, the fact that the simple cycle gas turbine is cheaper means that in the long run, it actually might be a better investment just because it’s only being used to serve peaks. So you can see that these

[2:03:49] are kind of complimentary turbines, but both of these types are just in really scarce quantity right now and have multiple years of leadout time because they’re such a good way to turn um energy into sorry to turn natural gas into energy and you can into it the extent to which these are in scarce supply because literally Cummins for example which makes truck engines is turning its truck engines into generators and then also you have like airplane manufacturers airplane engine manufacturers who are now pivoting into

[2:04:20] data centers. You also have Nebus who made a data center with Microsoft in New Jersey using ship engines. Diesel ship engines are being used to power data center guys. So this is just describing the extent to which they don’t really care how you make the the energy as long as you can make it. Um it’s it’s fine. And the reason why they’re going to such im immense um extents to procure energy is because if you compare the bomb the bill of materials of a data center the

[2:04:50] energy is quite trivial compared to the cost of the GPUs. So if you’re like 2% cost becomes 3% which would represent like a 1.5x in the cost in the grand scheme of things it doesn’t really matter that much because you’re not even paying that much in relation to the GPUs. All this is to say that there’s many different ways to get make gener make generate energy and um the the CCGTs are the best but um there are different ways and um since the bill of materials is relatively small for these

[2:05:21] uh generation schemes it’s um it’s not that big of a deal if you have to pay a bigger premium on making a diesel engine use your gen create your energy as opposed to some more efficient means. I just want to quickly give you guys an example of like a real CCGT in use. So GE Vernova, once again, General Electric has this complex in Danny Beach, Florida, which um is a CCGT. So in fact, there are two of them. These are the General Electric 7HA.03. What this means is, it doesn’t really

[2:05:51] make sense, but 7 stands for the 60 Hz family. H just means high efficiency, A is aircooled, and then 0.3 is the model version. And so this can produce up to 1.26 26 gawatt across these two CCGTs, meaning that they’re probably on average 600 600 megawatts per unit. Um, and this is just an example of what they look like. You can see here the turbine is probably somewhere in there. And then I assume these are radiators, but uh do not quote me on that. And then uh why would you want to use a single cycle gas

[2:06:22] turbine? Well, I already like motivated this. On the left here you have a fossil fuel based energy system where your base load is served in black and you can assume that this would be a combined cycle gas turbine and then let’s assume that you have your peak load um that is essentially peaking on um I guess like probably the evenings on the weekdays and this is increasing such that um you would want to serve this with the the the simple cycle gas turbines as we explained previously. Um on the right,

[2:06:53] this is kind of unrelated, but it’s it’s explaining energy system with high per uh penetration of intermittent renewable energy. So for example, you’d have solar, which you can see that these blocks here are all the daytime. Um they’re producing they’re producing this power during the day and then the wind in in contrast is is producing power kind of constantly but is varying based on the the strength of the wind. And what this means is that if you have a renewable system then the the necessary base load is much smaller uh than it is in a fossil fuel based system. But um

[2:07:24] it’s more interesting anecdote and it’s just saying that renewable energy is cool. So when we talk about like speed of actually building these data centers there are three meanings of fast. So first of all there’s like the delivery which is like just like the EPC the engineering procurement and construction. how fast can you like get this get the the parts and like equipment on the site. And then there’s this there there’s a startup. So this means that like if there is a power outage, how fast can you go from stopped to generating? And then there’s also

[2:07:56] ramping. So once you have like actually turned the data center on, how fast can you go to peak output uh and produce your tokens at the peak throughput that the data center advertises? So we’ll talk about these in the later sections as well as throughout this chapter. One thing though is I talked about like this break even point between using simple cycle gas turbines as well as combined cycle gas turbines. So if we assume that a simple cycle gas turbine is 40%

[2:08:28] efficient and a combined cycle is 60% efficient. Then if we look at the uh the fuel cost divided by time then the slope of the combined cycle is is uh is lower because it uses less fuel. And then furthermore we’ll assume that the fixed cost of a simple cycle is 8 million per year and the fixed cost of a combined cycle is 60 million per year and that fuel is $20 per megawatt hour. Let’s assume also that we’re running 100

[2:08:58] megawatt generators on both scales. Therefore, the break even point of using a combined cycle gas turbine is 4,800 hours in a year. And in fact, there are around 8,000 hours in a year. So, if we do 24 * 365, we get 8,760. So, essentially, if you’re running a generator for more than half of the year, then it’s more cost efficient to use a combined cycle. All right. Now, let’s talk about Colossus 2. So, if you haven’t heard of Colossus 2, this is the co complex that

[2:09:30] Space XAI is building in the Memphis, Tennessee area, which is actually called South Haven. And the interesting thing here is that Colossus 2 and its power plant sit on opposite sides of the state line. So, Clauses 2 is in Tennessee, which you probably know, but what you might not have known is that they actually built a power plant in Mississippi, which is only like a few a few uh miles south, and it’s actually a massive plant. So it’s 41 turbines which are 1.2 gawatt and I think now it’s actually been put online. So these numbers are from January 2026 but 8 9

[2:10:03] months later it’s actually in operation. And if I do 1.2 divided by 41 you have I guess 30 megawws per turbine. So these are probably like less less complex probably like diesel or small gas turbines that are being used here. And why why did they have it built in Mississippi? So, first of all, it’s a really interesting and smart planning choice by SpaceX AAI to have built this on the state border with the future thought of, okay, if Tennessee ever determines or plans out to be turns out

[2:10:34] to be kind of less flexible in permitting, then we can always go to Mississippi. And that’s what they did because the problem with behind the meter power, which is what they did here, they built their own turbines, is you have to go through EPA, regulation, the environment protective the environmental protective agency in the US. And why do you have to do this? It’s because you’re actually producing a lot of CO2 emissions when you when you’re burning gas, right? So, you can’t just like say, “Oh, yeah. I’m going to build like 1.2 gawatt and put like 3,000 tons of CO2 into the air per year.” you have

[2:11:05] to get a permission from or like a permit from the EPA or you can get a 12month temporary permit from Mississippi which is what they actually got um when they built this plant. So that’s that’s why they went to Mississippi is cuz I guess the county in Mississippi gave them a 12-month temporary permit which I think they’ve now actually um converted into a permanent permit to operate the the gas plant. And so it’s quite an interesting uh setup here with how they managed to get the site on one side of the border and the power plant on another. Just a

[2:11:36] really interesting um example here. So I already said that twice. Let’s now move on to the let’s move on to the next slide. And so South Haven, right, which is the which is the plant that they they built in the Tennessee Mississippi area has also planned um compute and battery charging along with their local generation. So if you look at these um July 2025 permits, they have the 41 turbines which we already talked about that get natural gas from some um tap which is somewhere in the in the region.

[2:12:07] And then they also charge battery packs in order to provide a sort of um buffer whenever there is a lack or surplus of energy to the data center. And this is because they were not connected to the grid at the time. They may or may not be connected to the grid now. So you’d have to search it up. But u in any case, when you’re on this behind the meter setup, it is very important and essential to have battery packs to serve as a sort of buffer instead of having the grid which usually serves that role. Another thing

[2:12:38] that is really interesting and underrated is how XAI overcame supply chain constraints in the in the in the clauses build out. So what do I mean? As we mentioned in the primer or the electricity section, I forget exactly which one. Usually you will produce energy at a gas plant or whatever plant and then step up to high voltage do your high voltage AC transmission and then step down first to medium voltage and then to the local low voltage supply at the campus to distribute the energy. It

[2:13:10] turned out that there was a shortage of high voltage AC transmission equipment and switch gear which XAI needed in order to build Colossus. And this is still the case today. You have some insane like four-year leadouts for some of these transformer equipments uh that are being used for transforming and distributing electricity. So what they did instead is quite uh it’s quite impressive and creative. The XAI and SpaceX engineers just said, “Okay, we’re

[2:13:40] going to skip high voltage and instead we are going to only use medium voltage for the transmission between the gas plant and the local low voltage supply to the campus.” And this is from a verified semi-analysis account uh uh from last month in August 2026 of the the way that they overcame this supply chain obstacle. And what this means is that they accepted a lack of efficiency for a faster deployment time. And I believe they actually got this medium

[2:14:10] voltage feeder and switch gear. So a feeder just to be clear is essentially the infrastructure the conductors that feed electricity from the source to the destination. They they procured these from China and u yeah just like really went above and beyond. This is what Elon Musk is known for saying okay the laws of physics are such and therefore if it does not defy the laws of physics then we will find a way and that’s what they did but they did accept the trade-off which is to say the efficiency of

[2:14:40] transmission would definitely have dropped and if we just talk about an example right let’s assume that instead of transmitting energy at 161 kilovolts which would be considered high voltage they instead had to do it at 345 sorry 334.5 kts and if we assume that the plant or actually we don’t need to assume like these are real numbers um the the plant colossus has a power requirement of 200 megawatt so that

[2:15:11] means that they need to transfer 200 megawatts from the plant to campus well this means that the campus AC route trades fewer transformer stages for more current so if we assume that we have a power factor of one which means that we don’t need to supply more power than is necessary throughout the lines to reach the destination. Then we need 3,347 amps per line as opposed to 717 amps per line to supply the same amount of power. So this is 4.67 times the current at the

[2:15:43] lower voltage. But more importantly, it’s the current squared to get the increase in resistive heat loss. So this would be somewhere around 20 times more loss to heat. And this is of course assuming that you use the same amount of lines. Like one thing you could do is just use like four four times the amount of lines of conductors. And then in that case you’ll just have more metal to pass the the the current through. So there will be less resistive heat loss in that

[2:16:13] regard. But in any case there is a trade-off that must be made here. And this this formula here is not that important. Um if you guys remember P equals ID is the formula for calculating the current as a sorry for calculating power as a function of current and voltage but that’s only for direct current. If you’re using alternating current then you need to use this formula which is a bit more sophisticated and in particular uh this is for three-phase AC. So we talked about the different phases of AC based on the phase of alternating current that you’re working with the the formula for

[2:16:45] calculating the current given a specific power will change. Okay. So, I think we have a good idea of like you’re trading more current and more heat loss for faster lead times and actually getting the compute online faster. And it turns out that that doesn’t really matter in terms of SpaceX making a a boatload of money. So, let’s just talk about their disclosed compute fees because they show that the stakes of delivering capacity sooner were very profitable. So, we actually know the exact amount of money that SpaceX is making from their current

[2:17:16] deals with Anthropic and Google. Uh so you might have heard me names on X that people are talking that people are saying that SpaceX now that they’ve merged with XAI is actually making more money from their compute as opposed to their space company. So it’s more of like a comput company that has like a space side project. Um and this is because they literally are generating $1.25 billion per month from Anthropic. And this is across Colossus one and Colossus 2. These are full fees after their May to June ramp up. So they I

[2:17:47] think started with a specific compute budget and then Anthropic even raised it to a higher margin since they are desperate for compute. And then for Google they’re currently making $920 million per month off of them. And these are from um I guess this this is at least until October 2026 that they’ve committed to this compute capacity. And what we really need to know here um is that first of all the the the contracts are quite interesting. So both side can can quit and say in the next 90 days

[2:18:17] after that period of time I’m no longer going to follow this contract but up to now both sides have committed to the contract. And these numbers are like real numbers because in the SpaceX IPO filings they literally reported these numbers because they needed to report their financials since they became public. And if we sum these up we get $2.17 billion per month. And according to semi analysis which uh this is like very reliable source at least on this statement um not for all statements but

[2:18:49] anyways they did the calculation and it actually making this much money per month pays back the capex for the entire data center in less than a year. So by essentially going through these hula hoops and getting this inefficient medium voltage transmission, they were able to put this compute online faster. And right when there was the compute crunch, they could sell compute to Anthropic and sell compute to Google at a massive premium, which allowed them to uh profit and pay back their capex much

[2:19:20] faster than um than they normally would if they had to wait to get the high voltage AC installed. And we can actually calculate this much more uh precisely. So one month of earlier service can outweigh a year of extra extra fuel. Let’s just put the numbers here. Let’s say that um you want 100 megawws delivered 24/7 with 20 megawatt $20 per megawatt hour of fuel. And you’re considering simple cycle versus combined cycle where simple cycle costs much more or rather costs $14.6 6

[2:19:53] million more per year in fuel because of its efficiency that is less. But here’s the thing, you can literally open one month earlier and use simple cycle instead of uh combined cycle as long as the earlier service contribution. So as to say like fees less all other surface costs from going online one month earlier is greater than $14.6 million plus the faster build costs. So, in the case of these contracts which are in the

[2:20:23] billions of dollars, if you’re only talking about like a $14.6 million difference in like fuel consumption, and then also don’t forget to add the fact that your electricity transmission is less efficient, you’re still not going to be reaching a billion dollars, which is just proving the point that you can make a lot of money by being inefficient in data centers right now. So here we’re going to do a quick interlude to talk about what a place in a interconnect Q actually buys. So I’ve mentioned this already perhaps in the course, but the

[2:20:54] interconnect Q is essentially the line you need to wait in in order to get access to utility power. And the two systems I’m going to talk about are URKT, the Energy Reliability Council of Texas, and PJM, which is the largest regional transmission organization in the US and I think in North America. PGM just stands for Pennsylvania, Jersey, Maryland, if I’m not mistaken, since those are three of the states which originally constituted the interconnect,

[2:21:26] but now it’s actually 13 US states plus Washington DC, whereas Urkott, as the name suggests, is Texas primarily, but also bleeds into a few other state borders if I’m not mistaken. So, these are the two main energy utility consortiums that we want to be interested in when we’re talking about the US. mainly because in Texas you just have a lot of oil and data centers being premium and then PGM it’s just the biggest one overall. So first of all buying GPUs does not get them powered. I think we can both agree on this. If you

[2:21:56] have a bunch of racks that are not plugged in then you’re not going to get anything done. In fact in a podcast last year Satya Nandella is quoted as saying that he had a bunch of chips sitting in inventory that cannot be plugged in. So we need to realize that power is definitely a bottleneck in many circumstances and therefore you need to plan for power to get online when the chips arrive. Let’s look specifically at a sec at Uricott’s data center que. So so if we look at the

[2:22:27] queue, it’s split up into three pieces, but overall there are still 474.7 gawatt that have no approved study. And what this graph is actually is the large load requests since 2022 by status as of June 2026. Okay. And overall we can see first of all that 5.2 g 5.9 gawatt are actually operating and this is the very small black margin here. But worth noting here is that it’s actually the

[2:22:58] peak that they added. So since 2022 there have been 5. 5.9 GW of data center. or not rather data center but just large load requests put online and a large load request means typically 75 megawatts or more of capacity. So of all of the 474.7 5.9 have been online but this is only counting the peak output. It’s not actually the average operating energy draw. And then there’s 284.3 GW which

[2:23:29] have no study submitted to or essentially how it works is that a study needs to be submitted on behalf of the utility in order to determine like whether or not this demand is legitimate and what new infrastructure needs to be built to serve it. Okay, so that’s the that’s the yellow. Then the blue is there are 135.5 gawatt with the study steady under review. And then five 55 gawatt which is the green is the amount that have a steady approved or further. So you can see it’s like almost a power law where the the smaller and smaller

[2:24:01] pieces is actually the further in the process you are. And most people are just in this gray zone or rather yellow zone where there’s no study submitted to OT yet. And why is that the case? Let’s explain it with this simple example. So let’s assume that you want to build a 1 gawatt data center and you have three sites that you’re considering for your campus. Well, it turns out that you need to have a separate study for each site

[2:24:31] because of course if you want to build a data center on one side of Texas versus the other, that will determine to a great extent whether you need more or less infrastructure built to support that gigawatt. And so what they do is you submit these three requests for the site since as we’ll mention the cost to join the queue is not immense and then once that’s done you can simply choose your site and just forget about the other two uh campus proposals just um essentially remove those requests from

[2:25:02] the queue. So the problem here though is that the utility companies are not perhaps aware of what’s actually going on with these requests. A new Texas law, if I’m not mistaken, now makes it such that they need to be transparent about any redundant requests they have such that the entire system knows like, okay, this company is actually only going to build 1 gawatt even though they have 3 gawatt of requests. So, this is something that is happening as we speak in terms of a regulation change, but up to now it was definitely a big problem. And let’s look at this semi analysis

[2:25:34] graph to understand this better. This is also from June of this year where they say tracked data center projects back only 13% of Urkott’s 357 gawatt data center cute. And so here what they’re saying is that there are 45.4 GW of real compute. So this is essentially projects that semi analysis can track because there’s a physical site. There’s actually boots on the ground. Whereas the other 311 gawatt is just phantom data centers. This green part here is uh less interesting. It’s crypto H2 I guess

[2:26:05] hydrogen I’m not sure what H2 actually stands for and industrial. So we can see that we almost have a 1:10 ratio of real to phantom uh data center demand and this can be uh very concerning when you think about people who are claiming this is a indicator of a bubble situation. So how can we resolve this? So there’s some new reforms that will be implemented soon but not yet. So from October 8th, 2026, these new laws will take form. And what are we talking about? So a large

[2:26:36] load request in UROT now has a security for every megawatt. So before this came in, there was no Urkotwide amount in terms of putting its sort of deposit on booking compute or uh booking energy and each utility sets its own study charges and security. But now there is going to be these amounts that OT requires where first of all there’s a $100,000 deposit for a study fee and then there’s $50,000 required for every single megawatt that you request if it’s a 75 megawatt or more request.

[2:27:07] So that would be a large load. And so if you imagine a 1 gawatt request now requires a $50 million security amount. The one thing that is worth noting though is that there is still relatively lenient rules where as long as the project isn’t too far advanced. If you pay this security deposit, you can still get it refunded or at least get most of it refunded. So don’t think of this as like a silver bullet that’s going to solve this phantom queue. It definitely will help. I hope. But it’s actually not

[2:27:38] even implemented yet. So maybe what’s going to happen is that right before October 8th, so right now it’s September and leading into October, you’ll just have a bunch of people making these massive Q requests because they know there’s going to be no more uh because they know that there’s no deposit required. And then after this date, maybe the amount of requests in the queue will massively shrink. I’m not sure, but hopefully this can resolve what we see in this chart. And let’s just shift our focus now quickly to PGM

[2:28:09] interconnect. And the thing is since it’s such a wide zone, this is the zone that is um encompassed by PGM. Let’s talk about Dominion, which is one of the 21 utilities inside of PGM. So their full name is Dominion Energy Virginia and it’s the main utility in this zone, the purple one. And data centers signed their utility energy procurement with Dominion, not PJM. And since there’s no PGMwide data center aggregator, we’ll look specifically at Dominion’s contracts which far exceed what their current data centers draw. So setting up

[2:28:40] the stage right now at the 2025 peak, there was 4 GW, sorry, drawn by Dominion’s data centers. And now looking at the Q, first of all, if we just look at July 2026, there are 32.4 GW of engineering studies, which means that it’s paid for by the customer to actually do the study. But we’re talking in the orders of like $100,000, right? If you guys remember this slide, probably it’s in the range of uh six figures, which for these hyperscalers is not that much money. And then there’s no

[2:29:11] obligation to build as well. So you don’t actually have to build a data center. You’re just doing a study. Then we have the construction authorized where there’s 9.4 GB of that gigawatt of that. And in this case, the customer repays spent costs if it leaves but doesn’t have to pay for the cost it hasn’t spent. And then there’s 12 gawatt of a service agreement. In this case, it’s a binding contract where the customer pays whether or not it takes the service. So we have these numbers here compared to just 4 GW of data center consumption. And you can see from July 2023 over 3 years how this has

[2:29:44] jumped from 16.5 gawatt to 53. So that’s a greater than 3x increase in this queue of engineering studies, contract, construction, authorization, and service agreements. So the real thing that we’re really wondering here is how many of these 53.8 GW will actually convert to four because currently the ratio once again is almost at a 1 to4 basis of deployed compute versus cute compute. And just to look at an OOTT forecast what does this title say? It says the

[2:30:14] 2025 OT adjusted load forecast breakdown by type. And the only thing we’re actually interested in this in this graph is the category which is gray the data centers. And so here you can see that after adjustments, data center load remains the largest growth by type where you can see gray becoming a much more large piece of the pie. And here we’re going from 2025 to 2031. This is the OOT forecast though and they’re not really AGI pill. So I would imagine that this amount here is for 2031 pretty

[2:30:45] conservative compared to what others would be forecasting. So just keep that in mind. Moving on. Now these interconnect cues are of course very long and because of that we have BTM coming in instead to supply power behind the meter and this means that a campus can grow while its grid import stays limited. So let’s assume that you have a pre-existing site that has 100 megawatts of power that you can import and use without any generators. This means that

[2:31:17] you can only supply 100 megawatts worth of compute. Well, instead of just going out and trying to get more power from the grid, which might be under extreme load and these massive cues, you can instead just bring in your own generators. And let’s let’s say that you found two generators each worth 500 megawatt of power production. In this case, you can still scale up to your gigawatt scale and have actually whatever your grid limit is as a sort of backup. Um and this is what a lot of

[2:31:47] hyperscalers are doing currently. In fact, from 2028, semi analysis expects most new data center capacity to need its own power to be essentially powered by behind the meter. So here you can see blue is behind the meter, orange is available grid capacity and green is new grid supply. And so in this chart we have the present state where most everything is just available grid capacity since that’s the present status quo. And just look at this grow

[2:32:17] immensely according to their uh projections from 14.8 in gigawatts. I think here the title is mislabeled. It should probably be gigawatt since even here they mentioned that it will grow beyond 50 gawatt by 2028. So we go from 14.8 in 2027 to what is what they’re projecting to 65.7 which is a more than quadrupling in the amount of behind the meter infrastructure. And just once again, if anybody has an investing thesis regarding behind the meter and

[2:32:48] its progression in the future, then you can see that if you were to believe this chart, there’ll be a massive increase in investment in behind the meter supply. Okay, so that closes off our chapter. Now, we’re going to talk about carrying the supply arrangement into the physical site design. And um this will be specifically focusing on like the different phases of construction connection routes and operating states. All right, let’s jump right into chapter 5. At a high level, we’re going to be

[2:33:19] talking about how to turn a parcel of land into a place you can build, operate, and repair a data center. So with the parcel, we’re talking about the land itself, connections, so fiber, power, gas potentially. We already talked about that a bit. uh the building itself and then the equipment. So the first concept that I want to introduce here is green field versus brown field. What am I talking about? If you haven’t heard this term before, it just means green field being a development which is

[2:33:50] on a green field. So like you’re building everything from scratch. And then brown field means like it’s some existing infrastructure. So it could be like the building is there or maybe like the ground already has a foundation. It’s a pretty flexible term, but in the in regards to this example here, so you’ll see if I move back up here, we have Abalene, the Stargate campus in Texas, which was a purpose-built layout and was a green field ostensibly before they started building. And then Colossus

[2:34:20] 1, which was a former Electrolux factory, and it already had an existing shell as well as utility mains and some power, only 8 megawatts, though. So they had to build a lot of power. What is Electrolux you might ask? It’s actually a it’s actually a appliance manufacturer from Sweden. So in this inside of this data center they used to make like washing machines which is kind of funny. And um what the advantage here is that Colossus 1, they already had the envelope. They didn’t need to build a building and also the utilities were

[2:34:52] there apart from needing to add more electricity. So it just allows you to be much faster but then also less flexible because probably a washing machine factory is not built tailor made for for hosting H100s. But um there there’s pros and cons. So at a high level Abene is a green field development and then Colossus is a brown field and I I I enumerated a few pros and cons but you can also find many more. I encourage you to comment any that are quite compelling

[2:35:23] to you if you have any that you’ve came up with. Okay. So when we jump our attention right to Colossus one, it right like I said had the utility mains but needed more grid capacity. So they needed 150 megawatts. So the substation actually only could serve for 8 megawatts initially. They had to add 842 megaww. And what this meant is that um whereas the existing water man and gas man were kept, they had to add a new gas tap was which was 8 in in diameter. I suppose since the 16-in gas man was

[2:35:54] insufficient for their electricity generating needs and if you guys remember they expanded their generation to 41 turbines and 1.2 gawatt if I’m not mistaken, something like that. Uh so yeah, they needed to just bring in more gas, but there was already some latent infrastructure there. And an even more crazy example here about actually a green field development, a green field development, which is just absolutely mind-blowing is Meta who have this Prometheus plant in New Albony, Ohio.

[2:36:27] And a year ago, uh they published this image where essentially they were building a data center under a waterproof tent. I’m not even joking. It’s like a lightweight frame and fabric. So, the frame is aluminum and then it’s some puncturep proof fabric that they’re using. And it’s worth noting this is all temporary. So, this is all being built while they have the the main structure somewhere else. Uh so, essentially what they would do is have this as a temporary setup and then whenever the the permanent structure is built, probably just like destroy these

[2:36:58] and then move the GPUs to the other one. And like this is much more expensive than just building it once and then putting it in the original envelope, but it’s much faster to put up tents cuz these tents can be put up on the order of weeks or months if I’m not mistaken. And if we remember, as soon as you can put compute online, you’re making billions of dollars and this is probably costing you millions of dollars to like wreck these tents and stuff. So for them, it makes sense uh because you get the fast enclosure. Regarding the

[2:37:28] Prometheus tents, these are publicly stated as temporary. However, that may just mean they’ll be used temporarily, but in the future when they make the new data centers, they’ll still keep those tents. So, I may have misinterpreted the meta news here. In any case, they haven’t reached the stage where they would have to tear them down. And then in terms of foundations, power and cooling, it’s probably much less important and connecting and commissioning it is much faster. So this is an interesting and very like just out

[2:37:59] of the box way of putting compute on as fast as possible. And I’m emphasizing this so many times, but it’s really important to realize like these alternative methods are only occurring and possible because of the premium cost that occurs by adding incremental compute to the supply since the demand is so great. Okay, let’s just talk about utility corridors quickly. So, when you have a site that you’re evaluating for construction, you first

[2:38:31] need to see, okay, is the building pad like suitable for the building we want. You don’t want to build your data center over a swamp in Louisiana. And that’s actually relevant because quite a few data centers are being built in Louisiana. So, you want to make sure that’s not the case. Then there’s also utility ement. So utility easement is just like a part of private land which utilities have some right to in order to pass their utilities. So in the context of a data center you would want a utility easement nearby so that you can procure power or water irrigation etc.

[2:39:02] And then drainage. So why why am I talking about drainage? is most of these power plants are actually closed loop liquid cooled which means that there’s no like net water that needs to be added to the system once it’s initially filled. The reason for this is just like if it rains a lot well you need to make sure that the building envelope can be secured that there’s no like water erosion or flooding occurring because as we’ll discuss when Hurricane Harvey occurred in Houston there were quite a few data centers which which had to deal with a lot of water. So uh I’ll save the

[2:39:35] spoiler for a few slides. I won’t spoil it because we’re going to be talking in a few slides. But these are like at a high level three concerns in terms of the land parcel itself when a data center is being built. And then when we talk about Texas, which is where most data centers in the US are being built, there’s an interesting law um and what is it? So essentially buying Texas land may leave mineral lights with another owner. What I mean is that in Texas, there’s a split estate, which is to say that there’s a surface owner and there’s

[2:40:05] a mineral owner. And in fact, the mineral owner retains rights to use the surface. This is an insane property use law that I had not known about until I like researched it. But essentially, given the background of Texas’s resourcerich history, they have specifically established like leases to land only for the mineral rights. And this makes it such that you could very well own the land on a property, but if somebody else owns a mineral lease, then they can just come to your land without your permission at any time of the day,

[2:40:35] any time of the year, and start drilling for oil. Uh there are a few exceptions here where like they can’t like destroy your building if it’s already there. But um it’s still a very important consideration to be made and even more so because as I mentioned most data centers in the US are being built in Texas. So this great graph from semi analysis says that Texas holds about 17 gigabytes of booked on-site generation. Also worth noting that another 29 gigabytes of gaw of orders

[2:41:06] have not been chosen yet in terms of site. So there’s like 29 gawatts that are unattributed. It’s probably the case that a lot of these um sites will be attributed to Texas, but who knows? And then second place is Pennsylvania, as I mentioned, because there’s a lot of gas there as well. But in any case, because there’s so many data centers being attributed there, you need to make sure that you have the mineral lease as well in addition to the surface uh use rights to the land that you’re building your data center on. And in fact,

[2:41:38] um, there’s this Odessa New Era data center which is going to be on the order of like a gigawatt that is on 493 acres of land that’s been secured, but as of October 14, 2026 is still pending because there’s this waiver on the mineral rights or some surface rights. So this demonstrates that this is not just like some trivial fringe law. Like if you’re building a data center center, if you’re building a data center in Texas, you better be sure that you have the mineral rights as well as the uh surface rights or that the contract

[2:42:08] specifies that there can be no gas or oil excavation activities where the data center is being built. In contrast, there’s also just parts of Texas where there is no oil. So there’s this main like uh plane in Texas where most of the natural resources are. So I would imagine I haven’t done research into this. I would imagine that a lot of the data centers in Texas are being built outside of this oil region because it’s easier to secure the rights of the mineral and property use.

[2:42:38] Okay, let’s talk about another brownfield uh development which is happening in London in the UK as another case study. So it’s called the ADA or ADA is the company that’s building a new data center in the Royal docks of East London. And so this new campus has three planned buildings and it’s on old industrial ground. So essentially what they’re doing is they need to support it because this former industrial ground is on soft river deposits and require up to 6 m of like these fill piles to to

[2:43:09] reinforce the foundation. So these deep piles are cast in the ground to make sure that the data center won’t sink I guess. And just with respect to the external areas and utilities, there have been around 6,000 ground improvement columns installed. And um it’s just another example of based on the land where you’re building the data center, there need to be case specific accommodations made to ensure the integrity of the site. And another case where we had integrity in question was the Houston case. So once again,

[2:43:40] Hurricane Harvey was 2017 in particular in August from the 25th to the 30th. Uh there was massive flash flooding in Houston and throughout the entire East Coast, I believe. And what happened is that Equinox, Equinex, which is a massive data center provider, these aren’t particularly like GPU data centers, just like normal data centers, um they had their HO1 plant in Houston, which stayed online despite actually the flooding blocking access to the data center itself. So what happened is that

[2:44:11] the data center was staffed and operated during the flood and there was no interruptions even though the roads were closed to the surrounding streets. And how they did this is because these data centers, funnily enough, are like made or at least the ones with a sufficiently high need to be always online are made with like CS, so like dorms where you can sleep with enough food and supplies to last for some amount of time. And the team literally stayed there for days, like sleeping there, living there. And according to the personal accounts, they were literally pumping out water from

[2:44:42] the data center to keep the the power on. And I assume that they they used on-site generation to power the data center because most likely the power infrastructure during hurricane Harvey was also compromised, but I’m not entirely sure. And then another interesting example is QTS Swani, which I believe is in like Georgia. It’s somewhere in the US. And what happened here is that the campus plan here is on the left. And they had to bring in the fiber optic in order to like connect

[2:45:13] their data center to the rest of the internet. And what’s done in this case is that they had three uh interconnects that or rather three fiber connections to the data center. And just in order to have a design which is redundant, they made the three entrances from approach from different directions as opposed to having a shared entry which could have like one point of failure. And this is just another example of ways that data centers provide redundancy in the case

[2:45:44] of like I don’t know maybe somebody drills a hole here and didn’t realize there’s fiber. If that happens then there’s still two ways to communicate with the rest of the internet. Let’s now talk about the cooling considerations that you need when you’re talking about local climate and water supply. So in Texas and in many places in the US there are drought conditions. So you cannot use what you call cooling towers. So what are cooling towers? It’s a tower which essentially circulates water around uh circularly in some

[2:46:16] circumstances and essentially causes the water some of the water to evaporate. And what happens when water evaporates is there’s this phase change from liquid to gas which leads to a massive amount of energy being released and essentially the the remaining cooling the remaining water will be cooled as opposed to the because essentially you have energy exiting when you’re evaporating into uh liquid vapor. And so this is a really efficient way to cool water. But the problem is it’s very

[2:46:47] water intensive. It it leads to water evaporation. So you need a constant flow. You need a constant flow of water in order to uh allow for this type of cooling tower. So this is being done with cloth one because I suppose in the Tennessee Mississippi area there is a relative abundance of water. But um you should also realize that they also have air cooled chillers. So what are air cooled chillers? It’s air cooled but this doesn’t mean that there’s water going to the air. It just means that you have water going around passively uh and essentially just convecting or

[2:47:19] conducting. I forget which of the terms is the correct one, but essentially it’s releasing heat into the atmosphere. Um, but it’s a closed loop. There’s no actually evaporation going on. So whereas heat is just rejected to outdoor air in Abalene, Texas where there definitely is a shortage of water and they cannot afford to use air cooled chillers in um the Colossus one, you need to have some sort of makeup water. And that’s why in the previous slide we saw they had like a 16in water man. So they can probably have access to quite a lot of water in order to replenish their supply.

[2:47:49] And this is also why you hear a lot of rhetoric of people saying, “Yeah, man. The data centers, they’re using all the water. They’re they’re they’re using all the water.” That’s what you hear people saying. And if you actually use air cooled chillers, that’s like patently false. The only thing that is required is to fill up the initial water supply, which is like still a lot of water. We’re talking like I think millions of gallons. But if you amortize if you amortize that across the entire lifespan, then it’s like extremely negligent for the data center’s water use. And another interesting fact is

[2:48:20] that 80% of American water use is agriculture. So the data centers are not using all the water even though there are other valid arguments against data centers like water is like relatively weak. The one caveat to that if I may add is that power generation can use a lot of water because if you’re using like a steam turbine you have it you’re essentially evaporating water into the air. Um but so if you’re using a lot of like evaporative water generation then you can have like a down or sorry an upstream water use effect but still if

[2:48:52] we compare it to agriculture use it’s very minimal. Okay. Another interesting uh case study here that I want to make is Rogers which is a Canadian telecommunication company which have a data center um I think it it’s at their offices and that it uses these chillers to cool the the units and these are actually opposite residencies. So I think these are residency like these are residential buildings and or rather I I think like the residential buildings are facing us cuz the walls

[2:49:22] are here. So to to to put the short to get to the point, they have 16 sections which are essentially walls that um se separate the chillers from the residential area and this interrupts the direct sound path while the open top still allows air to flow upwards and cool the cool the data center. So this is another consideration like if you’re building a data center nearby residential areas then the nimbies which is like completely valid like you don’t want these massive fans like disturbing you all the time they will tell you that

[2:49:52] yeah you need to you need to block and enclose your coolers and your chillers so that um they don’t always like propagate this massive noise just like how you have highways blocked off with these sound insulation panels right if we now go inside the data center I also mentioned at the very into the course that a GB300 NDL72 rack is on the order of 1.5 tons, metric tons to be more precise. And this is a Lenovo rack. So, one thing about um these Blackwell

[2:50:25] uh racks, these NVL72 racks, is that there’s multiple different OEMs or rather manu manufacturers which make them. So, Dell makes a lot of these racks. Lenovo does too. I suppose Nvidia has their own like proprietary version. But um in any case, since these are actually quite heavy, like moving the rack and replacing a tray requires separate handling plans and you need to like plan for this. You can’t just like consider this an afterthought. And the computer trays themselves even are 29 kg. And what this means is that you need to serve the service them with a

[2:50:55] material lift. So if I just quickly select quick quickly skip one side, that’s a teaser of what these look like. Um but also just want to mention so these racks are quite interesting. You can see that on the outside you have the water input and output and then um the bus bar clip which is where the energy comes through and then I suppose that these four um these four pins here or input clicks or whatever you want to call them that’s where you actually have the data flowing in and up. Uh now if we just clip skip ahead you need to reserve space for the tray lift and the

[2:51:26] technician. So let’s say that one of the GPUs in a rack goes offline. Well you need to service it. you need to take out the rack and put in a new one while you fix or do an RMA. So, what is RMA? It stands for return merchandise authorization. This is just to say that like Nvidia has these contracts with the people who buy their GPUs where if a specific quantity are like fail or something happens to them like with within some period of time, they will replace them for you. So, if you’re

[2:51:56] doing an RMA on a GPU, you need to make sure that you have the lift and the the methods to uh to actually get it out because you don’t want to like hand manually uh insert and and take out a 29 kg rack, which probably costs like a lot of money. Uh I I don’t know what the the rack cost is, but I know that the the racks themselves are on the order of hundreds of thousands of dollars. So, I mean, I don’t know what the tray cost is, but the as I said, the rack cost is in the hundreds of thousands. Okay. So that was talking about the the trays

[2:52:28] with the compute but there’s also the power trays. So as I talked about previously uh we have these PSUs. So in one tray you have six 5.5 kW hot swap PSU models. So let’s just uh decompose this. So 5.5 kW is the power rating of each power supply unit which converts AC to to DC. And then hot swap just means that you can take one out and put one back in without powering down or deenergizing or isolating that specific

[2:53:00] uh that specific rack. And this is really useful because time is money and tokens per watt is how you make money. So if you have to turn off the freaking rack every time you want to replace a PSU, which probably go down every now and then, then uh that will be costly. But that’s not the case. So essentially what’s done is you replace one while the remaining qualified supplies carry the load. But then if you’re replacing a compute tray the if you’re and you’re dealing with the Lenovo rack then Lenovo requires the tray to be powered off

[2:53:30] before removal which makes quite some sense right if you’re lying taking off the rack physically then you probably want to power it off or else uh bad things could probably happen. Another like kind of trivial consideration but so important is like you need to make sure the replacement route can fit the equipment through every turn. like some of this equipment is heavy and can be wide. So when you’re building a data center, just make sure that it can fit. And then also if you’re dealing with 1.5 ton data centers or rather racks, sorry, you need to make sure that the floor

[2:54:02] supports the load wherever it travels. So have supports where it’s actually installed. And then the moving equipment, make sure that it uh doesn’t cause cracks in the ground when it’s moving. Right now, let’s do like one final knowledge check or just like make sure that we’re on the same page before we end this chapter. Let’s say that you have one data hall A which is live and hall B is being constructed but uh the engineers didn’t really think think it through and the fiber actually goes

[2:54:33] through both the road and sorry the fiber goes through where they want to build the hall be and the road does too. So this is kind of a simple question, but what must move before digging starts? And I think you know the answer. So the road needs to move and so does the fiber. So what you would do in this case is build the new road and the fiber, test and switch them and then start the excavation as opposed to excavating and then realizing, oh crap, we just cut off the fiber from hall A and now we’re losing like a million

[2:55:03] dollars a day from uh opportunity cost of loss revenue. So um just once again another consideration to be made. This may seem trivial, but like if you consider the previous example of the meta Prometheus tents that are being built, you have a lot of like build something temporarily and then destroy it and then put it in the permanent one and a lot of like this reconfiguration. In fact, another crazy example is Meta was building these data centers somewhere in the US with a specific design and then during that design

[2:55:35] process, they had switched to like a more advanced design and once again I forget the details of this but the short of the short of the story is that while the data center was being built, they switched their main design and because of that they demolished like a half-built data center and started it again from scratch to uh to build it with like the new spec. effects because for them it was worth it. The article on this is on semi- analysis. So if you just ask CHBT roughly what I said, you’ll definitely find more information if you’re interested. But once again, like these considerations, even though

[2:56:05] they sound trivial, they definitely come up in uh in real in real life. All right, guys. So in editing, I found the article and here’s what it says. For example, Meta demolished an entire building under construction because it was their old data center design with low power density which they have used for many years. Instead, they replace it with their brand new AI ready design. Most data center designs are not ready for GB200 and Meta in particular has by far the lowest power density in their data centers compared to the other

[2:56:36] hyperscalers. And here are the images which are the evidence themselves. So in November they were building it into January, demolished it in May and said, “Yeah, we’re restarting.” And that’s the new data center. So really incredible the the econom uh the economies of scale here that we’re talking about, right? So this is one of my favorite chapters of the course where we’re going to test we’re we’re going to discuss power and specifically follow power from the campus connection to a working rack. Uh so essentially you have the high voltage

[2:57:07] DC that comes in the substation goes to the transformer goes to these busways which is once again like electron highway and they’re just called the row bus way cuz it’s in rows and then uh you have the rack here which actually accepts the energy in order to power the GPUs. So that’s a very uh primitive and like crude explanation. So we’ll go into much more detail throughout the course or throughout this chapter rather. But let’s still like look at a high level image just a bit more with a bit more granularity here. So let’s trace a load

[2:57:38] from high voltage AC to the actual rack. So in Abalene at the Stargate campus their second phase of expansion is actually importing high voltage AC at 345 kovts or 340,000 volts in alternating current. And then um first of all at the substation you’re going to have a step down transformer which goes from 345 kV to 34.5 KV. So a 10:1

[2:58:08] voltage step down. And then you’ll have medium voltage switch gear which does essentially switching. What does switching mean? First of all, you’re going to protect the electricity. So you’ll have like a bunch of circuits and breakers to handle like any surge events or any current/voltage irregularities. And then also you’re going to divert the current to multiple feeders such that each hall gets its own independent electricity feeder. So once you’ve reached the data hall, you’ll transform once again from medium voltage to low voltage. In this example, we’re going

[2:58:40] from 345 kovts to 480 volt AC. And then once it reaches the building bus, we will feed each of these uh 480 volt AC lines to the rows which will then go to the racks or the trays. And this will in turn make the GPUs go burr. Uh so there you go. And then don’t forget the cooling pumps. The cooling pumps also run on the same 400 volt AC uh network. So those also need to be powered in order to make sure that the GPUs don’t

[2:59:11] go burr and burn. Uh and then also if you’re having an expansion which happens right because as we mentioned a lot of these data centers are being built in phase. So you’ll have the first phase 50 megawatts go online and then you have the second phase to get 100 megawatts in total. If that’s the case then you’ll have like these future feeders which just remain open which is to say the current does not flow. Um but it will eventually be connected once the future hall is complete. Right? So now let’s zoom into one specific part. Let’s zoom

[2:59:42] into the medium voltage switch gear. Let’s do it. So, let’s look at a Seaman’s NX Airs switch gear, which is a medium voltage switch gear. In fact, if you look here, it’s up to 12 kilovolts. And if you guys have seen a pattern here, Semens actually builds a lot of the infra for these data centers, which is interesting to note. And just at a high level, we have a low voltage control compartment, which is just for like controlling the switch gear. This is what like the electricians and the technicians will use. Then we have the

[3:00:13] bus bars which is for the medium voltage AC to actually pass electricity. And then we have a vacuum circuit breaker. So this is for breaking the current if there is some current event which some surge event which requires the current to stop. Then you also have a connection to earth. And then you have the feeder connections to actually split off to the different streams. So this is what it looks like instead of the cross-section of one type of switch gear. And this is for example the type of stuff which is really in high demand and in scarcity because you need this in

[3:00:44] order to build the data centers. For example, Cruso they’re actually building a factory or this factory in Tesla Tulsa Oklahoma just went online this month like a few days ago where they’re building switch gear themselves. And this is probably because they can’t find it from other sources or rather the other sources are having really large lead times. So they’re trying to build it themselves in order to build data centers faster because that’s probably one of the biggest bottlenecks for them. Right now let’s follow the three-phase

[3:01:17] connection. So let’s quickly zoom in on that one. So just jumping back really quickly. Right. In this engineering diagram, you just have a single line which kind of hides what’s going on at a at a low level. So the single line diagram is demonstrating this three-phase 480 volt AC current as just one circuit and it’s sending it to the power power distribution unit which is one of the ways that we split electricity into and send it to the different racks. Whereas like if we look

[3:01:48] at this on the physical conductor level, sorry, you have three lines which have the three different phases of AC which if we recall from the primer are each 120° uh apart. And actually if you forget the primer, don’t worry, we’re going to talk about that once again in the next slide. And then you have neutral which is also used to complete the circuit. And then you have protective earth which is just used to ground. And just as a reminder, right, when you have a when you have a circuit, you need to pass it through two conductors to have the electricity flow.

[3:02:20] So if you pass it through two of the energized phases, you’ll get a 480 volt potential difference across those two phases. So between any of these three lines and then if you have the current connected between any of these energized AC lines and the neutral, then the phase to neutral voltage is 277 volts. And so this is just one of the properties of three-phase AC. Then let’s talk about once again the fact that three balanced phases fill the

[3:02:51] power dips of a single phase. So let’s say that we have a 100 kilowatt average at the load with three-phase AC we can serve 100 kilowatt total 100 kilowatts total at every instant. And let’s like let’s go through this and see what happens. So first of all, let’s assume that we just have 60 Hz AC and that um we’re feeding this power over time where on this plot you have current in each phase. And then on this plot you have the three phases

[3:03:22] power. So this would be the P uh equals IV. But I just realized it’s not technically P equals IV because that would be for direct direct current. you see it’s using the more sophisticated formula which um includes this the the square root the square not the yeah the square root three term as well as the RMS uh which stands for the root mean squared which is used in order to calculate the power for AC once again we don’t really need to understand the fundamental equation here we just need to know that with 350C you have this constant power band um which is

[3:03:53] supplying varying levels of current per conductor um but altogether is supplying at any given point 100 kW. Interestingly enough though, if you add the currents because um they’re alternating like the instantaneous current across all three phases is is zero. But because of the fact that we have these three phases that are shifted by 120°, we’re able to get this 100 kowatt um constant power band. And this is assuming the power

[3:04:25] factor is equal to one just once again and that each load is is essentially providing the same amount of energy. So we have a balanced load here on 480 volt 3phase and this allows us to have a good amount of energy output in particular 100 kow total at every instant from the AC source to the load. Okay. And here let’s quickly just discuss a misconception that some may have including me. So that’s why I included it that’s why I include this slide. So 480 volts is the voltage between two live phase conductors. Um one thing that

[3:04:56] I was thinking is like okay you have 480 volts here and 480 volts here. So when you connect them shouldn’t you get 960 volts? Well first of all that’s kind of mal formulated because voltage at a single point is not even defined. Voltage is essentially this potential difference between two different conductors. And let’s just go into this section where I say why not 960 volts? Well 48 volt is an RMS magnitude. It’s not actually a fixed 400 vol 48 480 volt um amount. And this is because once again, if you like

[3:05:27] actually sum up the voltages of three-phase AC at any given time, you get zero volts because they’re purposely like shifted by 120 120° each to have like this net 0 volt uh average. But then if you take the RMS magnitude then you will get a positive uh average voltage and this should give you 480. And just once again if you’re interested in the specifics of this then you should probably do a course on electrical

[3:05:58] engineering because that’s not my field of expertise and also there’s just a lot of depth and richness into how AC current works in the different phases. But we just need to know that off if you’re on a lineto- line uh voltage reading on 480 volt AC which is three-phase then you’ll get a reading of 480 volts but if you’re on the phase to neutral you get 277 volts. Okay. Now let’s talk a bit about like how we manage the electricity infrastructure. So we have a protection

[3:06:31] relay which detects any faults and then tells the breaker to interrupt the current if that happens. So this blue line is our is our conductor our supply which is giving electricity from the supply to the load and we usually have a current transformer in series on the supply. What does it do? It scales the current and then um essentially like samples it. So you can think of it as like a sample of the current reading to see if there’s ever a surge in current. And then the protection relay if it sees that will go ahead and trip the circuit

[3:07:02] breaker. And then once the circuit breaker receives the trip it will fault that feeder and then open the circuit such that uh there’s no like energy being fed to that downstream appliance which would be outside of its current uh input range. because you’re usually dealing with really expensive equipment and you don’t want to have anything bad happening in terms of like shorting or just like burning the internals of your equipment due like a a current surge. And then conversely for

[3:07:35] voltage what you have is usually called a current transformer or a capac sorry a voltage transformer or a capacitor voltage trans sorry a capacitor voltage transformer. Both of these just sample the voltage and scale it in order to get a proper reading. And these are usually in parallel or they’re yeah they’re always in parallel the the voltage transformers or the capacitor voltage transformers which read once again the voltage and then the protection relay will detect if there is need to to trip. For example, if a lightning uh

[3:08:08] strike hits the the the current, the conductor, sorry. That would be a case where the voltage would spike and you would perhaps want to open the circuit in order to prevent any bad things from happening with your downstream equipment. And then we talked about the circuit breaker which can open and close automatically, but then there’s also a disconnect which literally causes an air gap. So the difference between a circuit circuit breaker and and a and a disconnect is that a disconnect is literally like usually like motor powered and just like separates the current with air so that there is like

[3:08:40] no way for the current to pass unless there’s an arc but you usually control for that and then circuit breaker is usually some like m like some mechanism where perhaps the I actually don’t know how most circuit breakers work but you can just imagine as like a disconnect is a more robust way to isolate a section of the u the circuit from its supply. So in this case we’re isolating the transformer from its supply as well as the downstream data hall. And another thing that’s interesting is a surge

[3:09:11] artor. So what is a serger artor? Well, it protects transformer insulation from over voltage. What does what does this mean? It’s literally a path to earth which normally conducts extremely little. So you can think of it as in in normal operating conditions this serger artor is conducting on the order of like 100 watts of electricity to the ground. And in the grand scheme of things that’s like really nothing. And however if there is a massive voltage increase on

[3:09:42] the line all of a sudden this sergetor becomes an amazing conductor. These are usually like zinc oxide um zinc oxide serger arresttors if I’m not mistaken. and it will cause a massive current to go down into the earth in order to protect the transformer. But importantly, it will not like send all of the current down. It will only send enough current down into the earth such that the amount that’s on the conductor remains in standard uh operating conditions. And this means that even if

[3:10:13] a voltage h sorry a lightning bolt hits the line, thanks to the serger arresttor, you should still be able to run the the the distribution system without problems. And so once again, you have this really strange step-wise function where normally there’s like no conductance um high resistance and then as soon as voltage spikes a lot, the serger arresttor will route current to the ground. And the last thing that I want to mention here is that usually put them right before the transformer and not

[3:10:43] like right before the supply or right before the circuit breaker because you want this to be as close to the transformer as possible. Like let’s say that the serger artor was here before the circuit breaker. Well, in the off chance that like a lightning bolt strike right here, then it would reach the transformer before the serger artor and could still like just ruin the transformer due to the high voltage spike. Right now let’s jump jump jump to a different topic here and talk about a bit of code design. So we’ll talk about Compass which is a data center uh

[3:11:15] manufacturer or like they procured and construct data centers and Seammens which we’ve already talked about who designed the equipment and they made a switch gear and transformer into one package. So what am I talking about? On one factory-built skid, they incorporated medium voltage switch gear which does switching and protection of the conductor and the current with a transformer which which steps down or up the voltage. In this case, probably steps down from medium voltage to low voltage. And here’s a picture of it. So,

[3:11:46] Seammens built the switch gear and transformer skids for compass data centers. This type of code design was used in order to modularize their construction. And what you have at the end of the day is a custom factory built skid with MB switch gear plus transformer and it was co-developed. So there’s an interesting case study of how you can combine two parts into one in order to modularize and make your factories more uh modular essentially. Sure. So we’ve already discussed kind of the the pros and cons of having high current in

[3:12:17] terms of heat loss. And in general, the lesson that we’ve take away from this is that you want to put the high current route close to the hall. So let’s consider these two options where you step down at the campus entrance and you go immediately from medium voltage to low voltage and then you have to transfer 2 megawatt at 2,46 amps, which is insane for heat loss. That’s why the lines are blue. And instead if you step down beside the hull then there’s much

[3:12:48] more there’s much less sorry loss to heat and much more efficiency. In this case we’re assuming 2 megawatts with a power factor of one and threephase uh three-phase AC. So just the high level overview is like you don’t want to have too much transmission happening at low voltage if you can help it. Of course this bottom picture is kind of what SpaceX did, right? They did quite a bit of medium voltage transmission, but that was worth it for them since they were able to put their compute online much sooner. First of all, I misspoke earlier

[3:13:22] calling the top line blue instead of red. And second of all, the SpaceX example is somewhat contrived in this sense because we’re talking about different distribution schemes. The lesson here is that medium voltage inside of the campus is better than lower voltage. So high voltage is the best for power efficiency and then once you’re in the the campus then you switch down to medium voltage and you want to keep the low voltage in order sorry within the data hall as much as possible. Right now let’s just uh

[3:13:54] quickly talk about something that is important for transformers. So transformers work essentially by having these coils which tune the ratio of how much you will step down or up in voltage. So let’s say that you have a transformer with 80 turns of coil on the input and 20 turns on the output. Then you have this like 4:1 ratio such that 480 volts coming in would would step down to 120 volts. And then this means that even if you supply 504 volts, it

[3:14:26] will step still step down by a quarter. It won’t it won’t go to 120 because the transformer doesn’t really care what the input voltage is. As long as it’s in the range and uh that’s it. It will just divide by four or whatever the the amount of taps the taps are. But what you can do instead is you can modify where on the coil you connect the condu the conductor on a transformer. And this means that you can just modify them such that instead of having 80 turns, you

[3:14:56] change the input to 84 turns and the output to 20 turns on the on the AC output. Keep that the same. And this more primary turns restores the output voltage to 120 volts. So this is an interesting observation or reality of how transformers can be tuned to their specific output voltage. And if you have a dry core transformer, the taps are physical winding connections. So this is a dry type transformer and you literally change where these conductors step up

[3:15:27] and down on the uh on the the course of the transformer here. And there’s different labels here. Usually these are two 2.5 to 5 point to 5% difference in terms of the ratio of the the voltage when you switch from one to the next. And yeah, we’ll leave this for the electricians cuz I assume if you mess this up then there are some pretty bad consequences. But this is actually how this diagram works if you at least have a dry type transformer. Worth noting though that a lot of transformers are

[3:15:58] not of the dry type. Instead, they’re actually immersed in this mineral oil in order to cool the the the windings. But um this is a specific case where it’s a it’s a dry type. Okay. And you already have intuited this or understood this I imagine by now. But the building bus feeds much more than just it. So let’s assume that you have this transformer that’s stepping down to 480 volts of alternating current. Um there’s a switchboard which takes the incoming supply and then splits it onto these feeders which um supply current to the

[3:16:28] separate parts of the data center. And for example, let’s say you have the IT feeder which just which just feeds energy to the busway that is then routed to the rack PSUs the power supply units that will take this AC energy and convert it to DC energy. Then you have the cooling feeder and then the house feeder and just term and this is just doing like lights and controls and other building services. So this is a general example of what we’re doing in terms of switching and feeding to the different

[3:16:59] uh end sources. And so like at at each of these junctions, you’d probably have a a PDU, which is the power distribution unit. And we’ll see an example of that in the next slide. Another thing I want to mention is that data centers are actually transitioning to having more direct current in the data hall. And this is for a variety of reasons which we’ll discuss for efficiency. But what you can already guess is that if they’re converting some of the energy supply and distribution to DC, I’ll actually spoil it for you right

[3:17:30] now. What’s happening is that the rows and rather the GPUs in a few years time and already it’s happening now. They’re developing the standards will be fed with 800 volt DC current. Well, this means that you still need to actually have a source of 400vt AC because the cooling and the regular uh equipment within the data center still require alternating current to be powered. So, this is like one one thing worth mentioning and considering with the overall transition to direct current for

[3:18:03] GPU power. Uh then we’ll discuss this in much more detail. So, I just wanted to give a quick teaser and then I discussed PDUs. So we have power distribution units and there’s two types. So we have a floor PDU and a rack PDU. So the floor the floor PDU distributes the feeders and this is somewhere on the data hall. And then the rack PDU is for the specific racks of the GPUs. It distributes AC to the outlets. So this distributes AC to the to the different PSUs. And then the server PSUs are the

[3:18:33] individual um power supply units which deliver AC to DC for the specific for specific compute units since compute and the motherboard they take current and direct current. So what we can consider is like PDU is in the AC uh AC regime or domain and then the PSU is what converts AC to DC finally. All right. And then I’ve I’ve talked about the busways where we have like essentially copper conductors passing electricity through the data hall and

[3:19:04] these are usually done now like above the rack and you have these tap offs which then feed to the individual uh compute units and that’s where you’ll supply the PSUs with power. And just to repeat myself here the tap off connects one rack to the overhead busway as we saw in this diagram. So you have the end feed which powers the entire busway. The tap off box which takes a protected branch from the busway and then the cable to the rack PDU which then

[3:19:35] supplies power to the separate PSU. So I said that we go from tap off directly to the uh PSU in the previous slide. That’s not correct. So the tap off first connects to the rack power distribution unit. uh and then those power shelves will then convert in the PSUs the alternating current to the direct current. As you saw in the diagram, we’re usually using overhead busways. This wasn’t always the case. And in fact, what this means is that the metering could be done

[3:20:07] at each tap off. New branches could be added as the rack loads changed over time. And then also uh this freed up the underfloor for the for cooling. Um so assembly essentially simplify the design here. And I think nowadays you’ll see the overhead bus way as the most common way of supplementing your racks with power. If you guys remember all the way back to the TPU slide, we also saw that the power was being supplied to the racks from above. Right? And when we talk about the tap

[3:20:39] offs, we need to make sure that we are staying within the voltage uh requirements or respecting how much the busway can support. So to to put it concisely, a new top off still uses the same upstream conductors. So let’s assume that this feed has a 250 amp budget and we currently are using 56 amps per rack in series. So that at this point there’s 111 amps remaining or rather there’s 111 amps at this point of

[3:21:09] the conductor and then once it spits down to rack 2 then we have 56 amps and we arrive at this number because we’re using 415 volt lineto line. If you use the ACP power uh power formula as a function of current and voltage you’ll get these amp numbers. And then let’s just go to a fourth uh go to a fourth rack. So since we have 56 amps per rack, 56* 4 is still much below 250. But then as soon as we graduate to a five rack

[3:21:41] system on one uh busway, then you’ll be 28 amps over your usable budget and um that’s probably going to cause issues down downstream with your electricity equipment since you’ve essentially exceeded the n the end feed a lotment. So, we need to be conscious of the the amperage and the other values on the feed in order to ensure that we’re not exceeding them since we’re still using the same upstream conductors as as we

[3:22:11] add racks onto the feed and the busway. All right, so this is the first meme of the uh of the course. So, let’s see what it says. How is apparent power like a pint of beer? And then it shows this this this funny this funny image which says apparent power is equal to active power as well as reactive power. It’s in fact the um the Pythag so it’s essentially the hypotenuse. So just to to say it concisely you calculate

[3:22:43] apparent power as active power squar plus reactive power squar square root. And what does this mean? Essentially, active power is the power that actually goes to your equipment. And then reactive power is the power that’s stored and returned inside of your alternating current. So essentially, since you have like this alternating current, which is constantly uh energizing and deenergizing, there’s some energy that’s just stored inside of the conductor and is then subsequently released, but is not actually used as

[3:23:13] active power. And that’s called reactive power. If you add reactive power with the the power that actually does go down to the end load, you get apparent power. So this is this is just a quick introduction. Now let’s actually talk talk about this in in an example. So let’s assume that you have a transformer with the real power in your system equal to 900 kts and the apparent power s equal to 900 kovt amps. So this is the

[3:23:44] this is the unit of um apparent power and the line current here is 1,083 amps. You can calculate this once again and this is only for AC using the same formula that we saw in a previous section. And what this means is that if your transformer if your transformer can carry 1,00 kovt amps then you’ve only loaded at 90% since your power factor is one. But in real life your power factor won’t be one. So if we assume that the power factor is 0.8 eight. That means that the apparent power or rather 80% of

[3:24:16] the air apparent power is real power, but then 20% is this foam at the top of the beer that doesn’t do anything called reactive power. And this means that you essentially need to make up for it by supplying more current to get to this same 900 kW reading. And therefore, you would actually be surpassing the transformer load by 12.5%. So in summary we can say that real power is consumed but reactive power represents just energy stored and returned inside the conductor. And then

[3:24:47] apparent power measures the loading the transformer must carry since it’s the the combination of this real plus reactive power. And another like paragraph here that really gives that really drives the idea home is that in some current in sorry in AC so once again this is not DC this is AC some current can flow to temporally store energy in magnetic or electrical fields then return it rather than delivering that energy to the load. This is called reactive power. The current still passes through and heats the conductors. So the transformer must handle more current

[3:25:17] than the real power alone would suggest. A power factor of 80% does not mean that 20% of the energy is wasted. It simply means that more current carrying capacity is needed for the same real power. That additional current just incre in increases resistive losses. So the in the additional current from this reactive power increases reactive losses but itself is just like once again temporarily stored in magnetic or electrical fields within the alternating current. This is another reason why direct current is advantageous. you don’t have this uh concept of power

[3:25:48] factor because the polarity of direct current does not change over time and therefore the magnetic and electrical fields also stay constant. So um we’re just talking about the example previously if we consider different levels of power factor for a transformer with a 1,00 kilovolt amp rating then we’ll be fine with a power factor of one. We’d actually still be fine with a power factor of 0.9. We’d actually be right at the limit. So I don’t know if that’s fine or not. And then we would have a transformer loading of 1,125

[3:26:19] k amps if we only had an 80% power factor. So we’ve been talking a lot about three-phase alternating current in this course. And so let’s consider in this slide a three-phase rack power distribution unit that feeds singlephase power supply units. So essentially this power distribution unit takes in the three-phase AC and then each power supply unit takes in one

[3:26:49] active phase. So let’s say line one connects to one active phase in group A. So this is a PSU and then also it connects to the common neutral in order to get this 277 volt potential difference. Um, and then this gives 20 amps per power supply group. Meaning that across A and B, we add up the voltages. Sorry, not the voltages, but rather the currents to get 40 amps. And we do the same for every single group. Uh, and then let’s assume that each busway has a 60 amp limit. Well, if we

[3:27:21] split them equally across each line, across each phase, then we have no problems. But then let’s for some reason put four of the power supply units onto the first line. What happens here is that essentially we have now 80 amps on the first phase of the three-phase AC and only 20 amps on the other ones and we’ve simply um over we’ve we’ve gone over the the voltage sorry the amperage that we can supply on a single phase and

[3:27:53] this is why you want to balance the loads across the phases in three-phase AC. Now if we talk about like breaking and the downstream effects of something that happens in terms of a a feeder failing or some like fault happening on a feeder an upstream backup opens when the feeder breaks sorry when the feeder breaker fails to open. So what I mean here is that like all right let’s say that there’s a fault in hall A and for some reason hall the hall A feeder breaker fails to open

[3:28:24] even though the trip is issued the breaker remained closed. Maybe it’s like some mechanical issue. This mean that now the shared bus between hall A and hall B is compromised and even though hall B has no fault because it is connected to whatever happened in hall A, the upstream backup now gets tripped and that and it opens. So essentially you what I’m saying here is that you have this cascading reaction where as soon as there’s a fault, it will propagate to every single breaker until one opens. And this is just a

[3:28:55] illustration of the fact that whenever there’s a fault, the breaker that opens will the first breaker that opens will isolate it. But until that happens, you will have to remove supply from every single hall. So in most operating conditions, this breaker should open and then you’d only have to isolate hall A. But assuming this one fails to open for whatever reason, then you would also have to break hall B and isolate that as well, which isn’t good for the bottom line, of course. Okay, so that’s a close to this chapter.

[3:29:26] Next, we’re discussing how to keep racks and cooling running through an interruption such that if this happens, we can still supply backup power. All right. So, in order to talk about how we can keep racks online in interruptions, we need to discuss continuity, storage, and protection. So, let’s not waste any more time. As we talked about uninterruptible power supplies already, let’s let’s look at a specific example of a product here. So here you have a Schneider Electric Easy UPS3 phase

[3:29:58] modular. So these are the same unit. One is just black and one is white. And Schneider is another company which makes a lot of different components and electrical infrastructure for data centers. Specifically, these racks can support up to 50 or rather up to 250 kW and as little as 50 kW. And in terms of the dimensions, it’s uh almost 2 m tall by half a meter wide and 1 0.85 m in depth.

[3:30:29] So, what’s inside the actual uninterruptible power supply? You have the rectifier and then the DC link which connects the rectifier to the inverter to the inverters. Sorry. Then you have a battery interface. So not the actual battery itself. The battery is somewhere else. But the interface to connect to the battery is in the UPS. You also have a static bypass which is a conductor that skips this entire rectifier DC link inverter path. And we’ll explain why that’s that’s a good idea. Essentially, it allows the UPS to work even if the

[3:31:02] rectifier DC link or inverter are down. And uh we’ll show we’ll show that in a diagram so that it makes more sense. And then you have the electrical controls and cooling as well. So once again the batteries the batteries are external cabinets and connect to the battery interface of the UPS. And these are you usually rack battery backup units. So BBUS that uh yeah bring direct current back up at the rack. And this type of facility uninterruptible power supply is usually in an electrical support room.

[3:31:32] So in the gray space not the white space. And in particular, these specific UPS’s are made so that they can be put into a configuration of four, which gives you 1 megawatt. And then either that can be run as like four, which supplies 1 megawatt, or 750 kW across the four with one level of redundancy. So that’ be a N plus1 system. And then in addition to the batteries that are in external cabinets, you also have the rack battery backup units which are direct current backups at the actual rack itself for the uh for the racks.

[3:32:06] All right. Oh, I just skipped a slide there. So if we look at once again here at uh a flow state of what happens with an uninterruptible power supply, you can see how normally you have the utility AC going to the rectifier DC link inverter and then the projected load which in this case is 100 kilowatts. And whenever the utility AC goes down or if something happens in this side of the battery supply chain then the UPS so the unintentional power supply battery will discharge through the DC link and supply

[3:32:38] power to load and um as soon as it’s restored we will remove the uh power supply sorry we’ll remove the battery from the from the DC link and actually if the utility is providing sufficient power we’ also So not only supply power to the inverter but also put current through this birectional battery interface to charge back the battery to its normal voltage. Okay. So now that we’re talking about batteries and we’ll also jump into a bit

[3:33:08] of capacitors. We need to discuss the concept of capacitance. So what is capacitance? It relates stored charge to voltage. So first of all we know voltage is this electrical potential in the in the units of jewels per kum and then also we have charge which is in units of kum. So in fact um this unit uh of charge is just like saying how many electrons do you have.

[3:33:39] So if you have a charge of 160 kum across some dialectric. So I didn’t explain what a dialectric is, but a dialectric is just like an insulator. So an example of a dialectric is literally air. So air is not a good conductor. So it separates electrons from passing and like forming a current. So let’s say that you have some type of conductor on this side of the plate. So you have like two conducting conductive plates that make an electric field and you have a a

[3:34:11] dialectric such that there is no way for the electrons to pass through and there you therefore you have this electrical potential of 800 volts and in particular you have a difference of charge between the two sides of 160 kum. So in this case you would say that the charge is 160 kum and then what happens is that when you have a charge across a dialectric that’s by definition a capacitor. So a capacitor is literally like the definition of a capacitor is

[3:34:42] some charge across two conductors um that creates this electrical field and each capacitor has a capacitance. Okay. So what is capacitance? You can think of it as this fundamental property of every capacitor that says for every so capacitance first of all is in is this C here. So the formula is charge equals capacitance time voltage or capacitance equals charge time voltage. So what capacitance is telling

[3:35:12] us is for a physical conductor this is a fixed value. It’s telling us how much charge can we store for every unit voltage. So that’s how you should think of capacitance. It’s like okay let’s say that you have a specific like a a ceramic capacitor. So for that specific capacitor it’ll have a number of its capacitance which is in units of farrod. So that’s the unit it’s it’s just f um and it stands for 0.2 kums per volt or you could have a capacitance of one which would say for every one kulum uh

[3:35:46] it’s essentially one volt is across the across this dialectric. Okay. So that’s just the unit of capacitance. And once again, since capacitance is equal to charge per unit volt, if you divide out uh the V on both sides, we can also flip the formula to get charge is equal to capacitance time voltage. So in this case, um the whole exercise is okay, we have a capacitor with a known capacitance of 0.2 and the voltage

[3:36:17] across the two conductors in the capacitor is 800 volts. Therefore we can calculate the number of kulum is 160 and then if one kum is like 10^ the 30 electrons which is just a random number I forget what actually a kum is equal to then you would say that um the charge difference so the difference in number of electrons between the two sides of the plates would be 160 * 10 ^ 30 or 160 * however many electrons is in a koolum and it may seem contrived to really understand what this means at this low

[3:36:49] of a level but it’s important important to know because capacitors are really important in the context of like these uninterable power supplies and these battery systems. So let’s jump to this next slide where we talk about how a capacitor actually is is charged. So what are we what are we plotting on this on this graph? So let’s assume that a capacitor is being charged. So what that means is that you would be moving electrons onto

[3:37:20] this side of the plate and you’d be increasing this uh this charge difference and then you’d also be increasing the voltage because capacitance is a fixed value. So if [snorts] you want to increase Q equals charge then V must also increase in order to maintain the ratio. Okay. So as you increase the charge so does the voltage increase. And in this graph we increase the charge from zero. So that that would be a case where like uh there is actually no voltage or charge between the two

[3:37:51] conductors to 160 kum. And then this also gives us a voltage across the the gap across the dialectric of 800 volts. And so we have this formula which says that the charge multiplied by the average voltage applied across the across the gap gives us the amount of energy that’s stored in the capacitor. But I just like skipped ahead. So let’s first describe like how did we actually

[3:38:23] get get there. So first of all we have energy which is in units of jewels. And so by the formula of uh by the units right of capacitance which is just sorry of charge which is just in kulum and volt which is in jewels per kum. What we can do is multiply these two terms and then just get jewels. But we need to divide by two because essentially the voltage is making this triangle. So in

[3:38:54] order to get the area of this triangle, we need to do um base * height / 2. So in this case, it’s literally 160 * 400 / 2. So this gives us the amount of energy required to charge a capacitor uh up to a up to a specific voltage essentially. And we can also alternatively express the energy of charging a capacitor with respect to only voltage and capacitance because if you guys remember Q is equal to CV. So uh we can

[3:39:27] substitute Q here and get energy equals CV ^ 2 / 2 as the amount of energy required uh to charge a capacitor or equivalently the amount of energy that a capacitor can discharge. So this formula can be used both to express how much energy is required to charge a capacitor and how much energy a capacitor can release. And once again this is going to be really important because the capacitor is essentially what provides the buffer while the battery and the generator are slowly winding up to their

[3:39:57] operating voltage whenever there is a power shortage. Okay. So let’s assume that we have a 1 megawatt load which has been cut off due to some issue with the with the supply chain or there’s just a power outage and we want to know how long can our capacitor support this 1 megawatt load. So we already know that the capacitance which is once again like the kums per unit volt is 0.2 2 far odds

[3:40:30] and the load is 1 megawatt and the capacitor is currently sitting at an electrical potential of 800 volts which if we come back here means that there’s 160 kum of charge across this uh dialectric and so it’s pretty straightforward. We have this energy formula which we can just change to be delta energy = 12 C of V ^2 at the beginning minus V at the end squared. So literally uh that’s just this formula

[3:41:01] here except we take the difference in voltages to get the difference in energy. And essentially what happens is we’re assuming that on this bus voltage at 700 volts the load will cut off. So this this assumption just comes to the fact that we assume that whatever this bus which has electricity is supplying has a permitted output or rather it can input voltage up to 7 down to 700 volts but as soon as the voltage decreases

[3:41:31] below 700 volts then it’s no longer uh the the bus can no longer actually power the load. So that’s why we calculate our V start as a 800 cuz that’s the start. But more importantly that’s why our V min or our V end is 700 volts because after that there’s no point. In fact we already see here that once the capacitor has discharged to 700 volts it still has 49 kJ of energy but it just does not expend it because it’s pointless to bring the bus below 700 volts. Uh we

[3:42:02] would just like shut off the power to the downstream components at that point. Okay, so enough with the talk. If you actually calculate this formula, you would get uh 15,000 jewels as the amount of energy that the capacitance the sorry the capacitor can discharge between 800^2 minus 700 volts. And then if it has to supply 1 megawatt, then if we just do time equals energy

[3:42:32] divided by power. So that’s the way that you can get the amount of energy that is required or sorry that’s how you get the time required to expend a specific amount of energy then it would only be able to support the 1 megawatt load for 15 milliseconds. So it’s not that much time but also the capacitor doesn’t have that much energy and you require 1 megawatt to support the load. So now we know that up to down to 700 volts the capacitor can support the the load or rather the bus for 15 milliseconds at

[3:43:02] which point it would cut off power to the downstream components and they would no longer have a power supply. But that’s actually not what happens in reality. So in reality what happens is that as the capacitor is uh ramping up it’s supplying essentially the deficit sorry the capacitor is like actually instantly uh activated because the electrons will just start to move from the negative terminal to the positive terminal instantly once the voltage drops in order to dampen this uh voltage drop. Um and so the capacitor is

[3:43:35] supplying a deficit during the battery ramp up is what I meant to say. And so instead of having just like only one thing happening, we have the capacitor which is acting while the battery is ramping. So instead of calculating the capacitor supplying the the voltage um like on its own alone, instead we should um calculate this while the battery is ramping up. And we can assume that the battery essentially is providing power in an increasing manner linearly.

[3:44:06] And therefore the area that the capacitor needs to supply is this deficit which is this triangle. So if we just calculate it it’s just um 1/2 because there’s a triangle of 1 megawatt because that’s the that’s the load times 10 millconds because that’s how long it takes for the battery power to equal the load power. Okay. And this means the capacitor needs to support 5 kg of energy in this time. And so if we have the same formula as last time except we solve for the V end then um and we know

[3:44:38] that jewels is 5,000 we can rearrange for V ^ 2 and then we would get that after 10 milliseconds the deficit is now 768.1 volt or more precisely the bus voltage drops down to 768.1 volt but then stabilizes because now the battery is supplying the 1 megawatt load and the capacitor now is no longer discharging because its voltage is equal to the bus voltage. Okay, so now let’s uh let’s quickly jump

[3:45:11] back because those are pretty scary formulas. So now we’re at 768.1 volt and if we just supply the 1 megatt load on the battery, we’ll never get back to 800 volts because we need to essentially charge the capacitor back, which means we need to supply a surplus over 1 megawatt in order to get back the energy. And so that’s what the formulas on the on the next page are going to show us. So I promise you this this isn’t as scary as it seems. So let’s see what it says. First of all, we just using once again the time equals energy divided by power. And just to give some

[3:45:42] intuition again, we have time in seconds. And then we’re dividing jewels divided by jewels divided by seconds. So the jewels cancel out and the second comes into into the numerator. And we already know that energy with respect to capacitance and voltage is equal to CV 12 CV^ squ. So we have the energy in the numerator which is 1/2 CV^ squ and then the denominator is saying essentially we have the time and we want to calculate the energy to replace it and

[3:46:13] then at the very bottom we want to know how much extra power do we need to provide uh which is just P extra equals the source minus the load. So in this case the load would be 1 megawatt and then we want to know how much more power above 1 megawatt do we need to supply and that’s the question. So if we if we for example supplied 50 megawatts above the extra power sorry above the yeah the extra power of the load then we would do

[3:46:43] 5 kg divid by uh 50 megawatt and then we would get the recovery time. So this would be the constant positive surplus at the data at the DC bus that we um that we supply in order to recharge the capacitor. So we get this 5 kg just as a quick intuition by doing all right our target voltage is 800. So 800 squared and then initial voltage is 59 which is um just 768.1 squared. And so this means

[3:47:14] that we want to go uh we want to get to 5 kg essentially that’s what the numerator is saying and therefore we need to add this 5 kg with some extra power right so let’s look at what can happen here so the more surplus power restores the bus sooner and once again we’re assuming that we have a 1 megawatt load that needs to be powered and we also need to supply some surplus to get to the 5 kg and restore that. So let’s say that if we supply one megawatt to

[3:47:44] the bus, right? There’s no surplus. So the the voltage stays at 768.1. This is this dotted line. Instead, let’s suppose that we now supply 50,000 kW extra power to the bus. At that point the recovery will happen in 100 milliseconds because if we simply divide 5,000 divided by uh 50,000 we will get 100 milliseconds so a tenth of a second if I’m not mistaken. And then conversely if you supply more

[3:48:16] power 1.1 megawatt which is 100 kow then since you’re supplying double the power the recovery time will be half. And this means um we’re doing 50 sorry 5,000 divided by 100,000 and that will give us 50 milliseconds in recovery time. Okay. And also once we get to 800 volts we assume that we reduce the source power at the bus to 1 megawatt because if you increase above that then you’ll just start to charge the capacitor above 800 volts but you also don’t want to do

[3:48:46] that. So um that’s what happens when we’re using a battery. Also, um let’s assume that we’re not using a battery to recharge the capacitor. Let’s assume that we’re using a generator and a rectifi rectifier. So, once again, the rectifier is going from um is going from AC to DC. So, in this case, the uh the generator would also perform the exact same job of of recharging the capacitor in order to reach the the the operating bus voltage. All right, so that was pretty long. I

[3:49:17] hope you guys survived through those equations. It’s pretty pretty complicated sometimes. But now let’s uh get back to a bit more fun diagrams. So if we look at here, right, the UPS battery bridges the weight for accept the generator power. So let’s assume just to re resume or give a resume of what happens in every step of this cycle when we go from um utility to failing power to generator. So first of all the utility is supplying power and

[3:49:48] then let’s assume that the utility is unavailable and now the generator is starting but disconnected since it needs to take a few minutes to ramp up. At this point the capacitor has taken up the first 10 milliseconds and then after that the battery makes up for the um the the load which is 100 kow in this example and the battery is discharging. then we would say that the generator has now reached its uh operating output of power and therefore it goes through the same UPS as normal as the utility would.

[3:50:18] And then finally once the battery or once the util the generator is ready to supply power not only to the to the load but also to the battery then we will um essentially supply more than 100 kow to supply power and recharge our battery such that in in a future uh situation where the generator or the utility come down then the battery is at its charge state in order to supply the DC link.

[3:50:48] All right. And let’s just quickly talk about battery output. So this is pretty simple math and physics here. So assuming a battery has a 1 mill sorry a 1 megatt hour uh energy storage. So this would mean that it can supply 1 megawatt of power for 1 hour. And also if we consider the fact that you probably will not discharge the battery past 20% so that only the 80% is actually useful. And then finally that actually the battery cannot perfectly convert its

[3:51:19] energy into electricity. There would be a 95% conversion ratio. Then you actually only get 76 megatt hours to load from an initial 1 megatth battery. And assuming you have a 8 megawatt output limit on that battery through the DC link here, then if you have a 6 megawatt demand, you could you could supply that demand for 7.6 minutes. And this is simply just getting our energy dividing this by the power and then multiplying by 60 to get minutes. And

[3:51:51] then assuming that we have a 4 megawatt output limit, then we actually could not even meet our 6 megawatt demand because the full load cannot be supplied. There is essentially 2 megawatts of demand that’s unsupported. So your ensemble of batteries should at least be able to supply the load. So in this case, you’d want batteries that at least can supply 100 kilowatts after you consider both the conversion um and the usable window and also like what is the output of the

[3:52:22] battery. Right? So up to now we’ve actually been only talking about fossil fuel uh systems from my understanding of supplying systems when there is a power outage. But actually Cruso has this spark model which is like their modular data center which uses solar and battery storage in order to supply their data center. And what happens here is that in their pilot project which was from last year they had 12 megawatts of solar and 63 megatt hours of battery to supply a 1

[3:52:54] megawatt data center which also had a grid backup. So should like there be like no sun for like many days and they couldn’t u feed it. But in fact, if you just do the calculations here, right, since they have 63 megatt hours of batteries, of course, in this example, we we um don’t really consider the fact that you can’t just get pure efficiency out of your batteries. But if we ignore that, you get approximately 63 hours of run time without having any solar charge. So that’s already a pretty robust system in terms of the gross

[3:53:26] energy to load ratio. So, this is an example of a completely renewable system. Completely renewable in the sense that hopefully you would never have to dip into the grid. Maybe from time to time you would. Um, but on net it would be running on renewable energy. So, I think that’s a pretty cool concept as well in terms of autonomy from the grid and from fossil fuels. All right. I mentioned the static bypass before, but this is the first time we’re talking about it in a diagram. So, the static bypass supplies the load when the inverter is unavailable. So essentially

[3:53:57] what’s happening here is that since the source is an AC we can technically like skip the entire rectifier DC link inverter stage uh completely if anything on this line in the UPS ever is faulted or gets disconnected by this uh disconnector or breaker. So this just allows us to still power the load if the inverter is unavailable for example. But what the problem is is if you lose the access to your static bypass then you can no longer actually supply the battery because as we said the

[3:54:29] assumption here is that the inverter is uh faulty. So the problem is that when you use the static bypass you’re kind of living on the edge because if ever the static bypass goes down then you cannot power your load. There’s actually a another type of bypass which is called the maintenance bypass. So the maintenance bypass carries the load around the completely isolated UPS. You can see here we have these disconnects on the entire load which make it such that the UPS is not at all connected to any source of energy. And the purpose for this is that if you ever need to

[3:55:00] service the UPS then you don’t want it to be connected to anything which is energized. So essentially this external maintenance bypass allows you to still power the load while the UPS is completely shut off. And what happens here is that once again if you lose the bypass source if for some reason you’re doing maintenance on this UPS and the maintenance bypass decides to fail then this load also gets no supply. So one thing worth noting is that whenever you’re using a bypass then you have a single point of failure as opposed to

[3:55:30] the UPS where if one of the input sources fails you have usually a second option ahead of you. I also have been talking about once again AC and DC in comparison. And one thing that’s interesting is that even if you isolate the AC from the rest of the grid here, the DC can still be alive because of the battery and because of capacitors. So in this example here, it’s really important to disconnect the

[3:56:01] battery as well and make sure that this DC link is completely deenergized before there is any maintenance attempted on the machine. And furthermore, because DC is at a constant current and voltage, even if you disconnect it, it could still remain energized. And this is opposed to AC where essentially AC passes through zero twice period, meaning that it’s much easier to deenergize alternating current. Um so what this means is when you’re using direct current you need some load side

[3:56:33] um method to disconnect and dis discharge the direct current before any maintenance is uh conducted on this component. So once again the the message here is that even if the AC is off the DC the DC can still be live. So that’s more of a safety precaution. And in fact um what can happen as well with DC is occur let’s let’s let’s talk about um the the base case before we go into into arcs. So when current is when

[3:57:06] the circuit is closed current flows because the touching contact completes the circuit but an open gap can carry current even if there is a gap uh if there is sufficient voltage. literally hot ionized gas which is the gap and current still flows. What happens to destroy this or to remove this arc is that well in alternating current since the uh polarity switches so often an arc can actually be self-extinguished because in the intervals when the current reverses

[3:57:38] and there’s no voltage the air between the gap can actually become sufficiently cool that it just self-extinguishes the arc. The problem is though with direct current is there is no such uh change in polar polarity. So if you just keep a circuit closed or rather not closed but uh constant with an arc in direct current it will continue like indefinitely unless the source is deenergized. And so what this means is that either one must deenergize

[3:58:10] the source to stop a direct current from arcing if it’s occurring or you can move the move the two uh nodes of this current that are open farther away because at a certain distance then there will be no longer enough voltage to actually cross the the gap. So or rather the distance will be too long too large for that given voltage to cross the gap. So this is just something also worth noting um where direct current has a downside or a disadvantage here as opposed to alternating current when it comes to these like fringe fringe cases

[3:58:41] of electric faults or arcing in specific uh in particular. So just retain that in an arc with direct current unless something is changed in the system the arc will persist. Whereas in alternating current since the polarity is changing there is the possibility that in the intervals the gap will become sufficiently cool in order to stop the ionized plasma essentially from passing this current across the air. All right so we have more memes. Um it’s because we’re

[3:59:11] talking about redundancy now. So this first one says or second one says I see you don’t have enough redundancy in your data center I also like to live dangerously and then this first meme says take it easy buddy think of the data centers because it’s a really hot day and turns out that data centers don’t do too well in the heat. So let’s use these two memes to segue into the redundancy section of the chapter. So let’s talk about a 100 kowatt source or rather load which is fed by two 50 kow modules on a shared output bus. So in

[3:59:43] this case you have 100 kow available and 100 kow also required. So in this case we can supply the it and in our case of two 50 kow units we have n um n redundancy or essentially there’s no redundancy cuz the same amount of power that’s available is what’s required. So what happens is that if you fail one module then you can no longer um supply this it happens when you don’t have any redundancy. How about let’s add a third

[4:00:13] module. So in this case we have N plus1 redundancy for 100 kilowatt load and let’s let’s do some maintenance. So if we do maintenance on this module would essentially disconnect it from the from the bus and isolate it and then uh we would still be able to serve our end load. But now let’s say that we’re isolating and we failed one. Well, in that case, we only have 50 kilowatt available and therefore we cannot supply enough power through the UPS to supply our um our end demand. And then if we

[4:00:48] fail one module and keep one um keep both of them alive, then also we can um keep them we can keep this IT demand um satiated because we have M1 and M3 these two modules supplying power to the to the load. Okay, now we’re going to jump to N plus2 redundancy. I I think you guys can get the get the picture here. Let’s say that we are isolating one module and one of them is failed. In this case, we can still feed the load at the end of the bus because we have this N plus2 redundancy and essentially two

[4:01:19] of the modules can fail and we can still run. Uh if we actually return both of them to be online, we have 200 kW available across the shared output bus even though 100 is required and we’re also still in business with 100 kW to spare. Now let’s go to a different example. Okay, so we have n plus1 redundancy but the output bus is shared. And so this means that the paths are not independent. And suppose there’s a bus fault somewhere along the shared output bus. Well, that means that despite n plus1

[4:01:50] redundancy, we cannot do anything and there’s insufficient uninterruptible power supply capacity due to this bus fault. If we restore the shared bus, that will no longer be the case. We can now supply power to the IT demand. But know that even if we have N plus1 redundancy, there’s still a single point of failure failure if your shared output bus is shared. And then now we’ll use this as an example to go into a 2N redundancy configuration. So essentially you have a A and a B path. That’s what you call them usually or you would call this a

[4:02:22] dual corded uh system. Essentially there’s there’s two chords. And so what happens is that if you isolate path A, let’s say that you’re doing some maintenance here, then you’re still able to carry electricity because half of the paths can carry the whole load. Well, if we fail um one of the modules here on B, then unfortunately even two end redundancy is not enough. But then if we return uh the 50 kows on path A and even if B1 is failed then we can still supply the 100 kows because we have these two

[4:02:54] independent power supply units such that um yeah in in this case unless both of them fail to this extent we’re able to supply power to our end load. All right. And we can even go further and talk about 2 n plus one redundancy which you can understand through this diagram. And in this case it’s the same thing as 2n but now we add one to each of the each of the different lines. So let’s say that we isolate this entire path. Now we have 150 kow available to this 100 kow

[4:03:24] uh end load. And even if we fail one module we can still supply the 100 kow. So this is a much more resilient and redundant manner to uh supply our end demand as we have in the title here. A spare on each path adds margin during maintenance. So this is essentially as as good as you can get. If you have more redundancy than this, then you’re starting to get into dimishing returns cuz you need some pretty strange fringe events to occur for that type of redundancy to fail. And moving on, let’s

[4:03:57] talk about N plus1 and a situation where we then increase the IT demand to 150 KOW. So essentially what’s happened here is that we’ve gone from N plus1 to N redundancy. So the good thing about having more redundancy is if you do upgrade your equipment later on then you can serve more with the same power units, but of course the problem is you lose your redundancy. So, it’s a it’s a trade-off there for sure, but it’s one thing to know is that having redundancy also allows further upgrades to happen

[4:04:29] without changing the power supply infrastructure. All right. And just to give a quick example here too with having faults on these different branches on feeders. So, let’s say that we have a fault on group B and it’s isolated. Well, as long as we have the disconnect open here before it reaches the shared bus, then the fault stops the load before um the breaker

[4:04:59] opens upstream. And we can keep group A and group B, sorry, group A and group C supplied. But now let’s consider something else where you have a branch fault and the upstream trips because for some reason the group B uh breaker did not open. In that case, you have to fail all three of these buses or all three of these groups. Since they are dependent on this single point of failure from the upstream supply and then additionally even if there’s no failure within any of

[4:05:30] the groups, let’s see all the groups are fine but there’s some problem on the bus and the bus voltage collapse. Well then this entire upstream supply will probably be closed somewhere because you have this propagation of the fault to the first breaker that opens and therefore these three groups also receive no power. So I think the lesson here is in these hierarchical grid systems you need to see where is the single point of failure. You know, in a really redundant system, you actually

[4:06:00] have completely independent grids or rather paths for energy to flow such that one entire line can fail and the power can still be supplied to the load. But that isn’t always possible in terms of just like from a fiscal standpoint. So you need to balance um resiliency with cost. A different a different type of fault that we could talk about is um the racks themselves. So let’s assume that you have some type of live conductor that

[4:06:30] has an insulation fault. So essentially let’s assume that like the wire casing has shredded and like the wire is exposed to the metal cabinet of the rack literally like the metal cabinet and it would if if that conductor came into contact with the cabinet it would become energized and that could lead to problems like if somebody touches the energized rack then bad things could happen and therefore interestingly enough like to prevent this from happening you would connect a return path from the metal metal cabinet

[4:07:02] to the source such that it completes the fault loop. And why would you want to do this? So once again, a protective conductor connects the metal cabinet itself back to the source of the circuit such that in a fault scenario, the fault current makes the protection disconnect the circuit. So, what is meant here is that if ever there’s an insulation fault and the metal cabinet becomes energized, you’d actually want to connect the metal cabinet back to the source to complete the circuit and allow the breaker to trip and close the circuit properly as

[4:07:33] opposed to having the metal cabinet remain energized and have nowhere to go if it wasn’t connected back to the source. That’s an interesting thing where like you’re purposely connecting the metal cabinet back to the source source. If ever there’s some insulation fault that occurs which causes that metal cabinet to be energized, you want that current to flow back to the source as opposed to elsewhere. All right. So when we talk about redundancy, there’s actually a ranking and it’s called the uptime institute tiers with one being the lowest and four being the highest. So if we if you start from the bottom, number one, it says

[4:08:05] your data center just provides basic power and cooling. So pretty standard. And then number two, obviously these are like slightly generalized. There’s there’s much more stringent uh requirements for these systems, but we’re just giving a a high level overview. Number two says you add spare power and cooling equipment. The number three states that you maintain equipment with it running. So this means is that as in this example here, if you isolate path A to perform maintenance because you have path B, you can still uh keep your load running and that would qualify

[4:08:37] for the third tier. And then the fourth tier is saying that if there’s an infrastructure fault, which is to say this is planned maintenance. If this is essentially you can think of it as unplanned maintenance, if that happens, then in tier four, the system is still able to survive. And tier four data centers are less common because they’re much more expensive to build in all the redundancy. You you’ll mainly see this with for example uh government data centers where well the government doesn’t have that much sensitivity to the cost. So they’ll give the they’ll

[4:09:08] give the the money for the highest tier redundancy and also like government data usually is pretty pretty high um high worth. So they don’t want to have the data center go down or have some vital government uh service lose power. Okay. And just just an example here, right? We have tier three and tier four are essentially saying in plan maintenance plan path A is disconnected and isolated and path B still supplies the it. And then tier four is saying okay if there’s a sudden failure and path A goes down

[4:09:40] then path B can still be used to supply other it. Whereas in tier three, we’re saying we can only guarantee that in a planned maintenance event, we can keep the it online. It’s not saying that if path A goes down to some fault, then there could be some um issue where the path B also becomes compromised, for example. All right. One thing also worth noting is that on-site generation is actually a part of all four uptime tiers because it feeds into both it power and cooling.

[4:10:12] But when you go from tier one to four in um in redundancy, you add more spare equipment and that’s the second tier. Then in the third tier, you add the ability to do maintenance without turning off the data center. And the fourth tier, you’re saying that even in a fault tolerant situation. So you can think of like Hurricane Harvey with that Equinox uh Equinex data center, that would be a tier 4 data center. So there’s tiers and then there’s the nines which are separate concepts. So

[4:10:43] three, four and five nines of availability simply say how much of time in the year is your data center up. So if you have three nines of of availability, which is for example the Cruso Spark data center in Nevada, which is the one that uses solar panels, this means that for 8 hours and 46 minutes in the year, you will have that much downtime. And literally, this is just by doing um 0.01% of the year. And this gives you 8.46%. And then if you have 49s of

[4:11:14] availability, then this is an example of Microsoft Fairwater in Atlanta, Georgia, which we’ll talk about in the next slide. This would be the equivalent of 52.6 minutes of downtime in a year, which is already like less than an hour. And there are like 8,000 hours in a year if you guys remember, 8,760, I think. And then 59s of availability is pretty insane. So there’s this uh data center in Vienna which must have a lot of redundancy and the SLA which is the service level agreement I guess specifies that you can expect at maximum

[4:11:45] 5.26 26 minutes of downtime per year, which is quite impressive if you think about it. Right? And let’s just talk about an example of a data center with 49 of reliability. This is the Microsoft Fairwater data center. And in fact, it’s quite interesting. So this data center achieves 49s of availability at 39’s cost. How is this possible? It’s because they actually don’t have on-site generators. They don’t have UPS systems and they don’t have dual corded distribution. So just as a reminder, we know what generators are. We know that the uninterruptible power supply is to

[4:12:17] supply power through a battery and then we know that dual corded systems is to have essentially an independent A and B path for every single power supply. So how do they achieve four 9s of availability without any of this infrastructure? Let’s uh let’s let Scott Gutry who made this quote tell us how he does it. So what they say is we have also worked with our industry partners to co-develop power management solutions to mitigate power oscillations created by large scale jobs a growing challenge in

[4:12:47] maintaining grid stability as AI demand scales. This includes a software-driven solution that introduces supplementary workloads during periods of reduced activity a hardware driven solution where the GPUs enforce their own power thresholds and on-site energy storage solution to further mask power fluctuations without utilizing excess power. So I think I just realized this quote actually talks more about how they dampen the effects of the power which is caused uh by AI to fluctuate. Um to talk about how they actually achieve this power redundancy without having any of

[4:13:19] the on-site generators themselves. It turns out that the grid that they’re connected to already has a lot of built-in redundancy. So for whatever reason uh their grid connect in Fairwater Atlanta has a lot of latent uh redundancy already within the grid. So they don’t need to build that secondary power on themselves cuz I suppose they already have this guarantee that the grid itself is going to be 56 uh is going to be up for most of the year and will be down for at most 52.6 minutes

[4:13:51] per year. So essentially what’s happening is that instead of having to rely on their own generators to guarantee 99.9% 99.99% availability uh they got this agreement or they got this deal from the grid to do that. And then this paragraph my mistake is just talking about how they are able to use both software and hardware as I mentioned uh I guess in a previous chapter to dampen the load changes and fluctuations between these different jobs.

[4:14:22] Okay, so this is the last uh second last chapter, second last slide in our chapter. It’s going to quiz us on what happens in a fault situation. So let’s say the racks have power, but can the workload keep running? So what what’s the situation here? We’re saying that utility fails and the generator starts and supplies a cooling plant where the compute racks have a uninterruptible power supply and a generator, which is good. That means they have the rectifier and the inverter. And then the cooling controls though is only powered by the utility and the pump and heat rejection

[4:14:53] is powered by a generator. So the question is what still stops the workload. So I’ll let you guys think about this for a second and I’m going to reveal the answer. Essentially the cooling control has no more power because it’s only supplied by utility. If you put the cooling on a protected supply, then at that point you could have a redundancy which would still run the data center even if utility goes down. But until the utility is not the only source of energy for the cooling

[4:15:25] controls then um even in a utility outage you could not supply enough uh or you cannot keep the data center running because of the lack of cooling control simply. Okay. So the second question and our last slide in this entire chapter is saying the following. So it’s saying that the UPS is on a bypass. So let’s say that um the inverter has failed. Actually that’s what it says here. The inverter has failed. Static bypass carries a load. Now utility power has failed. The question is will the load stay powered without interruption? So do

[4:15:56] you guys think yes or no? I don’t know. I think the load will not stay powered. Okay. Correct. And what’s the reasoning here? The failed inverter blocks the battery path and a generator can restore bypass power after startup and transfer but it does not bridge this interruption. So essentially what happens is that technically you can supply power. So this is kind of a nuance question I must admit. You can supply power with the utility after a few minutes but you can’t supply power with the battery. So what I’m trying to say here is okay we

[4:16:27] initially had this inverter fail and then what happened is that the utility also failed. So therefore, the battery cannot supply power to the load because the inverter is down. But the one thing that still can happen is that if you have a generator here, it can now take the static bypass and supply the load. But the problem is that that would take like a few minutes to ramp up. So for some time, you would have no supply and then after that you could reboot the system and get your rack running again. So that was the second and last question to verify the knowledge that we learned

[4:16:57] in this chapter. Now let’s move on to chapter eight. Okay. So here in chapter 8, we’ll be discussing how we feed the rack while keeping chip voltage steady. And this is going to be quite a compelling chapter because you’ll see how starting off at let’s say 345 kilovolts at the high voltage AC transmission when electricity actually comes into the data center substation, we now will get like in the range of 1 volt. And if we remember the

[4:17:29] formula P= IV if you just naively did this entire conversion then you would have technically a 345,000 increase in current. Of course this is massively simplified and also assumes DC current even though a lot of this current is AC but the highle idea that I want to get across here is that we are now finally going to get to the current which is actually accepted at the chip level and this is like in the range of 1 volt usually. So to get to this final stage, we first need to go from the rack

[4:18:00] bus, which we’ve already discussed previously. So this vertical rack behind our NVL72 uh rack, for example, which supplies electricity to all of the constituent trays, which will then go to the board itself. So if we’re looking at once again that same example, we have on every single tray two boards in the NVL72B300 Ultra. And then on the boards we have voltage regulator modules these VRMs which convert energy to the chip

[4:18:31] itself. And um in this example these these are some parts of the VRM. Um but this is once again just an illustration. So don’t trust it as like the truth of how every single VRM looks like. And then we also have capacitors which are on the chip level. These capacitors essentially serve to buffer voltage or rather to buffer current. So the voltage remains constant so that the chip can always have a relatively uh acceptable input range of voltage.

[4:19:02] Okay. So as a motivation for this slide, I want to discuss a research piece that was published by Bank of America Global Research on the following statement. So by the end of the decade, we think Nvidia’s road map could lead to greater than 1.5 megawatt racks for the Fineman era nearly 100x higher than a standard CV server P CPU rack at 10 to 15 kow. So the 10 to 15 kilowatt we’re talking

[4:19:32] about here is the traditional server rack. And in fact, I spoke with somebody who is a Berkeley professor in high performance computing and has been like an industry veteran for many years. And he was telling me how at a certain time the conventional wisdom that was that 60 kW was the maximum rack power density that one could achieve. And already today we’re at this phase currently where there are N as said there are Vera Rubin NVL 144s or NVL72s. Um, in fact,

[4:20:03] this naming scheme is slightly confusing. I’m going to jump ahead one slide to con to explain why this is a slightly confusing naming scheme. It’s because on these GPUs, you have two dyes which compose one GPU. So, this GPU has one die here on the top and one die here on the bottom. And just to explain why this term is 72 and this term is 144. This naming convention says that we count these two dyes separately. And then the

[4:20:35] convention where you say NVL72 says that we count this GPU as one uh functional GPU and we don’t count the individual dieseS. So all that is to say that the NVL72 and the NVL 144 actually have the same number of dyes which is what is com which is what composes the GPUs. Um the only thing that changes between these two different uh between these two generations is that the dies probably become bigger and that’s why it has a higher power demand despite the

[4:21:08] fact that actually from generation to generation the actual dies themselves become more efficient. But just to recap, because the die is becoming larger and it’s just doing more computations despite increases in efficiency from generation to generation, the overall power consumption is increasing. So the entire reason I went on this digression is to say that currently we are in 2026 with the Ver Ruben NVL 144/ NVL72. Both naming conventions work and it’s around 130 to 140 kW. It hasn’t actually

[4:21:40] changed that much since Grace Blackwell with notwithstanding in 2028. So this this graph or rather this piece of research whenever it’s published is out of date because what happened is that the Vera Rubin Ultra Kyber NVL NVL 576 so it’s really a mouthful is this new massive rack scale solution by Nvidia which will be 500 sorry not 576 kW but on the order of 600 kW and because of its extremely sophisticated spine back

[4:22:11] plane which is essentially the interconnect on the rack level, the scaleup domain that is behind the rack. Um, it’s essentially like a 7v2 or it’s like a 70s something layer PCB, a printed uh circuit board, which allows all of the GPUs to comm communicate with each other. um because of leaked and like this is industry confirmed difficulties with like actually getting this printed circuit board to work like all of these issues with respect to the different layers like warping and ruining the board in manufacturing and

[4:22:43] also the overall complexity of routing and interconnecting all the GPUs. This specific rack has been delayed to 2028. So that’s the whole short of it which means that probably Rosa Fineman which is the generation after uh the Ver Rubin Ultra Kyber which is this one will probably come in 2029. Uh we never know maybe Nvidia will really get their game on for this version but in any case there are projections that the Rosa Fineman era will be in the 1.5 megawatt class. Um this is just like mindboggling

[4:23:15] in terms of increase in power density. One other thing though that you’re seeing is that whereas previously or up to now you have these standard rack uh configurations that are like rectangular prisms and not Nvidia but AMD has actually already released a new type of rack which is called the Helios. So, as you can see here, the AMD Helios is almost like a fat rack because it’s two racks wide. And this is in order to just have a larger amount of compute inside of one

[4:23:46] single system. And you may also see Nvidia doing this at some point. You may uh is actually probably a 2 week qualifying term. You will definitely see this happening on Nvidia’s side as well at some point in the future and um likely in like the Rose of Fineman because in this vertical configuration like even after like 2 to 3 years of insane progress it’s probably not possible to fit 1.5 megawatts of uh compute inside of this small of a enclosure. So that’s just um essentially

[4:24:16] giving some uh foresight of how these racks will also be morphing in over over time. And currently as I said AMD Helios is the only rack which has this double wide um size of the hyperscaler. So AMD, Nvidia and other ASIC providers. So what is actually this slide saying? Um we’re going once again from a rack to a board when we want to convert down and transfer power all the way from this

[4:24:47] vertical bus bar to the voltage regulator modules. I really like this diagram. It’s a Lenovo GB300. So, interesting to know is that like there’s a lot of different manufacturers which take the trays and the GPUs from Nvidia and then put their own envelope around it. So, Lenovo is one example. Also, Dell is a really big uh provider of these GB300 and other Nvidia racks. In this example, we can really see every single tray in in fine detail. So on the top if you guys remember we have four

[4:25:18] shelves which have six PSUs each six power supply units which means that there are 24 power supply units in these four shelves. And similarly at the bottom so that means 48 power shelves not power shelves but power supply units and eight power shelves. And so if you have 48 power shelves and each one is 5.5 kW, then we can actually just do the math here and get the total power output of a GB300 rack which is 264 kW. And this is nice because it allows a lot of

[4:25:49] redundancy since the peak demand of a such a rack would only be 142 KOW. So it’s not perfectly n plus2 redundancy. Sorry, 2N redundancy because that would have to have I suppose 284 kW of power. but it is still quite redundant, which means you can hot swap the PSUs without having to power down the GPUs. And where are the GPUs? They’re here. So, there should be 10 racks here. Uh, sorry, 10 trays here and eight trays here. Each

[4:26:21] tray has two boards, which means that there are 36 boards since we have uh 18 trays and two boards per tray. It’s really hard to resolve these things sometime, but I think we got it right there. And then we also have the NVL link switch trays which have nine trays. And each tray has two NVLink switches which means that there are 18 NVL link switches in this rack. Okay. And so the compute tray which is what we’re really interested in once again has the two boards. And this is what a single board looks like. And each board has two GPUs

[4:26:53] and one CPU. That’s why it’s called the NVL72. Because if we do two GPUs per board times two uh trays, sorry, two boards per tray, we get four GPUs per tray. And if there are 18 trays, we get 72 GPUs per rack. So there is the entire endto-end calculation of how you can get 72 GPUs from an NVL 72 rack. And then uh one once again there’s only 36 grace CPUs in

[4:27:26] this configuration. I want to quickly zoom in and first of all say that if you watch my course called chips which describes how semiconductors are made from silicon to this final board uh you’ll you’ll learn that process. So that’s what we’re learning today. But I want to talk about a few things here uh before we switch to the next slide. So first of all I talked about these voltage regulator modules. And one component of these VRMs are chokes, which are like inductors. And all you need to know about an inductor is it’s a type of component you add to a

[4:27:57] circuit to resist changes in current. And it makes it such that you can have a more constant current. So you don’t need to know anything about a choke more than that. But what I do want to point out is that the chokes themselves are here around the around the GPU. And it makes sense because this is what’s actually supplying uh the current to to the GPU. So you want them to be as colloccated as possible. Why? Because of resistive heat loss. Since you’re at 1 volt, the current will be massive because of P= IV. And you want the the the VRM, which

[4:28:27] is actually supplying current to the chip to be as close as possible. Um, it’s not the closest thing to the chip. In fact, these gold like uh squares is the high bandwidth memory, which you want to be closer because memory latency is king. So that’s way more important than having your resistive heat losses minimized as much as possible. But you can see the hierarchy here. So like you have memory latency as the most important and then also after that the the voltage regulator metals voltage regulator modules which are composed of

[4:28:58] these chokes which are inductors are also close by. These circular things as well here might be might may or not be capacitors. I’m not sure because Nvidia doesn’t actually release the detailed spec of their boards. But in any case, I wanted to highlight that you have a lot of chokes here which compose the VRM around the GPUs and similarly actually with the CPU here below the gray CPU, but there are less because the CPU is much less power intensive than the GPUs as we all know. And then the last thing here is that the GPU has high bandwidth

[4:29:29] memory whereas the CPU has a different type of memory. It’s still it’s still a DRAM but it’s LP DDR5X. What does that mean? It stands for low power double data rate 5x. Um, and this is just a type of DRAM. So, low power means it’s um low power as opposed to GDDR, which is the graphics version of uh double data rate power. Not double data double data rate memory. And then double data rate memory just means that in one clock cycle, you can transfer both on the up

[4:30:00] edge and the down edge of the clock cycle, which just means that you have better uh transfer and memory latency and throughput. And then like five is just a version. So that’s low power double data rate 5x memory. You might have heard of LPDDR or GDDDR. Now you know what that term actually means. And then that’s everything we need to know. The last thing that is also just uh quickly quickly worth noting is the connect x8 supernix which forms the scale out domain of these chips. So we’ve already discussed the scale up network. Um and then now we have the scale out network which is mediated

[4:30:31] through these super nicks which stands for network interface card. So that was that’s what the NIC there means. Okay, so that’s a really high level overview. Now, let’s get into a bit more details from the PSU to the CPU cores. So, the power supply unit once again looks like this. So, there’s six of them in a in a shelf. And this in our example takes the alternating current that comes in through the busway to 51 volts DC. So it both converts from AC to DC which is

[4:31:04] called rectification and then also will step down the voltage to the voltage range. You’ll also see like these PSUs will supply 51 volts and then the motherboard or tray component that accepts this voltage will like for example have a input rating between 52 and 46 volts. So that’s just an example of a meta specification. So this would be the specific Nvidia trade that was made for meta that had this input voltage range uh which we’ll discuss in

[4:31:36] a bit uh in a few slides. But uh just realize once again that you do have this leniency in voltage ratings because you can’t always have like an absolutely perfect voltage. Okay, so that’s what the PSU does. And then the voltage regulator module makes and regulates the core voltage. So there could be an intermediate voltage step down from like 51 to 12 and then to one or you could just have a 50 to1 conversion. Once again depends on the implementation. All we need to know is that the voltage regulator module is what actually is what does one of the steps down in this

[4:32:07] pro one of the step downs from this process. And then we have the Vcore rail which is like a abbreviation for voltage core rail. It’s just a copper path or rail that carries the onevolt current to the CPU or GPU cores. And then you want to have these local capacitors that connect to the rail beside the chip in order to buffer if there is increase in current absorb current. And then if there’s a decrease or like there’s low current on the bus to release some current uh in order to buffer the voltage. Okay. And so what’s actually

[4:32:41] supplying the the VRM at the downstream level is the power supply unit. In this case, we’re looking at advanced energy OV3 PSUs, which are 3 kW and go anywhere from 200 to 277 volt AC to 50 volt DC with six per shelf as we discussed in the uh the Nvidia diagram there. But these would not be used in the GB300 because the GB300 uses 5.5 kilowatt PSUs. In any case, every single rack

[4:33:11] would then give you 18 kilowatt installed capacity in this specific example. And what’s interesting and what’s worth noting is that we have the incoming three-phase alternating current. And in fact, in order to load balance, what you would have is like on a rack, sorry, on a shelf in the rack with six PSUs, you would likely have each of the three phases of AC going to two going to two power supply units in order to balance

[4:33:42] the load. Or in any case, you would want in of a of a group of uh six to have 1/3 going to uh sorry, 1/3 of the lines going to each of the power supply units. And so in this case, we would have like line one connecting to one here, line two to another one, and then so on. And then this would take this uh in this case 277 volt AC and then step it down to 50 volt DC. What you might be wondering is okay if it’s 480 volt AC current why are we saying it’s 277 volt alternating current here it’s because

[4:34:13] once again 480 volt since voltage is defined as a difference between two electrical potentials this is the lineto line voltage whereas 277 volt is the line which would be any of these to neutral difference in electrical potential. So there’s there’s the reason why we’re talking about 277 volts here. And then this would be fed as the arrow is pointing onto this vertical bus bar of the rack. And once again, this is showing a DGXB300, but these PSUs would actually not be there because we need

[4:34:44] the 5.5 kW PSUs because of how power hungry these GB300 chips are. Okay, I’m I’m now going to do a a calculation with you guys so that we can really walk through like what does it look like going from a input load. So like our load requires some piece of power. How do we determine the amount of power we actually need to feed the rack given like the GP the CPU or the GPU’s um power requirement? So let’s assume that we have a 72 requirement 72 kW

[4:35:17] processor power load input and let’s say that the local voltage regulator modules are 92% efficient. So essentially what we’re going to do here is work backwards from the lack of efficiency and the heat that we lose to get the required input voltage at the alternating current level. So let’s just go through this in our calculator. So 72 / 0.92 gives us the amount of watts we need to input to

[4:35:48] this regulator to get 72 kW which turns out to be 72.26 just as we get here. The other thing too is that the power from this vertical bus right here isn’t just going exclusively to the chips. It’s also going to go to memory, networking, fans, and auxiliaries. So we’ll also assume that we have 12 kow that need to be added to this process as well. So we’ll just add 12 to get 90.26. As you see here, this is the shelf DC bus. And then once we actually want to get the power into the bus, let’s assume that

[4:36:19] the rack power shelves, which is what the PSUs do, which is what the PSUs are rather, are 97% efficient. So what we’re going to do now is put this around brackets and divide it by 0.97, giving us 93.05, just as stated in the diagram here. So this would be the watts entering the rack and the the calculation also is on the bottom here where we add in the heat in order to get our final amount. So you can imagine that at a crude level this is what data center engineers are doing

[4:36:51] when they’re determining how much energy to feed to every single rack when they already know the efficiency of each of the uh the conversion steps. So that’s actually a walkthrough example that once again a data center engineer would do in real life. Okay, let’s now get back to the theme of the fact that a VRM is doing this massive voltage switch which causes potentially a really high current and therefore heat losses. So at 1 volt

[4:37:22] a small path resistance can consume a large share of the voltage and create a lot of resistive heat loss. So, let’s assume that at the board level, we require 1,000 watts of energy to power our GPUs and the rest of the components on the board. What this means is that at 1 volt, we need 1,000 amps since P= IV. However, this does not account for resistance. So if we assume that in this regulator output to chip path there is 100 micro ohms of resistance then due to

[4:37:55] Ohm’s law which states that the change in voltage is equal to the current times the resistance we’ll have a voltage drop of 0.1 vol which means that actually we need to supply 1.1 volt at the regulator to get one volt at the chip and then the Other thing that I want to add in addition is that since we have both values of resistance and current, we can also calculate the heat loss in this path which is 100 W. And this is once

[4:38:26] again the reason why we want to make this as short as possible from the regular output to the chip. If we decrease the resistance by an order of magnitude, you can see how much that helps. So in this case, we only need to supply 1.01 volts as opposed to 1.1 volts at the regulator to get to one volt at the chip. And then also the heat in the path that is lost with resistive with resistive heating is only 10 watts. So really the essence of the slide is small resistance changes can make large

[4:38:56] downstream uh effects both in terms of voltage drop and heating which it makes it such a important space of efficiency in the cycle of converting high voltage AC to like one voltage DC to power the chip. This slide is really cool because it’s titled all roads lead to Rome. And the the reason I titled it this is that there are many ways to get to one volt. And here are two methods. There could be others. The data center industry is very

[4:39:27] diverse. And once again, these are only two possibilities. Let’s just quickly walk through them. So, one possibility of going from the rack to the compute die is to have the 51vt rack bus that we’ve already talked about the vertical bus and having a 51 to 1 approximately ratio DC toDC converter meaning that we go from 51 volts and approximately 20 amps to 1 volt and 1,000 amps with a 1 kow load. This would make us have to have the final version beside the die or else there’ll be way too much resistive

[4:39:58] heat loss and that’s why the high current stays local. Then you can have an intermediate rail though and this is actually what’s done with the meta chip which we’ll see in the next slide where you have 51 to 12 DC toDC converter. This gives you approximately 83 amps in this intermediate phase and then we convert back to or to the 1V desire voltage at the compute die and this gives a higher voltage board distribution. This also means that the regulator choice and layout flexibility may be better simply because you can

[4:40:29] split up this conversion into two phases. Okay. So, as I promised, we’re we’re going to discuss the Metag GB300 tray which actually has a complete specification. So, if any of you guys are interested, the open compute project talks about this tray and this was made uh last year in September in fact and you can see all of the people here are just meta engineers. So really good reading if you would like to have some extra uh homework after this course. And what they do on their board at a high level is what we just explained here in

[4:41:00] the intermediate rail phase. So they go from 51 to 12 to approximately 1. And this furthermore has a allowance for between 46 and 52 volts at the power distribution board. So the power distribution board is somewhere on the board level. So essentially this is what would happen when you get from the rack to the board and there you go. So that’s a real life example of how local regulation occurs to get to one volt at the process level. Okay. So now let’s

[4:41:33] talk about the VRM not just as a blackbox but like actually see what are they doing in practice. So where can I put myself to not block this slide? Okay, there you go. So sharing current inside a VRM as I mentioned these VRMs they have these chokes and they have many of them based on the power hunginess of the compute that you’re serving and these chokes roughly correspond to phases of current and in

[4:42:06] the industry you have like multiple phases per per VRM or rather you have multiple parallel phases per voltage regulator module. So if we consider the extreme case which you would really never use where you only have one phase of of current in a in the VRM then what happens is that although let’s say you have a 1,00 amp average since it’s 1,000 kil sorry 1,000 watts the the amperage itself would be very volatile and this is not good for the chip which expects a constant voltage and if you if you

[4:42:37] modify the amperage then also your voltage will change because of P= IV and then instead what’s done is that you have multiple paralle phases in a VRM. So in this case we have 250 amp phases which of of which there are four which add constructively to 1,00 amps. And if you interle these then what you can do is stabilize the current and then furthermore have a steady voltage on your downstream compute dot at at a at an even lower level. How this

[4:43:07] works is okay, you have a voltage regulator model which is actually just called a buck converter which if you’d like to search keep uh just just come to this link here and you’ll get a really good rundown of how that works. In essence, you have two uh transistors here as well as inductors and these switch at really high rates in order to get this voltage differential. So in this case we would be going from 12 to 3 volts. That would be a 4:1 ratio. Um and if we look on the right here we have the

[4:43:39] switch node voltage which just says what is the voltage applied at every switch um as a function of time. And then furthermore we get the inductor current here. So the inductors are what resists current. So I misspoke. I said the inductor resists current but it’s the opposite. The inductor resists changes in current. How does it do this? Well, a an inductor stores a magnetic field and when the current changes, the inductor flips its voltage polarity to force the

[4:44:11] current to keep moving by generating a back voltage. So all of that is to say that the inductor resists changes in current and this is what’s used to aid in the voltage conversion even when the switch is open and this allows current to flow in the circuit. And what this means is that when we interle these two currents, we get the uh the the the normalized or rather the smoothed current where there’s less spikes. And once again, this allows us to buffer the

[4:44:42] power that the load requires, which is the chip itself. And the more the phases you add, the more the current and the voltage are essentially stabilized. So if we look here uh we have a bunch of illustrations more phases share the load and interle them reduces ripple. Um it really depends on multiple factors how many phases you can have. But these are just examples. In general though like the more power hungry and sophisticated your workload you’ll likely have more phases which is once again why the GPU

[4:45:14] had more of these chokes which are the inductors specifically uh than the CPU in the GB300 board. Okay. So we’ve been talking like pretty low level. Let’s let’s jump back up to a higher level overview of how we power the system and in particular let’s talk about how backup power plays a role in these data centers. So at a facility level we have the grid which can be supplemented both by a generator and a bees which stands

[4:45:45] for a battery energy storage system. So if we think back to the Cruso Sparks center which had a 12 megawatt solar panel grid with 63 megatt hours of batteries that would be the battery energy battery energy uh storage system and these both feed onto the main AC bus which would probably be in a medium voltage uh setting so that you can balance essentially resistive heat loss with power density. And then you have your uninterruptible power supply which

[4:46:15] runs through the the AC bus in order to allow a battery on the UPS to take the load if ever there is a supply disruption. So that we have the rectifier inverter and then now we go from the broader campus to the building to the rack. So once at the rack level we have the rack level PSU which we’ve discussed in detail that goes now from AC to DC for good. And then what you might have are some BBUS. So these stands for battery backup units. And

[4:46:46] these would be like coll-located beside the rack. So you might have one rack here and then a second rack with some battery backup units. They also could be on the rack itself. Once again depends on the design choice, but these feed onto the rack DC bus. And then this is an even more local way to buffer power shortages or power uh overages. So you can think of it as like just a local version of what the UPS batteries are doing and a faster latency version because the farther you wait, the farther away you are from the compute,

[4:47:18] the longer the delay is for some type of system to kick in. Like the most extreme example would be a generator which takes multiple minutes to kick in after a supply of power disruption. And then if we zoom in all the way to the chip, which which is what we were just talking about, right? We have the capacitors which are at the same level of the VRM that through this Vcore rail, this voltage core rail supply power all the way to the chip and make the GPUs go burr. Okay, so let’s talk about the BBUS for a sec and see where they come into

[4:47:49] play. In particular, let’s say that we’re doing a compute load and maybe somebody just like sent in a new request on a really heavy ML workload that makes the load rise by 40 kow. So the thing is the power supply units although fast are non instant. So let’s assume that the power supply units take a linear amount of time to increase by 40 kW in 0.2 seconds. So what that means is that for

[4:48:19] this triangle of time there actually is a deficit in power which needs to be s uh which needs to be provided by. So this is what the battery backup unit does. We can assume that the battery backup unit is much faster than the PSU and can instantly supply this load. And if we just simply calculate the amount of energy this would require since it’s a triangle we first multiply by half and then we multiply by 0.2 seconds and then the y- axis here would just be 40 kow. So if you multiply these out, you get 4 kg required of energy from the battery

[4:48:50] backup unit to make up for this load rise. And if we look at the top here, both the power supply unit and the battery backup unit are putting power onto the vertical rack DC bar. And if we consider another example where the PSU is actually twice as slow, then we have twice the energy need. So 0.4 instead of 0.2 2 seconds being multiplied here gives us 8 8 kg required from the battery backup unit. And then as you can

[4:49:20] imagine once we have the power supply unit giving the energy it requires for the load then the battery backup unit would taper off and stop powering the bus bar. Okay. So just as we can have a load deficit, we can also have a load surplus. So let’s say for example you’re doing like a heavy matrix multiplication and then now the GPUs stop to all reduce or essentially share their weights and update their parameters such that they are in sync. In that case you’ll

[4:49:51] definitely get a decrease in load. So if we consider the exact same 40 kowatt drop this time um if you had the uh the PSUs taking 0.2 2 seconds to stop giving that 40 kW access. Then now instead of uh like discharging 4 kg, the battery accepts 4 kg to prevent the bus from increasing in voltage because essentially if you have excess power on this DC bus. What that means is that your voltage will go above the 50 50

[4:50:23] volt rating or whatever the rating is of the of the uh uh the the bus just because of P equals IV our favorite formula. And if the PSU takes twice as long to slow down, then we get twice as much energy required to absorb. With that being said, if the battery is full or is for some reason charge limited, then the bus voltage will rise. There’s no other choice. The energy has to go somewhere and it essentially just goes into increasing the the potential difference of the voltage on this vertical bus. And in practice, that

[4:50:54] could mean going into some capacitor. Okay, so we’ve discussed the battery backup units in the abstract. Let’s now look at what they are. So, they look quite similar to the power supply units. And I would assume this is not by accident. You want to have these components standardized and fitting into the same trays so that you can not have to make a custom tray for every single part. And in this specific example, we have delta BBUS which are 3 kW and output 48 volt DC. Interestingly, this is like a onetoone correspondence with

[4:51:25] the power supply units that we discussed previously, which outputed 3 kW uh from AC to DC. These ones just directly output DC since that’s how batteries work. The one thing worth noting here, though, is that this system is only rated for 15 kW, which likely means that you have N plus1 redundancy. So, at any given moment, maybe only five of the batteries are on, or maybe the six batteries are on, but they’re not running at peak uh power. That might be the the the best example here. And what this means is that yeah, you just have one level of redundancy as opposed to outputting 18 kW where as soon as one of

[4:51:56] the battery units uh has a error then you are below your output uh rating. So the last thing here to note is that when our batteries are recharging between different cycles if we don’t give it enough time then over time the battery could completely discharge. So if we first look at the right side here we have a discharge of 40 kW in 0.2 2 seconds leaving a 8 kg deficit. And let’s assume that the battery only has five sorry half a second to charge back 10 kow. And in this assumption we assume

[4:52:27] that the discharge speed or rather power rate is four times the charge rate. In this case if this occurred repetitively then you might be in a situation where your battery is not charged which is not desirable when you actually need the the battery to support some excess load. And then on the left uh we have a situation where you do have enough time. So if you have a 4:1 uh ratio between discharge and charge, you need at least four times as much time in order to recharge the battery

[4:52:58] just because of energy equals power times time. Okay, so hopefully by now you have some intuitions on the trade-offs between having a higher voltage and less current which gives better power density and the contrary which in most cases is not practical but also helps in terms of having lower voltage which is safer overall. And with this trade-off in mind, in this chapter, we’re going to discuss how 800 volt

[4:53:28] direct current can reduce copper and free compute rack space with increases in density of these racks. And what I really want you to have in your mind right now is that graph we saw from the previous chapter which demonstrated racks reaching the 1 megawatt level as soon as a few years from now. In particular, in this case, we’re going to discuss throughout this uh chapter 100 kilowatts of energy or rather of power and how this differs in supplying it in alternating current versus direct

[4:53:59] current. So, let’s jump right into it. First of all, we can already say that 1/3 less copper is required when converting or rather supplying power and current through direct current. Why is this? It’s because if you’re using 400 volt three-phase alternating current, you need three phases which requires three equal copper legs. And then if you’re using direct current, direct current just has a positive and a negative conductor. And so there’s just like one less conductor that you require

[4:54:30] in order to deliver the same 100 kW. You might be asking, okay, but maybe the current is different. So actually this is a poor representation or a poor comparison. But in fact the same 100 kilo the same 100 kilowatts needs nearly the same current in each conductor for 400 volt 3-phase AC versus 800 volt DC assuming for example the power phase is one for simplicity. So let’s just reveal the currents for 480 volt 3-phase AC you need 120.3 amps and then in 800 volt DC

[4:55:02] you need 125 amps. Um we can also modulate this. So if you want to get exactly the same amount of amperage, you need to increase the the voltage slightly to like 829 or something. But uh without loss of generality, 800 volt DC for the same current uses a third less of the conductors. And then because it uses a third less of the conductors, it also has almost a third less heat loss in in this comparison. So let’s assume 10 micro ohms or 10 milliohms

[4:55:33] sorry per conductor of resistance and the same power efficiency of one assumption. If we calculate this for the three-phase AC using the uh the resistive heat loss for alternating current formula we get 434 watts of heat in resistive heat loss. And then in contrary we get 312.5 watts of heat loss 800 volt DC. So already you can see that we need less copper and we lose less heat because there’s less copper and it’s just allowing us to supply more power in an efficient manner at a high

[4:56:04] level. There’s also some cons and some pros. So that’s what we’re going to discuss in more and more detail. In fact, this road map of converting data centers to direct current is going to be done over the next few years in approximately three phases. So this is uh the three phases in one slide but we’ll talk about each one in separation. So first of all what happens is that in this current setup and the regime we have alternating current entering the compute rack and then being converted to

[4:56:36] DC inside it. So this is what’s happening today. You have the facility alternating current from upstream power room. Then inside of the data hall itself you move you move power in alternating current. And then within the compute rack you have the power supply units that go from AC to DC. And then um on the device itself now you’re in the direct current regime. And so in this example we are just talking about what is happening today. And so this AC toDC equipment space which is being occupied by the power supply units is taking up space. Uh and you can you can see in the

[4:57:07] next slide that will actually be freed. So before we jump to that let’s see what like what are we actually talking about in this slide. So now in phase 1/2 which will be I guess starting this year but extending to 2028 we have a sidec car which converts AC to DC beside the compute rack. So literally what a sidec car is is just like a a rack beside it. Uh I don’t know why they call it a car. I think a better name would be a side rack but you can think of it as a rack on the side of the main uh compute unit

[4:57:38] which converts converts AC to 800 volt DC. So in this case we go from facility AC and then it goes into the side car which converts to 800 volt DC and then now within the rack itself we have nothing that’s alternating current. This may be a this may be a exaggerated statement but much less alternating current than what was done previously. So you only have this DC toDC regulation and then we still need to obviously go down to the low device voltage on the compute rack itself uh so that we can

[4:58:10] supply the chips at their desired input range. But now the power supply units which took up in the example of the GB 300 eight shelves are free. So we can either put more compute trays there, put more Envy link switches there. The compute density is increasing which is what you need to take away from this chapter at a high level. And then finally in this third and final phase which is projected to be occurring in 2028 to 2029 upstream conversion lets 800 VC 800 volt direct current run

[4:58:42] through the data hall. So what do we mean here? in some upstream power room, you probably go like directly from medium voltage alternating current to 800 volt direct direct current and then within the hall within the data hall most of the direct current will be distributed in 800 volts or sorry most of the current will be distributed in 8 800 volts at least the current that’s for the compute and then this side actually does not change. So if you guys remember this uh this final box it is not changing at all. In fact, the reason why you’re adding these side cars is so

[4:59:13] that you can develop like the final output of what this transition is trying to reach, which is to say a compute wrap, a compute rack that is purely in direct current. But before we can get to this 800 volt DC hollow distribution, which you can imagine will require a lot of new parts, a lot of new changes, we’ll just have this temporary phase where the side cars are kind of acting as this quasi data hall distribution before that’s actually built up. But the thing to retain from this is that in the

[4:59:44] second and third phases, the compute rack is actually constant. Okay, so one thing that we did not raise uh in the last three phases is like when are we actually stepping down from 800 volt DC to the lower voltages. So like for example maybe we’ll go from 800 to 50 in order to be uh able to convert down to a lesser voltage. So once again we talked about all roads lead to Rome with respect to voltage conversion. We’ll con we’ll consider two two examples here in

[5:00:15] in this uh mini case study. So let’s say that you step down at the rack entrance. So what do I mean? Let’s say that you’re inputting 800 volts direct current into the rack and that once you get on the vertical bus bar before actually entering this bus bar, you do a DCTDC converter such that the voltage of this vertical bus bar is 50 volts and then afterwards you just have the device conversion at the tray/board and then the rails uh for the chip voltage itself would be in the one voltage range.

[5:00:46] Conversely, what you could do is step down at the trays, which is to say that make the vertical bus bar 800 volts and now at the tray convert with some voltage ratio there and then once again at the voltage regulator modules which gives you the same voltage at the end. So these are two options of how you can step down 800 volts with the main difference being in one option you have a 50volt vertical bus bar and another option you have a 800volt vertical bus bar. In this case, the good thing is

[5:01:16] that you are going to have a better power density or rather less resistive heat losses because you’re keeping the voltage higher for longer. But in the top example, you have more compatibility because there’s already much more support for racks which have a vertical bus bar in 50 volts for the power distribution. And then another thing which is a bifurcation is saying when we go to 800 volts do we step down first or rectify first because there are two ways to

[5:01:47] reach 800 volt uh DC from medium voltage alternating current. What I mean is like okay let’s say that you have MVAC let’s say that you have 10,000 volts alternating current. Either you could rectify that to direct current and then step down to 800 volt uh direct current or you could first step down the 10,000 volts AC to like 800 volt AC and then rectify to um direct current. So the one

[5:02:17] that I just explained is the top where you go from medium voltage AC you transform to low voltage AC then you go through AC to DC converter to rectify and regulate to 800 volt AC. This is noted as the conventional path. Why is that why is that the case? It’s because it uses established transformers and lower voltage power techn power electronics which are much more developed and established. But in the second in the second example here, we rectify first or we can actually do this in one shot. So we can both rectify and perform this um uh

[5:02:52] voltage step down if we use what’s called a solid state transformer. So conventional transformers uses like massive iron core and magnetic coils to step down voltage or step up voltage. And solid state transformers are different because they use actually like a bunch of electronics and semiconductors. It’s much more sophisticated but actually is smaller than a traditional transformer. And because of this, it is like more tunable and able to be uh integrated in different electronic paths. So to go through this stage here inside of the

[5:03:23] solid state transformer, we go to medium voltage AC to rectify it and then have this internal DC link. And then once we’re there, what you would do is do this high frequency transforming with switching to convert to 800 volt DC. This is not a solid state transformer course. These are quite uh cool and sophisticated systems. There is a really good resource on this by professors at the ETHZurich in Switzerland. So I would just recommend searching up solid state transformers data centers ETHZurich if

[5:03:54] you’re interested in learning more about solid state transformers. But the simple thing to note here is that it integrates the functions in a medium voltage electronic system such that both the rectification and the voltage step down happen in one system. One thing worth noting is that there are these new high voltage silicon carbide devices that could make solid state transformers simpler and more competitive than they are today. However, their widespread adoption in data centers still has to be

[5:04:24] demonstrated. And another thing worth noting is that like the first ever solid state transformers that were put into widescale use were in Switzerland as well and that was I think around 2012. So the problem here is that there’s only like 14 years of data of how these things perform and when you’re doing like a cost uh cost trade-off analysis for a data center that’s like not a lot of data for informing choices and also the solid state transformer made in 2012 is not the same one as today. Whereas with conventional transformers, they’re

[5:04:56] tried and tested and everybody knows how they work. So once again, the bottom path has more variance on like will it work, will it not work, but could potentially make them much more simpler and competitive compared to the conventional process. Okay. And to talk about a very early data center that moved to DC, this is perhaps one of the earliest of them all. So Zurich West, which is a data center in Zurich in Switzerland, moved rectification upstream in 2012 by having

[5:05:29] essentially a 1 megawatt DC system that went from 16 kovt AC input to transform that into 300 volt DC distribution at this central conversion unit which first step down the voltage of the alternating current and then rectified it from AC to DC which is the conventional path and then would pass through this 300VT DC distribution to the servers and storage. You can see here though that this is like a non-compatible unit since this was like probably a bespoke system. They

[5:06:01] chose their own direct current distribution voltage. In any future system, the open compute project which is what what essentially uh sets the standards for these voltages and power requirements. they have settled on 800 volts as the direct current voltage which will be used in future data hall distribution systems. Okay. So one thing that is new when you change much of the feeding of the electricity to direct current is it now

[5:06:32] needs DC rated protection. So what am I talking about here? Here we just have some sample circuit and first of all let’s establish that both AC and DC currents need fault protection. This is not something that only DC needs. But the thing is with alternating current it naturally crosses zero twice period helping a breaker which is right here distinguish an arc after the contacts open. We mentioned this briefly, but

[5:07:03] since DC has no periodic natural zero polarity, the protection must instead force the current to stop. So, so in this case, both the rectifier, the capacitor and this inductor can feed a short circuit. So, the breaker must interrupt that DC fault and withstand the voltage afterward. In fact, zero current does not mean zero voltage, right? Because if you have a pipe system which is closed off, you can still have pressure from the mentioned the example we mentioned in the primer. So in short

[5:07:35] when it comes to direct current disconnecting the supply alone does not remove the stored energy from the circuit. There are some similarities and differences with this as well as alternating current. But overall the challenges posed with direct current are larger and require adaptation from the current set of standards for redundancy and current breaking that are being used in alternating current systems. All right. So let’s quickly discuss a example of migrating from alternating

[5:08:08] current to direct current through these side car or these side racks. So let’s assume that we have a existing alternating current allocation of 240 kW and that this side car that we add is 96% efficient with 3 kW of upstream auxiliaries which just means that we also need to supply 3 kW to some other like fans or whatever they may be and that we have two 120 kW racks that are in direct current

[5:08:42] or essentially accept power and direct current just like most racks. So if we just run through the calculation here, what we do is first of all multiply 2 by 120 to get 240 and then divide this by 0.96 because that’s how much heat we lose or rather we need to multiply this value slightly to account for the amount of heat we lost and then also add 3 kW. So in this calculation we get a required AC allocation of 253 kW which is 13 kW

[5:09:15] more than allocated meaning that in this system the existing AC allocation is insufficient. So either you would increase the AC allocation or another option is like somehow reduce the power of the racks. So maybe this just means like remove one GPU from the racks each. Of course this is kind of contrived but in any case if you actually did do this you would act you would get 7.83 83 kW uh of capacity remaining since the required AC input would now be 232.17 kW. So there’s a cool example which is

[5:09:45] probably a similar scenario to what data centers will have to face when they’re calculating what they need to do in terms of integrating these side cars in their data centers. And now let’s discuss one final time the three phases of upstream rectification that will be used to replace AC distribution in the hall. So in fact the current phase is just what’s happening today. So I should have rephrased as let’s discuss today and what’s happening in the future. Once you get the DC side car you’ll go from

[5:10:17] medium voltage AC to step down transformers to step down to lower voltage AC. And then you have this AC switchboard which essentially will distribute the alternating current to the various feeders and the various buildings and the various uh racks what whatever they may be with these power distribution units. And then where you distribute where you’re sorry where you’re becoming uh diverging from this first uh diagram is that now the power distribution units are going to these side cars which convert to 800 volt DC

[5:10:48] and then the 800volt DC is going to the racks themselves as opposed to the power distribution units going to AC going to the power supply units as opposed to the power distribution units giving AC to the racks giving that AC to the power supply units which are then finally going to direct current and then in the data hall level direct current or direct medium voltage DC scenario we go from medium voltage alternating current and then we can use

[5:11:19] a medium voltage rectifier or a solid state transformer to get to 800 voltage DC in our distribution hall of the data center and then this will go on a on a busway above the racks that’s also 800 volt DC and then it will also go at 800 volts within the racks. So when you keep all of this transmission at 800 volts, you can imagine you just need much less like rectifiers, much less uh transformers. It just vastly simplifies the system and then furthermore allows

[5:11:50] us to pass energy uh in a more efficient manner as opposed to 400 volt alternate current. given what we established at the beginning of the chapter where we talked about the conductors being like a third less required as well as the heat losses also improving. Okay, so in the last two slides, we’ve essentially gone over the AI data center power stack. And this is just a figure which kind of goes from layer 1 to the

[5:12:21] endpoint, which is the Nvidia GPU die, and talks about some of the different companies that are involved in each of these sectors. So if you’re had if you’ve had like a specific interest to any of the specific uh sections of these chapters then you may want to check out companies like Hitachi Energy, Genosa, Genova etc. So just quickly going through these layers at the grid and substation infrastructure level we have high voltage transformers we have switch gear which once again kind of distributes the voltage and also uses circuits and breakers to secure the

[5:12:52] power. Then we have the substations. Then you have high voltage DC interconnects which may be used if you’re actually transmitting energy in direct current. That is the case in some specific scenarios but mostly it’s alternating current. And then if we look at the lead times here, we’re talking about 4year transformer lead times for specific high voltage transformer and switch gear which uh is just a evidence to the immense scarcity of this type of energy infrastructure. Then in the second layer, we’re at the

[5:13:22] data center and power distribution level. So we have these power distribution units. We have uninterruptible power supplies. We have busways. We have high voltage direct current distribution which will be more and more important as we move on in the future cuz right now HBDC is not really used in that many data centers. And then of course you have cooling distribution. And then you have critical power which is to say like battery backup systems and other ways to ensure that the power is sustained whenever there is a utility or grid issue. Okay. Now going one level

[5:13:55] deeper at the rack level/ power level. So here we’re talking about the power supply units, the shelves themselves, the high voltage DC rack conversion. So this would be the side cars in the 800vt transition. And then furthermore, you have these new PSUs that advertise between 18.3 and 30 kW per unit, which if you remember is like 10 times more power than the 3 kW units that we talked about previously. And just to be specific here, this is Delta Electronics, which is advertising these

[5:14:28] levels of power per unit with the 800vt DC transition in the future. Moving on, we have power semiconductors, which is not really a layer in it itself, but is more so the different materials that you will be will be used to allow 800 volt DC to be just even more efficient. So for example, you have these silicon carbide metal oxide semiconductor field effect transistors which are essentially just these transistors which are used in

[5:15:01] the solid state transformers. And then similarly you have these gallium nitride field effect transformers which can be used to replace silicon sorry not transformers but transistors um which can be used to replace silicon transistors at apparently 25 to 40% fewer losses but you should definitely caveat this because these specific technologies are much less tested than the conventional transformer techniques and this is in the context of once again 800vt rectification. So some companies

[5:15:32] here that are worth noting are Infinion, Wolf Speed and SC Micro in particular. And then at the final layer we have the point of load which is to say the actual GPU die and the chip level voltage regulator module. So that’s what we just discussed uh in this course or in this chapter. But then you also have the integrated voltage regulators which are essentially a more intelligent voltage regulator module which can be used to replace that component in the future. And then you also have the power management integrated circuit if I’m not

[5:16:04] mistaken which is just another way of managing managing the power that you feed at the circuit level. And here there is also a few companies such as Vicer Texas Instruments monolithic power systems which you can check out if you’re interested. Okay. So in chapter 10 we’ll discuss networking and interconnects which is one of my favorite topics here. In fact, it’s kind of along the same hierarchy scheme of rack to compute to GPU as power, except

[5:16:34] this time instead of electrons, we’re talking about like data moving through optical fiber and copper in order to communicate between these different devices. So, let’s start off this chapter with a little meme to uh lighten up the mood. So, I mean networking and interconnect of course requires lots of memory. So, as you guys can see here, the AI Grim Reaper has already actually got rid of all the RAM, GPU, and SSD and made it

[5:17:05] hard for consumers to buy it. Next is actually CPUs because of reinforcement learning, but that’s something completely unrelated to this. Uh, but there you go. We’ll start it off with a nice little meme. Hope you enjoyed that. And now, let’s actually get on topic. So, a distributed model uses different networks at different scales as we looked at like the the first image there. So the the first thing we’ll talk about here is a scale up which we already know about. Uh let’s talk about a specific example. So let’s say that you have a GB200 NBL72. In that case you can run a Kimmy K3 instance which is a

[5:17:38] few par a few trillion parameters. I think it’s 2 point something trillion parameters Kimmy K3 is. And these GPUs 72 will communicate with Envy link which is an alltoall communication platform or paradigm which is to say that every GPU has a connection that is zero steps away so direct connection to one another. And then when it’s on a scaleout domain this is more relevant in terms of uh training and pre-training in particular. So, we’re talking about going between different racks. And an early example of

[5:18:08] this was Llama 3.145B, which trained on more than 16,000 H100s in 2024. And this was within a data center. And then outside of a data center, we’re talking about across campuses and regions. And I really want to highlight for a second Fairwater, which is Microsoft’s platform for connecting different data centers. In fact, um the two examples here that we’ll highlight in the next slide is their major data centers in Atlanta and in Wisconsin. So, let’s just go straight

[5:18:39] ahead and I’m going to zoom in first. So, these are like their their flagship data centers. So, you can see that it’s going from uh Georgia to Wisconsin and I think it’s in Atlanta. I don’t know where the specific data center in Wisconsin is. And it uses something called AI wide access network, AI WAN. And what this is is essentially Microsoft’s own fiber network which allows them to communicate between these two data centers in milliseconds which is also still possible on the regular internet.

[5:19:10] But the improvement here is that they can save a bit of latency by not having to have any cues or like essentially compete with other traffic on the internet. It’s literally just these two data centers which are communicating with Microsoft owned or rented um interconnect that is just laid in the ground. And another thing I want to note is the fact that this these two data centers are actually two floors. And this is quite unheard of like most data centers are one floor in length uh just or in height rather to simplify things.

[5:19:41] And the reason why they did this is just to improve uh density of compute because you can like have twice as much essentially if you have two floors. But if you go and like read about the fair water buildout, they have some interesting observations and notes on like well what are the bottlenecks and obstacles they had to overcome. For example, with just like supporting the weight of all these 1.5 ton racks on a second floor to make sure that they don’t fall on the first floor. So I’d recommend um if you’re interested to go search up the Microsoft um fairwater architecture to see how they actually

[5:20:12] set this up themselves. So that’s the data center to data center level of communication. And two quotations that I do want to highlight from their blog post is according to them it’s it can support in the future training models with hundreds of trillions of parameters. So we’re not there yet. And um I think by the time we are at a hundred of trillion of parameter model uh regime that like this data center will probably be like obsolete. So I’m not sure to what extent this statement is actually like reliable. But the other

[5:20:43] statement which is more pertinent here is the dedicated fiber between the sites which is to say that uh according to them it allows the data to travel congestion free which is the important thing at nearly the speed of light. So of course the speed of light is at its maximum inside of a vacuum otherwise it’s slower than the the the actual like value for C which you see in all the formulas. But in any case the congestionfree aspect of this network is quite compelling and you also see this with like Google TPU data centers as well. So within the GPU rack and across

[5:21:14] rack hierarchy, what’s the actual like memory layout? So on a GPU, it’s very simple. You just go from GPU HPM to the compute unit. So if you’re doing uh compute on a Nvidia GPU, you’ll be using the tensor cores to actually do the math and then loading in the weights and the activations etc. as well as the KV cache from the HPM. And then with respect to within the rack, uh we already actually discussed this. You’re going between the NVLink switches and then across racks, you’ll probably be going from the GPU to

[5:21:44] some adapter or network interface card. So that was the connect x connect x uh 8 super nick in the case of the NDL72. And then uh you go from this adapter to these fabric switches which are optical links between racks. And then you go from one adapter to the next. go to the other GPU’s network interface card and then you have essentially achieved a connection between two different racks and you can now pass data between them or do whatever you please in terms of communication. So

[5:22:15] you might be asking yourself right now like why are we talking about data center interconnect or rather um model and GPU interconnect in a data center course and the reason for this is hardware software codeesign. So just in this example here we have two GPUs which are in some sense combining results to uh perform some calculation across NVL link switches and in this case maybe it’s a form of parallelism like tensor parallelism and let’s say that you were

[5:22:46] like naively building a data center and we’re like completely unaware of the levels of interconnect and communication that your GPUs would need to orchestrate. So maybe you’re building a data center that’s meant for training models, pre-training, and you don’t invest in scale out bandwidth, which is to say that within the racks, the chips can communicate really fast. Maybe it’s NDLink, but let’s say that you don’t invest in like the Infiniband, which is the Nvidia scale out network such that

[5:23:18] now when it comes to training the models, you have like insane memory latency and you can’t even train them fast. and then uh like what’s the point of having the data center anyways. So just as just to like motivate why we actually want to focus on the networking and like the topologies it’s because if you don’t use this to inform the construction of a data center then you might regret the final product once it’s built. So with that, let’s actually jump into Infinity Band or Infinity Band, sorry, which is Nvidia’s scale out

[5:23:49] network technology. And these connect X7 adapters are what is essentially used to communicate between the chips on different racks. So this specific network interface card which is what you can also call this adapter runs at 400 gigabytes per second and uses PCIe5 which is just to say principal uh peripheral component interconnect express 5.0. This is what you use just to connect a lot of different um devices and it’s a universal um standard with a

[5:24:19] 16wide bus and then you put these in these Quantum to QM9700s. The name isn’t important, but once again, these are what holds the individual adapters. And this is the Infinity Band, Infinity Band itself. So, each one of these leaves, which is what we’ll call them in the next slide, has 32 physical cages. And each cage has two of these adapters. So, you have 64 ports per Quantum 2, and each one is 400 GB per second. And like I called it a leaf,

[5:24:50] right? This is this is because like the way that they’re actually organized in a data center topology is through this spine leaf uh sort of arrangement. So essentially if you have two DJX H100’s uh which is a older version Nvidia rack then they might be interconnected via two leaf uh infinity band nodes and then one spine infinity band node such that to communicate between the two you would jump to the leaf and then go through the

[5:25:20] spine and then get to the other H100 through its leaf and this is in a super pod specifically. So this is the name of this specific H100 architecture. And then you might be asking like is this the only technology or rather topology that we use for communicating between different racks? Well, no. So it’s common but not universal. So here you just have a copy of the architecture that we saw previously where traffic between different leaves crosses the

[5:25:50] spine and these are all called switches in general. So like the actual infiniband node which performs the communication between the servers you’d call it a switch but we have other systems as well. So Taurus and Dragonfly are two types of topologies that are used specifically for tensor processing units the Google TPUs. So when you talk about a Taurus is essentially where you have each um each TPU connected to all of its neighbors in like this six-way

[5:26:22] configuration. And then Dragonfly is also this sophisticated thing where you have like these pods which are connected to other pods with these really fast uh data center interconnect networks. In any case, these topologies are like less important to know viscerally and just to be aware of like them existing. And then um you also have different custom fabrics which I imagine like if you look at the AWS trrenium which is their chip perhaps they’re using their own topology. I’m not sure, but I’m I’m certain that this information is publicly and readily available if you’re interested to find out for yourself.

[5:26:53] Okay. So, when it comes to the actual substrate, like where or like what is the information flowing through, there’s usually two prime candidates. So, you have copper and then you have optical fiber, which is like to essentially say um you’re moving through light or you’re moving through like electricity, which is um copper is electric and then optical fiber is based on light. Um here E to O just means like you’re going from the electric domain to the optic domain because essentially what I’m trying to de uh develop in this slide is to say that when you use copper it’s usually

[5:27:25] over short shorter distances and then light is over longer ones. So why is this the case? Well copper loses and distorts electrical signals. So the reason that we actually have up to 2 m long coffer in this specific 400G linkx cable which is Nvidia’s uh cabling for connecting these uh highspeed scale out domains is because beyond 2 meters you get into these like distortion and

[5:27:55] signal losses. So what you do is you have these short passive copper links that are simple and use a little little power but then you switch to the fiber which uses these modules at both ends to convert electricity to light and back. And we’ve talked in this slide specifically we’re talking about a 2 m passive copper cable as one option for moving data across two different ports. And then in optical fiber there’s actually two different uh options here. So we have up to 50 m for this multi mode optics which means that there’s

[5:28:26] like multiple light signals to pass information and then we have up to 500 m for single mode DR for optics and in this case it’s just like one beam of light passes information which you can imagine reduces the latency but also reduces the bandwidth but allows you to have a like stronger signal uh and make the signal loss lower. So these are the two different ways that we can move information and they’re both essentially just pragmatically developed for either

[5:28:59] balancing like simplicity versus like distortion over over long longer distances. And when it comes to optics on the chip itself, there’s a new concept or not really that new but an important concept which you can which you should know. It’s called co-ackaged optics or CPO as opposed to pluggable optics. So on the left you have pluggable optics which puts electrical to optical conversion at the front panel right here. So it’s a longer electrical

[5:29:30] path whereas co-ackage optics moves it beside the switch chip itself. So the switch silicon here the optic the optical engine is here shortening the electrical path. What you need to know is that both approaches remain in use. Like in traditional servers, you’ll probably have like just standard pluggable optics, whereas in like high performance AI accelerators, it’ll likely be co-acked optics. And I would like to liken this to the lesson we learned about voltage regulator modules, which want to make the path of high resistance, high

[5:30:01] current electricity as short as possible. Similarly, here you want to make the electrical path really short so you can get into the optical domain faster and just send the information. um at light speed, right? So, this is kind of a trade-off here where the copackage optics definitely does introduce some more packaging complexity, but then allows you to get an optical domain much faster than in the left diagram with pluggable optics. So, I realized in editing that I forgot to mention two of

[5:30:32] the biggest advantages of co-ackaged optics. Number one being much lower power consumption since the electrical path is much shorter. And number two, the bandwidth you can serve is much greater than with electrical conductors. Okay. Now, let’s do a quick case study to make sure that we’re actually learning what we’re talking about. But before we discuss the example, I realized there’s a few things that I still want to mention about these switches. So, with the Quantum 2 Infinity Band platform, as I mentioned,

[5:31:02] there are 32 cages with each one having a pair of two 400 GB gigabit per second ports. So I think I’ve been so far mis misspeaking here. So the capital GB is gigabit and then capital G, capital B is gigabyte. So that would be eight times faster, but we’re doing gigabits here. So I apologize if I’ve been using this term incorrectly up to now. It’s also funny that Nvidia will publish their numbers in gigabits because it makes it sound faster. If you report in

[5:31:34] gigabytes, it would be eight times slower. This is a classic example of Jensen math. Or another example would be like if they have some network adapter which is 200 Gbits at one way and 200 Gbits another way. Even though the simultaneous speed of any given moment is 200 Gbits, if you add them together, you get 400 Gbits. And sometimes this is also uh presented by Mr. Jensen himself. So just a funny thing to note there. But the reason I mention this is because when you have a network that is in a

[5:32:05] leave spine kicker configuration with this quantum 2 infinite band platform, you have these up link and these down link arrows. So I think if I show you here, it’s the easiest to to see. What this essentially demonstrates is that you have 32 GPUs connected below at the DJX1 H100 level. And in fact, there are eight GPUs per rack in the H100 DGX system. So, if you do the math, you get four H100s connected to one leaf because

[5:32:37] you have 32 connections down um sorry, four H100 racks, which gives you 32 GPUs connected below. And then at the spine, you have 32 up links which go into the spine. So, 32 down, 32 up. This is how you connect the leaf spine network. It is pretty logical when you think about it with these ports mapping one to one in this type of relationship. And then coming back now to our case study, we talking about cross leaf bandwidth. What

[5:33:08] do I mean? So when I mentioned four racks being collected connected to one leaf, what this means is that if you’re doing any type of communication between these four racks, you don’t need to go to the spine to get to there. You can simply go just to the leaf and then do the communication there and then come back down and this is what is done in practice and let’s just go through an example here. So let’s say that you want to communicate between four ports on a leaf without going to the spine and you

[5:33:38] would call this cross leaf bandwidth and then going through this leaf would just be called like the cross leaf cut. And so if we have four uh four separate ports, that gives us 1,600 gabits per second from those four server ports. But let’s assume that we only have two uplinks between them. So this would give us a 800 GB per second uh uh transfer speed across this boundary. So that’s a 2:1 over subscription and the 2:1 down

[5:34:10] link to uplink ratio. So if we actually go in gigabits and say let’s let’s transfer 256 Gbits, well, we can only do that in 0.32 seconds. And this is the minimum transfer time. So this is the lower bound with some overhead and other things going on. You’ll probably be slower than this. And this also assumes bounds traffic in one direction. So these are the assumptions under this calculation. But if we now add another two uh links that can give the one one down link to uplink ratio, well then we

[5:34:40] can half the time at this 1600 Gbit per second uh transfer speed to 0.16 seconds. So you can see that there are some considerations to be made to be made in the cross leaf cut bandwidth um in terms of how fast we can transfer storage or weights or whatever it is between the leaf. And then you can imagine if you go up to the spine, well now you’re going to have to add even more latency because you’re adding actually one hop to the spine and one hop to the uh the leaf that you want to do. You can actually think about this in the context as well of just like a RAM

[5:35:11] hierarchy. So if you’ve heard like a cache hit or a cache miss, this is essentially when the CPU is trying to query from its RAM and its registers. And the higher you have to go in the RAM stack, the longer you have to wait to get the data back. Um, so you can just think of this leaf and spine type of topology as a blown up version of CPU memory in this context. And the whole like topic of like multiple senders overwhelming one receiver, which was kind of what we were seeing here when we only had two uplinks available at each

[5:35:42] leaf is called incast. So you when you when you essentially have one receiver receiving from many different senders at the same bandwidth as its um uplink, then you just overwhelm that receiver. So that’s just a piece of terminology and as I mentioned here, so traffic staying within a leaf avoids its shared uplinks. So if you’re going across these two leaves, let’s say you’re going between leaf one and leaf four, then you might pass through these two spines, split the split the workload into two different uh essentially spines and go twice as fast to go between these two

[5:36:14] leaves. But if you’re only going between leaf one, then it the exchange stays stays in leaf one. There’s no need to uh go outside of the leaf that you’re calculating without within. if you don’t need to. Okay, now let’s talk about a real implementation of this type of infiniband scale out. Interestingly, Meta has both built large clusters with in Ethernet and infiniband. So, infiniband being the proprietary technology that is used by

[5:36:44] uh Nvidia or rather that is created by Nvidia and then Ethernet being the other standard. So in particular they used Ethernet plus R OCE which stands for RDMA over converge Ethernet and RDMA stands for remote direct memory access. What does remote direct memory access mean? Well, it essentially just means that the adapters, which are the network interface cards, can transfer data into remote memory without going through the CPU, which usually manages the copying

[5:37:14] of memory into inside and outside of uh the local chip. So, this just allows you to move memory at a much faster rate with less overhead. But in any case, whether using this Ethernet plus ROCE or the Infinity Band standard developed by Nvidia, both fabrics need to coordinate routing, congestion control, collective software, and job placement. So these specific criteria determine how well the workload will use the installed network.

[5:37:46] And as you can determine from this uh set of criteria, it’s like a four-dimensional optimization space. And maybe there’s even more criteria that I haven’t mentioned here. In any case, um, at a low level, what you have is these adapters communicating to these switches in either protocol in some type of topology and when you reach a 24,000 GPU level orchestration, which is actually small given the level of uh GPU runs that you have today where you have like a million scale uh GPU and TPU rollouts, then the networking gets just as much

[5:38:18] complex as you scale just gets even more complex is what I mean as you scale the number of devices. So I mentioned um optical switches these OCS so optical circuit switches which can change which fiber endpoints connect and we mentioned this like in a previous chapter when we talked about TPUs. I just wanted to talk about like a really low uh not low level but actually a high level of how these work. So let’s say that you have an optical circuit switch with these mirrors that is pointing from

[5:38:50] port A to C and B to D. Well, since the mirrors can see the light path, let’s say that you actually want to go from B to C and A to D. Well, you just augment the mirrors and you can in real time change where the data is going. And this diagram here actually shows how it works for TPUv4 with these MEMS mirrors. In any case, you can see that the complexity is astounding. you have 136 mirrors in this array and it’s just passing this light uh through 855 nanometer wavelength and it’s the one

[5:39:23] once again that can like actively reconfigure if there is some like path which is no longer available. Uh so I think this is just quite a compelling graph and diagram to look at to determine like how does optical circuit switch work at a at a high level. And uh once again go to the link here on the bottom left screen if you want to know a bit more about that. And then when it comes to like actually going outside of the data center we talked about Microsoft Fairwater which had their own AI wide access network is what they

[5:39:55] called it I believe. So that’s one option and then also you can just go through the classic internet. So let’s talk about the campus fiber handoff which connects the AI cluster to external services. So this could actually be its own users or maybe to another data center. So you first go from the AI cluster to the router which directs traffic and then once at the patch panel this is what actually organizes the the physical connections and sends the data to the meet me room. What’s the meet room? has a funny name.

[5:40:27] It’s essentially the data center’s fiber connector to the carrier. So I guess when you think of carrier, you can think of like AT&T or other like internet providers which actually connect different customers. So this may be yeah a a customer or it could also be the uh case with the fiber that’s used exclusively by Microsoft in their um own data centers to communicate with each other. And then once you’re outside the network, it’s just either on the private network or the open internet. So it’s worth noting just in terms of like a

[5:40:58] spacing problem that the fail facility needs space for this handoff and the planned fiber fiber entrances and ducks such that um it doesn’t interfere with like power and cooling or other aspects of the data center. And then furthermore if you remember we talked about how there’s this one data center where it had three separate approaches for the fiber. Well, once you have the three different fiber approaches coming in, the question becomes, are you gonna have three different handoff points or consolidate them all into one room? The problem is there you have like a single point of failure, but it’ll be less

[5:41:29] redundant. So, a lot of questions here that come into play when you’re talking about how you’re actually getting the data in and out of the data center. And I think it’s quite provoking. So, now just to give you an idea of like the distances that we’re talking about, let’s say that you want to go 100 km or 60 mi. And this is what’s the distance that’s separating two different uh facilities. Since uh signal’s speed in this calculation is not the speed of light, we’ll assume it’s instead 200,000 km/s. Well, to go between these two different

[5:41:59] facilities, it would take around 1 millisecond. And in fact, there’s this set of really interesting like fermy calculations that Jeff Dean has posted where essentially it demonstrates, okay, if you’re going between Europe and North America, this is the millisecond bandwidth or latency you should uh you should expect. If you’re going between two states in the US, this is the latency you should uh you should expect. And I think it’s quite interesting because when you’re really optimizing at a Google level your bandwidth and your

[5:42:31] network, then these are actually like numbers that you need to consider when you’re serving your end and your and your users, your customers. And um this is just one example, but having these numbers in the back of one’s head as just a sort of a first order approximation can be quite helpful to reason about the different latency times that you should expect when communicating between different data centers. As we know in like everything it’s like the slowest link that sets the pace. So

[5:43:03] even if you’re dealing with servers, let’s say that uh you’re waiting on the fourth server to do some collective operation. Maybe you’re trying to synchronize synchronize sorry the weights and do some all reduce operation to compute the gradients of your of your forward pass or sorry of your backward pass in a in a training run. Well, if one server is taking much longer than others, then you’re set up at uh being 50 milliseconds for all four, even though three servers at 20 milliseconds. So we’ve already kind of talked about this already in terms of well if you’re

[5:43:35] doing a collective communication then you’re as slow as your slowest constituent. So this is also applying to like even the topology of the switch and spine leaf hierarchy. Okay. And now before we close off this chapter I want to talk about a quick example once again with meta. So in their RSC which is their research supercluster here if I zoom in then you guys will see the name the meta research supercluster which is from January 2022

[5:44:06] so quite some time they built storage in in tiers to keep the GPU supplied. So in particular they had 175 pabytes of bulk storage 46 pabytes of cache and 10 pabytes for shared file storage. So what was this what was this actually for? In essence, they prepared the data sets uh that would be used for the training runs in uh like in advance to reduce repeated preparations and transfers. And you can think of like at the scale of internet data when you’re training these massive models. It’s pabyte scale. So it’s not

[5:44:39] just like loading some like USB file to send the data and get the model trained. you’re really requiring storage equipment and network capacity to make sure that um the models have access to whatever data they’re using to train. And this storage and networking capacity also needs its own rack space, power, cooling, and cabling. So, we don’t just need to think about the GPUs, but also how we’re networking in together. especially in the context of like massive pre-training runs. When you’re

[5:45:09] just serving users at inference scale, this is like less of a concern. But if you’re specifically making a cluster for pre-training, then this definitely needs to be considered. All right, now we’re on chapter 11, which is about chip and rack heat chap uh heat capture. And I’ve started off with quite a provocative title, namely, why is air cooling dead? And if you remember once again this was a way back in the beginning of the course I mentioned that I would show some statistic which demonstrates the

[5:45:40] comparative advantage of using air uh liquid cooling over air cooling. So let’s set up the the the standards here of wanting to have a 100 kowatt system being cooled with some 10° uh Celsius temperature differential. Okay. So if this is the system that you want to want to cool essentially you would be cooling the the the system by 10° then in order to do this by using the fundamental heat transfer equation

[5:46:12] which is essentially stating that uh this dot here by the way is just like the delta time that’s what it’s referring to because it’s referred it’s referring to some change in time. The way that you calculate this is by multiplying the mass flow rate, which is this mass flow rate here, by the specific heat capacity and the delta temperature that you want to get the the heat transfer equation. And if we actually solve for the uh the mass flow rate or equivalently the volume times the density then you’d get that for this

[5:46:43] cooling situation 8,292 L of second of air would be required and 2.39 L/ second of water would be required for the equivalent cooling. And there’s two reasons for this. First of all, it’s the density of water which is 1,00 kg per meter cubed versus 1.2 2 kg per meter cube of air. And then also the specific heat capacity, which is kind of like how much heat can water like absorb and store in its bonds is four times larger than air. So air has a specific heat

[5:47:15] capacity of around 1 kg per kilogram centigrade and water has around 4 kg per kilogram centigrade. So you don’t really need to know like the background theory. You just need to know like a higher specific heat capacity means it can store more it can store more energy essentially. So this is just like a a more theoretical way to start off the chapter. But don’t worry, we’re going to talk about these numbers in a much more tangible way. But let’s first talk about what we’re doing now with air cooling. So out with the old, in with the new. Just for the sake of completion, I’m going to tell you guys how air cooling

[5:47:46] works in general. So an aircooled rack is just like fans, just like a just like a CP uh sorry, not a CP, a PC that you’d have at your house where you have warm air coming out and cold air coming in. And the heat exchanger is called a CR, a computer room air handler, where you exchange the air with either water or I think usually it’s water since water is just better or perhaps you could have a airto-air handler. I’m not sure if those exist, but in any case, you’re essentially exchanging the air from the

[5:48:16] racks with some type of exchanger here which is converting the heat from our computers to go outside. And then right now with the current systems, we use a coolant distribution unit which is essentially coolant on both sides of the exchange where you have the technology coolant that goes to the cold plates and the facility water that goes outside. The CDU brings the heat from the left to the right. And the interesting thing here is you may have some remaining air heat. So like let’s think about it. If

[5:48:48] you put a cold plate on top of the GPU and circulate water to get the heat and absorb it, there’ll still be some that escapes outside of the sides and you need to do something with with this uh so that it doesn’t just go into the air and like heat up the data center that way. And the way that you actually can resolve this is called is either via using your own CR in addition to the CDU or more interestingly using a RDXH which stands for a rear door heat exchanger. Oh, so it’ be a RDHX. Sorry. Uh, so I’ll

[5:49:20] talk about the rear door heat exchanger in detail in a future slide, but just know that even if you’re using a cold plate liquid cooling closed loop, you may still have some remaining air escaping. And that needs to be addressed because although over a short amount of time, it would like likely not lead to a massive increase in temperature, over many days, you would definitely get a noticeable increase in the temperature of the data center if this is not addressed. since you don’t have like this perfect energy capture via via the chip cold plates. And what are actually the chip cold plates? So these are two

[5:49:52] pictures of GB300 cold plates. They’re made of copper as well just because copper is a really good conductor of heat. And essentially you have this in and out flow for the liquid because you have the hot coming out and the cold coming in with the which is probably the blue node there. And then in this diagram they’re on the left and the right as opposed to in the center. And then how this connects to the CDU is well you have the cold plate with its own quick disconnects which is just there so that if there’s a leak or if you need to replace something you can

[5:50:22] actually just remove only one cold plate instead of the entire system. Uh and then this is going into the manifold where the technology coolant circulates and then this is how you get from the cold plate to the coolant distribution sorry the coolant distribution unit. how this actually looks like in practice at least with respect to the uh overarching plumbing is such. So this is a look at the liquid cooling inside of Abalene where you can see that you have these headers that are going to the top of the data centers. Sorry, not the top of the data center but the top of the racks and

[5:50:53] this is how you exchange the heat. Once again likely the blue and the red demarcate whether it’s hot or cold uh in terms of which way the the liquid is circulating inside of the uh inside of the racks. And then I talked about the rear door heat exchanger. So now I’m actually going to properly uh introduce what it does. So let’s say that uh yeah, you do have this extra compute that escapes the cold plate and goes into the surrounding air. Well, now you have some warm air in the rack. And then what you

[5:51:25] do to get rid of this warm air is you have some fans at the front of the rack which blow air to the back of the rack. And then you have a rear door heat exchanger which literally is just a bunch of liquid cooling manifolds. Uh so essentially think of like liquid pipes that are flowing through the back of the rack and capturing the air so that it doesn’t escape the rack. So I think this diagram on the right here really shows it best. Let’s say that you have the coolant coming in from the bottom and then filtering through like a radiator

[5:51:57] just like a car radiator actually such that the fans blowing the hot air to the back of the rack get the air captured in this air sorry in this uh water and then the warm coolant goes back to the same coolant device unit. So that it’s actually going through the same uh loop as the the liquid cooled chips but just through a separate uh through a separate circulation. And then now your air is cooled such that um you don’t have this problem of like excess air going and heating in the data center. So that’s another way that you can kind of use liquid cooling to heat sorry to cool the

[5:52:30] air by essentially pushing the air to the coolant and then uh having it exchange heat that way. So that’s how a rear door heat exchanger works. Now I want to talk about something really funky which is called immersion cooling. And I would say that generally this is less applicable in the context of AI accelerators in like these massive AI data centers, but is nevertheless still used in in data centers. And it’s exactly what the name suggests. Literally, you put the racks inside of fluid. So I was very careful not to say

[5:53:02] water because water can conduct electricity and that will just like shortcircuit everything. So instead you use dialectric liquid. And dialectric liquid means it’s a liquid which acts as an insulator. So essentially you have this data center that has racks filled with dialectric fluid. So literally I’ll just skip one side quickly. The computers are in fluid. And I don’t want to say water once again cuz it’s not water but it’s some dialectric fluid. It might be some like type of mineral oil. And essentially what happens here is that you have coolant that pumps the

[5:53:33] water through this rack and then it has its own heat exchanger which then will chill the water in its loop. This can be in any type of method. So it can be a chilled water loop, an evaporative cooling tower or a dry cooler. We’ll discuss each of these in detail in a few uh slides. But in any case, what you should know is that you have two types of immersion cooling. So you have singlephase liquid cooling which is shown here where the liquid inside of the rack does not evaporate and then secondly you have two-phase. So in this

[5:54:05] setup what happens is that once the liquid that’s dipped uh sorry once the the liquid that’s with the compute units gets heated sufficiently it will boil and then condense and then once it condenses it will cool back down and then you would recirculate it into into the loop. So those are two ways that you do immersion cooling. Either purely through liquid or liquid than gas. And um yeah, this is just an image of what it looks like inside an immersion tank. I learned this literally while I was

[5:54:36] making this course. So maybe this is not new news for anybody watching this. But in any case, it still shocked me that you have computers that were dipped in liquid. I thought this was a fake image initially. So now that we’ve gone through immersion cooling, let’s let’s switch subjects to define two terms that are important. Number one is heat flux and number two is thermal resistance. So the tagline here is that the same heat can be harder to remove. What I mean here is that um with heat flux, it’s

[5:55:06] essentially heat transfer rate divided by area. So on the left you have a 4 [snorts] cm cubed or not cubed but rather squared uh compute die. Let’s say that it’s like some chip and you want to remove 400 watts of heat in a second or 400 jewels in a second. So that would be 400 watts. And in this case you would have a heat flux of 100 watts per centime squared. That’s like the heat transfer that you need to do per square centimeter. But if you had an even smaller compute die, so let’s say it’s a

[5:55:38] quarter of the size. So instead of being 4 cm squared, it’s 1 cm squared. Then the heat flux would be four times larger. If you consider it has the same heat transfer rate and you can think of it as in the right, it’s just harder to remove that same heat because it’s more concentrated as opposed to the left. All right? And actually we’ll talk about thermal resistance in the next slide. So for now just recall that heat flux is talking about the heat transfer rate per unit area of some type of object. In

[5:56:09] this case the denser it is you can imagine the more difficult it will be to cool. And now let’s get into thermal resistance. So the formula if you recall is delta T equals P R theta with P equaling the heat rate and R theta being the thermal resistance such that when you divide these terms out you get units of Celsius which makes sense because um the temperature is on the left so it could be Celsius could be Fahrenheit, Kelvin, Rankine etc. And now let’s

[5:56:40] develop some intuition on what this this this formula is saying. So let’s first start off with what does thermal resistance mean? It means that the GPU in this example of a GPU being cooled by water must be 0.2° C hotter than water per watt of heat flow. So if we think of this at a at a really actually low level, if we want to

[5:57:10] cool the the GPU or want to remove one watt from the GPU, then the temperature difference between the GPU and the water needs to be 0.2. So in that case, the GPU would be 30.2° and the water would be 30° C. But now let’s say that well we want to remove 100 watts from the GPU and the temperature of the water is 30°. Well, if we know these two uh these two

[5:57:40] numbers, then we just plug them in to the the formula here of well the heat rate is the amount of heat and the thermal resistance is a specific property of this GPU and we get 20° is the difference required between the water and the GPU to to remove 100 watts um from from the GPU to the water. So thermal resistance you can kind of think of as like for a specific material how much does it resist getting cooled or

[5:58:11] getting heated depending on which way you look at the equation and which way you have the delta t. But in any case this is a useful formula because it tells us for a specific material what is the cooling capacity that we will need. In this slide, let’s talk about why 35 degree coolant can cool two chips differently. So in this case, we’re going to really apply this formula for thermal resistance in practice. So let’s consider the the strange situation where

[5:58:42] you have two chips, one at 67° and one at 83° despite the coolant being the same temperature and despite having the same amount of heat transfer. How what could explain this? Well, it would be this thermal resistance. So if we assume that chip one has a thermal resistance of 0.08 08 Celsius per watt and that chip 2 has a thermal resistance of 0.12 per uh Celsius per watt. What that means is chip 2 needs a higher temperature

[5:59:12] differential to achieve the same amount of cooling. And if you just plug these numbers in, then assuming a chip limit of 80°, well, to get 400 W of heat out of this chip, then you would be exceeding the temperature by 3° cuz your temperature difference would be 48°C. Whereas in this time in this consideration because it has lower resistance it can essentially have a smaller temperature differential to cool the same amount of watts on that coal plate. So you would imagine that when

[5:59:45] you are building these cooling systems you want to have the interface between the chip and the cold plate to have low thermal resistance. Okay, let’s look back at the fundamental heat transfer equation that we saw on the first slide, which once again says that the mass flow rate times the specific heat capacity multiplied by the temperature difference is your heat rate. And what we want to develop from this is to realize that

[6:00:17] more flow means less temperature rise. So let’s consider two situations here. First of all, we have water coming in at 35° C and then passing through a heat pickup on a 100 kowatt system and then now it’s heated up to 44.57° given a giving a delta t of 9.57. And what you need to notice is that we

[6:00:47] plugged in 2.5 kg/s as the mass flow rate in this formula. But let’s say that now we double the flow to 5 kg/s because we’ve doubled the flow uh here the m now the delta t becomes half which means that there’s less temperature rise. So essentially what we’re saying is that if you can move more water through the system then the water will get heat get heated less essentially and I think this somewhat makes intuitive

[6:01:18] sense like imagine like you just double the amount of water well double the water can absorb uh the same amount of heat but get heated half as much because there’s twice as much water to absorb the heat. And uh this is one way that you can kind of intuitit this fundamental heat transfer equation. Alternatively, if we half the heat rate, then the temperature rate sorry, if we half the mass that’s flowing through the the system, then the temperature will double in terms of the amount of

[6:01:48] increase. And of course, the specific heat capacity CP is a number that is specific to that type of u water or whatever type of coolant you’re using. So glycol is also really common in terms of the liquid that you use for cooling. But this is not something that we can change unless we actually change what is in the side of the system. Okay. So on the previous slide we saw why coolant flow matters. Here we’ll talk about what determines how much flow we actually get. So the horizontal axis is flow in

[6:02:20] liters per second and the vertical axis there is the pressure difference the pump adds to drive coolant around the loop. And in this case the pump speed is fixed and the the the line is downward sloping because at this speed it can produce a larger pre pressure difference at low flow and a smaller one at high flow. That’s just how the nature of a fixed speed pump is. And now if we look at the two upward sloping lines, they show what the cooling circuit requires

[6:02:51] for a given flow rate. What would the what would the corresponding pressure be? And essentially pushing more coolant through the pipes, valves and coal plate makes a larger pressure difference. In fact, these two quantities are related quadratically. So as you increase flow rate, the corresponding pressure is uh quadratically scaling. So a flow rate that would double would cause a corresponding pressure difference that would quadruple. And when I say prefer pressure difference, I mean like the pressure of the water that is coming out

[6:03:21] of the pump versus the pressure of the water that’s coming inside of the pump. Because essentially as a pump goes through a circuit or as the pressure of the water goes through the circuit, it will lose pressure uh as it goes throughout and then it will regain pressure as it uh passes the pump. So in fact where these two lines meet where the pump line and the two different um flow rate lines meet is where the system settles. That’s what you could call the operating point. And why are there two different points? It’s because I’m

[6:03:52] considering two different circuits. So at point A, the pump provides the pressure the circuit needs to sustain 2 L/s, which is 120 kilopascals. But now let’s imagine that the valve is partly closed or a filter is clogging. Maybe there’s like a lot of minerals in the water and it starts to scale and make a clog. Well, then getting the same flow that restriction requires more pressure. So, that gives us this steeper dashed red line. And even though the pump speed hasn’t changed, the flow falls to about

[6:04:22] 1.4 L/s while the pressure difference rises to 140 kilopascals. So, in summary, the pump is still running and it’s producing a larger pressure difference, but less coolant is circulating. And that’s why we need to check flow as well as pressure since the equipment still needs enough coolant to carry away its heat. All right. Now, let’s talk about what’s called the approach for the coolant device unit. And this is essentially the gap between the two supply temperatures. So, it’s a

[6:04:52] really simple calculation. The calculation asks what is the temperature of the water that is going to the chips subtracted by the water that is coming from the facility. So these are both of the cold sides of the loop. So if you look at the returns that is when it’s heated up in instead the the the approach is asking for the chip cold length and the facility cold length. What is the difference? And essentially a lower approach gives more coolant temperature margin but may require more

[6:05:24] exchanger area flow pumping or cost. So in this example we have a five five degree difference in temperature. The extreme case would be like the temperature approach could like approach zero if you had like almost a perfect um heat exchange between the facility loop and the chip loop. Of course in practice that isn’t the case and you usually have a approach in like the five to three degree range but that’s just a estimate.

[6:05:56] In any case, this is one of the important metrics that we use in order to determine the heat exchange at our coolant device unit. And like what is a coolant device unit in terms of like what a picture would look like. So here’s an example of a cool IT CHX2000 which is a heat exchanger that has a rating of 2 megawatts thermal at 5° approach. So you can now kind of reason why approach is important. It’s essentially the number that we use to report the statistics of this heat

[6:06:26] exchanger, which is to say that at a five different five degree difference between the water that’s going to the chips and the water that’s coming from the facility, we can exchange 2 megawatts thermal. And this essentially means like you can exchange 2 million jewels per second of heat. And the pumps themselves are running at 2.125 or sorry 2,125 L per minute uh at 30 and this gives you 35 PSI. And then what else you’re controlling? Well, you can

[6:06:56] you can modify the temperature, the flow, and the pressure based on the system that you’re working with. But these are just a few of the standard rates that would be used in the in the in the C in the in the CDU. And this is what it looks like with the cabinet. So you can see the difference between inside the CDU and uh just the outside of the cabinet. I want to quickly mention to you that Cool It is a cool company because they started off making gaming C uh gaming PC cooling equipment and then they pivoted into data centers and now we’re worth like billions of

[6:07:27] dollars. So it’s quite a interesting story and turn of events for this company. And we talked about redundancy in the context of uninterruptible power supplies and feeder lines and these AB corded dual paths. Now let’s talk about it in the in the in the context of coolant distribution. So if you have 1,00 kW of heat that you produce in your computation, then n redundancy or approximately n redundancy would be if you have two 600 kow CDUs because you

[6:07:59] can you can provide 1200 kW of cooling. So you can meet the cooling requirements and then um N plus1 would be okay can you now provide 1.5,000 watts of heating and in this case sorry 1,00 kW that is actually 1 megawatt so 1.5 megawatt of cool of heating and uh in this case you would have three of these CDUs and then if we jump to a two-end system this would be two separate loops so a a loop and a b loop

[6:08:30] of two CDUs which are completely independent because if one facility loop fails, we need the other one to pick up the slack. And if you want to get a better intuition of what this looks like, it essentially means that either cooling train can carry the load. So at normal operation, you have 2400 kows of capacity, but you’re probably only using around 1,000 since that’s what your load is running. And you may either have one on and one off or perhaps they split the load at like 500 kW each. And then once there is

[6:09:04] a path loss or maybe you’re just doing maintenance, uh you can have the second path serve that cooling requirement and uh allow your computational workloads to continue to persist. So you can imagine that when you’re dealing with a data center that needs like a 59’s runtime, which I if I’m not mistaken was only a few minutes of downtime per year, then most likely you’ll have some form of 2N redundancy or maybe even a 2N plus1 redundancy on your cooling. And believe

[6:09:34] me, there are many different configurations which you can have in order to cool your equipment. It simply is a question of the the requirements that the project has and the budget as well since it’s more expensive the more redundant your system is. And now let’s consider that you have this n redundant system. So you only have two CDUs and you can cool it normally but then let’s say that one of them fails. So

[6:10:05] essentially what happened is that you had one CDU at 600 kW and another at 600 kW which was fine but now that there’s only one remaining your original load is in excess of the heat uh that you can cool or that the heat that you can extract. So what you might do with some controlling um is simply reduce the load so that you can at least reduce and produce some computation maybe delay some work which is not like time

[6:10:36] sensitive and continue to run the load. So you’ll definitely see in data centers some form of controlling that uh would do this reduction in load whenever there is in fact some cooling issue and you have reduced cooling capacity. So what this would look like in a graph is you’re running at 1,000 kW you lose power to one of your CDUs. Maybe now you can only capac you now have a cooling capacity of 600 kW. You reduce the power and then

[6:11:06] you measure to make sure that the coolant capacity is above your current load. Okay. I also mentioned at the very uh beginning how we have this rear door heat exchanger and let’s just do like a branching uh problem to exercise our new found capacities in how data center cooling works. So let’s assume that we have a rack that’s 100 kow and we know that 85% of the heat can

[6:11:38] be removed by the coal plates. This means that 15% is residual air or 15 kow. So what are you going to do in this case? What you can do is either use a CR a computer room air handler to get rid of that 15 kows and let’s assume that you have a 20 kow capacity. So in this case we can just simply um use the CR and then have actually 5 kW to spare if in some case the the weather’s really

[6:12:09] hot or there’s some issue where we need to have a bit more air cooling capacity. But once again, the other option which I think is more interesting is the rear door heat exchanger where not only can you use the liquid cooled plates to remove heat from the the chips, but also push the air to the back of the rack where the heat is collected at the rear door and the liquid then brings that heat to the outside of the building. So this is two ways of how you can think of removing heat from air and that closes

[6:12:40] this chapter. So now we’re going to move on to the next one where we’re discussing similarly heat but instead rejection on a more global level and also water usage. So we’ve mainly been talking about like heat within the rack and like a local lens, but the reality is the heat still has to leave the site. So, like if we just look at the three-step flowchart here, we collect the chips heat in some warm coolant. Then we carry it via the coolant

[6:13:11] distribution unit to a separate facility loop with this heat exchanger. And then we release it with some uh heat transfer outside. That’s kind of how it works. It’s ominously like pretty much like a heat HVAC system uh just like in a home, but uh now it’s like liquid cooled instead of just air cooled or depend depends on actually what your HVAC system is. Anyways, at Avalene, the heat goes to outdoor air. So, that’s actually how their system is implemented. How it works is that you have the facility water that gets the heat from the uh the

[6:13:43] the CDU and then an air cooled chiller is used to move heat outside, which you can think of as essentially like an air conditioner. So you have this refrigerant in the chiller and the electricity compresses that refrigerant to have like essentially a larger ratio of heat transfer with the environment and you use this compressor to remove heat from the building. Another term for this type of heating is non- evaporative rejection. But one thing you do need to

[6:14:14] note is that the fill and maintenance still use water. So the initial fill of the system requires a lot of water and also maintaining the system might mean that you have to dump all the water out or replace some percentage at some point in time. Okay. So when it comes to like interacting with the environment, there’s two different uh classes of heating. Once again, evaporative and non-eaporative. So you can kind of generally classify the evap the evaporative cooling into like wet cooling and then dry cooling for the non-eaporative. It kind of makes sense. So start off with dry coolers. What you

[6:14:45] do is essentially you collect heat from your building and then you move it across a radiator and then you blow air through it. It’s that simple. You can also add a refrigerant here with a compressor if you want to have a bigger ratio of heat transfer, but once again that depends on the environment in the system itself. And then if you’re in a wet cooling regime, what’s going on? So you have heat collected from the building and then you move this heat across what’s called a fill with nozzles. So a fill is essentially this

[6:15:18] material. It’s usually like a polymer that maximizes surface area given a volume. So it’s like some type of lattice shape where essentially you put the water along this fill so that it’s exposed to as much air as possible such that it evaporates at least some of it will evaporate into water vapor and take away the heat. And what this means is that the resulting water that comes back into the system is much cooler since a lot of heat was lost through evaporation. Of course, now you need what’s called makeup water to make up

[6:15:48] for the heat that sorry, the water that’s lost. And then secondly, you also have what’s called blowdown. What the heck is blowdown? So blowdown is essentially water you have to remove from the system because it has too many minerals in it. Why is this the case? When you lose water with water vapor, you essentially increase the concentration of minerals in that water. And this is really bad because then you’ll have like scaling and like calcification of your pipes which will reduce the flow rate and the pressure as we saw in a slide of the previous

[6:16:18] chapter. So in order to prevent this there is some sort of periodic blowdown where you just evacuate water from the system that has too high of a mineral concentration in order to avoid this. So not only do you have to add makeup water but you also have to remove blowdown. So it’s like a double whammy of like requiring water which just demonstrates the intensiveness of uh wet cooling towers. So once again, do you want your cooling wet or dry? That’s the that’s the question here. It’s very much a environment question and if you’re in a desert, then the answer is clear. Uh

[6:16:49] just to give a another way of kind of intuiting what what was going on with the evaporation. So water evaporates, you get a high concentration of minerals, then you discharge it which is called blow down and then you refill it with the makeup water. So that’s the simple cycle in three steps. Okay, I talked about dry cooling and wet cooling. Now there’s another set of concepts that are somewhat related but not really. It’s called dry bulb temperature and wet bulb temperature. So

[6:17:20] first of all, dry bulb temperature is ordinary temperature. It’s simply the air temperature measured with a dry shaded thermometer. In contrast, what bulb temperature is the temperature measured with a thermometer covered in a water soaked cloth and exposed to air flow? And what happens is that evaporation cools this water and makes the difference in temperature larger. And I like to think of it as like sweating. So what I mean is if you make

[6:17:50] your skin wet and you measure the temperature of your skin, it will actually be cold due to evaporation. And guess what? That’s what sweating is. Essentially, your body lets water accumulate at the surface of your skin through sweat. And then as soon as that water leaves your skin, it evaporates and removes heat from your skin. And that’s why if you touch like a sweaty arm that’s like not directly in the sunlight, it will be cold to the touch because the evaporative effect has released heat from your body. That is how sweating works. And interestingly,

[6:18:23] there’s only one time when dry bulb temperature and wet bulb temperature are the same. Maybe you can guess. It’s when the relative humidity is 100%. And what do I mean? If the relatively if the relative humidity is 100%. Then there is no water to become the water is saturated in the atmosphere. There’s no more water that can go enter the atmosphere. So if you sweat your water will just stay on your skin and actually it won’t work. Uh and similarly here if you have a temperature a a thermometer that’s covered in water but the entire uh atmosphere and like the air around

[6:18:56] that temperature that thermometer is also is also saturated with water then there is no evaporative effect and the temperature reading will be the same as the dry bulb temperature. So this is obviously rare unless you’re like living in a tropical rainforest. So what we can do is actually manipulate or take advantage of this uh temperature differential when we are using wet cooling. So once again humid air leaves less room for evaporative cooling. But if we do have dry air then you can have a massive difference where the ordinary air

[6:19:27] temperature might be 35% on the dry bulb but the temperature of a wet weted sensor may be 22° because of the evaporative effect into dry air. However, if you increase the humidity, then less water evaporates and the weted sensor becomes warmer. But still, unless you reach reach 100% relative humidity, then you will still have a colder wet bulb than your dry bulb. And this will be really important when we discuss wet cooling in more detail. Okay, but let’s first start off with dry cooling. So,

[6:20:00] what is the set of uh set of requirements here? First of all, we have a rack which is cooling which is being cooled via this rack circuit here. That is just a closed loop liquid circuit that’s going to the CDU and this is the collection phase. Okay. Then in the transfer phase we have 55 degree uh coolant that is heated up that is then transferring its heat and now heating up the facility circuit and

[6:20:32] it now is going to the sealed coil which essentially passes air across the water and you can think of it as like a radiator essentially but the water is inside and sealed and what happens is that the air passes outside the coil and Water stays inside but heat still transfers outside to the air. And then you have this return where now the cooled facility circuit would come in at 40° and it will cool down the

[6:21:02] 55° uh rack circuit to 45°. One thing that I want you to calculate here is what is the approach? So hopefully you got 5 degrees because it’s once again 45 divided minus 40°C. Okay. But let’s say that the coolant limit is 35° C in the chips. So in this case, we cannot actually we cannot actually cool the chips to a sufficient uh temperature in

[6:21:33] order for them to run properly if 35° is their operating temperature. So dry cooling would not help us run this workload at peak throughput. And you can even kind of reason about this by looking at the dry bulb temperature. So if the dry bulb temperature is 35° then you can’t get drier or rather you can’t get cooler than the dry bulb temperature in a passive system like this because of the fact that uh there’s no like compression there’s no compression there’s no refrigeration there’s no evaporation. So the best that you could

[6:22:04] get is 35° and that would involve like a perfect temperature sorry a perfect heat transfer which we cannot achieve in reality. So in this case the the system is not able to cool the racks to the different to to the allotted temperature. But now let’s hit the nitrous oxide. Let’s go need for speed mode. And what can we do to improve the system? What we can do is called adiabatic cooling. So what does adiabatic cooling mean? It’s actually a meteorology term what’s used in like

[6:22:34] weather forecasting. And all it means is that even though the water loop is closed, what we can do is actually wet the co the coils of the water. And you can see here you’d make the coils wet. And what this does is that as the warm coolant comes in, this cool air that um is humid will deposit water vapor on the coils and then cause that water to

[6:23:05] evaporate uh and then become warm. Sorry, it will cause that water to evaporate. Exactly. uh it become warm air and then it will remove much more heat from the warm coolant than through just like passive air cooling with dry air which would be this step here. So essentially what you do is you have this wetted pad which you pass air through and they get this cool humid air that that would probably condense on the coils and then as you pass the hot fluid across the coils that water will evaporate and then reject more heat than

[6:23:38] normal. So this would be one way we can overcome this heat limit if the air outside is 35° C using what’s called adiabatic cooling. And worth noting here is that the coolant loop is still closed but now we have to add water on the outside. Okay. And now let’s just discuss a completely wet tower which is to say um there is a evaporative effect going on within the circuit within the coolant loop. So what you’ll notice first of all

[6:24:09] is that the rack circuit is the same. So here we’re collecting water from the racks and we’re transferring it to the coolant device unit and then the coolant device unit is transferring it to another heat exchanger which has the tower circuit. So essentially the water tower is what passes water along a some type of tower which has a large uh structure in order to pass water through like this type of fill and allow as much of it to evaporate as possible in order to reject heat through evaporation. So

[6:24:40] if we go to the release phase, what we what happens? So water falls over fill, air takes heat, and some water evaporates. And even though it’s 35° outside, the wet bulb temperature is 28° on the actual fill. And therefore, we have this heat and water vapor that’s escaping through the water uh through the water uh tower. And then also any remaining water will fall into the basin where we’ll also pump in some makeup water and at some point also do the

[6:25:12] water rejection for any water that has a high mineral content. And then if we do the return we see that in this case we still get a rack coolant that exceeds 35° C even though we have a 28° wet bulb temperature. And this is simply because we have to add another heat exchanger in this wet tower configuration which means that um there’s just another place where we have this temperature difference which um is not perfect. And then this

[6:25:43] is also considering the high humidity uh environment. So if we come back right here right we said in high humidity it’s 28° wet bulb but in low humidity we have 22° wet bulb temperature. So if we switch to low humidity now with 22° C, we actually can reach our desired rack coolant supply of 35° C and run our GPUs at the desired throughput and the

[6:26:15] desired load. So that was a kind of a nice worked example of going from collect where we warm the coolant from the chips. Then we also cross the two exchangers and interestingly we have three water circuits here. Once again we release water into the atmosphere through evaporation and if we have sufficiently low humidity we can achieve our desired rack circuit coolant temperature. Okay. One thing that I want to note is once again that you can still have a

[6:26:46] closed rack loop but a evaporative cooling tower because you have these separate loops. So you really need to reason about a system and say is all of the coolant uh closed loop or is only some of it because this could be a differencemaker between whether or not the system requires a high amount of water in order to run. Whereas with a dry cooler, right, um you have a closed rack loop, you have a closed facility loop that is either water or glycol. Those are two common uh materials that you use or liquids rather that you use for the coolant and then the dry cooler

[6:27:17] which is just exposing the pipes to outdoor air without any evaporation within the the facility loop itself. So those are the two different options here. We have the dry cooler and the wet tower. And there you have it. So moving on, let’s talk about the compressor a bit. So if you’re using a compressor as is the case in Abalene, let’s say that you have a 10 megawatt heat transfer from the racks to outside. But now also the compressor electricity becomes heat

[6:27:49] in this cycle. So you need to add that. And it’s worth noting that you’ll get more heat in the output because of the electricity that the compressor used. In this simple example, we have 12 megawatts of computing heat plus compressor heat that will go through the chiller and um lower the temperature through refrigeration. Without a compressor, outdoor cooling can still remove all 10 megawatt, but that’s only if temperature and capacities allow. So, most likely you cannot always guarantee that through passive cooling, you can remove a

[6:28:21] certain amount of heat throughout your data center, especially if it’s really hot outside. That’s why having a compressor is really handy. So, as I mentioned, cold weather can essentially let the compressor rest where essentially you have the warm water from the racks going to outdoor cooler, which is cooling with the air outside and the cool water comes back to the racks and you’ll have like a sort of like economy mode or eco mode where the compressor is off and you only have the fans and pumps on. So you still have some electricity with the fans and the pumps, but the

[6:28:53] compressor, which is definitely consuming the most of the electricity, is not running in that circumstance. Okay, so now we’re going to do just the big boss um comparison here of all of the different types of cooling that we just described. So first of all the front end is consistent which is to say you have the IT coolant loop then the coolant device unit distribution unit and the facility water loop. But the question is what connects after the facility loop. So we can split up into three categories of what is happening

[6:29:24] after the purple rectangle here. First of all, we have the no chiller example where there is no type of like refrigeration or condenser with a compressor. In this type of example, we can use a dry cooler which just has this passive heating through a fan with the coils outside with the optional adabatic assist which we talked about was like the nitrous oxide from Need for Speed. Or you can actually use a wet tower in

[6:29:55] addition to having no chiller. So what what would this look like? It’s essentially the evaporative coolant that we discussed where you have this separate third exchanger loop which has the coolant distribution that then evaporates as water and then needs to be recycled with the makeup water through the wet tower. And these are the two types of no chiller options. Okay, now let’s talk about the chiller options. So there’s two of these as well. There’s a air cooled chiller and a water cooled chiller. So starting off with the air cooled chiller, you have this sealed

[6:30:26] refrigeration loop where essentially you have the refrigerant that’s looping through with a compressor in order to cool down. And then once the compressor is heated up, you cool it down in an air cooled condenser such that uh you have the the vapor refrigerant that is condensed down to liquid again and recycled into the loop. And then we have opt optionally as a third way the water cooled chiller. So the seal refrigerant loop stays the same except here you have

[6:30:57] a water cooled condenser. What does that do? It’s essentially a heat exchanger between the refrigerant loop and the other loop which is the water loop. So you have the seal refrigerant loop that brings in this refrigerant that captures as much of the heat as possible from the facility water loop. And then once the refrigerant loop is heated up, you have another heat exchanger called the water cooled condenser that will either interact with a dry cooler or a wet

[6:31:27] tower. And if you’re paying attention here, that’s this or this. So the water cooled chiller is like almost like the big boss because it really combines like a lot of different components together. And if we look at the diagram way over here, what that would look like is you would add another loop here called a sealed refrigerant loop where before this heat exchanger, you would have the refrigerant going through the compressor that would be interacting with the facility circuit. So you’d have the

[6:31:57] facility circuit, the refrigerant loop, and then the tower circuit. So four circuits in total that perform the heating obligation. Um, I think we should like not get too lost in the weeds here, but just realize that there are many different ways that you can cool these data centers and these are some of the most common configurations. Okay, now let’s talk about a really important uh metric here called the coefficient of performance, the coop. So the coefficient of per performance tells us how much heat each unit of electricity moves. So what you should

[6:32:27] know is that um when you have a compressor you can kind of have like a almost infinite infinity uh efficiency ratio where like for one unit of electricity you can use you can remove four units of heat. And how is this possible? It’s because you’re taking advantage of the temperature difference with the building and the environment. So if you used one unit of electricity to remove four units of heat, you would have a coefficient of performance of four. Okay. So this is a really common way that we use to determine to what extent our cooling is efficient in

[6:33:00] particular when we’re using compressors. And this also is a very good way to determine how hot weather affects cooling electricity. So let’s assume that we have a 8 megawatt computing heat aotment that we need to remove from the facility and assuming that our cooling weather coefficient of performance. So sorry cool weather let’s just say like outside it’s cold the coefficient of performance is eight then we have 1 megawatt of

[6:33:34] cooling electricity required to get rid of that heat and if we have 10 megawatts of electricity we can do it um in fact even if we reduce the computing power and we consider the auxiliary power as well we are completely within our limit but if it’s too hot outside and let’s say that the hot weather coefficient of performance right here is half. So we can only remove four units of heat for every one unit of electricity. Then now we need 2 megawatts of electricity to remove 8 megawatts of heat. And at a

[6:34:06] full load, we would actually require more electricity precisely 10.4. So 400 kW more than what we can actually afford. So in that case, we’d have to fit to the available power, which is to say we would have to slightly reduce our load to 7.68 megawatt from 8 megawatt. And this is another way that you would have to have to buffer and essentially to reduce the threat of overheating your data center. And now you probably understand the meme that I showed you guys a long time ago where we talked

[6:34:37] about take it easy buddy. Think of the data centers when it’s really hot outside. So you need to realize that the quotient of performance is heavily affected by the temperature that’s outside. Okay. Now let’s also talk about an interesting question which is these data centers they generate a lot of heat. So sometimes when people are smart they will essentially use this heat for district heating and what what is district heating is essentially like the heat from a data center will be used and recycled to heat up other buildings which is a really nice way to not waste

[6:35:09] this heat. Uh so let’s assume that the data center runs obviously 24/7 and from midnight to 6:00 a.m. maybe the data center has a contract with a hospital to supply 2 megawatts of heat. So that would be their aotment for the entire day whereas the data center produces 4 megawatts of heat throughout the day. So if you had such a such a coordination scheme then for 6 hours of the day you’d have to direct this heat to the hospital

[6:35:40] and then for the rest of the day uh you would have to release it outdoors. So this is just to simply highlight the fact that there are ways to re reuse this heat and recycle it and it may not be the case that you can always recycle it. So this would require the cooling processes to adapt in real time or at least have a schedule for diverting heat outside versus to some district heating system. Okay, to close off this chapter, I want to discuss this interesting case study which was the 2013 flood in

[6:36:12] Toronto, Canada. So let’s first set up the uh the context of what’s going on here, the background. So, interestingly, Toronto uses Lake Ontario to cool downtown buildings. So, Lake Ontario is a lake that is along the border of Toronto and at the bottom of the lake, it’s always 5° C. So, not freezing, but very cold. So, they use this deep intake and then pass it through their water treatment plant and use this as both a water supply for the city, but also a heat exchanger to essentially cool down

[6:36:45] buildings, but also cool down data centers as the heat exchanger. So, it’s really cool how this works and uh I think you can understand the mechanism. It’s like a free air conditioner essentially except you have to power the pumps of course. What’s worth noting here is that there was some issues during the flood. And all I’ll say is that this building 151 Front Street West is Toronto’s telecom hub and stores like all of the different telecom connections. So, you might have already estimated or predicted what would

[6:37:15] happen. There was some issues with the power supply for the uh telecom hub. In fact, the generator started which meant that you could still heat up all of the build all of not heat up but rather power all of the racks. But unfortunately, this district cooling system was disrupted and and essentially they had a redundancy on the generators here but not on the N-wave cooling and that meant that the heat started to build up in the system even though the racks were running. So what they did as a sort of a mitigation member uh

[6:37:47] mitigation measure is to shut down equipment and move services to like only the essential ones and essentially shut down non-essential systems and they furthermore um move the compute workloads from a suite that was hoting that was heating sorry above 43° C to another like portion of data center which was recovering sooner um and transferring the services there. So they had to do some like real time uh transfer of their workloads which was quite interesting. In fact, there’s this

[6:38:17] uh case study where the CTO of this company called Uberflip reported that they worked from like midday all the way to 1:00 a.m. to make sure that these jobs were running and also that they were removing the non-essential uh workloads in order to reduce the heat as much as possible. And there you have it. So interesting case study. The entire account here on what happened is in the link. So I recommend it. This was once again the 2019 2013 uh July 9th flood in Toronto. Okay. As a summary in this

[6:38:50] slide, what does each cooling path depend on? Well, if we’re doing dry non- evaporative cooling, then it’s only based on electricity apart from the initial fill as well as operating uh dependencies. But then if you’re using a wet cooling tower or just wet cooling in general, you’re both you’re based both off of water and electricity. So this is the set of factors that you need to take into account when you’re considering different cooling technologies. And within each one, as we saw in that like wacky chart, there are a lot of

[6:39:20] different options. All right, chapter 13, engineering, procurement, and construction, aka EPC. Let’s get the boots on the ground and the hammer is flying. So to give a one sentence resume or rather summary of what each of these three terms could mean in relation to a data center, let’s say that engineering is sizing the switch gear, transformer and connections. So switch gear being the electric electronic components which route the electricity to the different

[6:39:52] data halls and the different buildings and also make sure that the voltage and the current are in a safe and operable range. the transformers for changing the voltage and then connections for actually connecting the circuits and then procurement. Order the coordinated package and reserve factory capacity. Finally, construction, build the foundations, bring the skids in which have all the equipment and connect the plant together. So, let’s do a little case study here. Let’s say that you’re building a data center which has 20 megawatts of IT capacity or rather load

[6:40:24] that needs to be supplied and you originally had a rack design that was 100 kW but now it’s been changed to 200 kW. So essentially what we’re saying here is that the rack density has doubled. So if we just make this clear through this diagram, the same 20 megawatt is concentr concentrated now into half as many racks where before in a 2 megawatt zone of this data center of which there would be 10 since we’re at 20 megawatt you have half as many racks as before. So in this uh 2 megawatt

[6:40:57] zone, we originally intended to have 20 100 kow racks, but now it’s 10 200 kow racks in the zone. And then you’d have 10 of these zones to get your 20 megawatts of it power. And so let’s just talk about some hypotheticals here. First of all, the new rack exceeds its existing electrical branch rating. So let’s assume that we’re using the same shared bus to power these data centers, these racks, sorry. In that case, each branch, if we assume had a 160 amp

[6:41:28] limit, then we’re approximately doubling the amperage if we double the power. and therefore we will exceed that branch limit. So already the branch current needs to be modified or to be more specific the equipment that actually restricts the branch amperage needs to be upgraded. And then let’s also talk about the cooling. So as we remember since the pressure is proportional to the mass flow rate squared let’s talk

[6:42:00] about some math. So assuming that originally we needed 2.4 kg/s of mass flow rate to cool a 100 kow rack without loss of generality. Let’s assume we need to double that mass flow rate in order to maintain the same 10° temperature rise. So therefore we’re at 4.8 kg/s of um flow rate. And and once again if we assume that the branch limit in the

[6:42:30] cooling circuit is 3 kg/ second 3 kg/s then now you need to rethink what’s going on there and then also let’s propose or hypothesize that the pressure difference across the connection was limited to 60 kilop 60 kilopascals on the branch then now you went from 20 to 80 kilopascals because of this um relationship with um the pressure and the mass flow rate. So the cooling system would also need to be rethunk or rethought rather if you had such a

[6:43:02] increase in power density and then let’s not talk about the weight right so the rack change concentrates the floor load at few positions where originally you had a one unit load per foot because there was 20 racks in one zone now you’ve doubled the load in the same 4ft area or whatever the area is of the rack that you’re building and So, this is kind of like a a contrived example of like all of a sudden your racks are twice as dense. However, I would argue that once again

[6:43:36] by referring to that Bank of America research analysis graph where they showed almost the exponential increase in rack density over time. It’s almost like this exact situation is playing out in real life just over a longer time period. So every few years the rack density doubles and then therefore you need to make sure that your pipe branches your valve fittings can handle the increase in pressure the increase in mass flow rate that your branches are able to high have

[6:44:07] a higher amperage or you convert them to 800 volt DC as we discussed in chapter 9. So many different ways to skin the cat in this case. In any case, that’s some food for thought for what changes would be required as density of compute increases as a function of time. Okay. So, we also want to talk about a bit of prefab in the EPC chapter because it’s becoming an integral process of how data centers are built. So, prefab is almost

[6:44:37] a self-explanatory term. It means shifting assembly into the factory. So in the factory we can probably handle power distribution make it more integrated. The coolant manifolds can be assembled. The controls and testing can come pre-shipped. The internal wing can be done within the factory. And it can even be tested as well before reaching the site. And once it’s on the site, well you still need to do the foundations and the access. Uh you need to make sure that the utility and the cooling plant is actually connected and uh distributed. Then you need to place

[6:45:09] the different components of the foundation and the field joints and then also bring in the IT racks and the integrated tests. Essentially what we’re trying to do here is bring as much of the work that can be parallelized into the factory and then just only do the parts where we have to accept this join system on site. So let’s talk about a reall life example. It’s called project Houdini which is an AWS project that uh is doing precisely that. So, they’ve partnered with Certino Electric and this is their factory. So, you can see a lot of switch gear that’s being assembled in

[6:45:41] the factory as opposed to on site. And these data hall skids are both power and cooling infrastructure. And once again, they do the factory assembly test on site and then they connect it once it is arrived. If we talk about a specific product, Seammens, which we all know as the company that makes a lot of different data center infrastructure, partnered with Compass, which is a data center company that makes data centers to make a single skid switch gear transformer.

[6:46:13] So on one factory-uilt package we have a seaman’s switch gear which is distributing the power to its separate feeders and also has it circuits and other breakers to ensure that in the case of a voltage surge or some current irregularity the power is faulted and then we have the transformer which is actually going to be doing some voltage conversion into one units and internal connections and assembly therefore for this specific process cow into the factory.

[6:46:44] In fact, one thing that you might have thought is, okay, if you’re doing all this like factory prefab work, do you get like this insane like modeled Lego situation where you have a bunch of pieces that are being fit together, but it’s all custom and hard to reason about what will fit into where. So, luckily, the open compute project, which I’ve referenced once so far in this course, has essentially a guide which defines the interface between suppliers. So for example, a UQD which stands for universal disconnect might be specified

[6:47:14] in a open compute project guide such that supplier A can make its piece and just add a UQD plug plug and then you supplier B can have the UKD socket which will accept that plug and then now they don’t have to worry about the pet the piece parts not fitting in. So essentially it’s kind of [snorts] setting the contract for the output and the input and allowing the companies to still make the function inside. So let’s say that night you’ve now connected these universal quick disconnects. And

[6:47:46] unfortunately though if we remember since you’re still using those 200 kow racks uh these sockets are not that useful to you because uh it they only support 3 kgs per second of coolant and you need 4.8 kgs per second. So even though the connectors made the branch still needs redesign. Another example of a open compute project initiative is essentially standardizing the open source rack. So whereas conventional racks with server level PSUs would look

[6:48:16] like this where on every single shelf you have a PSU in the open compute project standard you have the rack power distribution unit on the top and it’s de delivering three-phase power just like the the conventional form but instead you have these open source racks with consolidated PSUs and this gives you just a lot of benefits because now the PSU providers can focus on making a tray level solution and the comput providers can focus on making their own compute level solution

[6:48:47] without having to worry about integrating the power supply units. So there’s one great benefit of the open compute project and in fact it’s the open compute project that is spearheading the 800vt DC effort along with its industry partners. So the open compute project is kind of like sponsored and supported by Nvidia, Microsoft, all of the usual suspects but it is technically still independent from my understanding. All right. So just to give a high level overview of what we’ve been discussing in terms of pre-fabrication,

[6:49:17] the one line we need to remember is moving acceptance testing into the factory. So what’s now done in the factory is internal wiring and protection, internal piping and leak test, controller logic and simulated signaling. And what’s now checked at the site is field cables and protection coordination, the actual joints that attach what has been prefabed and then measuring the flow once you connect the different pipes of for example a cooling manifold and then real sensors and response equipment. So even though you can simulate the signals in the factory,

[6:49:48] it’s probably still smart to verify that the signals and the sensors work on site as well so that you don’t have any bad surprises. And before we end off this example of the 20 megawatt power concentration shift, let’s say that now we’ve modified our equipment and in these zones which each have 20 racks, we have electrical, cooling and network

[6:50:19] done to varying degrees. So what we can see pretty clearly is that in order to satisfy the rack’s operating capacity, you need to have all three of these. So at this current point in time, let’s propose that only zones A21 or rather racks A21 to A60. So the first two zones or rather the second and third zone since this is the first zone have now met all of the homologation for electrical cooling and network. Um let’s also actually add cooling to this zone.

[6:50:52] And now we have 60 more racks which are powered. And um this is just a process which you’ll do over and over in this contrived example in order to eventually get at your 20 megawatt target and power everything after this relatively large change in rack density from 100 to 200 kW. So at this point we would have 60 racks of the 100 and that would give us 12 megawatts of it. So there would still be these two zones which need to be at

[6:51:23] one in one instanceorked and then another instance um electrically connected. So I didn’t even talk about networking but you can imagine that when I had the infinib quantum 2 switches which had 32 down links and 32 up links. Of course, here we’re talking about some GPUs that are only um imaginary. We didn’t actually specify what GPUs we’re talking about. But if you can think of the original switches having double the links, now that we’ve made the density

[6:51:54] twice as dense, we’ll probably no longer need half of those links because of the increase in GPU density. So that’s another thing that we didn’t discuss, but in any case would probably be something worth considering. Okay, so this is the last slide of this chapter on EPC. It’s just saying that as we mentioned before, Core Weeave had a deal with Applied Digital to make them a set of data centers last year in the fall. And one important thing here is the time is money argument where we need to connect

[6:52:26] the next 50 megawatts while keeping the first megawatt online. So essentially the moral of the story here is that when you’re actually building the site in the construction phase of the EPC and you’re able to put a data center online before the entire envelope is done before the entire site is complete then you need to make sure that um you can keep the first one online while building a second one which would definitely require a lot of contingency planning and allowing for different variables. planning for

[6:52:56] perhaps like some construction incident that could happen while building the second cluster and making sure that that doesn’t put the first one offline because these data centers are bu printing money and the the downstream customers core we’ve want it to be online. Okay. So now chapter 14 of 16 is on the topic of controls operations and reliability. So keeping a data center running and troubleshooting when the S word goes to the fan to speak politely.

[6:53:26] So let’s consider a hypothetical case study here as we start off the chapter where we have the plant dashboard that demonstrates that the plant supply of coolant is at 30° which is normal. However, the row B rack has a chip exceeding its 80° operating threshold. So, it’s at 85° despite the limit being 80°. And this definitely signals a problem. And it also signals the fact that the adequate measure is not just

[6:53:58] looking at the coolant temperature alone. You need to make sure that you’re measuring like the chip level temperatures as well. And we’ll we’ll demonstrate why this is the case in this chapter. So, essentially the short of it here is that row B is still getting water at 30° but only half the flow. So if we look at the look at the column the rows here the rack power is the same the water into row B is the same but now the flow rate has gone from 100 kg/s to 50 kg/s and consequently the water leaving

[6:54:29] row B has changed from 35° to 40° a 5° increase and not only that the hottest chip is now operating at 85° C which is a 50° jump from its initial ial temperature and 5° over the limit. So, we can like postulate that perhaps there’s been some leak or that would be really bad or probably a more a more feasible example or a more real

[6:55:01] realistic example would be there’s something in the circuit which is causing a uh a reduction in flow. So, let’s look at how this chip incident could unfold as a function of time. And the title here is that lower flow can leave chips too hot after temperature stabilized. So what does that mean? First of all, let’s talk about the top graph which plots the heat generated versus heat removed as a function of time. So the heat generated is constant function. It’s just this dotted line

[6:55:32] here that’s 2.09 megawatt. But then we can see that there’s a stepwise function here when the flow fails when it halves where the heat removed drops um aggressively. In fact, since we know the fundamental heat transfer equation, this would mean that the heat removed would have halfed. But then the interesting thing worth noting here is as the heat accumulates which is this golden uh shape in between these two lines the

[6:56:04] heat remove actually normalizes back to 2.09 megawatt and reaches equilibrium. So that’s quite interesting to note. It’s like saying that essentially as the chips are absorbing this extra heat which is not being removed properly then the difference in temperature is increasing which allows for a bigger heat transfer to occur because of this uh equation the thermal heat transfer equation and therefore it will reach back this energy transfer of 2.09 09 megawatt. But at this point, we’ve

[6:56:36] already accumulated a lot of extra heat within the rack. And then if you just look at what would be the the graph of the hottest chip over time, essentially it would have this relatively sharp increase at the beginning since all of a sudden the heat removal has halfed and then slowly taper off as the heating equilibrium is regained. And once again at each chip you have heat flow equals temperature difference divided by thermal resistance. So at the very beginning the temperature difference is

[6:57:08] smaller but now because there’s less fluid flowing over the uh chip it increases in temperature with respect to the fluid and then now once the temperature increase temperature difference gets big enough we’ll reach back this um equilibrium state but at that point the chips are already at 85°C. So in this example we can see that the moral of the story is even if the coolant loop is normally and still at 30° Celsius that is not an indicator

[6:57:39] that in the other parts of the system everything is going okay. Okay. So that was all for our example in this chapter. Now let’s talk about some real case studies. So Google developed with de mind a autonomous control mechanism for cooling their data centers and essentially in in 2016 the extent of this algorithm was the AI would advise some human to act. So it was still very much human in a loop but then only after

[6:58:10] 2 years the AI would control the cooling at 5minut intervals with the operator still setting limits and retaining the override. But let’s look at how this system works in a set of four steps. So I’m going to zoom in on each one. And just as a reminder, this is every 5 minutes. So what happens is that in step one, our cloud-based AI pulls a snapshot of the data center cooling system as represented by a thousand thousands of physical sensors. So essentially, it’s reading the sensors. Then in step two, which is to the right, it will predict

[6:58:42] the outcomes based on a neural network. And then on step three, it will choose within the limits defined by the safety settings and with the goal of minimizing future energy consumption. And then step four, the optimal actions are sent back to the data center since it’s in another data center that you’re actually running this neural network where the local system verifies them against its own safety constraints before implementation. So you see that there’s a verify locally step and also there is a step where the AI selects its actions

[6:59:12] within the safety constraints. So there’s like a two-step safety uh protocol here just to make sure there isn’t any uh instances where I suppose the AI does some freak prediction and makes the chips overheat. But that’s not really worth worrying about because if we actually look at the plot of what happened over 9 months, cooling energy per unit improved from about 12% to 30% below the preAI baseline. And you can

[6:59:43] also see that as training data increased, this is one of the market indicators of the performance in the cooling system. And I guess this is just a demonstration of the power of scaling data. So this actually worked in practice and this was implemented in 2018. So I imagine Google has generalized this to me many more of their data centers today and these algorithms are like working as I’m speaking and as you’re watching this video which I think is quite fascinating. Okay. So when it comes to um operations in a data center there’s

[7:00:15] three control layers and each one solves a different problem. Local pump controls just tells the pumps what flows to have and what pressures to maintain. This is not something that a human would ever manually tune, but it’s something that you could watch in an instant analysis for example. Then you have the plant controls which is to say like when do you run the cooling units when do you decrease the max energy that the cooling units are moving and then you also have the compute level which is to say what

[7:00:47] are the workloads that you’re running and should you move or delay compute based on for example cooling restrictions. So this is the lowest level on the left and then these two are at a similar level abstraction except this one is on a facility level versus the workload schedule workload schedule being on the compute level. Okay. So let’s first focus on the plant controls and see how this plays a role in how we operate a data center with the following scenario. So the title here is a new job

[7:01:18] needs cooling that takes 3 minutes to start. And let’s assume that this new job is 2 megawatt which is to say that its compute budget or the amount of GPUs it requires is equivalent to 2 megawatt of heat and that currently there’s already 4 megawatts of base load running on this data center. those like inference workers or maybe there’s already like a pre-training job that is happening simultaneously. Given these uh circumstances and the fact that at the given moment in time

[7:01:48] when this new job comes online we have only 5 megawatt of cooling available. If we started the job instantly then we can assume that the cooling would not come online in um at the same time and so there would be one megawatt excess heat for 3 minutes while the plant controls bring cooling units online and that’s not good. 1 megawatt for 3 minutes may be detrimental and you could lose millions of dollars of hardware. So instead what the plantin control does is it will first of all

[7:02:20] bring the cooling online by uh or increase the cooling online by 2 megawatt equivalent to the amount of the new job and then once the standby is ready after 3 minutes we can start the 6 megawatt job and avoid any issues from having excess amount of heat build up in our data center. And then you can also notice in this in this example that generally we have 1 megawatt extra cooling versus the amount of heat. This

[7:02:51] is just one way of having redundancy in the cooling regime. Let’s talk about a few other ways. So Johnson Controls which publishes information on cooling standards for data centers has the following guideline. So there’s two different types of chillers here. I don’t even know what they do and you don’t need to know either. We just need to know that for the positive displacement chiller, they recommend an 80% uh cooling or load to cooling ratio, which would say that if you have 8

[7:03:22] megawatts of heat, you should have 10 megawatts of cooling. And then this constant speed centrifugal chiller can handle up to a 9 megawatt heat load given 10 megawatt of cooling. And then whenever there’s a sustained load above the thresh threshold, you would start the next stage of of coolant such that you’re always rounding up uh to have like if you were doing now um 9.5 megawws of of heat, you wouldn’t want to

[7:03:53] only have 10 megawatts of cooling. You would probably go to 11 or 12 depending on what the ratio says. In any case, we can imagine that based on the chiller specification, you would give the real level of redundancy for the cooling cushion or the cooling buffer in your data center. And what are the criteria that you would consider overall? Well, first of all, look at demand. So, if you’re using machine learning models like Google, they’ll probably see that historically at 2 p.m. the amount of compute spikes. And so, this would be an

[7:04:23] expected load. you could ramp up the cooling to preempt that and not have any uh throttling on your jobs. Also, usable capacity is just a question of like how much flow do you have, how many cooling units do you have, what’s the weather, and what is the required failure case? And then lastly, what’s the response time? So there’s this always this question of startup delay versus thermal buffer duration which is to say this thermal buffer duration is this this area here where maybe your data center can withstand a bit of it but too much and you’re in a bad territory. So it’s a

[7:04:56] trade-off between living on the edge and having a startup delay which costs more electricity of course. Okay, this slide is also cool because it talks about how Intel stored water to outlast the server uninterruptible power supplies, which is to say that in the case where in Toronto we ran out of cold water because of the system failing due to the flood, Intel has a system in one of their data centers in 2007 actually this was published where

[7:05:26] it could still withstand or rather support 12 minutes of cooling. um which is to say it’s designed to cover five minutes of uninterruptible power supply plus 7 minutes if there is a uh issue with the cooling system itself. And in fact during a 2006 outage it was able to withstand 15 minutes of um autonomous load with a lighter IT uh amount. But nevertheless, this is one way of like having essentially cold water as your

[7:05:56] collateral to your cooling system failing. Okay, another cool thing that Google did is partnering with the utilities in Oregon to reduce demand during busy grid hours. So essentially what happened is that they had coordinated to have this day ahead demand response where with the utility pro partner northern Wasco County uh PUD they scheduled less compute during a forecasted g grid constraint. So essentially what happened is that Google would still serve their search, their map, their video playback,

[7:06:27] the stuff which needs to be served in real time but as you know YouTube videos are processed um asynchronously. So likely they could do the translation for the YouTube videos and video processing on a deferred basis. So this is precisely what they did. And in fact, this is not actually what the load was, but this is a representation of let’s say in the most intense hours of the day, let’s say 2 p.m. to 4 p.m. or probably 2 p.m. to 6 p.m. would be more accurate. Anyways, it’s usually evening

[7:06:57] actually. um Google would pause the flexible job during the grid and then just like shift it to afterwards when there is less pressure from other consumers like houses or other people that are taking advantage of the grid. So I think this is a really interesting example of essentially deferring work that is not urgent for grid reliability and grid resiliency. Okay, now let’s talk about Cloudflare, which everybody knows is like the spine of security in the

[7:07:28] internet. And what happened with Cloudflare was a single point of failure disrupted their three site cluster in Portland, so also in Oregon. And what happened is that their core services including their dashboard API and analytics all went down for some large amount of time. And why did this happen? It’s because their site PDX04 which stored their click house database and their CFKA went down and sites B and C which still

[7:08:00] were up were no longer operational because it turns up it turns out that they depended both on this data center. So the real outage removed the entire PDX04 facility but sites B and C were also nonoperational. And so what happened after this incident was that there was the code orange declared and they had this whole uh follow-up work to make sure this doesn’t happen again where they essentially expanded the capacity to have more servers and networks. They also fixed the failover to remove single-sight

[7:08:30] service dependencies and they tested the facility lost to find and repair remaining gaps. So obviously with hindsight you’d say, “Oh, this is so simple. Why did they not have the data set or their database on all the other sites? But given the complexity of data centers, you can imagine that there are like a thousand other potential single points of failure. So maybe Cloudflare had addressed 999 and this was the last one and all it takes is one collateral single point of failure to make a large

[7:09:01] outage occur. But in any case, they did some type of testing to find and repair the remaining gaps. And I’m happy to report or I guess they were happy to report that the next power failure saw APIs and dashboards recover in 7 minutes. So the next year I think this this was in November 2023. Yep. In March 2024, the same facility loses power again. So I mean I guess already this is a sign that maybe this facility has some power distribution inefficiencies or in inadequacies. In any case, it lost power

[7:09:33] at 1458 or 258 and at 3:05, 7 minutes later, everything was back up and no human intervention was required for the API/ dashboard recovery. And um yeah, analy analytics recovered later that day. So clearly they did something right here and um they went from a multi-hour or multi-day outage, I actually don’t remember how long it was to a 7-minute outage. In fact, now let’s talk about another type of outage which was in Google’s case due to hot temperature. So

[7:10:03] this was in Europe West 2A which I believe is in the UK. And what the quote here says is that one of the data centers that hosts zone Europe West 2A could not maintain a safe operating temperature due to simultaneous failure of multiple redundant cooling systems combined with the extraordinary high outdoor temperature. So the first thing is Google being the massive company it is and serving billions of people already has multiple redundant cooling systems. But despite this still had this

[7:10:34] outage which was probably in part due to these extraordinarily high outside temperatures in July of 2022. And what they did in response was quite um quite quite fascinating. So there was the extreme heat which failed the redundant cooling and then they did a protective shutdown which is to say that Europe West 2A was partially shut down and they stopped some virtual machines such that the other services could not get this collateral damage from from the rest of

[7:11:05] the system failing. And so this is like some type of preemptive maintenance in this um really bad scenario to prevent it from propagating to the rest of the system. And the actual timeline was that restoring curling, restoring cooling began a further 14 hours after the service recovery. So let’s look what happened. Um 4 hours and 8 minutes was the cooling repair. And then cooling was restored but it still took another 14 hours and 15 minutes to recover the service which was the next day which really involves restarting servers,

[7:11:35] restoring dependencies and reconciling state despite restart sequencing and service state reconciliation continuing right after cooling was restored. So, it took them 14 hours, which makes sense given the scope of these data centers and how how much data they process. But the the summary in this scenario is you can purposely turn off your system when it’s starting to go south in order to prevent the situation from becoming worse than what it is currently. Okay, let’s now talk about Meta and Llama 3 in

[7:12:08] particular where for the Llama 3 pre-training which lasted for 54 days, they were able to make progress despite interruptions. So, in fact, in the training of Llama 3, there were 466 training interruptions with 47 being planned and 419 being unexpected. And all of these interruptions were recovered from, meaning that there was a greater than 90% effective training time with only three incidents needing significant manual intervention. And you can imagine that when you’re training models on like the tens to hundreds of

[7:12:39] million dollars in terms of cost, that an interruption, which does reduce effective training time substantially, is costing millions and tens of millions of dollars. So having a data center which is able to recover from some type of systemwide outage or lack of synchronization is extremely critical. So to talk about what Meta describes in their redundancy scheme, first of all they only update one maintenance group at a time. So they call them trains and these are groups of clusters where

[7:13:11] they’ll put one offline and purposely make these groups such that one being offline allows the entire workload to persist. Um this is how they do their maintenance and you can check this article here to see what the domain sizes are specifically. I just like this graph in their article where they talk about how the maintenance cost is such it’s like a U curve or like a V-curve where the domain size as you increase it well you have less interruptions because you don’t have to go and like turn off

[7:13:42] all the individual units to maintain them. But then there’s a sweet spot where in a specific domain size you have just enough that you can maintain a large amount and like efficiently maintain your units but also the rest of the units are still a good enough amount to have the capacity where if you keep on going to the right you get this higher capacity loss from the domain. So you can see that the maintenance is like already this optimization problem of how much should we turn off and how much should we put online when we’re

[7:14:12] maintaining our systems. And in this case, Meta has their answer and read this article if you want to learn more. Okay, this is the last slide in slide 14. It’s a knowledge check. So what is it saying? Can row C take another 2.5 megawatt under the given uh restraints. So first of all in in normal operations row C does 2.09 megawatt of power consumption and this is done through water cooling and we have 100 kg uh per

[7:14:44] second of mass flow rate to to give us 30 3 to 30° of Celsius input and 35° of Celsius output with a maximum return of 40°C. And now the question is if we increase the workload by 2.5 megawws and we assume that we have enough electrical headroom in terms of like the amperage on the buses as well as cooling headroom in terms of the pressure increase that we must achieve. Can we still maintain

[7:15:14] this maximum return below 40° C? So if you want to use the fundamental heat transfer equation to see whether or not we can uh get this answer, please be my guess. Already the heat capacity is known for water. So we can plug that in here. And also the mass flow rate is also constant. So we don’t need to change that. In fact the only thing changing is delta t. In fact we just add 2 we just put 2.5 megawatt on this side of the equation and see what we get. And

[7:15:46] in fact, it turns out the way that we solved it here is simply by saying, okay, we’re already at 35° C. And if we want to go to 40, how much energy will we need to transfer? And it turns out it’s 2.09 megawatt. So, what you could do here is get up to 4.18 megawws of of compute, which would then turn into heat, but you can’t get into what would be 4.59 megawws in on the right side. So there’s two ways of solving this. Either

[7:16:17] you can go 40 minus 35 or equivalently what I would do is say okay we want to calculate Q. In fact we know Q should be 2.5 megawatt and then we’ll divide this by the specific heat capacity of water and then we’ll divide this by the mass flow rate which is 100. And of course the units here will be wrong but what we can see is that we would have a temperature increase of 5.9° if we fix the the the decimal there. And that would give us what would that give us? That would give us 40.9° C. So it’s

[7:16:48] above our limit. And the last thing here is that what you could do instead is increase the mass flow rate. So if you instead substitute 100 into this equation, you would get 2.5 approximately. So that’s another uh parameter that we can tune is to say the added load needs approximately 100 kg/s of total throw. um if we also want to modify that in order to take another 2.5 megawatt. Okay. All right. So, chapter 15, GPU cloud economics. And the Grim

[7:17:19] Reaper Grim Reaper has made its return. In fact, here the Grim Reaper is going after PC gaming as a hobby as opposed to CPUs, which was the last time. And it’s already taken consumer VRAMm, mid-range availability, and low MSRPs, unfortunately. But we’ll just say too bad for the consumers because we need to make money for the data centers. And let’s talk about GPU cloud e economics. So if we talk about coreview which is one of the biggest hyperscalers 98% of their revenue came from committed

[7:17:49] contracts in 2025. So the real question here is what is sold? Who carries the risk and how is the cluster financed? And that’s what we want to dive right into when it comes into when when it comes to like the profit model for a data center. You have of course on one side selling compute through the model API which is selling tokens tokconomics and then on the left you have GPU hours and cluster commitment where you probably selling to somebody that’s selling to somebody else through their model API. So this would be customers

[7:18:21] running training or inference whereas the right side is the provider operates the model service and the end user is just buying tokens. So these are the two different examples here and you can think of it as you run the inference on the left. So you have your model your application and you have to handle serving scaling updates but you’re still using the core GPU infrastructure. So this was here where you just buy GPU cloud capacity from core and there’s another option where core runs the inference for you. It’s still your model and your application but core does the

[7:18:53] serving the scaling and the updates. So the common denominator the common denominator here is core of GPU infrastructure but the how it’s run is core on the right where they handle it and you on the left where you do. So what are we talking about when we say there are two ways to skin the cat? Um let’s look. So Anthropic for example is a is a core customer and what they do is use core’s compute capacity but self-management in order to run their

[7:19:24] own workloads. So this would be the left side where they’re running running the serving scaling and the updates. Whereas another example of cursor who’s a fireworks customer or at least was until the XAI acquisition acquisition. I’m not sure if they still are. They have a managed inference deal with fireworks which is a um inference compute provider. So what happens is that they have the fast apply model which is like their autocorrect tab model and fireworks runs it and deploys it for cursor on their behalf. So of course in

[7:19:55] the managed inference uh paradigm you have less worries about scaling and serving massive increases in traffic. That’s more of the problem for fireworks to deal with. Whereas in the anthropic case you just have much more flexibility in how you can run your workloads. And also you don’t have to worry about coreweave looking at your model weights or having to do some fancy encryption to ensure that they don’t see what you’re working on in terms of like the actual architecture. So these are the two ways that you sell GPU cloud capacity either

[7:20:26] just the raw capacity which is sometimes called bare metal and then the managed inference which is not bare metal. Okay. So when it comes to renting out compute this market is becoming more and more interesting given the volume and a lot of people are comparing it to just like regular financial markets and there’s three categories which are relevant to discuss here. First of all, there’s ondemand, which is essentially paying for use capacity without having a multi-year term. So, there’s no

[7:20:56] contract. And you can think of it as the enterprise claw code plan or the enterprise um codeex plan is tailored where you pay for your tokens that you use. And so, the more you use, the more you pay, but at the end of the month, you can say goodbye. And this is on demand. So what is worth noting with on demand is it’s almost reliable but it’s still not guaranteed. If you want guaranteed capacity you need to sign a contract but it’s still much more reliable than spot. What is spot? So

[7:21:27] spot as the title suggests suggests is renting spare capacity at the current price where the prices are really determined by market dynamics and can change and also the provider can reclaim the compute without notice or essentially you’re not guaranteed to have this instance for however long you’re willing to pay. Instead it can be taken away from you to uh essentially adapt to some other capacity term which is much more committed. So for example

[7:21:58] to give a customer who has a contract access to the compute. And so with respect to which with with respect to spot what you want to do is run only workloads using redundancy. And what I mean by that is if you’re training a model on a spot instance, you better be checkpointing it, which is to say saving the weight of the model intermittently such that if the instance is reclaimed, you don’t have to restart the training from zero. Instead, you can restart at the latest checkpoint once you get the spot instance back. Okay, so that’s how

[7:22:28] spot works. And it’s usually the most expensive of all of the options here. And then sorry, it’s usually less expensive than on demand. So on demand is more expensive because it’s less guaranteed. And then depending on the committed capacity, it can be more or less than spot. So what committed capacity is is just a res. It’s just a defined term where you pay for like one year of having access to this compute and it’s a contract. So it’s an obligation. Um and that’s pretty much it. So you have a GPU per hour definition on the contract and you pay that much over the over the term of the

[7:22:59] contract. Okay. So when it comes to having a contracted compute deal, a longer contract trades repricing opportunities for committed revenue. And this is from the standpoint of the contractor. So the person that is selling this contract. If they sign a one-year deal, then this means that afterwards at year 2, they can renew or sell to a new customer. And if it’s the case that now compute is even more constrained, this is the most attractive deal because you can sign a one-year

[7:23:29] deal, which is usually more expensive than a 5-year deal, and then renew it. But then the risk is that if compute is now worth less than it was uh that that when you sign the contract, then just like any other contract or like just signing a fixed mortgage, then you’ll have a worse rate. And the same thing applies to three years and fiveyear deals. So, these are like the main deals that you’ll see in terms of compute. And it’s quite interesting because a lot of the deals that are signed as a five-year deal are currently like insane bargains

[7:23:59] because, as you know, the compute environment currently is insanely constrained. And what this means is that if you signed a 5-year deal like last year, the price that you’re paying is much less than the market rate, and you still have that that that uh that pricing power for four more years. So if you have like a hyperscaler or just even like a Frontier Lab that has one of these contracts, they’ll be making a lot of profit off of it for the next 3 four years, but then once they have to resign, they’ll have to pay a nice premium on what they had before as their contract price. Let’s just look at what

[7:24:31] the H100 prices were over the past year. So, what specifically we’re looking at here is the semi-announces public price history of the 25 to 75 percentile uh price range for H100 one-year contracts on a $1 per GPU hour basis with the caveat or with the condition that usually these contracts have a one quarter prepayment and then the rest is paid for uh as time progresses. So, in October of 2025, you had a $1.45 45 to

[7:25:01] $1.95 uh 50% quartile in the middle. This went then to 1.5 to $2 and then in April when you had just the coding agent frenzy going on it went to 2.1 to $2.7. So a compute asset which should depreciate actually doubled in its contract value over how many months like sevenish months from October to April which is just quite quite amazing to see. Okay. And now when it comes to like the

[7:25:31] rental rate that you charge your customers if you’re like a Neocloud or hyper hyperscaler, let’s look at an example where you’re doing a one-year deal on 1,024 GPUs across the fleet. and assuming that you could get a better price by renting less to like a more uncommitted rental rental pool, but with the caveat that you can only guarantee 50% rented, then it would be better to get a $2.5 GPU per hour rate, which is

[7:26:02] pretty cheap, but guaranteed because all hours are paid versus getting $4 per hour and having 50% rented. So in this case, we’re talking $22.43 million versus $17.94 million ARR, annual recurring revenue given these prices on 1,024 GPUs. But we can calculate the break even revenue point, which is simply dividing 2.5 by 4. And it turns out that at 62.5 rented hours, you make just as much as m just as much as the

[7:26:34] full fleet commitment by charging $4. And you still get to keep what? 37.5% of your fleet. And then if you can see 80% as uh rented even though it’s an uncommitted rental pool, then you can make even more money. You can make like 6.3. What is that? You can make $6.27 million more versus what you would get if you had a full fleet commitment at $2.5 per GPU hour if you have an uncommitted rental pool with 80% rented over that year at a $4 per GPU price per

[7:27:06] hour. Of course, this this price would fluctuate over time. We’re assuming that this is the average price that you could get over the entire year. And it’s just a really interesting trade-off between guaranteed money versus a more risky bet. And this is kind of just like what a variable versus fixed mortgage is at the end of the day. Okay. What is worth noting though is that if you if you opt for this option here, that’s what’s called committed revenue because it’s a contract, right? And the benefit of committed revenue is that it can help finance GPUs. And how this works is,

[7:27:37] okay, I’m the GPU cloud. I buy hardware and deliver a service and I get a contract from my customer to pay for that hardware in full for like the next year. And as a lender, it’s much more attractive to finance that hardware if I have the guaranteed contract which acts as like the debt service um to the lender in order to backs stop or to guarantee that this capital the lend lender is lending to is going to be repaid through this customer contract.

[7:28:08] So you can see that the the asset class here is interesting because it’s a GPU and it’s being act it’s being used as like this form of collateral capital and then the capacity contract is acting as a way to help convince these lenders to finance the GPUs. Okay. And all right now let’s talk about Nvidia. So this is a very interesting graph which may many have seen. It’s the whole circular graph of how Nvidia and OpenAI fueled the AI money machine apparently. And this is from Bloomberg

[7:28:39] News and I’ll use this as like a sort of introduction to what is Nvidia doing in this whole environment given that they’re the big bosses and let’s talk about an example that they made a deal with Cororeweave. What did they do? They made a deal to buy Core Weave’s unsold capacity at a $6.3 billion contract value. So, what does this mean? It means that Nvidia sold Coreweee a bunch of GPUs and guaranteed them that if you

[7:29:09] cannot rent these GPUs, we will pay you $2 per hour for the GPUs that you cannot rent. I’m just giving an example here. I don’t know what actually the the term is that they had agreed upon where the Nvidia would buy the unsold remainder. In any case, they agreed on a price and what you should know is that this price is below the market rate. And what this means is that Corore has the incentive to find customers to rent the capacity because actually the Nvidia uh price that they agreed upon is really just

[7:29:40] like break even or maybe even slightly below break even. I’m not entirely sure. So this actually gives a commitment of capacity for up to April 2032 that Corey can use when it goes to its lenders and says, “Hey, look, this $6.3 billion cluster that I have, it’s actually committed until 6 years from now. So you should give me a loan so that I can buy this and make this GPU cluster.” And so this is kind of how it works where

[7:30:10] Nvidia is trusting that there will be enough demand for compute such that coreweave will never have to sell it back to Nvidia which is probably not a good thing for Nvidia and that coreweave can use this financing uh this backs stop as they call it in order to get financing from other lenders. And if we just like look at this in terms of uh a timeline, what happens is that a six-year backs stop supports shorter customer rentals too. So what it means is that instead of coreweave being

[7:30:42] forced to like sign a 5-year deal, which probably wouldn’t be the best interest for them because of the the price locking that they have to do. They can instead do like for example three two-year contracts and every single time have the assurance that if there is like some buffer where they don’t have any uh person to rent their compute to, they can still take advantage of this six-year capacity commitment from Nvidia, but in reality what they want to do is either renew their contract or replace it with an even more lucrative

[7:31:13] one depending on the market conditions. And so to summarize this contracted fallback revenue is what is allowing them to search this financing for the cluster. Then if we look at Nvidia’s perspective they earn a share of the upside and take some risk. So how so how does it work for Nvidia? When the customer rents the GPU from coreweave it’s not just coreweave making all of the money. In fact they get some revenue but Nvidia receives an agreed upon share of the money that they get in excess of some margin. So that’s where the Nvidia

[7:31:45] that’s where the incentive is coming in for Nvidia. But once again, if the capacity goes unsold, then Nvidia buys that capacity and they may or may not be able to use it or resell it. It’s kind of like hard to think about that in today’s market where like you say, man, if I had some extra capacity, I could do so many things with that. But this is still a risk, right? You have like some fringe possibility that maybe there is like just a lot of extra compute. Actually, not even a fringe. Maybe this is actually a very real possibility that in the future there’s a lot of excess comput on the market and that therefore

[7:32:17] um this is a risk at the end of the day for Nvidia and in fact as of July 2026 the Nvidia AI cloud commitments in terms of back stops according to semi analysis were $36 billion that’s a lot of money but also Nvidia is worth like $5 something trillion they have a massive balance sheet so if you compare this to companies like Oracle it’s actually relatively conservative in any case you do have this sort of backs shop circular financing that some people are criticizing that Nvidia is also participating in and this is a specific example that they did with Cororeweave.

[7:32:47] Okay, so we’re talking about like the Neoclouds how they reason about selling their compute at like a certain cost per hour and let’s not forget that electricity is also a cost that they have to pay on a GPU per hour basis. So what’s what’s this example here? Let’s say that over 100 hours you are able to rent your GPU at 80%. So essentially 80 of the 100 hours it was rented and it ran at 1 kow. So that was 80 kowatt hours of energy that

[7:33:18] you had to pay for and that for the other 20 hours it was not rented out. But luckily you can idle the GPUs when they’re not rented out to any customers. So the energy usage is much less. And what we can read here from this chart is that for 80 build hours, the Neocloud, the hypothetical Neocloud had to pay for 84 kwatt hours of energy. And so the the price here is 1.05 kW per build GPU hour. And if we consider the following prices of $80 per megawatt hour, that

[7:33:50] would mean the following price of 0.084 per build GPU hour. But if we double the price, we get now 16 cents uh or 16.8 cents per uh hour of build GPU time. So these numbers are obviously much smaller than the numbers that we see in terms of the rents. So those are in the dollars whereas these are in the cents. Of course, let’s not be naive and think that the only cost for running a GPU is the electricity. The the GPU itself is

[7:34:21] the biggest cost. It costs a lot of money to get these GPUs because of Nvidia’s 75% profit margins. So, this is only one cost. Of course, Neocloud up to now have been making positive profit margins from everything that I’ve seen. But it is worth worth remembering that if we consider this future where there could be an excess of supply of compute, then this would become a very important calculus for these new clouds in determining whether or not they’ll be profitable. And when it comes to who pays when electricity prices rise, so

[7:34:54] this graph right here, well, there’s two ways you can run this. First of all, you can have a fixed all-in price where the provider absorbs both the increase and the decrease, which is to say like, well, if I’m Cororeweave and I’m selling compute to Anthropic and let’s say that the electricity price drops drastically or I can find a more reliable and renewable energy source which is cheaper, then now I’m making a bigger profit margin. And then conversely, if there is the war going on and oil prices

[7:35:24] are going crazy, then now I have to absorb the increase in price. So that’s one way you can do it. And this is essentially hiding the risk behind the provider. And then the second way that you can structure this contract is to say that it will be an electricity pass through which is to say the customer pays the increase or there’s some agreed upon scaling so that with the increase in electricity there is some percentage increase in the build GPU per hour cost. So these are just two ways that you can structure the electricity pricing and when we talk about uh Abene itself the

[7:35:57] plant like you might have heard of Cruso oracle OpenAI in terms of how this is actually like being financed like who builds and operates Abalene. Well the actual structure here is Cruso builds this builds builds the facility and then Oracle is the hyperscaler that operates it with their Oracle cloud infrastructure. I believe that’s what OCI stands for. And then OpenAI runs the AI workloads on that facility. So, it’s kind of funny how you have this three-way deal. It would it would it

[7:36:30] would it would be sensical for Caruso just to directly sell to OpenAI, but given the way these deals are structured and uh Oracle’s interesting tactic to um have this massive compute obligation to OpenAI, this is the exact operation that’s going on at Abalene. And so one question that is coming up a lot in data center land is people who talk about half of the US data center supply being cancelled or half of the US data center supply being uh delayed. And so before

[7:37:02] we move on to the 16th and final chapter, let’s look at the case study for Abene of what’s actually going on. So this is actually f is making reference to a semi-analysis article from June of this year where they actually go into the statistics of what percentage of data centers are being delayed. So please read this if you’re interested. But getting to the short of it for Abene specifically, let’s talk about the plan versus the reported delivery. So on this column we talk about the announced target and then now on the right column we talk about the

[7:37:33] later report which is cool because these numbers were announced in 2025 and now after a year we can see what has actually been accomplished. So the first two buildings is was announced to be energized in the first half of 2025 and they were energized within a year of June 2024. So the precise date was somewhere in September 2025. So it’s not in the first half of 2025, but it still was in 2025. And then those are the first two buildings. Now when it comes to the six other ones, the construction

[7:38:04] was announced to be complete mid 2026. And as of September, only 75% of total campus capacity was delivered and the remainder is supposed to be in later quarters. So here they kind of missed the mark as they projected the construction to be done by mid 2026. I guess we’re still technically in mid2026. I don’t know how that’s defined, but um I guess now the goal would just to be to get it online before the end of the year. So there you go. We had a quick little overview of GPU cloud economist economics together. And now

[7:38:35] let’s head into the finale, which is putting an AI factory together. So how do we put an AI factory as it’s now called together? Well, as the title says, you start with the hardware, then size the facility because it’s the hardware that is king. So what you do is you work backward from processor demand through conversion losses other rack loads and facility sports. If you remember the earlier example, we had a 72 kW processor that required that much power at the rails. Then we had to add 12 kW of other rack loads and we finally

[7:39:07] ended up with 90.26 kW of power required at the DC bus and 93.05 kW of power at the AC bus due to the other conversion efficiencies. And so these are just examples. It’s not actually what’s happening in the Abene data center for example. But that exercise that we did of course only looked at a specific rack only up to the AC transmission to the bus. Whereas if you’re actually developing an entire data center well you need to look at the rack distribution backup and then the

[7:39:38] medium voltage distribution as well. You need to determine for the heating what are the cold plates and heating uh requirements for the remaining air heat. Are you going to use a rear door heat exchanger? Are you going to use a C A computer room air handler? The world is your oyster really with data centers. It’s like a massive mix and match. And then also how are you going to connect the GPU fabric so they can communicate. As we mentioned in that previous example, you do not want a data center which is optimized for inference running

[7:40:08] pre-training workloads because pre-training workloads require a lot of cross rack and crosscluster communication as opposed to inference which is usually scaled in a single scale up domain. So in the NVL72 rack, you can already run a pretty healthy amount of inference and serve a lot of customers with the high interactivity. In any case, we can think of the calculus for AI factory as taking into consideration power, heat, data. And now when it comes to planning the data

[7:40:39] center, there’s also the considerations of how are we going to get the power to the chips as fast as possible. One thing we discussed in the previous chapter was Abalene’s gas plant having a role before and after grid expansion where the gas plant’s role was bridge power at the start and I think that’s still the case. I’m not sure what the status is. could have already moved into long-term backup. But anyways, at the beginning it was 350 megawatts of on-site jet gas generation as this sort of gas plant bridge supply and then afterwards long-term the plan is for it to become

[7:41:11] the standby gas plant and that the grid which is the energy reliability council of Texas. So that’s what supplies energy in Texas that it now takes the uh responsibility for powering the data halls and the cooling. So you can see this is one of the main methods that we will be scaling up power in the near-term future because connecting to the grid is very hard with these massive interconnect cues. Essentially the waiting time required to get access from the grid in many states in particular

[7:41:42] Texas is going to be many many years in most circumstances with these data centers. So the best incentive here is to get on-site gas generation ASAP. And then once you have the on-site gas generation or whatever is powering the data center, we need to ask the question for Abene. How would the campus reject this heat? Here are three different options. What did they pick? Well, in Abene, they did aircooled chillers, which uses refrigeration without having any evaporative heat rejection. Because in Texas, given a lot of Texas is a

[7:42:14] desert, water is a scarce commodity. So having a aircooled chiller is a good option for avoiding water shortages. And in fact, it’s interesting to see what Cruso said regarding their use of water. So they said choosing to bear the extra cost in the interest of responsible water management was one of their reasons why they chose this technology aircooled chillers over for example a water cooled chiller. But you know what I think? I think they choose air cooled chillers because if they use a water cooled chiller then they realized they

[7:42:44] would get a massive public backlash and also it may have even been more economically reasonable to use these air cooled chillers that consume much more electricity. Why do I think that? It’s because if you consider a future world where there’s many many data centers then if they all compete for water then water will be a scarce commodity and whereas water is relatively finite um energy if you are smart enough and are

[7:43:14] relatively um ambitious can be obtained in many many ways. For example, the sun is almost an infinite source of energy from the perspective of the earth. Um, with that being said, it’s probably better to hedge your bets on paying only electricity as opposed to needing both water and electricity to cool your GPUs in the future. So, I think this is actually example of greenwashing. Let me know if you guys have a different opinion in the comments. But any case, I really liked this comment in particular when I read the Crusoe uh data center report because I think that it is only a

[7:43:45] halftruth. Okay. Now, what did they do in Abene otherwise to get the compute online fast? Well, Cruso built electrical equipment while the campus was being built on site in their factories. In fact, the assembly floor is in Tulsa, Oklahoma. And they just opened a new assembly hall this month. And in fact, [snorts] the uh report for this for the second Tulsa manufacturing facility was only published a few days ago on September 14th. This may have

[7:44:16] been a long time ago depending on when you’re watching this today. In any case, the factory has made already more than 200 switchboards that were directly supplied to Abolene in order to expedite construction and remove supply chain dependencies on other companies that Abene would otherwise have to wait for. And so here you can see, I guess this is a rendering of the factory floor that’s just been opened in Tulsa, Oklahoma by Crusoe. So I really want to highlight this. You’re seeing a lot of these AI data center companies becoming verticalized to a great extent. Whereas

[7:44:48] previously a data center company was more of just a orchestrator saying okay I’m going to get this from Seammens. I’m going to get this from ABB. I’m going to get this from Schneider Electric. Now they are trying to verticalize and own the stack so that they can control the lead times which is essentially to say the amount of time they have to wait for getting their equipment. Okay. And when it comes to the deal hierarchy, once again when we talk about Cruso, Oracle and OpenAI, the hierarchy is such that Cruso builds and operates the campus.

[7:45:18] Oracle provides the GPU compute capacity for the cloud infrastructure and OpenAI trains and runs the models for their AI workloads. We also should remind ourselves that it’s not just Cruso that’s funding this. They have other partners such as Blue Owl Funds and Primary Digital Infrastructure which are essentially financing the data center in behalf or rather alongside Cruso such that Crusoe reduces its own liability and then this long-term rent supports the returns of all these companies but all of this is with the condition that

[7:45:51] the open AI bill is being paid continuously and if we consider a future regime where compute is in much larger surplus plus then this whole structure may not be feasible or economical. All right. Then with respect to the premium price that’s paid for getting compute fast, this happened in the case of Abene, which is to say that it ran its first workloads while a campus kept growing. So the first phade that was completed in 2025 was able to support

[7:46:23] OpenAI workloads once it was completed. So we’re talking a year ago in September 2025. And this meant that the power, the cooling, and the network were all under operational conditions while the next halls were still being built. And so what we need to do in the meantime is both connect these interfaces because eventually open AAI will probably want to have some cross data center communication for their large pre-training runs and then also we need to keep the live phase operating while the next hall is being built and while this power cooling and network is not

[7:46:54] yet online and this means having a lot of orchestration and careful planning to contingency planning as I mentioned to ensure that there is no hiccups along the road. Okay, so through this course we start at the rack. We determine the workload from the actual compute itself, which is to say what is the power, the cooling and the networking required. Across a hall, these conditions become distribution and cooling systems serving rows of machines. And across the campus,

[7:47:25] they require substations, outdoor cooling, generation, land, and financing. So interestingly a hardware choice becomes becomes a facility design and this is why personally I find data centers so compelling is that depending on the chip that you choose to put in this tiny rack that will then go in this tray that will then go in this uh data hall you can have a completely different end design. So that was the from watts to tokens course. We started with electricity at the site boundary and you

[7:47:56] can now follow it all the way to computation and follow the heat back out. That is the physical system behind every token. Thank you so much for watching.