Infraestrutura e hardware de IA

Ver no idioma original →

Infraestrutura e hardware de IA abrangem os chips e computadores que executam modelos, os sistemas de inference e armazenamento, e os data centers que fornecem energia, refrigeração e capacidade computacional em escala. Os vídeos mostram que o desempenho depende não só do hardware, mas também do software, da operação e das condições de segurança, custo e disponibilidade necessárias para levar cargas de trabalho à produção. ↗ ↗ ↗

Chips, computadores e execução local

A NVIDIA apresentou a arquitetura Vera Rubin, o Vera Rubin DSX pod — infraestrutura de IA pré-montada — e o RTX Spark, voltado à execução local de agents. Essas iniciativas integram um ecossistema que também contempla robôs e fábricas de IA. ↗ A RTX PRO 5500 Blackwell Workstation Edition, por sua vez, foi descrita com 84 GB de memória GDDR7 com ECC, suporte a FP4 e Multi-Instance GPU (MIG); o desempenho real, porém, depende do modelo, do software e da configuração. ↗

A execução local também aparece em computadores pessoais e dispositivos de baixo custo. O Snapdragon X2 Elite foi apresentado com uma NPU de até 85 TOPS e suporte, segundo a Qualcomm, a modelos de até 30 bilhões de parâmetros. ↗ Testes em um Raspberry Pi 5 com 8 GB de RAM consideraram utilizáveis para as tarefas avaliadas três dos oito modelos testados. ↗ Já o Strata foi demonstrado executando modelos de 125 bilhões de parâmetros ao distribuir o trabalho entre GPU, RAM, processador e SSD, embora a experiência dependa do hardware e possa exigir grande parte dos recursos da máquina. ↗ ↗

Outros testes ilustram os compromissos da execução local. Em um laptop com RTX 4060 de 8 GB, executar simultaneamente um modelo de texto e outro de síntese de fala causou pausas nas seis execuções avaliadas; alternar os modelos eliminou as pausas, mas elevou o tempo de geração de texto de cerca de 10 para 46 segundos. ↗ Em um Mac Studio com 96 GB de RAM, um modelo local consumiu quase toda a memória disponível, enquanto testes em um Mac Mini de 32 GB mostraram vantagens de privacidade e controle, mas desempenho inferior ao de modelos de ponta na nuvem. ↗ ↗ Um tutorial também demonstrou uma máquina virtual gratuita com duas CPUs, 12 GB de memória e 150 GB de armazenamento executando Ollama e Llama 3.1 8B, embora recomende manter a máquina em uso e criar um backup para reduzir o risco de perdê-la. ↗

A execução em dispositivos ainda menores exige adaptações. Um projeto de speech-to-text chamado Whistle foi executado offline em uma placa ESP32-S3 de baixo custo após o autor remover camadas do decoder para caber no armazenamento disponível; os testes com vozes sintéticas chegaram a cerca de 78% de acerto em comandos de cores em inglês, com resposta em torno de 10 segundos. ↗ Outra proposta, o Air LLM, sugere transmitir pesos de um modelo por uma torre de celular e realizar cálculos nos sinais de rádio, sem armazenar o modelo no dispositivo. Em simulações com Llama 3.1 de 8 bilhões de parâmetros, a precisão caiu cerca de 4% e o consumo de energia por token foi cerca de 158 vezes menor que ao transmitir pesos FP16 convencionais; a proposta ainda não foi testada em celulares e torres reais. ↗

Quantização e compactação podem reduzir os requisitos de memória. A Tencent apresentou uma quantização que representa grupos de quatro pesos com cinco bits e reduziu, segundo o vídeo, um modelo de 770 bilhões de parâmetros de cerca de 1,5 TB para 214 GB. ↗ Outra abordagem testada manteve pesos de um modelo MoE de 35 bilhões de parâmetros no SSD, buscando especialistas antes de serem necessários; os resultados variaram conforme o computador e o método de comparação. ↗

A expansão dos chips também envolve decisões sobre capacidades futuras e oferta. Segundo um vídeo, a AMD pagou US$ 8,2 bilhões pela startup World Labs, e Fei-Fei Li deverá assumir como cientista-chefe da empresa; o produto Marble, da startup, transforma uma foto em um ambiente 3D explorável, apresentado como útil para treinar robôs. O vídeo afirma que o negócio deveria ser concluído até o fim do ano. ↗ Jensen Huang, por sua vez, defendeu a participação de Taiwan e de seu ecossistema na construção e venda de computação em escala de trilhões de dólares, e destacou a origem da NVIDIA no mercado de games. ↗

Data centers, energia e capacidade computacional

Data centers de IA dependem de uma cadeia de sistemas que leva eletricidade da rede às GPUs e remove o calor gerado pelos chips. Racks, redes, refrigeração e sistemas de backup precisam ser dimensionados de acordo com as cargas de treinamento e inference, que impõem necessidades diferentes de energia, memória e conectividade. ↗ A expansão esbarra, entre outros fatores, na disponibilidade de energia, terrenos, instalações e capital. ↗ ↗

A energia disponível também influencia o acesso à computação. Larry Fink, da BlackRock, apontou falta de energia barata, chips e memória como fatores que tornam cara a expansão da IA e favorecem empresas grandes; em sua avaliação, atrasos sociais e regulatórios também podem dificultar a distribuição mais ampla da tecnologia. ↗ No Brasil, o consumo médio de energia elétrica das residências em agosto chegou ao maior nível do século XXI e se aproximou do recorde de dezembro de 1998. Especialistas citados atribuíram o aumento recente a fatores como ondas de calor, home office, aluguéis por plataformas e carros elétricos, apesar da adoção de equipamentos mais eficientes.

Empresas de tecnologia têm buscado contratos de energia de longo prazo. O Google fechou um acordo de 20 anos para comprar energia nuclear da Constellation Energy, que envolve nova capacidade de geração a ser repassada à PJM; o vídeo observa que projetos nucleares menores ainda não fornecem energia à rede. ↗ Também foram discutidos projetos de data centers espaciais: o Project SunCatchers testa a resistência de chips à vibração, aceleração e radiação, e observou erros, incluindo corrupção silenciosa de dados, em ensaios com prótons. ↗ O Google também demonstrou um enlace a laser bidirecional de 800 gigabits por segundo entre telescópios como parte da pesquisa sobre comunicações para satélites. ↗

A construção e o financiamento dessas instalações enfrentam riscos de atraso, custo e oposição local. O Project Jupiter, da Oracle, é descrito como um grande campus em construção no Novo México, sujeito a questões regulatórias e preocupações com água e emissões. ↗ Em outras regiões dos Estados Unidos, a resistência a novos data centers está ligada a custos de energia, impactos ambientais e efeitos sobre comunidades; mais de 300 localidades teriam imposto moratórias. Os vídeos também relatam dúvidas de investidores sobre dívida, rentabilidade e capacidade de captar capital para a expansão. ↗ ↗

A demanda por capacidade computacional e as condições para financiá-la são temas recorrentes nos mercados. Jonathan Gray, da Blackstone, afirmou que a demanda por capacidade de IA ainda supera a oferta e destacou investimentos em data centers, energia e outras infraestruturas na Índia. ↗ Ao mesmo tempo, análises de mercado registraram dúvidas sobre os retornos dos gastos em IA, seus custos de financiamento e a existência de demanda além das próprias empresas que investem no setor. ↗ ↗ ↗ A queda de ações de semicondutores foi associada a essas preocupações, embora um analista tenha avaliado que havia capital suficiente para sustentar projetos no curto prazo e que aprovação de data centers e obtenção de equipamentos eram entraves mais imediatos. ↗ A Samsung registrou lucro trimestral recorde impulsionado pela demanda por chips ligada à IA, mas abaixo das estimativas, reacendendo questões sobre a sustentabilidade do ciclo e a capacidade de ampliar a participação em memória HBM. ↗

As restrições de oferta também aparecem em avaliações de empresas de infraestrutura. A Firmus, empresa australiana de data centers apoiada pela Nvidia, adiou um IPO que poderia avaliá-la em mais de US$ 30 bilhões; o vídeo cita preocupações de investidores sobre preço, escala atual, eficiência energética alegada e possíveis vendas de ações após a listagem. ↗ Em contraste, a Nvidia se aproximou de uma capitalização de mercado de US$ 6 trilhões, com investidores apostando que a empresa conseguirá ampliar a produção apesar das restrições de oferta. ↗

Inference, software e eficiência operacional

GPUs iguais podem produzir quantidades diferentes de trabalho útil: o custo relevante pode ser o custo total por tarefa concluída com qualidade aceitável, não apenas o preço por hora de GPU. Segurança, confiabilidade e manutenção também fazem parte da capacidade operacional. ↗ Em produção, o desempenho de inference pode ser ajustado com quantização, gerenciamento de KV cache, speculative decoding e separação de prefill e decode. ↗ ↗ ↗

O speculative decoding usa um modelo menor para propor tokens, que são então verificados pelo modelo principal. Pode ajudar em tarefas previsíveis, mas consome VRAM adicional, não acelera a leitura de prompts longos e seu benefício depende da carga de trabalho, da concorrência e do modelo draft. ↗ Para agents, a latência da tarefa completa pode ser mais importante que a velocidade de uma chamada isolada ao LLM, pois o agent alterna entre o modelo e ferramentas e acumula contexto. Prefix caching, gerenciamento de KV cache e roteamento consciente de cache são algumas das otimizações apresentadas. ↗

Cache em memória é outra camada possível entre aplicações e bancos de dados. O Memorystore for Valkey, serviço gerenciado compatível como substituto direto para workloads de Redis OSS, foi apresentado com acesso a dados em menos de um milissegundo, escalabilidade e alta disponibilidade. A versão 9.0 oferece, segundo o vídeo, até três vezes mais QPS que o Memorystore for Redis Cluster e inclui Vector Search para usos como cache semântico e memória dinâmica de prompt para LLMs e agents. O serviço também gerencia failover, segurança, escalabilidade e migração online. ↗

A comparação entre configurações também exige medições. O BenchPod, da RunPod, foi apresentado como uma ferramenta para testar vLLM em diferentes níveis de concorrência, observando métricas como tempo até o primeiro token e latência entre tokens. ↗ A Akamai recomenda medir latência, throughput e qualidade com evals, e ajustar concorrência e capacidade conforme a carga. ↗ Uma ferramenta da RunPod chamada Flash foi demonstrada como forma de desenvolver e publicar aplicações em GPUs sem configurar Docker, testar alterações rapidamente e chamar funções hospedadas em endpoints diferentes. ↗ A digitalização de tarefas também pode usar destilação: a Capture relatou transferir desempenho de modelos de visão grandes para modelos menores, capazes de rodar em celulares, para verificar entregas no momento em que as fotos são capturadas. ↗

Além de otimizar o serving, pilhas portáveis podem oferecer suporte a diferentes hardwares: a Modular apresentou uma combinação de Mojo, MAX e Modular Cloud, enquanto projetos como DeepGEMM Ascend e TileLang buscam ampliar o suporte a chips Ascend; a adoção e a maturidade do ecossistema continuam sendo desafios. ↗ ↗ A disponibilização de inference serverless também foi apresentada como alternativa a comprar e manter GPUs: um catálogo da DigitalOcean permite comparar modelos open source e executar inference sem servidor próprio. ↗

O armazenamento e a leitura de documentos também podem afetar o custo de sistemas de IA. O DeepSeek OCR transforma documentos em imagens e os comprime em tokens visuais; segundo o vídeo, uma compressão de 10× permitiu recuperar mais de 96% do texto, enquanto, perto de 20×, a precisão do OCR caiu para 60%. O vídeo ressalta que o modelo pode completar textos com base em padrões de linguagem, em vez de recuperar integralmente o conteúdo visual. ↗ Um teste independente do parser OXR encontrou bons resultados em alguns documentos, tabelas e fórmulas, mas falhas em um recibo fotografado e uma saída repetitiva; os testes foram limitados e a licença tem restrições comerciais e de uso como serviço online. ↗

Modelos grandes também exigem infraestrutura de treinamento. A Microsoft apresentou o MAI-Base-2, um modelo base Mixture of Experts com 2,8 trilhões de parâmetros totais, treinado em 16 mil GPUs durante 38 dias. Segundo a empresa, o modelo superou os modelos open weight avaliados em testes de código, perguntas e respostas, matemática e STEM, e a Microsoft planeja licenciar os pesos a parceiros confiáveis pelo Foundry, sem disponibilizá-los para download. ↗ Em palestras sobre modelos open weight, representantes da Together AI e da MiniMax destacaram como precisão, cache, concorrência e otimizações de inference afetam custo e desempenho; a apresentação também descreveu score centering como técnica proposta para estabilizar o reinforcement learning. ↗

Segurança, privacidade e resiliência

A computação confidencial é apresentada como uma forma de executar modelos com pesos criptografados em ambientes protegidos, sem exigir que dados confidenciais sejam copiados para fora do data center. A proposta da VAST Data é atender, entre outros, setores regulados e ambientes isolados. ↗ ↗ Um sandbox como o OpenShell pode aplicar políticas a arquivos, processos e conexões de rede, além de controlar a injeção de credenciais em solicitações autorizadas. ↗

Isolamento e atualização do software também afetam a segurança da infraestrutura. Uma vulnerabilidade no código de rede do Linux permitia que uma máquina virtual escapasse do isolamento e obtivesse acesso root no host; a correção precisa ser instalada no host, não apenas nas máquinas convidadas. ↗ Em GPUs compartilhadas, pesquisadores demonstraram ataques de canal lateral que inferem características de modelos medindo tempos de execução, mesmo sem acessar prompts ou dados. ↗

A gestão de agentes em ambientes regulados requer controles operacionais além da capacidade de inference. O Lloyds Banking Group apresentou o Envoy, uma plataforma gerenciada baseada no Gemini Enterprise para levar casos de uso com agents à produção, com marketplace de agentes reutilizáveis, guardrails, uma Golden Path e pipeline de CI/CD. O banco destacou privacidade e segurança de dados. ↗ Um vídeo sobre o OpenClaw 2.0 também mostrou permissões, análise de segurança de skills e plugins e execução de tarefas em paralelo; a apresentadora recomendou uma VPS para manter o serviço disponível para colaboração. ↗

A resiliência exige distinguir disponibilidade de backup. Depois de danos a data centers no Bahrein e nos Emirados Árabes Unidos, alguns dados não puderam ser restaurados; clientes que se recuperaram tinham backups em outra região. O vídeo ressalta que Multi-AZ ajuda a manter serviços disponíveis diante de certas falhas, mas não substitui backups fora da região afetada. ↗

Práticas de SRE ajudam a projetar e operar sistemas resilientes: entre os tópicos apresentados estão Linux, redes, observabilidade, resposta a incidentes, troubleshooting, SLIs, SLOs, SLAs e error budgets. A abordagem enfatiza detectar falhas rapidamente, falhar com segurança e recuperar-se com eficiência, em vez de presumir que todas as falhas podem ser evitadas. ↗ A história da Voyager 1 ilustra a manutenção de sistemas remotos: após a falha de um chip corromper cerca de 3% da memória, engenheiros dividiram o código afetado entre espaços livres menores e atualizaram manualmente suas referências; os dados voltaram a ser legíveis depois do envio da correção em binário. ↗

Infraestrutura e hardware de IA

Chips, computadores e execução local

Data centers, energia e capacidade computacional

Inference, software e eficiência operacional

Segurança, privacidade e resiliência

Vídeos neste tópico