Mesma GPU, 50% mais produção: por que o operador importa — Oliver Kennon, SemiAnalysis

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Same GPU, 50% More Output: Why the Operator Matters — Oliver Kennon, SemiAnalysis · Canal: AI Engineer · 17:13 · Assistir no YouTube

Tópicos: Cibersegurança e segurança de software, Inferência e otimização de modelos, Infraestrutura e hardware de IA, Mercados e economia

Resumo

Oliver Kennon explica que GPUs iguais podem produzir quantidades diferentes de trabalho útil, dependendo do software e da capacidade operacional de quem as administra. Por isso, o custo relevante não é apenas o preço por hora de GPU, mas o custo total por tarefa concluída com qualidade aceitável. A capacidade operacional também envolve segurança, confiabilidade e manutenção contínua, e deve ser avaliada em relação ao que os concorrentes conseguem oferecer. O palestrante conecta essa avaliação à definição de serviços comparáveis e à criação de um mercado confiável de contratos futuros de computação.

Pontos-chave

O hardware oferece potencial, mas a capacidade operacional determina quanto trabalho útil ele entrega.
Preço por token é uma aproximação prática; a métrica ideal é o custo por tarefa concluída com a qualidade exigida.
No exemplo apresentado, a mesma GPU B200 pode produzir cerca de 50% mais tokens de saída com uma configuração de serving diferente.
Segurança, confiabilidade e resposta a falhas fazem parte da utilidade de um serviço de computação.
O custo total por trabalho útil inclui aluguel ou investimento em equipamento, além de software, equipe e outros serviços.
Uma melhoria operacional só representa vantagem competitiva quando é comparada ao progresso dos concorrentes.
Serviços de computação precisam de grades claras para que compradores saibam quais ofertas são comparáveis.
Avaliar o operador contribui para um mercado de contratos futuros de computação, mas não basta, por si só, para garantir hedges eficazes.

Capítulos

Início	Capítulo	Resumo
00:01	Capacidade operacional e custo da computação	Kennon apresenta o mercado de computação como um mercado de commodities e defende medir o custo pelo trabalho útil entregue, não apenas por hora de GPU.
04:43	Qualidade, segurança e avaliação do operador	O palestrante explica que um serviço útil precisa atender a requisitos de qualidade, rapidez, disponibilidade e segurança, e descreve a avaliação ClusterMax.
08:57	Custo por trabalho útil e vantagem competitiva	A palestra aborda como dividir todos os gastos pelo trabalho utilizável produzido e por que a posição de custo depende também dos concorrentes.
12:35	Grades de serviço e referências de preço	Kennon discute como descrever serviços comparáveis de computação e distingue preços de aluguel, custos de produção e inteligência entregue.
15:40	Conclusão: o operador transforma computação em valor	A conclusão retoma que a capacidade operacional influencia os gastos e a quantidade de trabalho útil, e que a comparação com concorrentes deve ser contínua.

Citações

A capacidade operacional determina quanto trabalho útil você realmente consegue entregar. — 00:32

Mesmo chip, mesma interatividade desejada, cerca de 50% mais produção. — 04:12

Você precisa conquistar essa vantagem todos os dias. — 09:28

Você pode melhorar e ainda ficar para trás se seus concorrentes melhorarem mais rápido. — 16:10

Uma GPU fica limitada à capacidade do operador. — 16:41

Conceitos e entidades

Oliver Kennon (pessoa): Analista de pesquisa da SemiAnalysis que apresenta a relação entre capacidade operacional e custo da computação.
SemiAnalysis (empresa): Empresa de pesquisa mencionada como responsável pelo InferenceX e pela avaliação ClusterMax.
InferenceX (ferramenta): Calculadora pública da SemiAnalysis usada para comparar estimativas de serving de GPUs.
ClusterMax (ferramenta): Avaliação da SemiAnalysis sobre capacidade operacional em clusters de GPU gerenciados.
B200 (modelo): GPU usada no exemplo de comparação de desempenho apresentado na palestra.
cost curve (conceito): Representação que organiza produtores pelo custo de entregar uma quantidade comparável de trabalho útil.
compute futures (conceito): Contratos futuros ligados ao preço de referência da computação, que podem ajudar a administrar o risco de variação dos preços de aluguel.
operator (conceito): Responsável por escolher e implementar o software e manter o sistema funcionando para transformar GPUs em respostas utilizáveis.

Tradução completa (pt-BR)

00:01 [música] >> Obrigado a todos por terem reservado um tempo para estar aqui hoje. Meu nome é Oliver Cannon. Sou analista de pesquisa na SemiAnalysis. O tempo e a atenção são as coisas mais valiosas que qualquer um de nós tem. A menos, é claro, que você seja um investidor em estágio inicial na OpenAI ou na Anthropic. Dito isso, vamos começar. Nem todas as GPUs são implantadas da mesma maneira. Uma

00:32 GPU cai ao nível do operador. Comprar hardware dá a você potencial. A capacidade de operação é o que determina quanto trabalho útil você realmente consegue entregar. Isso nos leva à pergunta que vou tentar responder com todos vocês hoje: quem consegue produzir a inteligência de que você precisa pelo menor custo? O custo importa. Nesta apresentação, quero mostrar por que e como a capacidade de operação muda esse custo e por que isso importa no mercado de commodities que é o processamento computacional.

01:05 O que importa em um mercado de commodities? Muitos investidores de tecnologia ou tecnólogos talvez não conheçam essa estrutura. Então, uma breve introdução. Em um mercado de commodities, os produtores competem para entregar resultados comparáveis. Um custo de produção menor dá mais margem para competir quando os preços caem. É isso que uma curva de custos mostra: produtores alinhados de acordo com quanto gastam para entregar a mesma quantidade de trabalho utilizável. Se dois produtores recebem o mesmo preço, aquele que gasta menos para entregar o trabalho fica com uma parcela maior. Bem

01:36 simples, certo? Para nós, inteligência é o resultado econômico que importa. No fim das contas, nossa métrica norteadora será o preço por tarefa concluída com sucesso, no nível de qualidade exigido. Infelizmente, ainda não chegamos lá. É muito difícil padronizar isso. Hoje, o preço por token é uma aproximação prática útil, especialmente para cargas de trabalho e requisitos de qualidade comparáveis, e nos aproxima mais do resultado entregue. Bem mais do que o frequentemente citado

02:07 preço em dólares por hora de GPU que todos vocês, engravatados das finanças, já devem ter ouvido falar. Ou, como nós o vemos, um custo. Vemos as horas de GPU como uma medida de insumo, não de resultado: a distinção entre custo e preço. Os preços cobrados dos clientes são diferentes do custo que o produtor tem para realizar o trabalho. As horas de GPU são o insumo; a inteligência é o resultado. Neste slide, podemos visualizar os insumos necessários para criar

02:38 inteligência útil. Começamos com hardware e eletricidade — GPUs, no caso desta apresentação. O software e as operações podem ser vistos como um multiplicador desses dois primeiros insumos, e o produto final é a inteligência útil. O operador é quem escolhe e implementa o software que atende o modelo e mantém as solicitações fluindo pelo sistema. As máquinas podem estar disponíveis, mas ainda é preciso alguém para fazê-las entregar respostas que os clientes realmente possam usar.

03:10 O que importa é quanto trabalho útil você obtém e se ele atende aos seus requisitos para a tarefa especificada. A conversão pode variar mesmo com o mesmo tipo de chip. Vamos ver isso em um exemplo medido. Aqui está um exemplo concreto da nossa calculadora pública InferenceX, da InferenceX. Vocês podem conferir em semi-analysis.com. As duas estimativas usam GPUs B200 atendendo o mesmo modelo, com cerca de 8.000 tokens de entrada e 1.000 tokens de saída, uma proporção bastante comum.

03:42 A meta de P50 é de 100 tokens de saída por segundo para cada usuário. A pilha de atendimento é o software que processa as respostas do modelo. No cenário de P90, uma dessas pilhas gera cerca de 200 tokens de saída por segundo, enquanto a outra gera cerca de 300. É uma diferença grande, que depende do software, das configurações e do número de solicitações em execução. Todas são escolhas feitas pelo operador. Mesmo chip,

04:12 mesma meta de interatividade, cerca de 50% mais resultado. É bastante coisa. Então, o que isso significa para a conta do comprador? Quanto essa inteligência realmente custa ao cliente? Neste exemplo, vamos supor que a cobrança por hora seja a mesma nas duas implantações e que ambas atendam aos seus requisitos. Com aproximadamente uma vez e meia mais resultado, seu gasto com aluguel por token aceitável é proporcionalmente menor. Ou seja, a hora compra mais resultado utilizável e útil

04:43 O que conta como inteligência útil? Inteligência útil precisa fazer o trabalho para o qual você a contratou. Bem simples, certo? A resposta precisa ser boa o suficiente para a tarefa, chegar rápido o suficiente e estar disponível quando você precisar. Suas informações também precisam permanecer dentro dos limites de acesso acordados. Em outras palavras, precisam estar seguras. Esse requisito é frequentemente ignorado e não aparece nas métricas de desempenho do chip, mas é essencial para que o chip possa ser usado de forma útil.

05:15 Em nosso trabalho de segurança publicado, encontramos um sistema de monitoramento de acesso que expunha os logs e as métricas de outro cliente. Este é um caso — infelizmente, bastante comum — em que as GPUs eram rápidas e, no caso a que me refiro, muito, muito rápidas, o que torna tudo ainda mais triste. E, mesmo assim, o serviço falhou de forma catastrófica. Garantir a segurança do cluster exige trabalho contínuo, assim como entregar o desempenho prometido. Na maioria dos casos, essa responsabilidade cabe ao operador.

05:48 Alguém precisa fazer o sistema funcionar em produção. Suponha que uma atualização mais rápida para o atendimento se torne disponível. Alguém precisa testá-la na carga de trabalho do cliente, verificar se o resultado ainda atende aos requisitos e, então, decidir quando, onde e como implantá-la. Isso significa verificar as respostas reais, testá-la sob carga e manter uma forma de voltar à versão anterior caso a atualização cause problemas depois de implantada. Depois da implantação, alguém precisa fazer a manutenção e responder quando surgirem problemas.

06:20 Esse trabalho pode ficar a cargo do seu provedor, da sua própria equipe ou de ambos. De qualquer forma, você precisa saber quem é responsável e se essa pessoa ou equipe realmente consegue fazer o trabalho. Então, como avaliamos o operador? O ClusterMax da SemiAnalysis, que já está na versão 3.0, avalia a capacidade de operação em clusters de GPU gerenciados — algumas centenas, e aumentando. Entre em contato se quiser participar do ClusterMax 4.0. Analisamos provisionamento, confiabilidade, monitoramento,

06:52 e segurança. Testes práticos, documentação e feedback dos clientes nos ajudam a entender como o serviço funciona, não apenas em um dia bom, mas também quando uma máquina falha. Quero aproveitar para reiterar que as classificações do ClusterMax se aplicam a clusters gerenciados, que são diferentes de bare metal — muito diferentes. Com bare metal, geralmente cabe ao cliente fazer mais trabalho operacional. Aplicar ali uma classificação de serviço gerenciado não cobre automaticamente todos os produtos vendidos por um provedor.

07:24 As categorias são relativas aos pares. Um pequeno trava-língua. Acertei, fiquei bem feliz com isso. >> [risos] >> O preço e a disponibilidade também são fatores importantes nesta avaliação. São métricas que não medem diretamente a produção de tokens, mas são extremamente importantes. Obviamente, muito importantes. A avaliação nos ajuda a entender quem consegue entregar. Agora podemos passar à próxima pergunta. Quanto custa realmente produzir inteligência útil? Vamos começar com uma conta de processamento e outros custos que os produtores ainda precisam

07:54 cobrir. O preço do aluguel e o custo de produção são diferentes. Em nosso exemplo, o provedor de GPU aluga horas; o produtor de inferência compra essas horas e vende respostas. A conta do aluguel é receita para o provedor e um custo de insumo para o produtor de inferência. O proprietário da GPU paga pelo equipamento, pela energia, pelo espaço e pelo suporte. O custo total do produtor de inferência inclui o aluguel, além de qualquer software, equipe e outros serviços pelos quais pague além desse aluguel.

08:25 Se, em vez disso, o produtor de inferência for dono do equipamento, distribuímos o investimento no equipamento ao longo de sua vida útil e somamos os custos operacionais. O que o produtor cobra e o que gasta são valores distintos. Para entender o custo da inteligência útil, precisamos saber quanto trabalho útil o gasto realmente produz. Operações melhores reduzem o custo da inteligência útil. A comparação com B200 mostrou por que a quantidade de resultados importa. Mais respostas aceitáveis obtidas com as mesmas horas pagas permitem distribuir a despesa de aluguel do produtor de inferência por mais trabalho útil.

08:57 Para um produtor que possui suas próprias GPUs, a mesma lógica distribui o investimento no equipamento e os custos operacionais por mais resultados. Some todos os gastos necessários para prestar o serviço no mesmo período e, em seguida, divida pelo resultado que os clientes realmente podem usar. Isso nos dá o custo por token aceitável para uma carga de trabalho comparável. Operações melhores também exigem investimento. Testar uma atualização, implantá-la com segurança e mantê-la funcionando exige pessoas

09:28 e dinheiro. A produção adicional precisa justificar o gasto adicional. Essa vantagem pode persistir quando uma equipe repete esse trabalho como software e as cargas de trabalho mudam, mas um bom benchmark não basta para comprová-la. Você precisa conquistá-la todos os dias. Cada nova carga de trabalho ainda precisa ser avaliada, mas, pelo que observamos, um processo operacional replicável pode sustentar uma vantagem de custo duradoura e também uma vantagem de preço. Mesmo que você continue melhorando, porém, seus concorrentes não ficam parados.

10:01 Sua posição na curva de custos é relativa. Este slide, entre todos os slides, deve deixar clara a importância da estrutura de commodities em tudo isso. Sua posição na curva de custos depende do que seus concorrentes conseguem oferecer, não apenas do que você consegue oferecer. É uma medida relativa. Aqui vai um exemplo hipotético simples. Estamos comparando a mesma tarefa, com a mesma qualidade exigida, usando unidades de custo inventadas. Gosto de imaginar barras de ouro. Seu custo total por tarefa concluída com sucesso cai de 10 para 8.

10:31 No mesmo período, o custo do seu concorrente cai de 6 para 12. Você melhorou. Isso é ótimo. Mas vocês dois melhoraram. E, neste exemplo, você começou como o produtor mais barato e terminou como o mais caro. Isso dá ao concorrente mais espaço para baixar o preço de venda, desde que os clientes considerem os dois serviços igualmente aceitáveis. Melhorar não faz você automaticamente ficar à frente. Aplicar a estrutura de commodities faz você perceber que precisa comparar seu custo por trabalho útil em termos relativos.

11:02 É preciso comparar seu próprio produto com o que seus concorrentes conseguem oferecer. Essa comparação pode passar facilmente despercebida em momentos como o atual, em que a demanda supera em muito a oferta — e continuará fazendo isso no futuro previsível. Visibilidade de dois a três anos. Ótimo. A escassez pode ocultar essas diferenças. Quando a demanda é forte e a oferta é limitada, produtores com custos muito diferentes podem encontrar clientes. Uma receita robusta pode fazer essas diferenças parecerem menos urgentes. Se você é

11:33 CEO, por que focaria seu precioso tempo, energia e dinheiro em fortalecer sua posição na curva de custos quando poderia estar construindo um enorme data center? Em momentos como este, é importante dar um passo atrás e ter um pouco de perspectiva. Ter um pouco de perspectiva histórica. Todas as commodities da história da humanidade passaram por oscilações de oferta e demanda. Só porque ainda não sabemos quando isso vai acontecer, não significa que este ciclo será diferente. A menos que você seja um maximalista total de IA, como alguns de nós. Então, estou muito aberto à possibilidade de estar errado. Estou errado todos os dias.

12:05 Mas eu diria que, se você é uma empresa com alavancagem, precisa estar especialmente atento a isso. Ser proativo na construção da sua vantagem de custo talvez não seja tão atraente quanto aumentar sua receita, mas isso importa muito se você quiser sobreviver a um ciclo de negócios. É por isso que você quer desenvolver sua capacidade operacional e sua vantagem de custo enquanto tem essa oportunidade, quando as coisas vão bem, quando você consegue levantar capital. Elas importam ainda mais quando os clientes têm mais opções e os preços

12:35 sofrem pressão. Então, como deixamos claro o que o comprador realmente recebe? Para que a computação seja comparável, são necessárias categorias claras. Agora, vamos analisar a computação que um produtor de inteligência está comprando. Já vimos que o mesmo chip pode entregar resultados diferentes dependendo de como é operado. Em duas ofertas de horas de GPU B200 podem estar incluídos serviços diferentes, e cada uma pode deixar diferentes tarefas operacionais a cargo do cliente. Uma estrutura de commodities precisa de uma maneira de descrever essas diferenças para que

13:05 os compradores saibam quais serviços podem considerar comparáveis. Esse é o papel de uma categoria. A categoria descreve um serviço de computação específico e o que seus compradores podem esperar. Ela não torna a inteligência intercambiável em todas as tarefas. Depois de definirmos esse serviço, podemos perguntar o que seu preço de aluguel nos informa. O que mede um benchmark de preço de aluguel? Um benchmark de preço de aluguel resume o preço das horas de GPU no mercado que ele define. Ele não é o custo de produção do produtor

13:37 nem uma medida da inteligência entregue. Precisamos saber de onde vêm esses preços. Uma oferta anunciada e uma transação concluída não são a mesma coisa. O escopo do serviço, os termos do contrato, quais preços são amostrados e como são combinados: tudo isso molda esse valor de referência. A qualidade operacional pode influenciar esses preços sem ser medida separadamente pelo índice. Acompanhar uma referência de preços de aluguel não informa quanto trabalho útil sua implantação vai produzir. Para usá-la como hedge, você precisa

14:08 entender como ela acompanha o aluguel que você realmente paga ou recebe. O que os futuros de computação podem proteger? Ultimamente, tem havido muito entusiasmo com os futuros de computação. Para quem não sabe, um contrato futuro estabelece termos padronizados para entrega futura ou liquidação financeira. A liquidação financeira depende de uma referência de preço. Compradores e vendedores enfrentam incerteza quanto aos preços de aluguel. Pense nas pilhas de serving e na falha de monitoramento do monitoramento. Avaliar quem opera o sistema ajuda a descrever o serviço que

14:38 os compradores recebem. Isso nos ajuda a definir a categoria, para que os compradores saibam quais serviços de computação são comparáveis. O benchmark então precisa acompanhar o aluguel que eles realmente pagam ou recebem. É por isso que defendo este argumento. Avaliar o operador é um alicerce essencial para construir um mercado confiável de futuros de computação. Uma avaliação contribui para esse trabalho. Por si só, ela não define uma categoria para futuros, não estabelece um benchmark sólido nem cria volume de negociação suficiente para facilitar a compra e a venda. Também não torna necessariamente o hedge eficaz.

15:09 Um hedge de preço de aluguel pode ajudar a compensar variações nos preços de aluguel. Ele não corrige uma implantação malsucedida nem garante que seu cliente pague. Cobrar mais do que o índice não torna, por si só, o hedge ruim. O que importa é se as variações da referência acompanham as variações do seu aluguel. Mudanças inesperadas nessa relação deixam um risco de preço real. Essas ferramentas podem ajudar você a entender o que está comprando e a gerenciar o risco do preço de aluguel. Para um produtor de inteligência, o aluguel é uma parte do custo.

15:40 O operador ainda precisa transformar essa computação em trabalho que o cliente possa realmente usar. Isso nos traz de volta ao ponto de partida. Então, uma GPU cai ao nível do operador. Então, quem consegue produzir a inteligência de que você precisa pelo menor custo? Pelo menor custo possível? O produtor que consegue atender repetidamente aos seus requisitos pelo menor custo total por tarefa concluída com sucesso. Conte tudo o que foi gasto para entregar o

16:10 serviço e, em seguida, divida pelo resultado que o cliente realmente pode usar. A capacidade operacional afeta os dois lados dessa equação: quanto você gasta e quanto mais trabalho útil consegue entregar. Além disso, sua posição depende da posição dos seus concorrentes. Você pode melhorar e ainda ficar para trás se seus concorrentes melhorarem mais rápido do que você. É por isso que entender o operador importa ao longo de todo o ciclo, não apenas em um determinado momento. Especialmente quando os clientes têm mais opções e os preços sofrem mais pressão.

16:41 Para concluir, se você acabou de chegar e quer o resumo, é este: uma GPU cai ao nível do operador. Ajude a construir um mercado de computação mais bem informado. Senhoras e senhores, muito obrigado pelo tempo de vocês hoje. Na SemiAnalysis, sabemos que os mercados não se tornam informados e eficientes por conta própria. Queremos ser um parceiro ativo e engajado nesse trabalho. Mas são necessários dois para dançar tango. Na verdade, de preferência mais de dois. Se quiser fazer uma parceria conosco, contribuir ou se juntar à equipe, adoraríamos ouvir você. Estamos sempre

17:13 contratando pessoas excelentes. Entre em contato. Se isso fez sentido para você, envie um e-mail para sales@semianalysis.com para conversar sobre oportunidades de parceria. E, se tiver interesse em talvez se juntar à equipe, meu e-mail é kennon@semianalysis.com, k e n n o n. Obrigado a todos por ouvir e tenham um ótimo restante de dia. >> [aplausos]

Transcrição original

[00:01] [music] >> Thank you everyone for taking the time to be here today. My name is Oliver Cannon. I’m a research analyst at SemiAnalysis. Um time and attention are the most valuable things any of us have. Uh unless of course you’re an early stage investor in OpenAI or Anthropic. Um with that, uh let’s get into it. Uh not all GPUs are deployed the same. A

[00:32] GPU falls to the level of the operator. Um buying hardware gives you potential. Uh operating capability is what determines how much useful work you actually are able to deliver. Uh that leads us to the question I will attempt to answer with all of you today. Who can produce the intelligence you need at the lowest cost? Cost matters. Uh who uh in today’s presentation I want to show you guys why and how operating capability changes that cost and why it matters in the commodity market that is compute.

[01:05] What matters in a commodity market? Um a lot of tech investors or technologists may not be familiar with this framework. Um so a little crash course. Uh in a commodity market producers compete to deliver comparable output. Uh a lower production cost gives more room to compete when prices fall. Uh that’s what a cost curve shows. Producers lined up by what they spend to deliver the same usable work. If two producers earn the same price, the one spending less to deliver the work gets to keep more of it. Pretty

[01:36] simple, right? For us, intelligence is the economic output we care about. Eventually, our North Star metric will be price per successfully completed task at the required quality. Uh unfortunately, we’re not quite there yet. That’s a pretty hard thing to standardize. Um today price per token is a useful practical proxy, especially for comparable workloads and quality requirements, and gets us closer to delivered output. Uh much closer than the often quoted uh

[02:07] all you finance bros out here will have heard this uh GPU uh dollar per hour price. Um or as we view it, a cost. Um We view GPU hours as a measure of input, not output, the cost versus price distinction. Customer prices are different from the producer’s cost of doing the work. GPU hours are the input, intelligence is the output. Uh on this slide, we can visualize the inputs needed to create

[02:38] useful intelligence. Uh we start with hardware and electricity, GPUs uh for the the this presentation. Software and operations can be thought of as a multiplier on those first two inputs, with the end product being useful intelligence. The operator is who chooses and implements the software that serves the model and keeps requests moving through the system. The machines might be available, but you still need someone to make them deliver responses customers can actually use.

[03:10] What matters is how much useful work you get and whether it meets your requirements for the specified task. The conversion can differ with the same kind of chip. Let’s look at that in the measured example. Here’s a concrete example from our InferenceX public InferenceX calculator. You guys can all check it out, semi-analysis.com. Uh both estimates use B200 GPUs serving the same model with roughly 8,000 input tokens and 1,000 output tokens, a pretty standard ratio.

[03:42] The P50 target is 100 output tokens per second for each user. Uh the serving stack is the software handling the model’s responses. In the P90 scenario, one of these stacks gives about 200 generated output tokens per second, while the other one gives about 300. That’s a big difference and comes down to the software, settings, and number of requests running. All choices made by the operator. Same chip,

[04:12] same target interactivity, about 50% more output. That’s a lot. So, what does that mean for the buyer’s bill? What does that intelligence actually cost the customer? For this this example, let’s assume the hourly bill is the same for both deployments and both meet your requirements. At roughly 1 and 1/2 times the output, your rental spend per acceptable token is proportionally lower. That is to say, the hour buys you more usable and useful

[04:43] output. What counts as useful intelligence? Useful intelligence has to do the job you hired it to do. Pretty simple, right? The answer needs to be good enough for the task, arrive quickly enough, and be available when you need it. Your information also needs to stay within the access boundaries you you’ve agreed upon. AKA, it needs to be secure. This is an overlooked requirement that is not captured in the chip’s performance metrics, but it is essential for a chip to be usable and useful.

[05:15] In our published security work, we found monitoring access that exposed another customer’s logs and metrics. This is a case, and an unfortunately common one at that, where the GPUs were fast, and in the case I’m referencing, really, really fast, which makes the whole thing sadder. Uh and the service still failed horrifically. Um ensuring cluster security takes ongoing work, just as delivering the promised performance does. In most cases, it is the operator that owns that responsibility.

[05:48] Someone has to make the system work in production. Suppose a faster serving update becomes available. Someone has to test it on the customer’s workload, check whether the output still meets the requirements, and then decide when, where, and how to deploy it. That means checking the actual responses, testing it under load, and keeping a way to return to previous version if the update causes problems once it’s deployed. Once it is deployed, someone has to maintain it and respond when issues come up.

[06:20] That work may sit with your provider, your own team, or both. Irregardless, you need to know who’s responsible and whether they can actually do it. So, how do we assess the operator? Uh SemiAnalysis ClusterMax, we’re in version 3.0 at this point, uh assesses operating cap- capability on managed GPU clusters, couple couple hundred, uh growing. Please reach out if you want to be on ClusterMax 4.0. Um we look at provisioning, reliability, monitoring,

[06:52] and security. Uh hands-on testing, documentation, and customer’s feedback help us understand how the service runs, not just on a good day, but also when a machine fails. I want to take the chance to reiterate that ClusterMax ratings apply to managed clusters, uh different from bare metal, very different. Um with bare metal, more operating work usually sits with the customer. Uh applying a managed service rating there does not automatically cover every product a provider sells.

[07:24] The tiers are relative to peers. Little bit of a tongue twister. Uh I nailed it, pretty happy with that. Uh >> [laughter] >> and pricing and availability are also important factors in this assessment. Uh these are metrics that do not directly measure uh token output, uh but are incredibly important. Obviously, very important. Uh assessment helps us understand who can deliver. Now we can move on to the next question. What does it actually cost to produce useful intelligence? Let’s start with a compute bill and other costs that producers still has to

[07:54] cover. Rental price and production cost are different. In our example, GPU provider the GPU provider rents out hours, the inference a producer buys those hours and sells responses. The rental bill is revenue to the provider and an input cost to the inference producer. The GPU owner pays for the equipment, power, space, and support. The inference producer’s full cost includes rent plus whatever software, staff, and other services it pays for beyond that rental.

[08:25] If the inference producer owns its own it equipment instead, we spread the equipment investment over its working life and add running costs. What the producer charges and what it spends are separate numbers. To understand the cost of useful intelligence, we need to know how much useful work the spending actually produces. Uh better operations lowers that cost of useful intelligence. The B200 comparison showed why the amount of output matters. More acceptable responses from the same paid hours can spread the inference producer’s rental expense over more useful work.

[08:57] For a producer that owns its GPUs, the same logic spreads the equipment investment and running costs over more output. Count all the spending needed to deliver the service over the same period, then divide by the output customers can actually use. That gives us cost for acceptable token for a comparable workload. Better operations also require investment. Testing an update, deploying it safely, uh and keeping it working take people

[09:28] and money. The extra output has to justify the extra spending. Uh this advantage can persist when a team repeats that work as software and workloads change, but one good benchmark doesn’t establish it. You have to earn it every single day. Uh each new workload still needs checking, but a repeatable operating process, from what we’ve observed, can support a lasting cost advantage and a price advantage, too. Uh even if you do keep improving, though, your competitors are not sitting still.

[10:01] Uh your position on the cost curve is relative. This is This slide, out of all the slides, should make clear the importance of the commodity framework in all of this. Um your position on the cost curve depends on what your competitors can deliver, not just yourself. It’s a relative measure. Here’s a simple hypothetical. We’re comparing the same task, the same required quality, using made-up cost units. Uh I like to imagine bars of gold. Uh your full cost per successful task falls from 10 to 8.

[10:31] Uh in the same period, your competitor’s falls from 6 to 12. You improved. That’s awesome. But both of you did. And in this example, you started as the cheaper producer and ended as the more expensive one. That gives the competitor more room to lower its selling price, provide provided customers find the two services equally acceptable. Uh getting better does not automatically move you ahead. Applying the commodity framework makes you realize that you have to compare your your cost per useful work on a relative basis.

[11:02] Comparing your own product with what your competitors can deliver. That comparison can be easy to overlook in moments like today, where demand far outstrips supply and will for the foreseeable future. Uh two to three years visibility. Good. Scarcity can obscure those differences. When demand is strong and supply is constrained, producers with very different costs can can find customers. Strong revenue can make those differences feel less urgent. If you’re

[11:33] a CEO, why would you focus on your precious time and energy and money shoring up your spot on the cost curve when you can be building a massive new data center? Uh in moments like this, it’s important to step back and have a little perspective. Uh take a little historical perspective. Uh every commodity in the history of humanity has had swings in supply and demand. Just because we don’t see when that will be yet does not mean that this cycle will be any different. Uh unless you’re a total AI maxi, which some of us are. So, I’m very open to being wrong. I’m wrong every day.

[12:05] Um but I would say if you’re a business with leverage, you need to be especially conscientious of this. Being proactive with your built with building your cost advantage uh might be not be as sexy as making your top line bigger, but it matters deeply if you want to survive through a business cycle. Uh that’s why you want to build your operating capability and cost advantage while you have the opportunity uh when the sun is shining, when you can raise capital. Uh they matter even more when customers have more choices to make and prices

[12:35] come under pressure. So, how do we make clear what uh the buyer actually gets? Comparable compute needs clear grades. Now, let’s look at the compute uh that an intelligence producer is buying. We’ve already seen that the same chip can deliver different results depending on how it’s operated. Uh in two offers for B200 GPU hours can include different services and leave different operating jobs with the customer. A commodity framework needs a way to describe these differences so

[13:05] buyers know which services they can treat as comparable. That’s the job of a grade. The grade describes a particular compute service and what its buyers can expect. It doesn’t make intelligence interchangeable across every task. Once we’ve defined that service, we can ask what its rental price tells us. What does a rental price benchmark measure? Uh a rental price benchmark summarizes the price of GPU hours within its defined market. It isn’t the producer’s

[13:37] production cost or a measure of intelligence delivered. We need to know where those prices come from. An advertised offer and a completed trade are not the same thing. Service scope, contract terms, uh whose prices are sampled and how they’re combined all shape that reference point. Uh operating quality can influence those prices without the index measuring it separately. Running a rental reference doesn’t tell you how much useful work your deployment will produce. To use it as a hedge, you need to

[14:08] understand how it tracks the rent you actually pay or earn. Uh what can compute futures hedge? There’s been a lot of excitement lately about compute futures. For all of you that don’t know, a futures contract sets a standardized term for future delivery or cash settlement. Cash settlement depends on a price reference. Buyers and sellers both face uncertainty about rental prices. Think back to the serving stacks and monitor in the monitoring failure. Assessing who runs the system helps describe the service

[14:38] buyers get. That helps us define grade so buyers know which compute services are comparable. The benchmark then needs to track the rent they actually pay or earn. That’s why I make this argument. Rating the operator is an essential building block for building a credible compute futures market. A rating informs that work. It doesn’t by itself define a futures grade, establish a sound benchmark, or create enough trading to buy and sell easily. It also doesn’t necessarily make a hedge effective.

[15:09] A rental price hedge can help offset rental price changes. It does not fix a failed deployment or ensure you that your customer pays. Charging more than the index does not by itself make it a bad hedge. What matters is whether changes in the reference track changes in your rent. Unexpected changes in that relationship leave real price risk. Those tool Those tools can help you understand what you’re buying and manage the rental price risk. For an intelligence producer, rent is one part of the cost.

[15:40] The operator still has to turn that compute into work that the customer can actually use. This brings us full circle. So, a GPU falls to the level of the operator. So, who can produce the intelligence you need at the lower cost? At the lowest cost? The producer who can repeatedly meet your requirements at the lowest full cost per successfully completed task. Count everything spent to deliver the

[16:10] service, then divide by the output that the customer can actually use. Operating capability affects both sides of that equation, what you spend and how much more useful work you can deliver. Also, your position depends on that of your competitors. You can improve and still fall behind if your competitors improve faster than you. That’s why understanding the operator matters through the cycle, not just at one point in time. Uh especially when customers have more choices and prices come under more pressure.

[16:41] In conclusion, if you just walked in and want the TLDR, this is it. A GPU falls to the level of the operator. Help build a better informed compute market. Ladies and gentlemen, thank you so much for your time today. At SemiAnalysis, we know that markets do not become informed and efficient on their own. We seek to be an active engaged partner in that work. It takes two to tango though. Uh ideally more than two actually. Um If you’d like to partner with us, uh contribute, or join the team, we would love to hear from you. We are always

[17:13] hiring great people. Please reach out. Um If this resonated, uh please go ahead and email sales@semianalysis.com uh for partnership opportunities. Uh and if you’re interested in potentially joining the team, my email is kennon@semianalysis.com, k e n n o n. Um thank you all for listening and have a fantastic rest of your day. >> [applause]