Computação preemptível com Pavneet Ahluwalia

Autoria: Together AI · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Preemptible compute with Pavneet Ahluwalia · Canal: Together AI · 03:45 · Assistir no YouTube

Tópicos: Inferência e otimização de modelos, Infraestrutura e hardware de IA, Modelos de IA

Resumo

A Together AI apresenta a computação preemptível, uma opção interrompível com até cinco minutos de aviso e preço 50% menor que o da computação sob demanda. Ela é indicada para cargas de trabalho curtas e não críticas que toleram interrupções, como inferência em lote, testes e execuções de fine-tuning. O vídeo mostra como adicionar nós preemptíveis a clusters novos ou existentes, além de explicar o faturamento por períodos menores que uma hora e o uso de rótulos para evitar que workloads críticos sejam direcionados a esses nós. A capacidade preemptível também pode ser uma alternativa para obter capacidade de pico quando há mais nós disponíveis do que na modalidade sob demanda.

Pontos-chave

A computação preemptível pode ser retirada com até cinco minutos de aviso.
O preço tem desconto de 50% em relação à computação sob demanda.
É indicada para cargas de trabalho curtas e não críticas que lidam bem com interrupções e reinicializações.
Pode ser adicionada ao criar um cluster ou ao escalar um cluster existente.
Os nós preemptíveis são alocados de forma assíncrona quando há capacidade disponível.
O faturamento é feito por períodos menores que uma hora, conforme o tempo de uso.
Rótulos de nós permitem configurar agendamento, prioridade e afinidade para proteger workloads críticos.
No momento, a computação preemptível está disponível apenas com Kubernetes; o suporte a Slurm será adicionado posteriormente.
A capacidade preemptível pode oferecer acesso a mais nós disponíveis do que a modalidade sob demanda.

Capítulos

Início	Capítulo	Resumo
00:02	O que é computação preemptível	A Together AI apresenta a modalidade, seu aviso de interrupção, o desconto e a infraestrutura usada.
00:33	Casos de uso e criação de clusters	O vídeo descreve workloads adequados e mostra como habilitar nós preemptíveis ao criar um cluster.
01:37	Alocação, faturamento e inspeção dos nós	A alocação assíncrona, o faturamento por períodos menores que uma hora e a visualização dos nós são demonstrados.
02:44	Proteção de workloads críticos e escalabilidade	O apresentador explica o uso de rótulos para controlar o agendamento e mostra como adicionar nós preemptíveis a um cluster existente.

Citações

A computação preemptível é interrompível por definição, o que significa que ela pode ser retirada com até cinco minutos de aviso. — 00:02

É a opção mais adequada para cargas de trabalho curtas e de pico que lidam bem com interrupções e reinicializações. — 00:33

Se você receber nós preemptíveis por apenas alguns minutos, pagará apenas por esses minutos. — 02:10

Quando você precisa de capacidade de pico o mais rápido possível e não pode esperar, recorrer à opção preemptível é uma boa alternativa. — 03:15

Conceitos e entidades

Together AI (empresa): Empresa que apresenta a modalidade de computação preemptível no vídeo.
Pavneet Ahluwalia (pessoa): Pessoa mencionada no título do vídeo, apresentado pela Together AI.
Preemptible compute (conceito): Modalidade de computação com desconto que pode ser interrompida com até cinco minutos de aviso.
On-demand compute (conceito): Modalidade de computação usada como referência de preço para o desconto da opção preemptível.
Reserved compute (conceito): Uma das modalidades de computação já oferecidas pela Together AI antes da opção preemptível.
Kubernetes (ferramenta): Plataforma compatível com a computação preemptível no momento da gravação do vídeo.
Slurm (ferramenta): Plataforma cujo suporte à computação preemptível ainda seria adicionado.
InfiniBand (conceito): Interconexão de rede mencionada como parte da infraestrutura subjacente dos recursos computacionais.

Tradução completa (pt-BR)

00:02 Olá. Vamos conhecer nosso tipo de computação mais recente: a computação preemptível da Together AI. Ela se junta aos nossos dois tipos de computação existentes: padrão ou sob demanda, e reservada. Por definição, a computação preemptível pode ser interrompida, o que significa que ela pode ser retirada com até 5 minutos de aviso prévio. Por isso, aplicamos um desconto de 50% sobre o preço da computação sob demanda. Nos bastidores, é a mesma computação subjacente, com as mesmas GPUs Nvidia, a mesma arquitetura de CPU e a mesma interconexão de fabric InfiniBand. [limpa a garganta]

00:33 Para que serve a computação preemptível? Basicamente, ela é ideal para cargas de trabalho de curta duração, que surgem em picos e conseguem lidar bem com interrupções e reinicializações. Pense em cargas de trabalho não críticas de desenvolvimento e teste, inference em lote ou execuções de fine-tuning que duram de alguns minutos a algumas horas. Também em trabalhos de pesquisa não críticos, nos quais talvez você precise de alguns nós por pouco tempo para fazer, por exemplo, algumas otimizações de hiperparâmetros ou experimentos. Então, vamos começar. Você pode adicionar computação preemptível a novos clusters durante a criação ou

01:07 a um cluster existente. O processo é praticamente o mesmo. Você acessa a página de criação de cluster e escolhe o tipo de GPU que quer usar. Aqui, você está adicionando computação sob demanda e, digamos, quer complementá-la com alguns nós preemptíveis. Basta ativar essa opção, escolher quantas GPUs quer adicionar e pronto. O bom das GPUs preemptíveis é que elas são alocadas de forma assíncrona. Isso significa que, sempre que houver capacidade ociosa disponível, desde que você a tenha definido na configuração do cluster,

01:37 vamos completar seu cluster com essas GPUs preemptíveis. Assim, você não precisa se preocupar em verificar constantemente a disponibilidade e aumentar a escala dos seus clusters. Vamos dar um nome a ele. Que tal “demo preemptible”? Adicione um volume compartilhado. Vamos chamá-lo de “test one”. Hoje, a computação preemptível só está disponível com Kubernetes, mas em breve adicionaremos suporte a Slurm. E pronto. Você pode visualizar seu cluster, confirmar e criar. A computação preemptível é cobrada em períodos inferiores a uma hora. Isso significa

02:10 que, se você usar nós preemptíveis por apenas alguns minutos, pagará somente por esses minutos. Temos aqui um cluster existente em execução com o mesmo nome. Vamos ver como é a experiência. Você pode ver que ele tem dois nós saudáveis. Um é um nó padrão e o outro é um nó preemptível. Na linha do tempo de eventos, é possível ver como os nós mudam de estado e quando foram alocados. Você provavelmente não vai querer colocar cargas de trabalho críticas em nós preemptíveis, certo? Por isso, demos nomes aos nós de forma

02:44 que sejam fáceis de identificar. Você também tem rótulos de nó, que pode usar para fazer agendamento, priorização do agendamento e afinidade com base nesses rótulos, garantindo que pods de inference críticos, por exemplo, não acabem em computação preemptível. Vamos ver como adicionar computação preemptível a um cluster existente. Basta acessar a opção de escala. Você pode aumentar a escala das GPUs sob demanda. No momento, você pode ver que há 16 GPUs adicionais disponíveis.

03:15 Ou pode adicionar nós preemptíveis. Aqui, você pode ver que há muito mais nós preemptíveis disponíveis do que nós sob demanda. Então, quando você estiver buscando capacidade para picos de demanda e precisar absolutamente de computação o quanto antes, sem poder esperar, recorrer à opção preemptível é uma ótima maneira de acessar também nossa capacidade ociosa, que nem sempre está disponível por meio da opção sob demanda. Vou adicionar mais um nó, revisar e comprar.

03:45 É isso. Só isso é necessário para aumentar a escala. Em alguns minutos, você verá um novo nó aparecer aqui como computação preemptível.

Transcrição original

[00:02] Hi. Let’s look into our latest compute type, preemptible compute by Together AI. This joins our two existing compute types, standard or on demand, and reserved compute. Preemptible compute is by definition interruptible, which means that it can be taken away with up to a maximum of 5 minutes notice. As a result, we’ve discounted it by 50% on top of on demand pricing. Under the hood, it’s the same underlying compute, same Nvidia GPUs, CPU architecture, and InfiniBand fabric interconnect. [clears throat]

[00:33] What is preemptible compute good for? Essentially, it’s a best fit for burst short-lived workloads that can handle interruption and restarts gracefully. Think about non-critical dev test workloads, batch inference, or fine-tuning runs that runs for a few minutes up to a couple of hours. Non-critical research work where you may need a few nodes just for a short period of time to run maybe some hyperparameter optimizations or experiments. So, let’s get into it. The You can add preemptible compute to both new clusters when creating them or

[01:07] to an existing cluster. It looks pretty much the same. You go to your create cluster page, you pick the GPU type you want to use. So, you here you’re adding your on demand compute, and let’s say you want to augment that with a few preemptible nodes, you can just enable it, pick how many GPUs you want to add, and that’s it. The good thing about preemptible GPUs is they’re asynchronously fulfilled. That means whenever we have spare capacity available, as long as you defined it in your cluster shape,

[01:37] we will fulfill your cluster with those preemptible GPUs. So, you don’t have to worry about constantly checking for availability and scaling up your clusters. Let’s give this a name. Let’s say demo preemptible. Add a shared volume. Let’s call it test one. Today, preemptible is only available with Kubernetes but we’ll be adding Slurm support shortly. And that’s it. We’re done. You can just preview your cluster and confirm and create. Preemptible compute is billed sub-hourly. That means

[02:10] if only if you only get preemptible nodes for a few minutes, you’ll only pay for those few minutes. So, we have an existing cluster here running with the same name. Let’s look at how the experience looks like. You can see that this has two healthy nodes. One is a standard node and one is a preemptible node. In the event timeline, you can actually see how the nodes transition and when the nodes were fulfilled. Now, you don’t necessarily want to put critical workloads on preemptible, right? So, we’ve named the nodes in such

[02:44] a way so that they’re easily identifiable. And you even have node labels so that you can do scheduling uh and uh scheduling prioritization and affinity based on those labels to make sure that critical inference pods, for example, don’t end up on preemptible compute. Let’s look at how you would add preemptible compute to an existing cluster. All you have to do is go to scale. You can scale both your on-demand GPUs. You can see right now 16 additional GPUs are available.

[03:15] Or you can add preemptible nodes. Now, you can see here there are way more preemptible nodes available than on-demand nodes available. So, when you’re looking for burst capacity and you’d absolutely need compute it as soon as possible and you can’t wait, tapping into preemptible is a very good option to get access to our spare capacity as well, which is not always uh available through on-demand. So, here I’ll just add one more node, review, and purchase.

[03:45] That’s it. That’s all you need to scale. Now, in a few minutes, you’ll see that a new node will appear here as preemptible compute.