Como a Relace consegue alocação mensal de GPUs que escala
Autoria: Together AI · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: How Relace gets month-to-month GPU allocation that scales · Canal: Together AI · 01:04 · Assistir no YouTube
Tópicos: Engenharia de software com IA, Infraestrutura e hardware de IA, Mercados e economia, Modelos de IA
Preston, fundador da Relace, explica que a empresa precisava de acesso a computação flexível para treinar modelos pequenos voltados à geração de código. O cluster YC da Together ajudou a Relace a ampliar ou reduzir sua capacidade conforme a demanda, sem depender de compromissos anuais de milhões de dólares. A alocação mensal permite planejar períodos de maior uso e contar com GPUs disponíveis para os engenheiros. Essa capacidade também ajuda a atrair engenheiros para a empresa.
Pontos-chave
Seção intitulada “Pontos-chave”- Compromissos anuais de milhões de dólares para reservar GPUs não eram uma opção acessível para a Relace.
- O cluster YC da Together permite ajustar a capacidade computacional conforme a necessidade.
- A Relace treina modelos pequenos para geração de código e tarefas específicas desse workflow.
- A alocação é feita mês a mês, facilitando o planejamento de períodos com maior demanda por computação.
- A capacidade reservada dá aos engenheiros mais disponibilidade para construir e executar experimentos.
- A Relace pode contar com uma GPU disponível quando precisa iniciar uma tarefa.
- Ter nós de GPUs para experimentação também é uma vantagem no recrutamento de engenheiros.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:01 | Acesso flexível à computação | Preston explica que compromissos anuais de milhões de dólares eram inacessíveis e que o cluster YC ajudou a ajustar a capacidade às necessidades da Relace. |
| 00:33 | Alocação mensal e capacidade reservada | A alocação mês a mês permite planejar o aumento da demanda e contar com GPUs disponíveis para os engenheiros. |
| 01:04 | Um recurso essencial para a empresa | Preston conclui que ter nós de GPUs disponíveis para experimentos é indispensável para uma empresa como a Relace. |
Citações
Seção intitulada “Citações”O cluster YC da Together realmente nos ajudou a ter acesso a computação que podia aumentar ou diminuir conforme precisávamos. — 00:01
A alocação é mês a mês. — 00:33
Sabíamos que, quando clicássemos em um botão, haveria uma GPU pronta para nós. — 00:33
É indispensável para uma empresa como a nossa. — 01:04
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- Relace (empresa): Empresa fundada por Preston que treina modelos pequenos para geração de código.
- Preston (pessoa): Fundador da Relace e entrevistado no vídeo.
- Together AI (empresa): Empresa que oferece à Relace acesso a capacidade computacional por meio do cluster YC.
- YC cluster (ferramenta): Cluster que ajudou a Relace a obter acesso flexível a recursos de computação.
- GPU (conceito): Recurso computacional cuja capacidade reservada permite à Relace treinar modelos e executar experimentos.
- code generation (conceito): Tarefa para a qual a Relace treina modelos pequenos, inclusive modelos especializados em tarefas específicas.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:01 Compromissos de milhões de dólares com reservas de GPU por um ano não eram algo muito acessível para nós. O cluster da Together YC realmente nos ajudou a ter acesso [música] a capacidade computacional que pudesse aumentar ou diminuir conforme nossas necessidades. Oi, sou Preston. Sou o fundador da Relace. Participamos da YC no inverno de 2023. Recentemente, temos treinado muitos modelos pequenos para geração de código. Por isso, estamos tentando encontrar maneiras de reduzir o custo, seja [música] usando modelos pequenos diretamente, seja treinando modelos pequenos para executar tarefas específicas dentro desse processo de geração de código
00:33 fluxo de trabalho. Desde que tivemos acesso ao cluster da YC, os engenheiros tiveram muito mais disponibilidade para desenvolver. A alocação é mês a mês, então podemos dizer: “Certo, nos próximos dois meses, vamos precisar de muito mais capacidade computacional.” Ter essa capacidade reservada foi extremamente útil para nós. Sabíamos que, quando clicássemos em um botão, haveria uma GPU pronta para nós. A Together nos dá uma vantagem de que empresas pequenas precisam. Também estamos tentando contratar engenheiros, então poder dizer: “Ei, temos esta quantidade de nós com GPUs nos quais você pode executar experimentos.” [música] É uma
01:04 necessidade indispensável para uma empresa como a nossa.
Transcrição original
[00:01] Million-dollar commitments of year-long GP reservations were not something that was very available to us. The Together YC cluster really helped us get access [music] to compute that could scale up and down with what we needed. >> Hi, I’m Preston. I’m the founder of Relace. We went through YC in winter ’23. And recently, we’ve been training a lot of small models for code generation. And so, we’re trying to find ways to reduce the cost either [music] through using small models directly or training small models to do specific tasks within this code generation
[00:33] workflow. Since we got access to the YC cluster, we’ve had much more availability for engineers to build. The allocation is is month-to-month, and so we can say, “Okay, in the next 2 months, we’re going to have a lot more compute needs.” And so, having that reserved capacity was extremely helpful to us. We knew that when we would click a button, there would be a GPU ready for us. Together give us kind of the advantage that small companies need. We’re also trying to recruit engineers, and so being able to say, “Hey, we have like this many nodes of GPUs that you can run experiments on.” [music] It’s a
[01:04] must-have for a company like ours.