Pare de alugar inteligência: o ciclo de treinar e implantar IA especializada — Fireworks AI

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Stop Renting Intelligence: The Train-to-Deploy Loop for Specialized AI — Fireworks AI · Canal: AI Engineer · 18:43 · Assistir no YouTube

Tópicos: Aplicações empresariais de IA, Inferência e otimização de modelos, Modelos de IA, Modelos locais e open source

Resumo

Jatashri, da Fireworks AI, explica por que modelos open source podem ser uma alternativa a modelos fechados e como treinamento e inference contínuos ajudam a aproximar sua qualidade. Ele apresenta otimizações de inference, incluindo kernels CUDA personalizados, speculative decoding, quantization e disaggregation, além de três opções de treinamento: training agent, managed training e training API. A palestra descreve um ciclo de dados que integra treinamento, implantação, monitoramento, coleta de feedback e retreinamento. Por fim, demonstra os fluxos do training agent e do managed training na plataforma.

Pontos-chave

Modelos open source podem estar prontos para produção, mas a personalização e o treinamento são importantes para alcançar a qualidade dos modelos fechados.
A Fireworks AI propõe um ciclo contínuo de treinamento e inference, em vez de apenas servir um modelo uma única vez.
A plataforma otimiza a inference para cargas de trabalho específicas, inclusive com kernels CUDA próprios e técnicas como speculative decoding e quantization.
A oferta de treinamento inclui training agent, managed training e training API, voltados a diferentes níveis de controle técnico.
As opções de treinamento abrangem supervised fine-tuning, reinforcement fine-tuning e DPO.
O ciclo de dados conecta treinamento, implantação, monitoramento, feedback e retreinamento a partir de novos checkpoints.
O hotloading permite substituir os pesos de um modelo em uma implantação ativa sem downtime, segundo a apresentação.
Treinar e hospedar na mesma plataforma ajuda a evitar diferenças numéricas que podem afetar a qualidade do modelo.

Capítulos

Início	Capítulo	Resumo
00:12	Modelos open source e o ciclo de treinamento	A palestra apresenta o contexto da migração de modelos fechados para open source e defende a personalização contínua para alcançar qualidade de produção.
02:19	Inference em escala e resultados de clientes	O palestrante descreve a escala de inference da plataforma e cita resultados de desempenho e qualidade observados por clientes.
05:00	Otimização de inference e opções de treinamento	São explicados o Fire Attention, as otimizações de inference e as três modalidades de treinamento disponíveis na plataforma.
10:57	Data flywheel e implantação contínua	A apresentação detalha o ciclo entre treinamento, implantação, monitoramento e retreinamento, incluindo hotloading e fidelidade numérica.
14:15	Demonstração dos produtos de treinamento	O palestrante demonstra o training agent e o managed training, e encerra mencionando os cookbooks para personalizar loops de treinamento.

Citações

O fator de diferenciação vem de como você personaliza, treina e aprimora esses modelos open source. — 01:44

A jornada contínua de treinar esses modelos open source e hospedá-los em escala fica muito mais fácil e econômica. — 02:19

Depois de treinados, os modelos ficam a apenas um clique de serem implantados em produção. — 11:29

Você pode ir diretamente para a implantação ativa sem nenhum downtime. — 13:11

Conceitos e entidades

Fireworks AI (empresa): Empresa apresentada como provedora de serviços de treinamento e inference de modelos open source.
Jatashri (Jet) (pessoa): Pessoa da Fireworks AI que apresenta a palestra e lidera parte da equipe de machine learning aplicada.
GLM-5.2 (modelo): Modelo citado como exemplo de modelo open source usado em produção, especialmente para tarefas de programação.
Composer 2 (modelo): Modelo da Cursor que, segundo a apresentação, foi treinado e hospedado na plataforma da Fireworks AI.
Qwen 38B (modelo): Modelo base que o training agent seleciona no exemplo de demonstração.
Fire Attention (ferramenta): Motor de inference da Fireworks AI, que usa kernels CUDA próprios para otimizar cargas de trabalho.
training agent (ferramenta): Opção de treinamento que auxilia na escolha do modelo, na preparação do conjunto de dados e nos hiperparâmetros.
managed training (ferramenta): Serviço de treinamento gerenciado configurável pela interface ou por API, com recursos de observabilidade.
training API (ferramenta): API que permite a engenheiros de machine learning definir o próprio loop de treinamento e as funções de loss.
Cursor (empresa): Empresa citada como cliente para o qual a Fireworks AI treinou e hospedou o modelo Composer 2.
Vercel (empresa): Cliente citado como beneficiário de fine-tuning e hospedagem de modelos na plataforma.
Genspark (empresa): Cliente citado como exemplo de uso de RFT, preparação de dados e definição de funções de avaliação.
Weights & Biases (ferramenta): Plataforma para a qual é possível exportar métricas de observabilidade do serviço de managed training.
hotloading (conceito): Recurso que permite trocar os pesos usados por uma implantação ativa sem interromper o serviço.
data flywheel (conceito): Ciclo que reúne treinamento, implantação, monitoramento, feedback e novo treinamento com dados atualizados.

Tradução completa (pt-BR)

00:12 Olá, pessoal. Antes de começarmos, tenho uma pergunta rápida para vocês. Quantos de vocês usam hoje um modelo de código fechado, como ChatGPT ou Anthropic? Certo. Quantos acham que isso está ficando muito caro muito rápido? Certo, essa é uma boa parcela de vocês. E, assim como talvez estejam pensando em mudar de modelos de código fechado para modelos open source por causa dos custos, há outros clientes e usuários passando pela mesma jornada. E hoje vou falar sobre onde esses modelos open source se destacam e como fazer o desempenho ou a qualidade deles se equiparar aos dos modelos de código fechado.

00:43 E, antes de entrar nisso, uma rápida apresentação minha: trabalho na Fireworks. Lidero parte da equipe de machine learning aplicada. Meu nome é Jatashri, mas podem me chamar de Jet, se

01:13 for mais fácil. Vamos falar sobre todo o ciclo de treinamento até o deploy que os modelos open source estão percorrendo hoje, quando os usuários migram de modelos de código fechado para modelos open source. Mas, antes de entrarmos nisso, vamos falar de algumas verdades fundamentais que valem hoje no ecossistema de IA. As três verdades fundamentais são: primeiro, em sua maioria, os modelos open source estão prontos para produção. Se algum de vocês já usou o GLM 5.2, sabe que isso é verdade, especialmente para casos de uso de programação. Segundo, se os modelos open source não alcançam ou não igualam a qualidade dos modelos de código fechado, o fator diferenciador

01:44 vem da maneira como vocês personalizam, treinam e aprimoram esses modelos open source para igualar o desempenho e a qualidade dos modelos de código fechado. E, terceiro, a própria stack de IA está mudando, para a maioria dos nossos clientes e usuários: em vez de simplesmente disponibilizar um modelo uma vez e pronto, passa a ser um ciclo contínuo que melhora do treinamento à

02:19 inferência do próprio modelo open source. É aí que a Fireworks entra. Ela torna muito mais fácil e econômico todo o processo contínuo de treinamento desses modelos open source, além de hospedá-los em escala. Vou explicar como fazemos o treinamento e os diferentes tipos de treinamento que oferecemos no fim da apresentação. Mas também queria falar rapidamente sobre inference antes de passarmos à parte de treinamento, que se tornou muito

02:51 popular entre nossos clientes e usuários. E, antes de falarmos também sobre inference e treinamento, queria dar uma visão geral rápida de como é a inference, especialmente em escala, e do tipo de impacto na produção que vimos entre alguns de nossos clientes e usuários. Hoje, em produção e em escala, atendemos cerca de 30 trilhões de tokens, e esse número está aumentando. Esse número era de antes do lançamento do GLM 5.2.

03:22 Tenho certeza de que aumentou em pelo menos 5 trilhões de tokens por dia com o lançamento do GLM 5.2. Agora, damos suporte a mais de 10 mil empresas no mundo todo e processamos cerca de 200 mil solicitações por segundo. O impacto na produção que estamos observando entre nossos clientes e usuários é muito significativo. A Cursor — para quem já usa a Cursor e os modelos da Cursor — treinou o modelo Composer 2 na nossa plataforma, onde ele também está hospedado hoje. E ele consegue oferecer inference 13 vezes mais rápida graças ao mecanismo Fire Attention, sobre o qual também vou falar um pouco no próximo slide.

03:54 A Vercel também é uma de nossas grandes clientes. Ajudamos a empresa a fazer fine-tuning e também a hospedar o modelo na nossa plataforma, e ela obteve uma melhoria de 40 vezes na latência. Outro grande estudo de caso é o Genpark. O Genpark e o Lovable atuam em áreas muito

04:26 parecidas: eles permitem que você crie sistemas usando apenas prompts. E a qualidade é — ou era — um grande gargalo para eles quando tentavam migrar de modelos de código fechado para modelos open source. Nós os ajudamos a fazer fine-tuning. Fizemos RFD para eles. Ajudamos a limpar o conjunto de dados e a definir funções de avaliação. Ao fim do próprio job de treinamento de RFT, vimos uma melhoria de 12% na qualidade para o caso de uso do Gen Spark. Também somos uma plataforma confiável para todos os nossos outros clientes

05:00 e usuários, e levantamos cerca de 327 milhões em CDC há algum tempo. Temos cerca de 200 pessoas trabalhando na Fireworks. Isso me leva à próxima parte. Sei que, no slide anterior, mencionei que reduzimos a latência para alguns dos nossos clientes, como a Vercel. E a maneira como fazemos isso é bastante simples, em linhas gerais. Na Fireworks, temos nosso próprio mecanismo de inference, chamado Fire Attention. Então, temos um modelo, temos GPUs, e a maneira

05:32 como o modelo é executado sobre as GPUs é por meio de uma camada de tradução chamada kernels CUDA. Como parte do Fire Attention, desenvolvemos nosso próprio kernel CUDA. Então, quando um cliente chega até nós com uma carga de trabalho e uma meta de desempenho em mente, podemos otimizar esse mecanismo de inference e toda a stack de IA, incluindo esse kernel CUDA, para esse caso de uso específico. Na maioria das vezes, clientes como a Vercel, mencionada no slide anterior, nos dizem que têm x tokens de entrada, y tokens de saída, uma taxa z de acertos no cache de prompt e que querem

06:06 atingir determinadas metas de latência. Nós os ajudamos a otimizar toda essa stack de inference, incluindo o kernel CUDA, para disponibilizar o modelo a um custo menor e, ao mesmo tempo, atender à meta de desempenho e à carga de trabalho específica deles. Como parte do Fire Attention e da otimização de inference, também implementamos técnicas muito conhecidas no campo da IA, como speculative decoding, desagregação e quantização.

06:36 No caso de speculative decoding, também permitimos que os clientes treinem seus modelos de rascunho na nossa plataforma. Eles podem até enviar o conjunto de dados, de forma bem parecida com o que fazem no fine-tuning, para treinar um modelo de rascunho. Isso ajuda o modelo principal a funcionar muito mais rápido e a atender aos requisitos de latência. Também oferece maior throughput se o modelo de rascunho for bem treinado. Então, quando as pessoas chegam

07:07 a essa etapa, principalmente quando estão satisfeitas com a qualidade do modelo, mas estão migrando de modelos de código fechado para modelos open source, o maior gargalo ou a maior lacuna é a qualidade. E a maneira como tentamos resolver isso é com nosso produto de treinamento, que tem três modalidades diferentes para diferentes segmentos dos nossos clientes e usuários. A primeira é o agent de treinamento. Ele é muito popular entre nossos gerentes de produto e desenvolvedores

07:39 que entraram há pouco nessa área de inference e treinamento de IA. O agent pode ser acessado pela nossa interface, e basta vinculá-lo ao conjunto de dados que vocês enviaram para a plataforma da Fireworks, além de descrever o que estão tentando fazer nesse treinamento. Ele também permite escolher o modelo. Limpa o conjunto de dados para vocês. Também ajuda a fazer o fine-tuning dos hiperparâmetros, porque nem sempre é fácil encontrar os hiperparâmetros certos

08:14 ao treinar para uma carga de trabalho específica. A próxima modalidade, também uma das mais populares entre nossos clientes e usuários, é o treinamento gerenciado. É o que a maioria dos nossos clientes usa hoje. Eles podem usar nossa plataforma de treinamento gerenciado de duas maneiras: pela API e pela interface. É simples: basta inserir os hiperparâmetros que vocês acham que serão bons para o modelo, escolher um modelo, enviar o conjunto de dados e

08:46 Depois, é só clicar em um botão. É assim que tornamos tudo simples na Fireworks para o próprio treinamento gerenciado. Sei que um desafio para muita gente é a observabilidade depois que a execução do treinamento começa. Por isso, também temos um bom painel de interface que mostra como o treinamento está acontecendo, o quanto seu modelo está aprendendo em cada época e como está a função de perda. Além disso, você também pode inserir sua chave de API do Weights & Biases no próprio serviço de treinamento gerenciado e exportar algumas métricas de observabilidade

09:20 para plataformas como Weights & Biases, se você já usa essa ferramenta. A terceira opção, e também a modalidade de treinamento mais avançada que oferecemos, é a própria API de treinamento. Ela é muito popular entre alguns engenheiros de ML de diferentes organizações e entre nossos clientes. Essa oferta específica do produto permite que engenheiros de ML definam seu próprio loop de treinamento e suas próprias funções de perda.

09:51 Isso é importante quando você quer personalizar o trabalho de treinamento de acordo com suas necessidades. Isso vai muito além do serviço de treinamento gerenciado que oferecemos. Essas diferentes modalidades ou produtos do nosso ecossistema de treinamento estão disponíveis para ajuste fino supervisionado, ajuste fino por reforço e também DPO. Hoje em dia, acho que RFT se tornou extremamente popular. E, se você

10:24 precisar de ajuda para definir uma boa função avaliadora, trabalhamos com clientes como a Genpark, de quem falei no slide anterior, para ajudar a definir essa função, limpar o conjunto de dados e também escolher os hiperparâmetros certos, especialmente para RFD. Infelizmente, o agent de treinamento não oferece suporte a RF. Então, ele não ajuda a limpar o conjunto de dados nem a ajustar os hiperparâmetros. Mas teremos todo o prazer em ajudar se você tiver um caso de uso importante em mente. Agora que já conhecemos todas

10:57 as diferentes ofertas de treinamento que temos, também queria mostrar uma demonstração rápida de cada uma delas: o agent de treinamento, o treinamento gerenciado e a própria API de treinamento. Mas, antes de começarmos, queria encerrar falando sobre como funciona hoje o ciclo de dados na nossa plataforma. No primeiro slide, falei sobre a realidade da IA hoje, em que a maioria das pessoas prefere manter um ciclo contínuo de treinamento e hospedagem à medida que recebe cada vez mais dados e feedback dos usuários. E é isso que estamos

11:29 tentando tornar mais simples na nossa plataforma. Por isso também temos diferentes produtos e ofertas de treinamento, além de facilitar a hospedagem dos modelos e torná-la mais barata e rápida em escala. O funcionamento desse ciclo é bem simples. Depois que esses modelos são treinados, vou mostrar na próxima demonstração como isso acontece, basta um clique para implantá-los em produção. Depois da implantação, você pode

12:02 monitorar. Temos métricas de monitoramento para a quantidade de tokens, a taxa de acerto do cache e o funcionamento do seu especulador, caso você tenha treinado um. Ajudamos a coletar feedback a partir de todas as métricas que você reuniu e, se quiser, também a treinar novamente na mesma plataforma, passando do checkpoint que estava usando para um novo checkpoint. Um dos recursos da plataforma que possibilitam esse ciclo de dados é, sem dúvida, a disponibilidade de muitas GPUs. Temos parcerias

12:36 com diferentes provedores de nuvem e neocloud, o que nos permite oferecer capacidade computacional e hospedar esses modelos em escala com mais facilidade. Outro recurso que oferecemos é o carregamento a quente, que se tornou muito popular, especialmente quando treinamos modelos para a Cursor. Na verdade, implementamos esse recurso especificamente para a Cursor e depois pensamos que também seria útil para o público em geral durante o treinamento de modelos. O carregamento a quente significa que, quando você tem um novo checkpoint, pode ir direto para a implantação ativa, sem nenhum tempo de inatividade. Então, se você tem uma implantação e

13:11 passou por esse ciclo contínuo e treinou um novo checkpoint, basta clicar em um botão para substituir os pesos que estava usando antes pelos novos endpoints. Outro recurso que facilita o treinamento na nossa plataforma é a fidelidade numérica. Muitas vezes, os clientes usam a plataforma A para treinamento e hospedam o modelo na plataforma B. Mas isso pode causar problemas na qualidade do modelo. E esses problemas acontecem porque o Humix nem sempre é compatível quando você treina em uma plataforma

13:44 e hospeda em outra. Por isso, oferecemos treinamento e inferência na mesma plataforma e garantimos que não haverá diferenças numéricas depois que o treinamento terminar e você decidir hospedar o modelo na própria plataforma. Outra coisa que torna o processo mais simples é que, como o treinamento e a inferência acontecem na mesma plataforma, basta um clique para implantar o modelo em escala de produção. Agora que já aprendemos tudo sobre

14:15 inferência e treinamento, queria mostrar rapidamente os diferentes produtos de treinamento e como eles funcionam na nossa plataforma. A primeira parte da demonstração mostra como usar o próprio agent de treinamento. Aqui, você pode indicar onde está seu conjunto de dados de treinamento na Fireworks, como é chamado. Também pode fornecer o conjunto de dados de avaliação. Sei que as pessoas costumam ter conjuntos de dados de treinamento e avaliação ou de teste separados. Então, você fornece ao mo

14:46 você fornece ao agent os dois conjuntos de dados e pede que ele faça o fine-tune, além de selecionar os hiperparâmetros e o modelo para você. Em seguida, o agent informa as etapas que vai seguir para realizar a tarefa que você solicitou. Ele detalha o plano de SFT e explica por que selecionou o modelo base. Neste caso, selecionou o Quen 38B. Também apresenta algumas informações sobre os hiperparâmetros e uma visão geral de como pode ser todo o processo de treinamento. E, quando terminar…

15:20 Quando você estiver satisfeito com o resultado apresentado pelo agent, poderá aprovar o que ele propôs. Depois da aprovação, ele executará as diferentes etapas e manterá você informado sobre o resultado da etapa dois e, caso a etapa três seja concluída com sucesso, sobre o que aconteceu. Ao final de toda a execução do treinamento, ele também fornecerá um resumo da configuração, do modelo base, dos diferentes hiperparâmetros e de como eles afetam o resultado.

15:59 Quando o treinamento do modelo terminar, ele apresentará métricas como acurácia e pontuação F1. Também fará um resumo, ou melhor, outro resumo, e apresentará uma visão geral de tudo o que fez. Um recurso interessante é que ele também recomenda a próxima etapa como parte da própria execução do treinamento. A próxima parte desta demonstração mostra como podemos usar nossa plataforma de treinamento gerenciado. Eu mencionei que basta selecionar o modelo, o conjunto de dados e os hiperparâmetros e então

16:32 é só clicar em um botão para treinar um modelo. Digamos que você já tenha enviado o conjunto de dados e escolhido um modelo. Basta acessar as configurações do avaliador, selecionar o conjunto de dados de avaliação e, se quiser usar hiperparâmetros mais detalhados na execução do treinamento, também pode escolhê-los nas configurações opcionais. Quando estiver satisfeito com todas as configurações, incluindo o modelo e o próprio conjunto de dados, basta

17:07 criar, você só precisa clicar no botão que diz “Criar”. E assim que clicar nesse botão, um job de treinamento é iniciado. Você pode ver que a interface fica parecida com esta quando um job de treinamento é concluído. E, se clicar no próprio job de treinamento, serão exibidas informações sobre o conjunto de dados usado, os hiperparâmetros usados e como foi a perda do modelo durante o treinamento. E você pode até

17:39 clonar essas execuções de treinamento e reproduzi-las com configurações diferentes. E, quando estiver satisfeito com o modelo ajustado por fine-tuning, você pode ir à seção de deploy, escolher o modelo personalizado que acabou de ser treinado na nossa plataforma e clicar em deploy quando estiver satisfeito com as configurações de deploy. Ou pode escolher um conjunto de configurações de deploy que oferecemos, como vazão, rápido e mínimo. E isso é meio que um modelo

18:11 que funciona bem para cargas de trabalho genéricas, que otimizamos com base em métricas como vazão, latência, tempo até o primeiro token e outras métricas semelhantes. Infelizmente, não tenho uma demonstração completa da nossa API de treinamento, porque a configuração em si varia de cliente para cliente. Mas temos muitos guias práticos nos nossos sites que você pode consultar e seguir, especialmente se tiver interesse em personalizar seus próprios loops de treinamento e funções de perda

18:43 em si. E é tudo o que tenho para vocês hoje. Eu só queria dar uma breve visão geral de como funciona todo o loop de treinamento até a inferência. Muito obrigado. E, se tiverem alguma pergunta, terei prazer em respondê-la no próximo minuto, mais ou menos, que temos.

Transcrição original

[00:12] Hi everyone. Uh before we get started, I actually have a quick question for all of you. How many of you actually today use a closed source model like chat GPD or Anthropic? Okay. How many of you feel like it’s getting really expensive really quickly? Okay, that’s that’s a good percentage of you all. And uh just like all of you might be thinking of switching from closed source model to open source models for cost reasons, performance

[00:43] reasons, there uh other customers and users that are going through the same journey. And today I’m going to talk about where these open source models shine and how to make the performance or quality of these open source models match the closed source models itself. And before I get into that quick introduction of myself uh I work at fireworks. I lead part of the applied machine learning team. My name is Jatashri but feel free to call me Jet if

[01:13] that’s easier. Um let’s talk about the whole train to deploy loop that that the open source models are taking today when users are switching from closed source to open source models. But even before we get into that let’s talk about some fundamental truths that are true today in the AI ecosystem. So the three fundamental truths that are true uh are one open source models for the most part are production ready. If any of you have used GLM 5.2 two, you

[01:44] know that that is true especially for the coding use cases. Two, if open source models don’t like beat or match the quality of close source models, the differentiating factor uh comes from how you customize, train and improve these open source models to match the performance and quality of closed source models. And three, the AI stack itself for most of our customers and users is shifting from let’s just serve a model once once and that’s done to a more continuous loop that is improving from training to

[02:19] inferencing uh the same open source model itself. So that’s where fireworks kind of comes in. It makes the whole process of you having to go through the continuous journey of training these open source models as well as hosting these open source models at scale much more easier and also much more cost effective as well. And I’ll get into how we actually do the training itself and different flavors of training that we offer towards the end of the presentation. But I did also want to quickly talk about inference before we go to the training portion of it which has become really

[02:51] popular among our customers and user base. And before we also talk about inference and training, I just wanted to give you a quick overview of how uh inference looks like especially at scales and what are the kind of production impact that we have seen among some of our customers and user base itself. So today at in production at scale uh we serve about 30 trillion tokens and it’s increasing. Um this number was actually preGLM 5.2

[03:22] release. And I’m sure this has pretty much kind of increased by about at least 5 trillion tokens a day. Now with the GLM 5.2 release, we support more than 10,000 companies globally and process about 200k requests a particular second itself. And the kind of production impact that we are seeing within our customer and user base is very significant. So cursor uh if for those of you who already use cursor and cursor models u the composer 2 model for cursor

[03:54] was trained and also hosted on our platform today and um it is able to achieve 13x faster inference because of the fire attention engine that we have and I’ll speak a little bit about that in the next slide as well. Uh Versell is also another big customers uh of ours. We help them actually fine-tune and also host the model on our platform and they see a 40x latency improvement. And another big use case study is actually genpark. Um genpark lovables are in very

[04:26] similar field where they actually let you design systems with just prompts itself. And uh quality is a big bottleneck or was a big bottleneck for them when they were trying to switch from closed source to open source models. and we helped them fine-tune. We did uh RFD for them. We helped them clean the data set, define evaluator functions and at the end of the RFT training job itself, we saw that there was 12% quality improvement for the Gen Spark use case. Um also we are a trusted platform among all our other customers

[05:00] and user base as well and we have raised around 327 million CDC uh a while ago and we are about 200 people working at fireworks. That brings me to the next portion of it. I know in the previous slide I did mention that we made latency faster for a couple of our customers such as versell and how we do it is quite simple at a at a higher level. Um at fireworks we have our own inference engine called fire attention. So you have a model you have GPUs and the way

[05:32] the model sits on top of the GPUs is through a translation layer called CUDA kernels and as part of fire attention we build our own CUDA kernel. So when a customer comes to us uh with a workload and a performance target in mind then we can optimize this particular inference engine and the whole AI stack including that CUDA kernel for that specific use case. So most of the time customer like versel in the previous slide come to us and tell us uh they have x input tokens y output tokens uh they have zprompt to uh prompt cache hit rate and they want

[06:06] to meet so and so latency targets and we help them optimize this whole inference stack including that cuda kernel so that we can serve this model uh at a cheaper price but also at a that can meet their performance target and for their specific workload itself. uh as part of fire attention and inference optimization, we do also implement the very well-known techniques in the AI field which is things like speculative decoding, disagregation, quantization.

[06:36] In terms of speculative decoding itself, we also allow customers to train their draft models on our platform. Uh so they can even upload the data set very similar to how they do for fine-tuning for uh training a draft model. uh which helps them uh make the model the main model uh perform much faster uh meet latency requirements also gives you better throughput if the draft model is trained uh very well and um so once people actually people actually get to

[07:07] this stage mainly once they’re happy with model quality but when customers are switching from closed source to open source models the biggest bottleneck or the gap is quality and the The way we we try to solve for it is through our training product and our training product itself comes in three different flavors for different segments uh within our customer and user base. One being the training agent. This is very popular among our product managers and builders

[07:39] that get that got into this AI inferencing and training field very recently. So the agent can be accessed through our UI and uh you can you you just need to link it the data set that you have uploaded uh on the fireworks platform as well as description on what you’re trying to do as part of this training run itself. Uh it will even let you choose the model. It will clean the data set for you. It will also help you do the hyperparameter uh fine-tuning itself because it’s not always easy to get the right uh hyperparameters itself.

[08:14] um when you are doing training for your specific workload. The next flavor also one of our most popular flavors among our customer and user base is our managed training and this is what most of our customers use today. They can use our managed training platform one through API and second through the UI itself. It is as simple as you inputting the hyperparameters that you think will be good for your model. choosing a model, uploading the data set itself and

[08:46] then clicking a button. That’s how simple we make it on uh fireworks for the manage training itself. And uh I know one challenge a lot of people have is observability once the training run itself kicks in. So we also have a good UI dashboard that shows you how the training uh is happening, how well your model is uh learning at each epoch, what does the loss function look like. Additionally, you can also plug in u your weights and biases API key into the manage training service itself uh and export some of the observability metrics

[09:20] to platforms like weights and biases if you’re already using that. And the third and the kind of the most advanced flavor of training that we offer is the training API itself. And the training API is very popular among some uh of the ML engineers within uh different organizations or within our customer base. And in this in this particular this particular offering of the product lets uh ML engineers define their own training loop and loss

[09:51] functions. And this becomes important when you want to customize your training job according to your needs. that is that goes well above beyond the managed training service that we offer itself and these these different uh flavors or the products within the training ecosystem that we offered are offered for supervised finetuning reinforcement fine-tuning and even DPO as well. Um nowadays I think RFT has become extremely extremely popular and if you

[10:24] ever need help in helping define a good evaluator function then we have worked with customers like Genpark that I was talking to you about in the previous slide to help them define an evaluator function clean the data set um and also choose the right hyperparameters especially for RFD. Unfortunately the training agent itself does not support RF. So it does not uh help you clean the data set or even do the hyperparameter tweaking but we are more than happy to help you do it if you have a big use case in mind. So now that we know all

[10:57] about the different um training offerings that we have I also wanted to show you a quick demo of each of these the training agent manage training and the training API itself. Uh but before we get into that I just wanted to close off by saying how the data flywheel looks like today on our platform. I know in the first slide I was talking to you about the realities of AI today where most people prefer doing a continuous loop where they train host train host as they get new and new data and feedback from their users and that is what we are

[11:29] trying to make more seamless on our platform and that’s also why we have different training products different offerings as well as making it easier uh for you to host and make it also cheaper and faster for you to host those models at scale itself. And the way this flywheel works is kind of very simple. Once these uh models are trained, I will show you uh a demo in the next slide where the models get trained. It’s it’s you just are one click away from deploying these models into production. And once you’ve deployed, you can uh

[12:02] monitor. We have u monitoring metrics for the number of tokens, cash it rate, how your speculator is working, if you’ve trained a speculator. uh we help you collect gather uh feedback from all the all the metrics that you have collected and if you choose to also retrain on the same platform from the end from the checkpoint that you were using to a new checkpoint itself. So some of some capabilities on the platform that makes these data flywheel possible is one definitely having a host of uh GPUs. We do have we do partner

[12:36] with different cloud and neocloud providers which makes it easier for us to provide compute and also host these models at scale. Another thing is we offer is hotloading and this has become really popular especially when we were training models for cursor and this was actually a feature we implemented specifically for cursor and then we thought would be useful for general public while they were training models as well. uh what hot loading essentially means is when you have a new checkpoint uh you you can directly go to live deployment without any downtime itself. So if you have a deployment and you’ve

[13:11] gone through this continuous loop and trained a new checkpoint then you can just click a button and swap out the weights itself that you were using uh uh previously with the new endpoints. Another thing that makes it uh easier to train on our platform is the numerical fidelity. So a lot of the time customers use platform A for training and host on platform B. But what happens when you do that is you’ll have issues in quality of the model. And the reason you have those issues is humix is not always compatible when you train on a different platform

[13:44] and host on a different platform. So that’s why we offer training and inferencing on the same platform and ensure that uh you won’t find any numerical differences after you finish training and once you decide to host this particular model on the platform itself. And um one other thing that that makes it more seamless is because training and inference is on the same platform. You’re just one click away from uh deploying this model at production scale. Now that we have learned all about uh

[14:15] the inference and training, I just wanted to show you quick demo of different training products and how they work on our platform. The first portion of the demo is showing you how you can use the training agent itself. Over here you can uh input where your training data set lives within the fireworks what it’s called. Uh you can also uh give it the eval data set itself. uh I know people have the train and eval or a test data set separately. So you give the mo

[14:46] you give the agent both the data sets and then you ask it uh to fine-tune and even select the hyperparameters and the model for you. The the agent then goes on and tells you the step that it will it will take to accomplish the task that you have given it. So it it details the SFT plan. It tells you why it selected the base model. In this case, it’s selected quen 38B. And it’ll also give you some information on the hyperparameters and what the whole training process can look like at a high level. And once you’re done uh

[15:20] once you are uh you feel okay about the output that the agent has given, you can approve whatever the agent has uh the a the agent has outlined. And once you approve it, it will actually go through different steps and keep you posted on if it finishes step two, what does uh it look like? If it successfully finishes step three, what does that look like now? And at the end of the whole training run, it will also give you a summary of uh the config, the base model um and uh different hyperparameters and how that impacts it as well.

[15:59] And once it’s once the whole model training is done, it actually gives you metrics such as accuracy and F1 score. Uh and it also summarizes kind of resummarizes and gives you an overview of everything that uh that it did. And one cool feature is it also gives you recommended next step as part of u the training run itself. Now the next portion of uh this demo actually talks about how we can use our uh manage training platform. I did mention that you just have to select the model data set and the hyperparameters and then

[16:32] you’re just a button click away from actually training a model. Say you’ve uploaded uh the data set, chosen a model. Uh all you’ll have to do is then uh go to the go to the u evaluator settings, choose the evaluator data set and also you get to choose the hyperparameter as part of optional settings if you decide to have a more fine grained hyperparameters for your uh training run itself. And once you’re happy with all the configurations including the model and the data set itself, you just need to

[17:07] create uh you just need to click on the button that says create. Um and as soon as you click on the button that says create, a training job then kick kicks out. And you can see that uh the UI looks similar to this when a training job actually gets completed. And if you click on that particular training job itself, it’ll give you information on the data set it used, the hyperparameters it used, what the model loss itself looks like when the model was training. Um, and then you can even

[17:39] clone these training runs and reproduce it with different settings and configurations itself. And once you’re happy with the fine-tuned model, you can go to the deployment section, choose the custom model that just got uh trained on our platform, and then click on deploy once you’re happy with the deployment configurations. Or you can choose a set of deployment configurations that we have such as throughput, fast, minimal. uh and this is uh kind of a template

[18:11] that that works well for generic workloads that we have optimized based on throughput latency uh time to first token and other such metrics and uh I unfortunately don’t have an entire demo for our training API because the setup itself differs from customer to customer but we do have a lot of cookbooks on our websites that you can see and follow especially if you’re interested in customizing your own training loops and loss functions

[18:43] itself. Uh and that’s all I have for you for today. I just wanted to give you a brief overview of how the whole training to inferencing loop looks like. Thank you very much. And if you have any questions, I’m happy to take them in the next minute or so that we have.