Novo modelo: Reflection Beam é um novo modelo de pesos abertos

Ver no idioma original →

Autoria: Hugging Face · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: New Model: Reflection Beam is a new Open Weight Model · Canal: Hugging Face · 1:20:41 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Modelos de IA, Modelos locais e open source

Resumo

A equipe da Reflection apresenta Beam, um modelo de pesos abertos voltado a tarefas agentic, especialmente programação, com foco em eficiência de tokens e transparência sobre dados, evals e treinamento. Pesquisadores explicam decisões de pré-treinamento, reinforcement learning (RL), curadoria de dados e desenvolvimento de ambientes para ensinar habilidades cognitivas. A conversa também aborda harnesses, integrações de inferência e opções para executar, avaliar e fine-tune o modelo. Ao final, a equipe mostra exemplos práticos e anuncia o Beam Build, uma competição comunitária com prêmios em dinheiro e créditos do Hugging Face Hub.

Pontos-chave

• Beam é apresentado como um modelo de pesos abertos eficiente em tokens e adequado a tarefas agentic, com destaque para programação.
• A Reflection compartilha pesos, traces, evals e detalhes de implementação para que a comunidade possa inspecionar e desenvolver o modelo.
• O pré-treinamento envolve curadoria cuidadosa de dados, com atenção à qualidade, à diversidade e ao conhecimento necessário para tarefas posteriores.
• Os ambientes de RL são concebidos para reforçar habilidades cognitivas como verificação, retrocesso e experimentação de estratégias.
• A equipe descreve desafios de estabilidade, infraestrutura e observabilidade em um treinamento de RL de grande escala.
• Beam foi treinado com diversidade de comportamentos de tool calling para favorecer a generalização entre diferentes harnesses.
• O modelo pode ser executado por meio de integrações com ferramentas e serviços como Transformers, vLLM, SGLang, llama.cpp e provedores de inferência.
• A comunidade pode executar, personalizar, quantizar e fine-tune Beam, além de criar datasets, ambientes de RL e demonstrações.
• O Beam Build oferece US$ 10 mil em prêmios em dinheiro e US$ 10 mil em créditos do Hugging Face Hub para projetos comunitários.

Capítulos

Início	Capítulo	Resumo
00:32	Apresentação de Beam e anúncio do Beam Build	Os apresentadores introduzem Beam, suas integrações e a competição que incentiva a comunidade a criar projetos com o modelo.
06:51	Abertura, transparência e primeiras impressões	A equipe destaca a importância de compartilhar código, traces e evals, e apresenta as capacidades agentic de Beam.
12:32	Recursos, arquitetura e execução do modelo	Ben percorre o material técnico, as evals, as opções de inferência e os checkpoints BF16, FP8 e NVFP4.
16:40	Escalonamento e escolha do tamanho do modelo	Alex explica como a equipe usou etapas de escalonamento para testar receitas e decidir a configuração do modelo.
22:24	Harnesses e generalização entre ambientes	A conversa apresenta Daedalus e Mirror e explica como Beam foi treinado para generalizar a outros harnesses.
29:42	Curadoria de dados e criação de skills	Alex e Jess descrevem a coleta e seleção de dados, a definição de habilidades e a construção de ambientes de RL.
36:26	Qualidade dos ambientes e colaboração humano-agent	Jess explica a organização das equipes por domínio, os ciclos de avaliação e a importância de dados confiáveis para RL.
43:39	Escala, estabilidade e infraestrutura de RL	Behrouz detalha os desafios técnicos de treinar por longos períodos, ampliar o contexto e manter a estabilidade do sistema.
49:27	Próximos modelos e capacidades a desenvolver	A equipe antecipa a continuidade da família Beam e aponta a necessidade de novos ambientes mais difíceis e variados.
57:50	Integrações open source e ecossistema	Florent descreve o trabalho com parceiros para integrar Beam às ferramentas e aos serviços da comunidade.
61:31	Como testar Beam e interpretar traces	Ben demonstra como investigar tarefas e traces para entender quais capacidades exigem mais raciocínio do modelo.
68:47	Beam Build e opções de fine-tuning	Florent apresenta caminhos para executar Beam localmente ou em infraestrutura própria, além de bibliotecas e receitas de personalização.
74:28	Demonstrações e projetos com Beam	Ben compartilha ideias de projetos, incluindo uma aplicação para macOS, um estudo de subagents e um decision model.
79:07	Encerramento e incentivo à comunidade	Os participantes encerram a transmissão convidando a comunidade a criar projetos e participar do Beam Build.

Citações

Para mim, é um modelo muito eficiente em tokens. — 05:12

Também queremos garantir que o modelo generalize para diferentes harnesses e configurações. — 23:56

Se o modelo precisa usar essas habilidades cognitivas mais sofisticadas e acerta a resposta, esse comportamento é reforçado. — 34:20

As pessoas podem controlar a implantação da própria stack de IA sobre um modelo que avança a fronteira da inteligência artificial. — 53:42

Conceitos e entidades

• Beam (modelo): Modelo de pesos abertos da Reflection apresentado como eficiente em tokens e voltado a tarefas agentic, incluindo programação.
• Reflection (empresa): Empresa responsável pelo desenvolvimento e lançamento do modelo Beam.
• Hugging Face (empresa): Plataforma que hospeda os recursos do modelo e organiza, junto com a Reflection, a competição Beam Build.
• Beam Build (conceito): Competição comunitária que convida participantes a criar projetos com Beam e oferece prêmios em dinheiro e créditos do Hugging Face Hub.
• Mirror (ferramenta): Harness de programação agentic desenvolvido pela Reflection e recomendado para trabalhar com Beam.
• Daedalus (ferramenta): Harness usado durante o treinamento para orientar aspectos como eficiência de tokens, latência e comportamentos do modelo.
• Transformers (ferramenta): Biblioteca que inclui a arquitetura do modelo e exemplos de inferência e personalização de Beam.
• TRL (ferramenta): Biblioteca de pós-treinamento da Hugging Face com receitas para treinar e personalizar Beam.
• vLLM (ferramenta): Motor de inferência citado como uma das opções para executar Beam em uma infraestrutura própria.
• SGLang (ferramenta): Motor de inferência integrado a Beam para implantação e execução do modelo.
• llama.cpp (ferramenta): Motor citado para executar localmente versões quantizadas de Beam.
• Alex (pessoa): Líder de pré-treinamento que explica a seleção de dados e a metodologia de escalonamento do modelo.
• Behrouz (pessoa): Pesquisador que trabalhou no componente de RL de alto custo computacional e nas capacidades agentic e de programação de Beam.
• Jess (pessoa): Líder de dados e skills que descreve a criação de ambientes de RL e o desenvolvimento de habilidades cognitivas.
• Florent (pessoa): Líder de open source que apresenta integrações, opções de execução e recursos para personalizar Beam.
• Ben (pessoa): Apresentador da Hugging Face que conduz a conversa e demonstra formas de usar Beam.
• Sanyam Bhutani (pessoa): Integrante da Reflection que participa do anúncio e da conversa sobre o modelo.

Tradução completa (pt-BR)

00:32 Olá, pessoal. Aqui é Ben Bitesize, da Hugging Face, e estou com Sanyam Bhutani, da Reflection. >> É, é ótimo estar aqui com você, Ben. Trabalhamos bastante juntos. Estou muito honrado de dividir o palco com você neste anúncio. >> Com certeza, é muito empolgante. Então, hoje anunciamos — ou melhor, a Reflection anunciou — um novo modelo no Hub. Ele se chama Beam. É muito legal, e estamos testando-o há algum tempo, colocando-o à prova de verdade, e tem sido uma experiência muito empolgante. Provavelmente foi um dos lançamentos mais abertos de que já fizemos parte

01:03 Se você acessar as publicações do blog da Reflection e as nossas, verá que há muita coisa para explorar. Há integrações em todo o ecossistema, seja para simplesmente executá-lo, treiná-lo, personalizá-lo, quantizá-lo, enfim. Você pode pegar esses weights e eles já estão prontos para uso. Nesta transmissão ao vivo, primeiro vamos explicar do que se trata o modelo, por que você o usaria e como usá-lo. Depois, vamos mostrar algumas integrações práticas e falar sobre

01:33 elas, coisas que realmente foram criadas pela comunidade, certo? O pessoal da SG Lang, o pessoal da VLM, nosso site. Todo mundo se uniu para fazer esse modelo funcionar no seu hardware, na sua nuvem. Então, vamos mostrar tudo isso. Depois, vamos chamar a equipe de pesquisa que treinou esse modelo. Vamos trazer pessoas da área de dados que criaram os conjuntos de dados que fizeram o modelo ser o que é, e vamos entrar nos detalhes, ir a fundo e descobrir por que fizeram certas escolhas e talvez fazer algumas perguntas bem difíceis que eles não consigam responder. Vamos ver. E, no fim, voltaremos e

02:04 vou mostrar algumas demonstrações que criei e outras que meus colegas criaram, para mostrar como começar a usar o Beam imediatamente. São algumas demonstrações bem simples que você pode experimentar sem nenhum hardware, e algumas com hardware, com treinamento e sem treinamento, coisas desse tipo. >> [fungada] >> Legal. Então, hum… >> É aqui que anunciamos o prêmio? >> Isso. Sim, claro. Então, a coisa mais importante, que quase esqueci, é o Beam Build. O Beam Build é um novo projeto de hackathon no Hub, da Reflection. Quer contar às pessoas por que elas deveriam participar?

02:35 >> Hum, como estamos fazendo isso de forma aberta, adoraríamos que as pessoas experimentassem o modelo. Adoraríamos dar a vocês a oportunidade de criar algo com ele. Estamos oferecendo US$ 10 mil em dinheiro para vocês criarem algo na Hugging Face. Criem qualquer coisa que quiserem usando o Beam, de forma aberta. E acho que vocês também vão contribuir com prêmios. >> Sim, então são US$ 10 mil em dinheiro e 10 mil créditos do Hub, acho que para os cinco primeiros colocados. É super fácil participar. Na verdade, vocês podem

03:06 enviar um Space. Qualquer tipo de demonstração que vocês possam fornecer — código para a demonstração —, vocês podem criar uma demonstração personalizada. Podem treinar um modelo, fazer fine-tune de um modelo, quantizar um modelo, fazer qualquer tipo de obliteração de modelo, mesclagem, qualquer coisa que conseguirem imaginar e compartilhar como modelo. Ou podem criar um conjunto de dados. Talvez seja um conjunto de dados com o Beam. Talvez criem um conjunto de dados sintético. Talvez criem um ambiente de aprendizado por reforço e o usem para talvez fazer RL com o Beam. Estamos abertos a qualquer coisa. E, depois de fazer isso, basta

03:37 ir à página do modelo Beam, ou melhor, à página principal do modelo Reflection Beam, a página inicial principal do BF16. Vocês encontrarão o link na descrição deste vídeo. Depois, vão até um comentário lá e simplesmente coloquem o link. Não precisam explicar do que se trata nesse comentário. Tudo precisa estar naquele repo. Então, se for um modelo, o model card precisa dizer do que se trata, por que vocês fizeram isso e por que é legal. O mesmo vale para o conjunto de dados e para o Space. Tudo precisa ser um projeto autocontido, um projeto autocontido. E vocês podem ganhar, sim, US$ 10 mil em dinheiro e

04:10 10 mil créditos do Hub. Então, dá mesmo para fazer projetos bem grandes com isso. É como um fundo inicial muito legal para algo que entusiasma vocês de verdade. Certo, a próxima coisa que vamos fazer é pedir talvez ao Salim que nos conte do que se trata o modelo. Vimos muita coisa nas comunicações sobre como ele é eficiente em tokens, como é voltado para esses casos de uso agentic. Ele é muito bom em código. Eu o usei e também tive essa experiência. Mas você poderia nos dar uma visão geral do Beam e explicar por que acha que as pessoas

04:41 usariam esse modelo em vez de outro, ou qual é o foco dele? >> Sim. Antes de tudo, sou uma parte bem pequena da Reflection. Também temos alguns dos nossos líderes de pesquisa aqui, que vou apresentar daqui a pouco. Eu adoraria ouvir o que eles têm a dizer também. Para mim, minha perspectiva é que ele é um modelo muito eficiente em tokens. Para quem conhece o Cad Jams, eles têm dito que ele é bem rápido. Em parte, isso acontece porque ele é eficiente em tokens. E é simplesmente um modelo de trabalho muito bom.

05:12 Então, para mim, posso delegar tranquilamente algumas das minhas pequenas tarefas do dia a dia ao modelo e deixá-lo trabalhando em segundo plano. Na minha opinião, é um modelo agentic muito bom. Mas eu adoraria chamar meus líderes de pesquisa ao palco e perguntar qual é a coisa favorita deles no Beam. Talvez você possa começar, Alex. >> Conseguimos fazer isso. Sim, vamos lá. >> Muito bem. Olá, pessoal. Olá. Aqui é o Alex. Trabalhei nos dados de pré-treinamento

05:45 do Beam, garantindo que a base sobre a qual ele é construído seja poderosa, para que permita todas as coisas incríveis sobre as quais vamos falar daqui a pouco. Acho que… e muitas pessoas vão falar hoje sobre a eficiência em tokens, mas isso provavelmente é o mais importante para programação agentic. Todas as coisas que as pessoas querem criar e desenvolver com o Beam e de forma personalizada com base nele. Garantir que o modelo conheça todos os possíveis desenvolvimentos

06:17 no mundo e consiga raciocinar sobre eles foi um enorme esforço de equipe. Acho que, se tivermos tempo, vamos nos aprofundar um pouco nisso hoje. Essa é provavelmente minha parte favorita: o foco no conhecimento, em explicar e ensinar ao modelo exatamente como desenvolvemos coisas no ano de 2026. A equipe vai falar bastante sobre isso. Sim, foi um prazer trabalhar nisso. Sim. >> Sim, com certeza é algo que me deixa muito empolgado. Então, qualquer pessoa que tenha trabalhado com IA nos últimos, tipo, três

06:51 anos teve essa experiência: lemos artigos, investigamos o que está acontecendo nos modelos open source e observamos esses modelos. Tentamos aprender com eles e entendê-los. E, por trás de uma espécie de muro, existe essa outra coisa de fronteira sobre a qual não sabemos muita coisa. Talvez ouçamos rumores e recebamos versões bem abstratas nos lançamentos e coisas desse tipo. Mas não temos tanto acesso quanto temos ao que é aberto. Temos menos material para aprender. Então, uma das coisas realmente empolgantes para nós, como

07:22 estudantes e simplesmente como pessoas da comunidade, em um laboratório como a Reflection, é receber coisas que podemos explorar. Temos pessoas a quem podemos fazer essas perguntas. Temos relatórios técnicos muito detalhados. Um dia, talvez também tenhamos artigos. E também temos todo o código, os harnesses, tudo open source. >> Sim. Isso também é muito importante para um laboratório que promove o avanço da inteligência aberta: documentar mais não apenas sobre como o modelo é construído, mas também tornar possível que todos

07:52 construir em cima dele. Esperamos que as pessoas façam fine-tuning do Beam. Esperamos que as pessoas construam com ele. Muitos dos detalhes de como ele funciona são necessários para que seja o mais eficiente possível para quem desenvolve. >> Legal. >> É. >> É, algumas das coisas mais empolgantes que vi são os traces, na verdade. Temos traces no hub que criamos com o Beam, que vocês podem conferir. Dá para entender essas trajetórias e como o modelo realmente funciona. Mas percebi que vocês também compartilharam trajetórias de datasets. Compartilharam todos os evals. Vocês até

08:23 compartilharam a implementação dos evals e de outros modelos nos mesmos evals. Então, há bastante coisa para explorar. Se vocês estiverem usando esse modelo em produção e forem fazer o deploy dele para cargas de trabalho bastante exigentes, vão querer poder voltar e entender qual é a base sobre a qual estão construindo. Então, vocês têm essa base transparente para trabalhar. E acho que isso existe aqui, o que é muito legal. >> É, eu também adoraria apresentar Behrouz e ouvir dele o que considera a melhor coisa do modelo.

08:56 >> Oi, pessoal. Sou Behrouz. Trabalhei no componente de RL de alto poder computacional do Beam, para realmente impulsionar as capacidades agentic e de programação que vemos no modelo. E, sim, ele tem bastante potência.

09:26 E, para mim, é claro que vemos muitos benchmarks, os números subindo e todas essas coisas, mas o que realmente me convenceu foram as demos e algumas das capacidades que o modelo consegue demonstrar. Na primeira vez que você tenta gerar um app em zero-shot ou

09:58 fazer aquele mapa ao vivo da cidade de Nova York, em que o modelo precisa buscar informações e criar algo multimodal, fica claro — pelo menos para mim — que este é um modelo muito inteligente, que generaliza para esses diferentes domínios e essas diferentes capacidades.

10:28 E estou pessoalmente muito animado para ver a comunidade construir em cima dele e levá-lo a diferentes domínios e configurações. >> Legal. Obrigado por isso. Estamos todos muito animados. Imagino que quem está acompanhando queira saber como pode usar o modelo e talvez ver um passo a passo de onde ele está integrado. Sei que está integrado ao VL e ao SG Lang, e as equipes de lá já o otimizaram.

10:59 Talvez possamos fazer um rápido passo a passo. Você também poderia mostrar alguns evals, para poupar um pouco do nosso tempo, caso a gente esteja com preguiça de ler os blogs — mas recomendo muito que vocês confiram esses blogs. Talvez possamos explorar isso. >> Sim, talvez possamos compartilhar rapidamente a tela e mostrar o que descobri com o Star by me. Aí está. Para quem está acompanhando, vocês encontram tudo na nossa página do Hugging Face. Se quiserem, também podem acessar nosso blog. Ele deve ter todos os links relevantes.

11:31 Eu diria que a página do Hugging Face e o site para desenvolvedores são os melhores lugares para começar. Se quiserem experimentar nosso modelo, podem acessar nossa API própria. Há uma documentação muito boa lá. Se quiserem o model card, também podem encontrá-lo no Hugging Face ou no nosso site. Vocês podem consultar alguns benchmarks, e daqui a pouco vamos ouvir a história de como chegamos a esses resultados. Mas vão ver um desempenho muito bom em capacidades de programação agentic. E, como parte da história sobre raciocínio que venho contando, vocês vão ver que o modelo

12:02 é muito eficiente no uso de tokens. E também quero explorar a história dos nossos responsáveis, porque, na minha opinião, o raciocínio do modelo tem um jeito bem divertido. Então, também podemos falar disso daqui a pouco. >> Legal. Vamos esperar os responsáveis chegarem. Outro recurso que vocês definitivamente deveriam conferir é o blog no Hugging Face. Como sempre, ele é uma espécie de página inicial, eu acho, ou algo como um relatório técnico resumido. Uma coisa que quero dizer é que provavelmente este é o blog em que mais investi

12:32 — o que mais me dediquei a escrever desde que estou no Hugging Face. Talvez eu tenha me empolgado um pouco, mas há bastante coisa nele. Então, eu reservaria um tempo neste fim de semana para conferir. A primeira coisa a dizer é que, como acontece com muitos lançamentos de modelos, recebemos acesso a esse modelo antes do lançamento e trabalhamos com os autores para compartilhá-lo. Temos o privilégio de poder experimentá-lo. E gosto de aproveitar esse privilégio e compartilhá-lo com a comunidade, para

13:03 que vocês possam explorar essas coisas. Então, se acessarem este blog, primeiro verão que já mencionamos algumas das coisas que aparecem aqui, como o Build-A-Bear. Em seguida, explicamos o que é, começando pelo básico. Primeiro, ele está integrado ao Transformers, o que significa que o código da arquitetura do modelo é aberto e está em um formato canônico. O Transformers é a fonte central e confiável das arquiteturas Transformer, mas também de LLMs e modelos VL.

13:35 LLMs e modelos de IA. Isso significa que podemos comparar as arquiteturas de diferentes modelos, ver como são, como diferem umas das outras e como reutilizam elementos da literatura. Então, se vocês têm interesse em ML, recomendo acessar esta seção e explorá-la. Nós a analisamos, trabalhamos nela e quebramos a cabeça para entender o que estava acontecendo e por que essas coisas aconteciam. Compartilhamos nossa análise com a Reflection. Eles a validaram — acho que confirmaram o que fizemos. E vocês podem aprender com isso. É uma seção muito educativa que eu

14:05 recomendo conferir. Depois, claro, temos os evals. Eles também estão no site da Reflections, e temos até evals da comunidade no hub. Assim, vocês podem comparar o modelo com modelos de outros autores no hub. Então, confiram. E eu diria que a seção de início rápido é esta parte sobre suporte a inference. Se quiserem usar o modelo no Transformers, este é o trecho de código. É aqui que vocês devem ir. Se quiserem conversar com ele, é assim que se faz. Se quiserem criar uma aplicação em cima dele, é aqui que devem ir. E os

14:36 engenheiros do Transformers trabalharam conosco neste blog. Então, tudo aqui foi validado com um alto padrão. Sabemos que este é o melhor lugar para consultar, e vamos manter este blog atualizado junto com a nossa documentação. Assim, vocês poderão usá-lo ao longo do tempo, conforme as coisas mudarem. Se estiverem usando VLM ou SG Lang, também temos exemplos aqui. Como eu disse, eles foram implementados pelas respectivas equipes: a do VLM e a do SG Lang. Também há suporte ao Deep Flash 2 para este modelo nas duas bibliotecas de inference, que vocês podem usar para otimizar a inference. Recomendo muito fazer isso.

15:07 Uma coisa que acho bem legal no Beam também é que ele é disponibilizado em BF16, claro, FP8 e NVFP4. Nem sempre recebemos FP8 dos autores do modelo. Então isso é muito útil, certo? Se você estiver usando chips Blackwell mais novos, obviamente pode aproveitar os checkpoints NVFP4, mas, se estiver usando Hopper, pode recorrer ao FP8. Essa seria sua melhor opção. Você usaria o BF16 em uma configuração de treinamento de fine-tuning, eu diria.

15:37 E outra coisa legal é que a Reflection também compartilhou os evals dos checkpoints quantizados, o que significa que você realmente sabe com o que está trabalhando. Eu também daria uma olhada nisso se você for usar esse modelo. Vou entrar na próxima seção um pouco mais tarde, depois que a equipe de pesquisa participar e fizermos algumas perguntas. Mas, no restante da postagem do blog, aprofundo bastante e experimento alguns casos de uso do mundo real, alguns casos de uso do mundo real

16:08 com agents. >> Também, devemos começar as perguntas e respostas? >> Sim, vamos lá. >> Então, antes de começarmos, gostaria de dizer uma coisa, pelo menos do meu ponto de vista. Ouvimos histórias sobre pessoas que realmente têm intuição para certas coisas. E ouvimos falar de pessoas que conheciam matemática profundamente. Sinto que tive essa honra com minha equipe de pesquisa. Nos momentos que pude compartilhar com eles, quando falam, todo mundo simplesmente

16:40 tenta absorver o máximo que pode. Foi por isso que convenci Alex e Verena a participar. Sou muito grato por eles terem vindo. Eles têm uma intuição forte sobre tudo. E também queremos tentar deixar open source o máximo que pudermos. Então, provavelmente vou começar essa pergunta com Alex. Ele lidera o pré-treinamento. Como chegamos ao tamanho de 501B? E como foi essa jornada? Qual foi a ciência por trás da decisão por esse tamanho específico de modelo?

17:12 >> Sim. Grande parte da equipe desenvolveu a metodologia de pré-treinamento ao longo do ano, mas talvez eu possa dar uma introdução geral para quem está ouvindo e tem curiosidade. Quando você desenvolve um modelo pré-treinado grande, quer fazer isso em etapas, testando cuidadosamente sua receita de forma metodológica e aumentando a escala

17:44 um nível de cada vez, iterativamente, com modelos cada vez maiores. E, sempre que você introduz um novo conjunto de dados ou testa uma nova mudança na arquitetura ou no otimizador, quer verificar como ela funciona em vários níveis diferentes e conferir se melhora a qualidade do modelo em escala. Depois, você testa em um modelo maior e verifica se sua previsão se confirma. São as leis de escala de que todos já ouvimos falar: se você construir essa

18:16 seleção de níveis, certo, poderá testar cada coisa em níveis menores e maiores e prever como ela vai se comportar nos níveis mais altos. Depois, testa e confirma se sua previsão se mantém. No nosso caso, ela se confirmou. Então, o mais importante é construir as escadas de escala para que as previsões se confirmem. Os tamanhos específicos — seja o número de parâmetros ativos ou o total de parâmetros — acabam resultando disso. E há outras coisas que você controla, principalmente

18:46 você controla muitas coisas, como a proporção de saída entre o número de camadas e a proporção entre os pesos residuais e o número de camadas. Mas, a partir de todas as variáveis controladas na escada, chega-se à configuração exata do modelo. É preciso ficar atento a muitas coisas ao projetar a escada. É algo difícil, e muitas pessoas têm opiniões sobre qual é a melhor. Então, é realmente uma arte na comunidade. Por exemplo,

19:17 o modelo vai caber em uma configuração específica de GPU? O RL vai conseguir funcionar com ele? Ele cabe em um ou dois nós? O que acontece quando você faz deploy desse modelo em hardware de consumidor? Qual é exatamente a taxa de transferência? Você realmente não quer projetar uma escada com cuidado e depois descobrir que, se reduzisse o modelo em apenas algumas camadas, ele caberia naquela configuração, e então ter que voltar e projetá-la de novo. Por isso,

19:47 passamos, acho, pelo menos um mês pensando nisso com cuidado. Isso faz parte da ciência do pré-treinamento, que costuma ser feita dentro dos laboratórios. O Beam, como se vê, é um ponto específico da escada. Podemos ir além, mas ainda não vou falar sobre isso hoje. É uma questão política. >> E estou curioso: talvez, Behrooz, você trocava informações com Alex sobre os requisitos

20:20 de dados dele? Como vocês preparam o modelo para ter sucesso do começo ao fim? Estávamos realmente tentando ser fortes em casos de uso com agents e sabíamos disso desde o início. Como decidimos isso desde o começo e qual é a ciência por trás? >> Sim, o processo foi uma colaboração bem próxima entre as duas equipes, durante meses antes do

20:52 treinamento final do modelo. Nos dois aspectos: o que Alex mencionou sobre o tamanho do modelo, se conseguiríamos fazer amostragens dele com eficiência durante o RL e se tínhamos um tamanho de KV suficiente. E também sobre o tamanho dos dados. Durante esse processo, usamos esses modelos menores na escada de escala para submetê-los ao RL e identificar os pontos fortes e os aspectos em que precisávamos de dados adicionais, como adições direcionadas à mistura de pré-treinamento.

21:22 E uma das coisas que você realmente quer ter — e que conseguimos com o Beam — é uma boa previsão de onde vai chegar antes de iniciar, digamos, a execução final do RL, a execução final. Você

21:53 quer ter uma boa previsão de onde vai chegar. Então, nada disso deveria ser uma surpresa. Passamos talvez os seis meses anteriores ao lançamento do modelo final construindo essa expectativa e desenvolvendo a ciência e a compreensão de que o modelo ficaria com este perfil. Fizemos todas as intervenções necessárias, seja no lado do RL ou do pré-treinamento, para garantir que essas capacidades de agent realmente se destacassem.

22:24 >> Que legal. Obrigado por isso. Então, dando continuidade, uma pergunta que eu tinha era sobre o Mira, o harness baseado em Rust que vocês criaram. Você poderia contar a história de origem desse harness? Como ele está envolvido no pós-treinamento? E talvez até comentar sobre as capacidades dos modelos em outros harnesses e, enfim, a história de origem do modelo em um harness.

22:54 >> Sim, o harness que está dentro do Beam — desculpe. O Mirror foi construído sobre outro harness menor, usado durante o treinamento.

23:25 Nós o chamamos de Daedalus. Usamos esse harness para ajustar nosso aprendizado, seja para focar na eficiência de tokens, controlar a latência ou ensinar ao modelo determinado comportamento de compactação, entre outras coisas. Além de tudo isso,

23:56 também queremos garantir que o modelo generalize para diferentes harnesses e configurações. Acho que isso é algo muito especial nos modelos de pesos abertos. Para fazer isso durante o RL, fazemos muitas ampliações e apresentamos ao modelo muitos ambientes diversificados, por assim dizer, só para garantir que o modelo

24:27 Já vimos muitos desses comportamentos diferentes. Não sei, Ben, se isso respondeu à sua pergunta. >> [fungada] >> Sim, totalmente. Isso nos diz de onde veio o harness. Acho que, quando olho para modelos, estou sempre pensando nos meus próprios projetos, certo? Estou sempre pensando: “Ok, como posso encaixar isso no meu projeto?” E acho que, à medida que começamos a ver mais harnesses surgirem e, meio que…

24:57 …começa a haver uma relação de um para um entre modelos e harnesses, ou pelo menos entre séries de modelos e harnesses, certo? E, para otimizar para o meu caso de uso, meu ponto de partida provavelmente seria o harness. Eu provavelmente otimizaria o harness antes dos pesos. E acho que talvez isso seja resultado das minhas próprias habilidades e talvez do tamanho das equipes em que trabalho. Não necessariamente tenho acesso para fazer fine-tuning do modelo para esse harness. Então, acho que o que estou tentando fazer é…

25:28 …enriquecer meu processo de tomada de decisão sobre como escolheria Mirror para Beam, ou talvez escolheria um harness com o qual já estou trabalhando, ou talvez personalizasse um harness, ou até personalizasse os pesos do Beam para outro harness. Todas essas opções ficam disponíveis para mim, essencialmente porque o modelo é aberto. >> Na verdade, gostaria de levantar essa questão. Embora não tenhamos nos concentrado em outros harnesses, depois de treinar o modelo percebemos que ele também generaliza bem. Eu o conectei ao Pi, conectei ao Open Code. Fizemos alguns benchmarks e…

26:00 …não vimos nenhuma queda de desempenho. Qual é o segredo para conseguir isso também? Porque esse não era nosso principal objetivo, se me permitem. >> Então, sabe, este modelo viu diferentes tipos de comportamentos diversificados de tool calling. E, sabe, durante a execução de RL e…

26:34 …o que acontece é que os recursos de RL são bons para separar as capacidades de seguir instruções das capacidades centrais de raciocínio e agência do modelo. Então, com uma execução longa de RL, com alto poder computacional, você obtém muitas dessas capacidades centrais no modelo. E então introduzimos muitas randomizações, aumentações e ambientes diversificados, só…

27:04 …para que possamos generalizar para esses diferentes ambientes. E a esperança é que, à medida que desenvolvemos capacidades de raciocínio e capacidades agentic mais fortes, a diferença que esperamos entre os diferentes harnesses simplesmente diminua. Acho que essa seria a configuração ideal…

27:35 …para um modelo de pesos abertos. >> Também é meio interessante: mesmo com o Mirror, há uma coisa que vale a pena destacar. Não temos Jake aqui no podcast conosco. Jake é a pessoa da Reflection que inicialmente criou o Mirror como uma ferramenta para ajudar todos nós no trabalho do dia a dia. É um harness dedicado, extremamente rápido, construído sobre…

28:07 …muita da nossa infraestrutura interna para conectar com Slack, Linear e todas as ferramentas que usamos com os dados. Mas, quando começamos a experimentar com modelos, percebemos: “Ok, podemos desenvolver isso em conjunto com o modelo e garantir que esse seja o meio pelo qual as pessoas trabalham e interagem com o Beam. O harness padrão não eram os harnesses.” Então, desenvolver o harness Daedalus como o padrão, sobre o qual o Beam é…

28:38 …treinado, e depois também transformá-lo no Mirror, por meio do qual as pessoas interagem com ele, foi realmente parte da evolução positiva que aconteceu. E, a partir daí, descobrimos que ele também generalizava para outros harnesses. Dá para ver a experiência no Open Code, a experiência no Pi e por aí vai. As pessoas começaram a criar ramificações. Então, ele se desenvolveu em etapas: de produto a harness nativo e, depois, a todos os outros harnesses. Acho que isso aconteceu ao longo de…

29:11 …cerca de três meses bem intensos. >> Legal. Certo, obrigado. É muito legal saber sobre o harness. Se vocês tiverem interesse em harnesses de terceiros, também podem conferir nossa publicação no blog. Nós o testamos com o Pi e compartilhamos algumas dessas traces. Mas, nesse caso, o melhor mesmo é executá-lo em um mecanismo de inference e conectá-lo a qualquer harness que vocês quiserem, certo? Porque as integrações estão disponíveis. Está tudo pronto para usar. >> E, sinceramente, convido todo mundo a nos dizer o que gostaria de ver da nossa parte. Temos aqui os…

29:42 …líderes da nossa equipe. Se vocês mandarem sugestões, terão uma linha direta com a nossa equipe de open source, por assim dizer. Vamos fazer acontecer para vocês. Estamos fazendo isso pela comunidade e ficamos muito felizes em compartilhar com vocês. A Jess, da nossa equipe, também entrou. Ela lidera a equipe de dados e skills. Então, talvez eu deixe essa pergunta para ela e também peça que se apresente. Mas, para Alex e Jess: qual foi o percurso para coletar os 23 trilhões de tokens com os quais treinamos? Como vocês…

30:12 …fizeram isso? E como definem o conjunto de skills que o modelo deve acabar aprendendo? Como fazem para coletar esses ambientes? >> Ótimo. Vou começar pela parte de pré-treinamento, e depois, Jess, você pode assumir e nos contar sobre a parte legal dos ambientes. Sim. Olhem só. Os dados de pré-treinamento não são os dados que costumamos ver descritos. Desta vez, vamos tentar descrevê-los um pouco melhor.

30:43 Isso porque, quando pensamos no que o modelo deve saber antes de entrar na execução de reinforcement learning com alto poder computacional, o foco costuma estar na quantidade, qualidade e diversidade gerais. Não se trata apenas de coletar todas as páginas da internet às quais você tem acesso. É preciso fazer um trabalho meticuloso para avaliar a qualidade educacional…

31:13 …de cada página, cada PDF, cada documento de código disponível em open source. Cada documento escrito, ensaio, página e assim por diante. E então estudar cuidadosamente quanto o modelo deve ver de cada fonte. Somando coisas como: “Ok, talvez seja importante garantir que o modelo conheça a documentação desta biblioteca open source e repeti-la algumas vezes junto com a implementação correspondente, para que isso fique bem consolidado nos pesos-base do modelo antes de ele aprender a realmente concluir tarefas usando-a.” Da mesma forma, para dados matemáticos e de STEM, muitos dos pesos-base do modelo precisam ser enriquecidos com o conhecimento dos fundamentos da matemática…

31:45 …e da física. Esses elementos são aquilo por meio do qual o raciocínio se desenvolve. Cada vez que o modelo lê um notebook de Python na web ou uma demonstração intercalada com texto em inglês e fórmulas, isso estabelece uma base para que ele aprenda o processo de raciocínio mais adiante. Robótica também. Então, investimos bastante nesse processo de curadoria. Eu diria que algumas das coisas desenvolvidas nele provavelmente…

32:15 …são estado da arte, tanto em garantir a precisão do conteúdo com que treinamos quanto em garantir a cobertura, para não filtrarmos coisas que acabariam sendo educativas. Vamos descrever cada vez mais isso no relatório técnico. Sim. Mas, além disso, acho que a verdadeira mágica está em ensinar skills ao modelo. Então, Jess, você pode nos contar um pouco mais sobre isso. >> Sim, obrigada, Alex. Então…

32:46 …acho que, obviamente, existem algumas categorias evidentes em que esperamos que qualquer modelo que se preze seja bom, como matemática, ciências, código, uso de um terminal de computador etc. Mas uma das formas como pensamos em desenvolver essas skills no processo de reinforcement learning não diz respeito apenas aos domínios, mas às próprias skills, às habilidades cognitivas necessárias para…

33:17 Pensem, sabe, obviamente há algumas categorias evidentes em que esperaríamos que qualquer modelo que se preze fosse bom, como matemática, ciência, código, uso de um terminal de computador etc. Mas uma das maneiras como pensamos em desenvolver essas habilidades no processo de aprendizado por reforço não diz respeito apenas aos domínios, mas também às habilidades em si, como as habilidades cognitivas necessárias para sustentar um bom comportamento nesses domínios. Então, por exemplo,

33:48 o modelo precisa ser capaz de raciocinar por um período prolongado e, nesse processo de raciocínio, deve apresentar comportamentos sofisticados, como autoverificação, retrocesso e tentativa de novas estratégias. Então, para incentivar esse tipo de comportamento, tentamos criar ambientes de aprendizado por reforço e perguntas que não sejam difíceis apenas porque talvez exijam, por exemplo, conhecimento especializado de um domínio específico, mas porque realmente obriguem o modelo a pensar logicamente em um problema. E, no aprendizado por reforço, se, para chegar a uma resposta à pergunta ou a uma solução para o problema, o modelo precisa passar por esse processo, em que usa essas habilidades cognitivas mais sofisticadas, se ele acertar a resposta, isso é reforçado. E é assim, de certa forma, que acabamos moldando esse comportamento. E acho que, de forma semelhante ao que Alex estava dizendo, não tentamos simplesmente obter todos os dados ou todos os ambientes possíveis. Exigimos um padrão de qualidade muito alto. Isso significa que as perguntas não…

34:20 …basta serem difíceis e exercitarem as habilidades que queremos que o modelo aprenda: também precisamos garantir que, basicamente, não haja nada de errado com o ambiente, ou seja, que não exista ruído no sinal de recompensa. Isso significa que, sempre que o modelo acerta a resposta, ele realmente acertou, e a recompensa corresponde de fato a um bom comportamento; e, sempre que é penalizado, isso corresponde de fato a um comportamento ruim. Portanto, temos que evitar que o modelo consiga adivinhar a resposta. O verificador não pode, às vezes…

34:50 …recompensar a mesma resposta de maneiras diferentes. Obviamente, também precisamos evitar coisas como a exploração da recompensa. Não deve haver várias respostas possíveis em que algumas sejam marcadas como corretas e outras, como incorretas, e assim por diante. Então, nos empenhamos bastante em seguir um processo iterativo: coletar dados, analisá-los e depois testá-los no aprendizado por reforço. Identificamos novos problemas e usamos isso para orientar esse ciclo, a fim de criar o conjunto de dados…

35:22 …da mais alta qualidade possível. >> Legal. Obrigado por isso. Também estou muito animado com esse domínio e, uma coisa que ouvi dizer — acho que Nathan Lambert comentou sobre isso — é que organizar conjuntos de dados de pós-treinamento é tanto uma questão de coordenar um organograma quanto de lidar com os próprios dados. É preciso reunir pessoas para trabalhar em um domínio. Elas precisam entendê-lo, assim como o ambiente, e saber o que o agent está fazendo nesse ambiente. E depois…

35:54 …treinar um modelo com esses dados; então, é preciso avaliar esse modelo e repetir esse ciclo, como você já disse. Você poderia nos dar uma ideia de como isso funciona dentro de uma equipe? Como vocês colaboram e assumem a responsabilidade pelas habilidades que você mencionou e pelos ambientes? Enfim, como é o jeito de vocês trabalharem nesse sentido? >> Sim, ótima pergunta. Bem, acho que, considerando tudo, nossa equipe é bem pequena. Então, identificamos os domínios de maior…

36:26 …prioridade nos quais realmente queremos avançar. Para cada um desses domínios, temos uma pequena equipe especializada, que se familiariza bastante com aquele tipo específico de dados, seja matemática, engenharia de software ou outra coisa. E essa equipe fica responsável por tudo relacionado àquele domínio, sejam os evals que acompanhamos, conversas com fornecedores de dados — compramos alguns dos nossos dados de fornecedores — ou descobrir como gerar alguns desses ambientes sinteticamente…

36:59 …E essas frentes de trabalho, ou equipes, trabalham em estreita colaboração para criar os ambientes. Também trabalhamos muito de perto com a equipe de treinamento, sobre a qual Barry pode falar mais, para passar os dados pelo aprendizado por reforço e, então, observar quais comportamentos surgem. O que queremos manter? Que coisas estamos vendo e gostamos, e queremos continuar reforçando? Que coisas, quais são as surpresas que queremos corrigir daqui para a frente?…

37:29 …E também é muito importante manter esse ciclo bem fechado, porque algumas coisas que talvez não seja possível identificar apenas observando o problema acabam aparecendo durante o aprendizado por reforço. Por isso, precisamos manter esse ciclo bem fechado. Um exemplo disso: no início do desenvolvimento do modelo, tínhamos algumas perguntas de ciências que…

38:01 …pareciam difíceis. Nós as testávamos, por exemplo, gerando várias amostras para cada pergunta, e o modelo às vezes conseguia resolvê-las, às vezes não. Mas, quando as passamos pelo aprendizado por reforço, o algoritmo de aprendizado por reforço fez o processo de raciocínio do modelo cair a zero. O motivo foi que, na verdade, eram mais perguntas sobre conhecimento factual, que não exigiam muito raciocínio do modelo. Isso não ficou…

38:32 …claro para nós até passarmos as perguntas pelo processo de aprendizado por reforço. >> Certo, sim. Isso é muito legal. Dá uma ideia de algo com que a maioria das pessoas da comunidade talvez não tenha tanta experiência, mas as pessoas vão pegar modelos e fazer fine-tuning para seus domínios. Então, acho que uma coisa muito interessante é que, se você estiver trabalhando com a Beam em um caso de uso específico, pode dizer: certo, vamos montar esse tipo de grupo especializado no domínio…

39:03 …da mesma forma que vocês fizeram internamente, mas vamos nos concentrar no nosso problema e trabalhar juntos com dados, depois aprendizado por reforço e, em seguida, avaliação, num ciclo desse tipo. Isso me leva à pergunta: quais domínios, quais habilidades você acha que foram pouco explorados? Onde você vê potencial para a Beam? >> E, para complementar essa pergunta, há uma pergunta da comunidade que eu acrescentaria: o que você acha que deve ficar nos ambientes…

39:34 …e o que deve ficar nos pesos? E houve algo que não funcionou durante esse processo? >> Sim, são todas boas perguntas. Deixe-me ver se consigo responder a todas. Quanto às habilidades que foram pouco exploradas, acho que, em muitos dos benchmarks que acompanhávamos, as pontuações ainda estavam subindo no fim do treinamento. Então, em certa medida, só precisamos treinar mais com aquilo que já estávamos usando. Acho…

40:05 …que isso se deve simplesmente à limitação de não termos ambientes suficientes para manter a execução em andamento. Pensando mais adiante, uma coisa que me anima muito é a possibilidade de treinar os modelos para se envolverem explicitamente em uma colaboração mais robusta entre humanos e agents. Acho que, especialmente quando se considera integrar um agent ao seu workflow, às vezes você quer que ele vá e faça algo completamente de forma autônoma, mas…

40:36 Acho que isso é simplesmente uma limitação: não tínhamos ambientes suficientes para manter a execução em andamento. Pensando mais no futuro, uma coisa que me deixa muito animado é a possibilidade de treinar os modelos para se envolverem explicitamente em uma colaboração um pouco mais robusta entre humanos e agents. Acho que, especialmente quando se considera integrar um agent ao seu workflow, às vezes você quer que ele vá e faça algo de forma totalmente autônoma, mas

41:07 Às vezes, você também quer que ele, eu acho, sabe, leve você junto nessa jornada, certo? Você quer que ele faça as coisas de uma maneira que, quando terminar o que está fazendo, você, como usuário, entenda o que o modelo fez e por que tomou as decisões que tomou. E isso permite que você continue desenvolvendo esse trabalho daqui para a frente. Essa é uma direção específica que me deixa bastante animado. Vamos ver. Qual era a segunda pergunta? Pode repetir?

41:37 >> As coisas que funcionaram e as que não funcionaram, e o que deve fazer parte do ambiente em vez de >> Sim, o que >> conjuntos de dados? >> Sim. Então, o que deve fazer parte dos pesos e o que deve fazer parte dos ambientes? Bem, em certa medida, os ambientes ajudam a moldar o que está nos pesos, certo? Então, não é tanto uma questão de algo pertencer ao ambiente em vez de aos pesos, mas sim de os ambientes serem meios para moldar os pesos da maneira que

42:07 queremos, certo? Queremos que eles contenham esses comportamentos cognitivos ou habilidades cognitivas de raciocínio, de uso de ferramentas, de operar de forma autônoma por longos períodos. Esse comportamento, no início do treinamento, ainda não está plenamente nos pesos. Talvez as sementes dele já estejam lá, mas o ambiente é o que nos permite identificar esses comportamentos, aprimorá-los e fortalecê-los, de modo

42:39 que, quando chegarmos ao fim do treinamento e lançarmos o modelo, ele seja um bom modelo de programação. E, sim, acho que, quanto às coisas que funcionaram e às que não funcionaram, voltando ao ponto sobre a qualidade dos dados, isso é algo que… Não sei, todo mundo adora falar sobre os algoritmos de aprendizado por reforço e coisas do tipo, mas, no fundo, se a qualidade dos dados não estiver lá, você vai ter dificuldade para treinar seu modelo. Então, você

43:09 sabe, sempre que deixávamos algo passar ou cortávamos caminho e depois tentávamos treinar o modelo, descobríamos que isso causava problemas. Acho que, novamente, prestar atenção aos detalhes e voltar sempre para examinar muitas e muitas vezes os ambientes que temos, garantindo que estejam realmente completos, é um dos aspectos mais importantes para fazer isso funcionar. >> Talvez seja falta de habilidade minha, e

43:39 talvez Behrouz nunca mais fale comigo depois que eu disser isso, mas tentei configurar o aprendizado por reforço e ele colapsou completamente, mesmo sendo uma execução bem pequena. Então, qual é o segredo para fazê-lo dar certo na escala em que vocês fizeram isso? E pode falar sobre a escala em que executamos nossa execução de aprendizado por reforço? >> Sim, os algoritmos de RL são notoriamente instáveis e, para alcançar essa estabilidade, costuma ser preciso bastante

44:10 tempo, especialmente nesta escala: digamos, um mês de execução contínua de RL em apenas, sabe, 10K GB200. Isso é algo na escala de um laboratório de fronteira para uma execução de RL. E, para nós,

44:41 foi tanto um processo de expansão da infraestrutura e um desafio de engenharia quanto um desafio científico. Tivemos que nos aprofundar nos algoritmos e também construir a parceria entre essas duas frentes. Muitas vezes, as duas coisas que acabam se tornando problemáticas são que, à medida que você otimiza sua policy, você

45:11 também otimiza em função das pequenas divergências numéricas entre seu mecanismo de inference e seu mecanismo de treinamento. Em uma execução curta de RL, isso não tem problema nenhum, mas, à medida que você aumenta o compute e a pressão de otimização, isso se torna catastrófico. Em algum momento, a policy simplesmente aprende a otimizar em função dessa divergência e, então, você vê que a recompensa cai ou que os comprimentos das conclusões disparam.

45:42 Isso exige algum tipo de estudo consistente da dinâmica e a implementação de correções na stack. Do lado da engenharia, de repente você está lidando com um sistema assíncrono com diferentes tipos de comportamento de tolerância a falhas. Esses chips, ou seus mecanismos de inference, às vezes falham. E, à medida que você aumenta a escala, o escopo dos desafios de engenharia também cresce, e a taxa de falhas aumenta. Então, você realmente quer ter um sistema que tenha um nível robusto de tolerância a falhas

46:13 integrado a ele. Ao mesmo tempo, ele precisa ter observabilidade suficiente para que as pessoas trabalhando no aspecto científico e na estabilidade consigam depurá-lo e ver: “Certo, esse componente aqui causou problemas”. Na nossa trajetória, começamos nossas execuções de RL com um tamanho máximo de context de 16k, o que é bastante limitado. É muito difícil fazer qualquer tipo de programação de verdade ou tarefas agent de longo horizonte com isso. Então, desenvolvemos a infraestrutura e a ciência em conjunto. Passamos para 32, depois 64 e, em seguida, ampliamos para 256 e além durante a preparação para a execução.

46:44 Então, todas essas coisas precisam ser incorporadas semana após semana, mês após mês, e as lições precisam ser absorvidas pela nossa stack e pelos nossos algoritmos. >> Certo. Isso é muito legal. Conversamos bastante sobre RL e ouvimos falar dessa execução. Quem quiser aprender sobre isso deve conferir a publicação no blog de vocês, assim como todas as integrações de RL que vocês fizeram, que são muito legais. Acho que tem TRL, tem

47:17 Miles, Sky RL e Nemo RL. Então, escolha o que preferir e experimente o Beam. Isso é muito bom. Outra coisa que achei ótima é que vocês também colaboraram com a comunidade para fazer essas execuções. Assim, as pessoas podem usar os frameworks e ver os resultados que vocês obtiveram em um exemplo específico, o que facilita muito começar. Talvez, para as últimas uma ou duas perguntas, se pudermos sair um pouco desse assunto… Ah, queria perguntar: vi nos gráficos e

47:49 você já mencionou que não parece haver um platô. Não parece necessariamente o fim de uma execução. Parece que ainda há potencial. Como é esse potencial? Qual é o próximo passo para o Beam nas suas diferentes formas? Vai haver outro modelo? Vocês consideraram outros tamanhos? Para onde o Beam está indo? >> Deixe-me falar um pouco sobre isso. Estamos, obviamente, trabalhando nos próximos modelos da família Beam como um todo.

48:21 Sem revelar detalhes sobre os tamanhos, os dados ou exatamente para onde vamos a partir daqui, isso já está acontecendo. Como as pessoas mencionaram, mesmo que você pegue o Beam na forma atual e continue fazendo RL nele, ainda não vimos sinais de que isso vá parar. Então, seria possível continuar. Mas também vamos compartilhar mais um pouco — Luke vai falar sobre a arquitetura do modelo —, e há muitas coisas na arquitetura, na

48:53 Você já mencionou que, na verdade, não há um platô. Não parece necessariamente o fim de uma execução. Parece que há potencial aí. Como é esse potencial? Qual é o próximo passo para o Beam, em suas diferentes formas? Vai haver outro modelo? Vocês consideraram outros tamanhos? Para onde estão levando o Beam? >> Deixe-me falar um pouco sobre isso. Obviamente, já estamos trabalhando nos próximos modelos da família Beam como um todo.

49:27 Sem revelar detalhes sobre os tamanhos, os dados ou exatamente para onde vamos daqui, mas isso já está acontecendo. Como mencionaram, mesmo se, por exemplo, você pegar o Beam como está atualmente e continuar fazendo aprendizado por reforço nele, não vimos sinais de que isso vá parar. Então, daria para continuar. Mas também há muitas coisas na arquitetura — o Luke vai falar um pouco mais sobre ela —, na

50:00 regime de otimização, nos dados de pré-treinamento, que pudéssemos executar novamente do zero e obter uma base substancialmente mais poderosa, sobre a qual você poderia aplicar isso novamente. E, nesse ponto, é só continuar empurrando a fronteira cada vez mais. Então, isso já está em andamento. Jess, você quer falar também sobre os dados de skill? Acho que tem… não sei. >> Sim, quer dizer, acho que, para nós…

50:32 sabe, precisamos continuar ampliando nosso conjunto de ambientes nos quais podemos treinar. Conforme criamos modelos cada vez mais capazes, o problema dos dados de aprendizado por reforço é que eles se esgotam, certo? O modelo melhora, os dados ficam fáceis demais e você não consegue mais usá-los de verdade. O que é, sabe, lamentável: significa que você precisa sempre obter mais ambientes, cada vez mais difíceis. Então, esse é um grande desafio para nós: continuar elevando esse patamar de dificuldade. E…

51:02 sabe, também acho que devemos nos expandir para outros domínios nos quais investimos um pouco menos. Acho que há toda uma variedade de tarefas agentic que são cada vez mais complexas e de horizonte mais longo, e nas quais ainda não… ou diria que só arranhamos a superfície, e ainda não nos aprofundamos o suficiente. E isso é algo que me deixa muito animada. E…

51:33 É. Então, vamos em frente e para cima. >> Legal. Sim, quer dizer, temos uma enorme quantidade de conhecimento obtida com isso. É muito legal. Vou fazer o possível para compartilhar tudo nos comentários e também na descrição, para que este vídeo possa ser bastante educativo por si só. As pessoas podem usá-lo como ponto de partida. Mas, como já disse, esse tipo de conhecimento é muito útil para a comunidade. É algo com que se pode realmente aprender e que nem sempre dá para extrair de um artigo ou de um relatório técnico. Sabe, esse tipo de…

52:04 intuições que vocês desenvolveram ao longo da carreira. Sanyam, você tinha uma última pergunta ou quer que eu comece a falar das demos e coisas desse tipo? >> Sim, quer dizer, no meu caso, nunca vou conseguir falar com todos eles, porque são muito ocupados. Então, vou aproveitar esta oportunidade até o próximo lançamento. Se você pudesse escolher uma coisa que gostaria que as pessoas levassem para casa sobre o Beam, ou algo de que mais se orgulha e que gostaria que elas soubessem ou experimentassem, o que seria? E a pergunta vale para todos os três.

52:41 >> Se eu continuar repetindo as mesmas coisas que já disse, vai ficar chato. Então, talvez a principal mensagem para mim seja o motivo pelo qual entrei nisso há cerca de um ano: o mundo ocidental tem tido cada vez menos modelos sobre os quais todos possam construir e que possam adaptar para ter sua própria IA em seus aplicativos, em seu ecossistema, com seus dados, com seu…

53:11 ambiente, mas mantendo o controle de ponta a ponta e sabendo que foi construído de ponta a ponta com os dados certos e com a procedência adequada. É claro que ainda há muito mais a fazer nos próximos meses, mas isso é algo que construímos em menos de um ano e de que podemos nos orgulhar. Assim, as pessoas podem controlar o deploy de sua stack de IA sobre um…

53:42 modelo construído aqui, que está avançando a fronteira da inteligência artificial. Tenho um orgulho imenso disso. Foi por isso que entrei na Reflection AI, e adoraria ver o que as pessoas fazem com ele em suas startups, aplicativos, projetos pessoais, o que quiserem, porque ele é aberto, aberto para todos. >> Acho que posso falar agora. Quer dizer…

54:14 Na verdade, para reforçar o que Alex disse, acho que algo de que também me orgulho muito é que todos deveriam ter acesso a inteligência de ponta e poder usá-la da maneira que quiserem, além de ter controle sobre ela. Acho que esse é um aspecto muito importante desta era em que estamos entrando. E eu, pessoalmente, me sinto muito…

54:45 orgulhosa por ter podido fazer parte disso. Também estou muito animada para ver como todos estão usando o modelo de tantas maneiras diferentes que nem conseguiríamos imaginar. E acho que essa é uma das coisas realmente legais de trabalhar nesse espaço de modelos open source: poder ver a diversidade e a criatividade da comunidade construindo sobre eles. Também queria destacar nossa equipe. Todo mundo que contribuiu para construir o modelo… trabalhar com essa equipe tem sido simplesmente fenomenal, e ela é pequena,

55:17 e o que conseguiram construir em um ano é simplesmente extraordinário, na minha opinião. Tenho muito orgulho de todos que trabalharam nisso e de terem criado um modelo tão bom. Então, é isso que me deixa muito orgulhosa. >> Sim, também queria reforçar todos os pontos que Alex e Jess levantaram. Estamos entrando em uma era de modelos de IA agentic cada vez mais poderosos e, pessoalmente, estou muito animado com a democratização de algumas dessas capacidades e com a possibilidade de permitir que as pessoas interajam com essas coisas e reduzir algumas dessas…

55:48 capacidades e, pessoalmente, estou muito animado com a democratização delas e com a possibilidade de permitir que as pessoas interajam com essas coisas, reduzindo algumas dessas lacunas sobre as quais as pessoas só ouvem falar, como: “Certo, esses laboratórios de ponta fechados têm acesso a alguma coisa…”

56:18 alguma coisa mágica, sabe-se lá o quê, lá dentro, e você nunca pode saber do que se trata. Então, acho que essa é uma das coisas maravilhosas que podemos trazer para esta comunidade: as pessoas têm acesso a essas ferramentas e podem integrá-las a seus sistemas, além de se sentirem conectadas a elas. Também quero reforçar o que disseram sobre a equipe.

56:49 É realmente incrível ver todas essas coisas se juntarem em menos de um ano. E esses modelos não chegaram a um platô. Estamos apenas avançando para a próxima etapa. É impressionante ver que essas pessoas se juntaram e simplesmente construíram isso. A escala dessas operações e também a energia que há por trás delas são simplesmente…

57:19 incríveis. >> Legal. Obrigado por isso. Obrigado por tudo que vocês compartilharam. Foi uma experiência muito legal para mim, pessoalmente. Espero que todos aqueles com quem compartilhamos isso, e que assistirem a este vídeo gravado no YouTube, no X e no LinkedIn, possam aproveitar o conteúdo e aprender bastante com ele. É muito legal. Boa sorte com o próximo modelo e com os próximos lançamentos. Agora, vou mostrar às pessoas como usá-lo. Vou deixar vocês saírem da tela e depois…

57:50 Sania e eu vamos ficar por aqui, e vou explicar tudo isso. Então, obrigado a todos. Tchau. >> Enquanto fazemos a transição, deixa eu apresentar nosso líder de open source. Ele é um corredor incrível. Se ele se dedicasse apenas à corrida, provavelmente bateria o recorde mundial de velocidade na corrida. Mas, acredito, ele bateu um recorde com nosso lançamento. Ele realmente correu e liderou nossa equipe rumo ao lançamento. Então, gostaria de chamar Florent ao palco. Eu sempre erro seu nome. Desculpa.

58:21 sobre isso. Mas, Flo, conte para nós sobre você e qual é seu recurso favorito do Beam. >> Oi. Olá. >> Ah, desculpe, Florent. Você está no mudo. Tudo bem, não se preocupe. É só tirar o mudo e a gente retoma.

58:52 >> Na verdade, posso contar. Estamos bem agora? Certo, ótimo. Então, como a Sania me apresentou, sou Florent e trabalho com open source junto com ele e uma grande equipe. O objetivo é realmente pegar o modelo e levá-lo à comunidade. Tem sido ótimo trabalhar de perto com a equipe de pesquisa

59:24 e com a equipe de engenharia da Reflection. Sim, para garantir que possamos criar ótimas integrações com o Beam, com o restante da comunidade e com as ferramentas que impulsionam o ecossistema. O que é ótimo em trabalhar com open source na Reflection é poder trabalhar com pessoas muito inteligentes, que temos aqui dentro, e também com nossos parceiros. Ben é um deles. Trabalhamos juntos

59:57 na integração do Beam à stack da Hugging Face: Transformers e TRL. E também na criação de ótimo conteúdo sobre o Beam e em garantir que ele seja adotado pela comunidade. Nós, da equipe de open source, também trabalhamos com dezenas de outros parceiros de diferentes projetos. Trabalhamos também com provedores de inference e de cloud para garantir que o Beam seja distribuído e realmente usado pela

1:00:28 comunidade. >> Legal. Incrível, Florent. Muito obrigado. É realmente muito legal ver um novo laboratório nascer em público, como uma transformação da lagarta em borboleta, ou algo assim. E dá para espalhar isso. Compartilhei este tweet algumas semanas atrás, quando vocês lançaram o Beam pela primeira vez. Dizia: “Se você trabalha com open source há alguns meses, acho que esteve nas trincheiras. Você interagiu de verdade com os engenheiros da Reflection, em coisas como SFT no LM, no TRL e em todos esses lugares.”

1:00:59 E isso é mesmo verdade. Se você acessar a documentação de todos esses projetos, vai encontrar receitas e exemplos que podem servir de ponto de partida para seus projetos, suas ideias de startup e seus projetos de hacker. Vou tirar Florent da tela e passar para a publicação do blog, para mostrar como começar esses projetos. Legal. Certo. Vamos entrar na parte técnica.

1:01:31 Então, como eu disse, temos esta publicação no blog da Hugging Face. Como costuma acontecer, esta é uma publicação bem aprofundada, mais do que algumas outras em que trabalhamos. Investimos bastante tempo para mostrar como é o Beam e como vocês podem usá-lo. Como sempre, à direita dá para ver cada modelo e conjunto de dados de que falamos, além dos seus Spaces, e acessar esses itens como ponto de partida. Mas

1:02:03 vamos começar por aqui. Depois da seção de inference, como mencionei no início do vídeo, se você só quiser executar o modelo, vá para essa seção. Lá há endpoints de inference do SGLang e provedores de inference de verdade. Assim, você pode testá-lo em provedores como Base10, Fireworks e outros. Mas, se quiser começar a desenvolver com o Beam, eu recomendaria começar por esta seção. Ela se chama “O que testamos”. Este trabalho foi meu. Quando recebi o modelo pela primeira vez, nós

1:02:35 sempre fazemos isso, na verdade. Definimos algumas tarefas que, na nossa opinião, vão revelar as capacidades do modelo, com base no que os autores do modelo nos dizem. Normalmente, eles dizem em que o modelo é bom. Então, reunimos uma série de benchmarks e avaliamos o modelo. Geralmente, obtemos pontuações compatíveis. Depois, o que eu gosto de fazer, e sei que outras pessoas também fazem, é analisar as tarefas do benchmark

1:03:05 para entender como o modelo se comportou em tarefas específicas. Assim, dá para investigar uma tarefa específica. Por exemplo, aqui você pode ver que mudamos para um trace. Este é um trace no Hub que compartilhei, em que usei o harness do pi com o Beam. Configurei esta tarefa: para o pedido sintético ORD 742, encontrar o único armazém mais barato capaz de atender ao pedido inteiro e entregá-lo até o prazo do pedido.

1:03:36 Então, este é um problema de raciocínio do mundo real, e usei um harness. Usei o harness do pi para isso. Como podem ver aqui, tudo está renderizado; ele usa as ferramentas get order e get inventory. São ferramentas personalizadas que defini. Também compartilhei essas ferramentas personalizadas em um bucket. Se quiser pegar este projeto e configurá-lo para seu próprio uso, pode baixar esse bucket. E então você verá que o caso de uso foi concluído.

1:04:07 Agora vamos voltar à publicação do blog. Repeti isso mais algumas vezes. Depois, fiz uma recuperação em contexto longo em uma base de código. Aqui, dá para ver que, com raciocínio baixo, houve um pequeno problema. A resposta em contexto longo com raciocínio baixo identificou todo o comportamento do código. Acertou, mas não raciocinou. É assim que eu sempre trabalho. Eu pegaria um conjunto de capacidades e as relacionaria a um benchmark. Depois,

1:04:38 encontraria tarefas dentro do benchmark que correspondam a essas capacidades. Aí, começaria a observar quais capacidades exigem raciocínio e quais não exigem. Porque, quando analisamos evals de um modelo em determinado benchmark, normalmente eles são feitos com parâmetros de raciocínio específicos. Usa-se o parâmetro de raciocínio mais alto. E talvez você queira saber o que exige esse raciocínio. O que poderia reduzir o nível de raciocínio e ajustar ao seu próprio caso de uso, para realmente destrinchar o modelo. Então, é preciso levá-lo além

1:05:10 dos limites para descobrir onde ele precisa de raciocínio e onde não precisa, e em que situações consegue se virar com configurações de raciocínio mais baixas. Foi isso que fiz aqui. Não vou passar por cada exemplo, mas recomendo que quem quiser usar o modelo venha aqui e teste, depois repita esse tipo de estudo no próprio projeto. >> Talvez eu coloque Flo na berlinda: Flo, você pode nos dizer o que é o mirror? Do que se trata e como as pessoas podem experimentá-lo?

1:05:41 Vou trazê-lo ao palco. >> Sim. O mirror é o nosso harness de programação agentic, desenvolvido pela equipe, como Alex mencionou antes. O mirror combina muito bem com o Beam se você quiser executar tarefas no terminal, como tarefas de programação. Sugiro que acesse a organização Reflection OSS, baixe o mirror e comece a criar coisas e projetos incríveis com esse

1:06:13 harness. Ele foi feito para funcionar bem com o modelo. Como Beru disse antes, o mirror é uma espécie de harness que treinamos internamente, chamado Daedalus, e o mirror é como um descendente desse harness. Ele foi realmente feito para ser distribuído de acordo com a forma como o Beam foi treinado. Por isso, recomendamos usar o mirror com o Beam, mas também oferecemos suporte

1:06:45 outros harnesses open source. É, então vamos experimentar e encontrar coisas ótimas com o mirror. >> E >> [limpa a garganta] >> talvez uma pergunta complementar: como faço para acessar o mirror? Como é a jornada do usuário? Como as pessoas podem experimentar o modelo? Onde devem obtê-lo? Qual mecanismo de inference vocês recomendam? >> É, e como podemos fazer fine-tuning, se quisermos? >> É, se você quiser obter, digamos, um endpoint para poder conectar o mirror…

1:07:15 e começar a programar com ele. Na verdade, fizemos parceria com mecanismos de inference, como SG Lang, VLLM e Token Speed. Isso é para quando você quiser fazer deploy do Beam na sua própria infraestrutura. Trabalhamos em estreita colaboração com essas equipes e também colaboramos com a Nvidia para garantir que você consiga o melhor desempenho do seu hardware ao fazer deploy na sua infraestrutura. Então, ele é

1:07:46 otimizado para H200, GB B300s e outras GPU da Nvidia. Mas também fizemos parceria com a Unsloth para levar o mirror Beam ao hardware local. A equipe da Unsloth vai criar versões quantizadas do nosso modelo, que podem ser executadas com mecanismos como llama.cpp. Assim, você pode tentar

1:08:16 colocar o Beam no seu computador local e conectá-lo ao mirror. Também garantimos que o Beam seja integrado a diferentes provedores de inference e provedores de nuvem. Eles oferecem serviços de inference. Então, se você não quiser ter o trabalho de fazer o deploy por conta própria nas suas GPU, pode ir diretamente ao nosso blog. Lá, eles estão

1:08:47 listados, e você vai encontrar links para acessar diretamente um endpoint disponibilizado por esses provedores de inference. >> Legal. Certo, obrigado. É, bom, isso é ótimo. Então, aprendemos sobre as integrações. Vamos voltar à publicação do blog e falar novamente sobre o Beam Build. Como mencionamos no início, o Beam Build é uma competição. É uma competição em que você pode ganhar US$ 10.000

1:09:20 em dinheiro e US$ 10.000 em créditos do Hugging Face Hub, que você poderá usar para treinar modelos, armazenar modelos ou fazer o que quiser. Isso pode realmente dar o impulso inicial ao seu próprio projeto. Se quiser enviar um projeto, acesse a página do modelo Beam no Hub, que estará na descrição deste vídeo. Publique um comentário nesse modelo com o seu projeto. Seus projetos podem ser um space, um conjunto de dados

1:09:51 ou um modelo. Você poderia criar uma demonstração que simplesmente usasse o Beam. Ela poderia usar a API do Beam ou ser executada no seu próprio mecanismo de inference. Você poderia publicá-la em um space. Também poderia ser um projeto local, e tudo bem. Ou você poderia criar um modelo. Poderia fazer fine-tuning do Beam, quantizá-lo, obliterá-lo ou mesclá-lo. Qualquer coisa que possa ser incluída em um modelo. Na verdade, talvez você até crie algo um pouco diferente. Talvez faça fine-tuning de outro modelo usando o Beam. Por exemplo,

1:10:22 vou mostrar daqui a pouco um caso em que fiz isso. E a terceira coisa que você poderia fazer seria criar um conjunto de dados. Você poderia criar um conjunto de dados sintético que talvez servisse para fazer fine-tuning de outro modelo. Poderia criar um ambiente de RL que talvez servisse para fazer fine-tuning do Beam ou de outro modelo. Ou poderia criar um conjunto de dados de benchmark para avaliar o Beam. Todas essas coisas, basicamente qualquer coisa que você imaginar: experimente e publique lá. Não precisa incluir uma descrição no comentário, só o link. Depois, coloque tudo

1:10:53 sobre o projeto no próprio repo. Inclua tudo no readme, explicando o que é, por que é interessante e coisas desse tipo. Depois vamos avaliar os projetos, e os vencedores receberão o prêmio em dinheiro e o prêmio em créditos. Legal. Então, vamos dar um pouco de inspiração e mostrar algumas das demonstrações em que trabalhei. >> Talvez, antes de chegarmos a isso, o pessoal esteja perguntando como fazer fine-tuning do modelo e demonstrando interesse. Então, vou passar a palavra ao Florent, que está sentado à minha frente e de quem gosto de ficar pegando no pé. Florent,

1:11:24 como as pessoas podem fazer fine-tuning desse modelo? >> Claro. >> É. Se >> Se você >> não estiver satisfeito com os recursos atuais do Beam, também trabalhamos com vários parceiros open source para permitir que você personalize o Beam na sua própria infraestrutura. Fizemos parceria com a Nvidia para disponibilizar uma receita compatível com o Nvidia automodel, com tecnologia Mega da Bridge, caso você queira

1:11:54 executar SFT nos seus dados. Também fizemos parceria com a equipe Ray Spark, que produz o Mice, uma biblioteca para RL. A Hugging Face também tem o TRL, uma biblioteca de pós-treinamento na qual habilitamos receitas de RL. Também fizemos parceria com a Anyscale para disponibilizar receitas de Spark

1:12:25 RL. Então, sim, contribuímos bastante com esse trabalho, caso você queira personalizar o Beam com seus próprios dados. Recomendo acessar nosso site para desenvolvedores. Temos muitas receitas e guias práticos para você começar a personalizar o Beam de acordo com as suas necessidades. Legal. Certo. Então, digamos que você já tenha o modelo e agora queira

1:12:56 fazer algo inspirador. Você quer trabalhar com ele. Temos exemplos incluídos aqui. Um deles é fazer SFT com TRL, como o Florent acabou de mencionar. Este é um exemplo que executamos e configuramos com o Laura. Fizemos fine-tuning para um problema de raciocínio multilíngue. Assim, fazemos o modelo raciocinar em um idioma específico, o que melhora o desempenho nesse idioma. Tudo isso é executado no TRL. Funciona com oito… Esta execução foi feita em oito GPU B300. E você pode ver que converge.

1:13:28 Também integramos o exemplo ao TRL, então você pode experimentá-lo. Se quiser fazer RL, este exemplo do Mice, como o Florent mencionou, é um ótimo ponto de partida. É um problema de raciocínio matemático. Você pode executá-lo por completo, com todos os parâmetros; nesse caso, serão necessárias 96 H200. Ou pode fazer um fine-tuning com Laura, usando 32 H200. É um projeto que exige bastante investimento. Mas o exemplo está aqui, e você pode usá-lo para começar. Ele também está

1:13:58 integrado ao Mice, então você pode conferir os exemplos por lá. A equipe da Reflection executou e testou esse processo. Você pode ver aqui como o desempenho melhorou no AIME. Quanto foi? 9%, o que é bem legal. Eles também fizeram a execução com Laura, como eu disse, e isso também melhorou o desempenho. Então, dá para reduzir a escala. Certo, esses são os dois exemplos de fine-tuning. Você não precisa fazer fine-tuning para participar do projeto Build with Beam.

1:14:28 Como eu disse, pode ser apenas uma demonstração ou apenas um conjunto de dados. Então, vamos mostrar os exemplos que preparei para inspirar você. Mas não pode copiá-los, porque, se você usar exatamente a mesma coisa, não vai contar. Mas talvez possa usá-los como ponto de partida. O primeiro que fiz é algo que tento fazer com frequência. Nem sempre funciona com outros modelos, mas desta vez funcionou, então fiquei feliz em compartilhar. É: “Ei, Beam, crie um aplicativo nativo para macOS, localmente.” Isso é bem difícil, porque você realmente quer que o

1:14:59 modelo para se ater aos detalhes específicos do macOS e criar algo integrado. Neste caso, eu queria que ele criasse um aplicativo de conversão de fala em texto que eu pudesse usar >> Modelos Open Jeff ajustados para o meu, uh, >> tipo, onde meu cursor estivesse. Eu queria que ele criasse um aplicativo open source que funcionasse no dispositivo usando um modelo específico do hub. Então, ele precisava interagir com o MCP do Hugging Face. Precisava baixar o modelo e criar, sabe, esse projeto de machine learning, mas

1:15:30 depois também precisava usar o MLX, que é uma biblioteca específica otimizada para Mac, para aproveitar ao máximo o hardware do Mac. E então precisava criar uma barra de tarefas, e essa barra de tarefas precisava ser mapeada para teclas, porque eu queria pressionar, acho que era Command-Shift-Space, para fazer o aplicativo aparecer. Então, era um aplicativo realmente útil no mundo real, e ele fez tudo de primeira, o que foi muito bom. Compartilhei o código-fonte, compartilhei o trace da execução mostrando como ele fez tudo de primeira, e isso foi no PyHarness. Então, esse é o tipo de

1:16:00 coisa que você poderia compartilhar em um espaço e que outras pessoas poderiam experimentar. E isso seria uma inscrição muito legal. O próximo foi um projeto de pesquisa com o Beam. Tenho me interessado recentemente em como diferentes harnesses usam vários agents. É algo que venho explorando com diferentes modelos, tentando ver quais modelos usam subagents de maneiras diferentes e como os usam, se eles se saem melhor com um único agent usando o recurso de subagent do harness ou se seria melhor usar cinco agents independentes.

1:16:32 Então, fiz um pequeno projeto de pesquisa e pedi ao Beam para configurar o Beam dentro de um PyHarness e fazer essa pesquisa para mim. Ele criou este gráfico aqui, e podemos ver que, na verdade, o Beam se sai muito bem com subagents assíncronos em algumas latências, enquanto em outras se sai melhor com agents separados.

1:17:03 Mas alcança o melhor desempenho com uma configuração de um único agent. Conversei com a equipe da Reflection, e eles não otimizaram o Beam para essa configuração do PyHarness. Então, o projeto de pesquisa não tem realmente relação com a pesquisa do Beam nem com nada disso. Foi só um projeto de pesquisa pessoal, e achei muito legal ter feito o Beam pesquisar o Beam e me mostrar como ele funcionava e coisas desse tipo. Então, se você tiver um projeto de pesquisa parecido e quiser usar o Beam como seu estagiário de pesquisa, essa é uma ótima coisa que você pode configurar.

1:17:34 Você pode compartilhá-lo como um espaço, talvez até como um conjunto de dados, ou talvez todos eles. Certo, e o último tipo de projeto que eu queria fazer era ajustar um decision model para minha base de código específica. Decision models estão super em alta no momento; todo mundo está ajustando e lançando os seus, porque são muito rápidos e bastante práticos para muitos casos de uso em que você não precisa desses recursos de LLM, certo? Então pensei: será que eu conseguiria fazer o Beam me ajudar com meu projeto de decision model?

1:18:05 E ele conseguiu, funcionou. Então, ajustou um decision model usando o Unsloth. Primeiro, criou um conjunto de dados sintético de decisões com base em uma base de código. Avaliei a precisão usando esse conjunto de dados sintético e depois medi a latência. E descobri que, certo, ele é muito mais rápido, como seria de esperar, mas também é muito mais preciso.

1:18:36 Ele é muito mais preciso e, então, sim, eu poderia usar esse decision model no meu projeto ou no meu aplicativo. E isso é como um projeto de ML de bolso. Eu poderia compartilhar esse modelo, esse decision model, no hub e enviar isso para o Build with Beam; aí talvez eu ganhe o prêmio. Talvez eu pudesse ir ainda mais longe. Poderia pegar meu decision model, criar uma pequena demonstração em torno dele e enviar um espaço. Há várias abordagens possíveis, como em qualquer projeto de ML. Sabe, você poderia se concentrar no conjunto de dados, na demonstração ou no modelo.

1:19:07 Certo. É basicamente isso. Isso é tudo que tínhamos planejado para esta sessão. Como eu disse, acessem todos os recursos que compartilhamos. Acessem esta publicação do blog. Reservem um tempo; há bastante coisa. Confiram a publicação do blog da Reflection e os recursos para desenvolvedores. Vou passar a palavra ao Sanyam para ele se despedir. Vou trazer o Florent de volta para se despedir. Vou tirar isso da tela. >> Talvez eu peça ao Florent que ajude os participantes. Ele realmente liderou nossa equipe de open source, então tem muitas

1:19:38 ideias sobre isso. São US$ 20 mil em prêmios. Flo, qual é o segredo para ganhá-los? Como as pessoas devem pensar nas demonstrações? Você pode dar algumas dicas para ajudá-las a ter ideias? >> O que posso dizer é que o Beam, na verdade, opera internamente >> Desculpa, você está sem áudio. >> O que posso dizer é que o Beam opera uma máquina de venda automática internamente e consegue gerar lucro com ela. Então, talvez seja algo que vocês possam explorar. Mas, sim, nós, se vocês quiserem

1:20:10 criar ótimas demonstrações, podem acessar o Hugging Face, abrir um espaço e integrar o Beam ali; talvez possam usá-lo para operar sua própria máquina de venda automática. >> Legal. Certo, sim, é isso. Acho que sim, isso é muito legal. Estamos cheios de ideias. Mal posso esperar para ver o que todo mundo vai criar. Acho que agora vamos encerrar por hoje e nos despedir de todos. >> Sim, estamos ansiosos pelo seu trabalho. >> Muito obrigado, Ben. Foi uma honra fazer isso com você.

1:20:41 E muito obrigado, Flo. Foi uma honra fazer essa jornada com você. Estou muito animado para ver o que a comunidade vai fazer com isso. >> Legal. Sim, obrigado por vir e por me convidar para o seu escritório e me deixar vivenciar a energia do momento do lançamento. Estou muito animado. Certo. Até mais, pessoal. Até breve. Tchau.

Transcrição original

[00:32] Hi everyone. It’s Ben Bitesize here from Hugging Face and I’m with Sanyam Bhutani from Reflection. >> It’s it’s great to be here with you Ben. We worked a lot closely together. I’m really honored to share the stage with you for this announcement. >> Definitely, it’s really exciting. So today we’ve announced or Reflection have announced a new model on the hub. It’s called Bean. It’s really cool and and we’ve been kicking the tires on it for a while now, really putting it through its paces and it’s been a really exciting experience. It’s probably been one of the most open releases we’ve been a part

[01:03] of. If you go into the blog posts from Reflection and from us, you’ll see that there’s really a lot to tuck into there. There’s integrations all the way across the ecosystem, whether you just want to run it or you want to train it, you want to customize it, quantize it, whatever. Like you can take these weights and and they’re they’re ready to go. This live stream we’re going to first of all just walk through what the model is about, why you would use it, how you would use it. Then we’re going to show you some of the practical integrations and talk about

[01:33] those, things that actually have been built by the community, right? The folks at SG Lang, the folks at VLM, our site. Everyone’s come together to make this model run on your hardware, on your cloud. So we’ll show you all of that. Then we’re going to get the research team that that trained this model. We’re going to get people from the data side that built the data sets that that made this model what it is and we’re going to kind of go into the into the details, into the weeds and find out why they did things and maybe ask them some really hard questions that they cannot answer. Let’s see. And then at the end we’ll come back and

[02:04] and I’ll show you some of the demos that I made and and that other colleagues made which just show you how to get running with Beam right away. Like some really easy demos that you can try without any hardware and some with hardware training and not training, these kinds of things. >> [snorts] >> Cool. So um >> Is this where we announce the prize? >> Right. Yeah, of course. So the most important thing I almost forgot uh is Beam Build. So Beam Build is a is a new hackathon project on the hub uh by Reflection. Do you want to uh

[02:35] tell people why they would do it? >> Um we since we’re doing this in open, we’d love for people to try a model. Uh we’d love to give you a chance to build with it. And we’re sponsoring $10,000 cash prize for you all to build on Hugging Face. Uh build anything you want using Beam in the open. And I think you all are also pitching in prizes. >> Yeah, so it’s 10,000 cash, 10,000 hub credits uh going I think to top five. Um it’s super easy to do. You can actually

[03:06] uh submit a submit a space. So any kind of demo that you could provide code the demo, you um you could build your own custom demo. You could train a model, fine-tune a model, quantize a model, any kind of model uh obliteration, merge, anything that you can that you can come up with and share that as a model. Or you can make a data set. Maybe that’s a data set with Beam. Maybe you make a synthetic data set. Maybe you make a reinforcement learning environment uh and you use that to maybe RL Beam. Um we’re really open to anything. And once you’ve done this, all you have to do is

[03:37] go to the Beam or so Reflection Beam model page that the main model page, so the BF16 main home page. You’ll see the link in the description on this video. And you go to uh a comment on there and you just drop the link on there. You don’t need to explain what it’s about in that comment. Everything needs to be in that repo. So, if it’s a model, the model card needs to say what it’s about and then why you did it and and why it’s cool. Uh same for the data set, same for the space. Everything needs to be self-contained, uh self-contained project. And you can win uh yeah, 10,000 cash and

[04:10] 10,000 in hub credits. So, you can really do some some pretty big projects on that. Like it’s a really cool bootstrap fund uh for something you’re really excited about. Okay, the next thing we’re going to go into is just maybe Salim could tell us what the model’s about. Like like um we’ve seen uh a lot in comms about how it’s token efficient, how it’s focused on these agentic use cases. It’s really good at code. I’ve used it and and and I’ve experienced that as well. But could you kind of tell us the the big picture behind Beam and and why you think people

[04:41] would use this uh instead of another model or what its focus is? >> Yeah, first of all, I’m a very small part of Reflection. We have a few of our research leads as well that I’ll introduce in a second. Uh I’d probably love to hear from them as well. For me, uh my POV is it’s a very token efficient model. Um so, for those of you who know Cad Jams have been saying it’s pretty fast. That’s partly because it’s token efficient. And it’s just a really good workhorse. Um

[05:12] So, for me, I can comfortably delegate some of my small day-to-day tasks to the model. Um and leave it running in the background. It’s just a very strong agentic model uh in my opinion. But I I’d love to bring my research leads on stage and probably ask them what’s their favorite thing about Beam. Uh maybe you can start with Alex. >> We can achieve that. Yeah, let’s go. >> Great work. Well, hello everyone. Hello. Uh Alex here. I worked on pre-training data

[05:45] for Beam, making sure that the base on which it is built is powerful so that it enables all of the incredible things that we’re going to talk about in a second. This Um I think uh and many people are going to talk about the token efficiency today, but this is probably the most important thing for agentic coding. All of the things that people want to build and create this Beam and custom on top of this. And making sure that the model knows about all of the possible development in

[06:17] the world and reason about it has been a massive team effort. I think that if you have time, we are going to dig a little bit into that today. That’s probably my favorite bit about it, focusing on the knowledge, focusing on explaining and teaching the model how exactly we develop things in the year 2026. And the team is going to tell a lot. Yeah, it’s been a pleasure working on it. Yes. >> Yeah, that’s definitely something that I’m super excited about. So, anybody that’s worked in AI for the last like 3

[06:51] years has had this experience where we read papers, we investigate what’s going on in the in open models, and we look at open models. And we’re trying to learn from them and understand these models. And then behind this kind of wall, there’s this other like frontier thing that we don’t know that much about. And we kind of maybe we hear rumors, and and we kind of we get kind of like very abstracted versions in releases and these kinds of things. Um but we don’t get as much as we do from the open. We’ve got less to learn from. So, one of the really exciting things for us as as kind of

[07:22] students and just just people in the community about a lab like reflection is that we get stuff that we can like tuck into. We get people that we can ask these questions to. We get tech reports that are very detailed. One day we might get papers as well. And we also get all of the code, the harnesses, everything open source. >> Yeah. That’s also very important for a lab that advances open intelligence to write down more about not only how the model is built, but how but make it possible for everybody to

[07:52] build on top of it. We expect people to fine-tune being. We expect people to build with it. So so many of the details of how it works are necessary in order for this to be most efficient for builders throughout. >> Cool. >> Yeah. >> Yeah, some of the most exciting things I’ve seen are like the traces, in fact. So we’ve got traces on the hub that that we created with Beam that you can go and check out. You can understand these trajectories and how the model actually works. But I’ve noticed that you’ve also shared trajectories from datasets. You’ve shared all your evals. You’ve

[08:23] even shared the implementation of the evals and other models on the same evals. So there’s really a lot to kind of dig into there. So if you’re using this model in production, and you’re kind of going to deploy it to quite serious workloads, you you want to be able to go back to understand like what is that foundation I’m building on top of. So you’ve kind of got this like transparent base to work with. And I feel like that’s something that that exists here, which is really cool. >> Yeah, I’d I’d also love to introduce Behrouz and hear from him what he thinks is like the best thing about the model.

[08:56] >> Yeah, hi everyone. I’m Behrouz. I worked on the high compute RL component of Beam. Um you know, to to really kind of push the agentic abilities and the coding capabilities that we see um you know, in the model. Um and yeah, it is it is you know, like it it packs a lot of punch.

[09:26] And you know, for me you know, obviously you see a lot of the you know, the benchmarks and the like the numbers going up and all those things, but what really kind of clicked it for me was the demos and like some of the capabilities that the model is is able to do. Uh you know, the first time that you go in and you um you know, zero shot some you know, app generation or

[09:58] uh that uh New York City um you know, live map where like this model has to go get a you know, information um build something multimodal. Um you know, that’s the the moment that at least for me it was was clear that this this is a very intelligent model that generalizes to to to these different domains and these different capabilities.

[10:28] Um yeah, and you know, I’m personally super excited for for the community to go build on top of this, push it to to uh you know, different domains and different um you know, different settings. >> Cool. Yeah, thanks for that. So, it’s we’re all we’re all really excited. I guess people that are tuning in probably want to find out like how they can use it and maybe just get like a run-through of that like where it’s integrated. I know it’s integrated in VL and SG Lang and the teams there have optimized it

[10:59] already. Maybe we can just get like a walk-through of that. Maybe you can show us some of the evals just to kind of save us some time so that we don’t necessarily have to read the blogs if we’re a bit lazy, but I would definitely recommend that you check out those blogs. Maybe we can dive into that. >> Yeah, maybe we can quickly screen share the one I figured out with Star by me. There we go. So, um for folks tuning in, you can find everything on our Hugging Face page. Um if you want, you can go to our blog as well. That should have all of the relevant links.

[11:31] Um but I would say Hugging Face page and the developer website is the best place to get started. If you want to try our model, you can go to our first-party API. There’s very nice documentation there. Um if you want the model card, you can find it on Hugging Face as well or on our website. You can look some of the benchmarks, and we’ll hear the story how we got there in a second. But, you’ll see really good performance on agentic coding capabilities. And part of the story of reasoning that I’ve been saying is you’ll see the model

[12:02] is very token efficient. And I want to also tease out the story with our leads because if you look at the reasoning of the model, it’s it has a very fun character, in my opinion. So, we can also talk about that in a minute. >> Cool. Yeah, let’s wait for the leads to arrive. Another resource that you should definitely check out is the blog on Hugging Face. This as ever is like our kind of uh homepage, I guess, or sort of like a light tech report. One thing I want to say is that this is probably the most

[12:32] like the most invested blog post that that I’ve written whilst I’ve been at Hugging Face. Um and I probably got a little bit carried away on this, but um it’s really like there’s a lot to it. So, um I would probably this weekend put some time aside to it and go and check it out. So, the first thing to say is that like many model releases, we get this that this pre-release we we work with the the model authors to to share the model. So, we get the privilege that that we can try it out. Uh and and I like to kind of uh capitalize on that privilege and and sort of share that with the community so

[13:03] that you can you can dig into those things. So, um if you come to this blog post, first of all, what you’ll see is that okay, we already mentioned some of the stuff we mentioned here like Build-A-Bear. The next thing that we do is we we walk through like like what it is from a simple level. So, first of all, it’s integrated into Transformers, which means that the model architecture code is is open, uh and it’s also uh in a canonical form. So, so Transformers is the central central source central source of truth for for Transformer architectures, but also LLMs and and VL

[13:35] LLMs and and AI models. So, that means that in this way we can compare the architectures across different models and we can see what it looks like and and how it’s different to others and and how it’s reusing from literature. So, I would definitely come here if you’re interested in ML and kind of tuck into that section. We went through this. We worked on it and and kind of racked our brains about what it was doing and why these things would happen. We shared it back for a reflection. They they validated us. I think they validated what we did. And you can kind of learn from that. So, that’s a really educational section I

[14:05] would I would check out. Then of course we have the evals. They’re also on Reflections site and they’re also we even have community evals on the hub. So, you can compare the model with other models from other authors on the hub. So, go and check that out. And then what I would say is like the kind of quick start section is is this inference support. So, if you want to use it in Transformers, this is the snippet to do it. This is where you come. If you want to chat with it, this is how you do it. If you want to build an application on top of it, this is where you do it. And the Transformers

[14:36] engineers have have worked on this blog with us. So, everything here is like validated to a high standard. So, we know that this is the best place to go and we’ll maintain this blog with our docs. So, over time you can use it as as things change. If you’re using VLM or SG Lang, we also have examples here. As I said, these are implemented by the respective teams. So, by VLM and SG Lang. There’s also Deep Flash 2 for this model in both inference libraries, which you can use to optimize inference. I would definitely recommend doing that.

[15:07] Something that’s I think pretty cool about Beam as well is that it’s shared in BF16 of course, FP8 and NVFP4. We don’t always get um FP8 uh from model authors. So, so this is really useful, right? If you’re using newer Blackwell chips, you can obviously take advantage of the MVFP4 checkpoints, but if maybe you’re using Hopper, you can fall back to the FPA. That that would be your your best bet. Um I get you would use the the BF16 in a kind of

[15:37] fine-tuning training training setting. Uh and another thing that’s that’s cool on top of that is that Reflection have also shared the evals on the on the quantize quantized checkpoints, which means you really know what you’re working with. I would I would check that out as well if you’re going to use this model. Um and then I’m going to go into the next set section a little bit later once we’ve had the the research team on and once we’ve asked some questions, but um here in the rest of the blog post I go much deeper and I kind of try some real-world use cases, some real-world

[16:08] agentic use cases. >> Also, should we get into Q&A? >> Yeah, let’s do it. >> So, uh before we jump there, I would like to, you know, at least from my perspective, say one thing. That we hear stories about like people that really have an intuition about things. And you hear about people who knew math at their core. I feel that’s the honor I’ve had with my research team. Um for the moments I’ve had to share with them, when they talk, everyone just

[16:40] tries to absorb as much as we can. And that’s why I convinced Alex and Verena to join. I’m very grateful they came on. Because they they they have a strong intuition about everything. And we want to also try to open source most of it that we can. Um so, I’ll probably start this question with Alex. Um he’s a pre-training lead. How did we get to 501B size? And what was the journey there? What was the science behind deciding this specific model size?

[17:12] >> Yeah. A lot of the team built up the pre-training methodology here but uh over the course of the year but maybe as a high-level intro for folks listening in curious. You when you build up to a large pre-trained model you want to build it up in steps where you test your recipe carefully methodologically scaling it up

[17:44] one tier at a time iteratively in bigger and bigger models and every time you introduce a new data set or you test a new change to the architecture to the optimizer you want to test how it works at several different tiers and see that it improves the quality of the model at scale and then you test it on a bigger one and verify that your prediction holds. This is the scaling laws that we all heard about that if you built this

[18:16] selection of tiers right then you’ll be able to test every single thing at smaller small and bigger and bigger tiers and predict how it will eventually behave at the larger tiers go and test your prediction will hold. It held for us. So the most important thing really goes into building the scaling ladders so that the predictability holds and the specific sizes whether it’s active parameters the total parameters they kind of fall out of that and these are another things you mainly

[18:46] control you control many things like the output ratio of the the number of layers and the aspect ratio of the residual weights to the number of layers um but then from all of the variables that are controlled on the ladder the exact configuration of the model falls out of it. You have to watch out for many things in the ladder design. It’s a difficult thing many people have opinions about the best one so it’s an art really in the community. Uh Uh like

[19:17] Is the model going to fit on a particular GPU configuration? Will RL be able to work with it? Does it fit in one node or two nodes? What happens when you deploy that model on a consumer hardware? What exactly is the throughput? Um like you really don’t want to design carefully a ladder and then figure out that if only you reduce it by a couple layers, it would be able to fit in that configuration and then go back and redesign this again. For this.

[19:47] So, we spent I think like at least a month thinking carefully about this. That is part of the pre-training science that is often done inside of the labs. Um Beam, as it turns out, is a specific point on the ladder. We can go further than that, but I’m not going to talk about it today yet. This politics. >> And I’m I’m curious, uh maybe Behrooz, were you exchanging notes with Alex on his requirements

[20:20] on data? How do you like set the model up for success from beginning to the end for because we were we were really aiming to be strong at agentic and we knew that from the get-go. How How do we decide from the beginning and what’s the science behind that? >> Yeah, so the you know, the process was a very kind of a close collaboration between the two teams, um you know, for for months in advance of the like

[20:52] the final model training. Um you know, on both, you know, what what Alex mentioned on the like a you know, model size, whether we can sample effectively from it during RL, do we have enough you know, KB size? And also on the data size is is like a you know, during this process, we you know, use these smaller models in the skating ladder to to, you know, push

[21:22] them through RL, identify the strength points, the the places where we need, you know, extra data, like targeted kind of um data additions in their like a pre-training mixture. And um you know, one of those things that you really want to to have and, you know, we we were able to actually get with Beam is before you launch your, let’s say, final RL run of of, you know, final run, you

[21:53] want to you know, have a good prediction of where you’re going to end up. So, you know, none of these things should be a surprise. And we spent maybe, you know, the you know, 6 months before we we went through the the final model launch to kind of build that prior and kind of build that science and understanding of, okay, the model is going to be, you know, in in this shape. We we have done all the kind of interventions that we

[22:24] needed to do either on the RL side or pre-training side to just make sure those agentic capabilities really pop. >> That’s cool. Thanks for that. So, I mean, leading on from that, it one question I had was around Mira, that the harness, the Rust-based harness that you built. Like, could you maybe tell us the origin story of that harness? Like, how is it involved in post-training? Like, um and maybe even kind of allude to the

[22:54] models like cross-capabilities in other harnesses and and and kind of, yeah, the origin story of the model in a harness. >> Yeah, so you know, the the like harness that is uh kind of inside being um so you know, sorry. Mirror is is built on top of another kind of a smaller harness that was used during training. Um

[23:25] we call it Daedalus. And um you know, we we use that to to kind of tune our learning, whether we want to focus on um you know, token efficiency or control the latency or if you want to kind of teach the model um let’s say, you know, certain kind of a compaction behavior and then whatnot. Um on top of all these things,

[23:56] we also want to make sure that the model generalizes to to different harnesses, different setups. Um I think this is something, you know, very special about open weight models. Um and to do this during the RL one, we do a lot of augmentations, a lot of we we introduce the model to a lot of, let’s say, diversified environments just to make sure that the model is

[24:27] um has seen a lot of these different behaviors. Um I don’t know, Ben, if this was >> [snorts] >> this is answering your question. >> Yeah, totally. Um it answers us like where the harness came from. I guess I’m when I look at models, I I’m always thinking about uh my own projects, right? I’m I’m I’m always thinking like, okay, um so how can I fit this into my project? And I think as we start to see more harnesses come out and and kind of

[24:57] a there’s a becoming to be there’s beginning to be a one-to-one relationship between models and harnesses or at least model series and and harnesses, right? Um and my like default place to kind of optimize for my use case would be the harness probably. I would probably optimize the harness before the weights. Uh and I think maybe that’s just a a product of like my own skills and like maybe the size of the teams that I work in. I don’t necessarily have access to kind of to fine-tune the model for this harness. So, I guess um what I’m trying to do is like

[25:28] like enrich my decision-making process about how I would choose mirror for beam or maybe I would choose a harness that I’m already working with or maybe I would customize a harness or maybe even I would customize beam’s weights for a for another harness. All these kind of options that are available to me because the model’s open essentially. >> Um I’d actually like to raise this question. We although we didn’t focus on other harnesses, we after training the model realized it generalizes as well. I plugged it into pie, I plugged it into open code. We ran some benchmarks and we

[26:00] didn’t see any drop in performance. What’s the secret to getting there as well because that wasn’t our main name if I may. >> So, you know, this is model has seen different kind of a diversified tool calling behavior. And you know, in in the kind of the RL run and you know, the the kind of the

[26:34] it’s is you know, the RL capabilities is good to kind of like separate out the instruction following capabilities versus the core reasoning and agency capabilities of the you know, of the model. So, with the you know, like a long high compute RL one, you get a lot of those core capabilities in the model and then we, you know, we do introduce a lot of like randomizations, augmentations and uh, you know, diversified environments just

[27:04] so that we can, you know, we can generalize to to these different environments. Um, and you know, the hope is as we just build kind of a stronger um, you know, reasoning capabilities and agentic capabilities, the, you know, the gap that the extent like a expect from different harnesses just shrinks. I think that would be the the ideal

[27:35] setup for for an open rate model. >> It’s also kind of interesting but even with Mirror, so maybe one thing that’s worth highlighting here, um, we don’t have Jake here on the podcast with us. Jake is uh, the person inside Reflection who initially built Mirror as a, well, as a tool to help us all do our work day-to-day. It is an uh, dedicated harness, blazing fast, built on top of a

[28:07] lot of our internal infrastructure to connect with Slack, Linear, all of the tools that we see with the data. Um, but then as we started experimenting with models, we realized, “Okay, so we can really co-develop it together with the model and make sure that this is the way through which people work and experience with Beam. The default harness was not harnesses.” So, this data uh, like developing the Daedalus harness as a default one on top of which Beam is

[28:38] trained and then also turning it into Mirror through which people experience it was really the part of like the positive evolution which event and then from there as we discovered that it generalized to other harnesses as well. You can see the experience in open code experience in Pi and whatnot. People started branching out. So, it really developed in stages from a product to a native harness to all other harnesses. I think over the course of

[29:11] rapid fire 3 months or so. >> Cool. Okay, thanks. So, that’s really cool to hear about the harness. If you’re interested in third-party harnesses, you can check out our blog post as well. We also tested it with Pi and we shared some of those traces. But the best thing to do in that case is really just to run it within an inference engine and connect it to to whichever harness you want, right? Because the integrations are there. It’s it’s good to go. >> And honestly, I’ll invite everyone just to tell us what you all want to see from us. We have the

[29:42] leads here from our team. If you if you send it, this is like a direct line to our open source team if you may. We’ll make it happen for you all. We’re doing this for the community and we’re very happy to share this with you. Um Jess from our team also joined. Uh she leads the data and skills team. So, maybe I’ll queue this question and I’ll also ask for your intro here. But um maybe for Alex and Jess, what’s the journey to collecting the 23 trillion tokens that we trained on? How did you

[30:12] go about that? And then how do you define the skill set the model should eventually learn? How do you go about collecting those environments? >> Awesome. I mean Let me start with the pre-training part of it and then Jess, uh you should take the stage and tell us about the cool part of the environment. Yeah. Look at this. So, pre-training data is not the data that you usually see described. We’ll try to describe it a little better this time.

[30:43] This cuz when you think about what your model should know before it really goes into the high computer reinforcement learning run, you focus on the overall like quantity, quality, and diversity is how we usually describe it. It is not just collects all of the day pages from the internet that you have access to. It is really a do meticulous work to break down the educational

[31:13] quality of every page, every PDF, every code document or out there in the open source. Uh every single written uh document, an essay, a page, or whatnot. And then carefully study how much should the model see from each source. Adding up things like, “Okay, maybe we want to really make sure that the model knows the documentation for this open

[31:45] source library and repeat it paired with its actual implementation a couple times so that becomes really centered in the base weight of the model before it goes and learns how to actually complete tasks with the usage of it.” Similarly, for like mathematical data in STEM, a lot of the like base weights of the model need to be uh enriched with the knowledge of what exactly are the foundations of math

[32:15] and physics and in in this like these bits that are through which develops reasoning every time the model reads uh a Python notebook on the web or a proof interleafed with English and formulas, that’s something that sets like uh foundation for eventually learning the reasoning process. robotics. So, we invested quite a bit into this curation process. There I say that some of the things that develop there probably

[32:46] uh state-of-the-art in terms of both ensuring the precision of the content that we train on, as well as recall that we don’t filter out things that eventually would be educational. We’ll describe more and more of it in the tech report. Yes. Uh but then on top of it, I think what is real magic is learning the skills in the model. So, this is where Jess, you should take tell us a little more. >> Um yeah, thanks, Alex. Um so, yeah, I

[33:17] think like you [clears throat] know, obviously there’s like a few obvious buckets that, you know, we would expect like any model worth its salt should be good at like math, science, code, like using a computer terminal, etc. But, you know, one of the ways that we think about actually like building up these skills in the reinforcement learning process is not just about the domains, but about the actual like skills, like the cognitive skills that are required to um support like good behavior in those domains. So, you know, for example, um

[33:48] the model needs to be able to reason over an extended amount of time, and in that reasoning process, you know, it should be exhibiting like sophisticated behaviors like self-verification and backtracking and trying new strategies. Um you know, and so, in order to encourage this type of behavior, we try to come up with reinforcement learning environments and questions that are not just hard because they might, for example, require like niche domain knowledge, but because they really force the the model to think through a problem logically. Um and then, you know, in reinforcement learning, if if the the question, in

[34:20] order to come up with an answer to the question or the solution to the problem, if the model does have to engage in this process with these like kind of more sophisticated cognitive skills, if it gets the answer right, then that gets reinforced, and that’s kind of, you know how we end up play shaping that behavior. And you know and I think um you know similar to what Alex was saying like we don’t just try to get all of the data that we can or all the environments that we can. We hold ourselves to a really high bar in terms of quality. Um so you know that means that the questions don’t you know it’s not just

[34:50] that they need to be hard and like practice the skills that we want it to learn but we have to ensure that um you know there’s basically nothing wrong with the environment so there’s zero noise in the reward signal. So that means that anytime the model like gets the answer right it has truly gotten it right and truly the reward truly corresponds to like good behavior and anytime it gets penalized that truly corresponds to bad behavior. So that means you know we have to avoid like the you know the the model shouldn’t be able to guess the answer. The verifier shouldn’t be you know sometimes

[35:22] rewarding the same answer in different ways. Um Obviously you know we need to avoid things like reward hacking. Um there shouldn’t be multiple possible answers um that you know some get marked correct and some get marked incorrect etc. So um you know we um put a lot of effort into doing sort of like an iterative like you know sourcing data, reviewing the data, and then testing it in RL. Uncovering new problems and then using that to like inform this loop in order to build the

[35:54] highest quality data set possible. >> That’s cool. Thank you for that. I mean I’m really excited by this this domain as as well um and uh so one thing that I’ve heard about I think I think Nathan Lambert shared about this. He described like post training data sets as like wrangling an org chart as much as the data itself. You need to bring people together in order to work on a domain and and they need to like understand the domain and the environment and they need to know what it is the agent’s doing in that in that environment and then um,

[36:26] you to to train a model on it, and then you need to evaluate that model and kind of iterate on that cycle like you’ve already said. Could you kind of give us a picture of of what that looks like inside a team? Like, um, how you collaborate and and how you kind of take ownership of of the skills that you spoke about and the environments and and yeah, um, just your kind of way of working in that way. >> Yeah, that’s a great question. Um, I mean, we have a pretty small team, I think all things considered. Um, and um, so, uh, you know, we kind of like identify the like, um, the highest

[36:59] priority domains that we really want to make progress on. Um, and then with it for each of one of those domains, we’ll have like a small team that specializes in that and gets really familiar with the particular type of data, we’ll say whether that’s like math or like software engineering or or so on. Um, and um, and that team is in charge of sort of like everything about that domain. Whether that’s like the evals that we’re tracking or like, you know, talking to data vendors, um, we do we purchase some of our data from vendors, um, or like, you know, going out and figuring out how do we generate some of

[37:29] that those environments synthetically, um, and um, and so those those, you know, work streams or teams like work really, you know, tightly together to, um, you know, build the environments and then we like work very closely also with like the training team, um, which Barry can talk to more about, um, in order to, you know, put [clears throat] the data through RL and then, you know, see what behaviors come out of that, what things do we want to, um, you know, what things are we do we like that we’re seeing and we want to, you know, make sure that we continue reinforcing, what things, you know, what are the surprises that we we

[38:01] want to fix going forward, um, and, you know, and that’s also like a really important, um, to have like a tight loop there because, uh, you know, some of the, um, uh, you know, some of the things that you you might not be able to necessarily tell from the problem itself will come out in reinforcement learning. And so, we really have to, um, you know, have that tight loop there. So, you know, I think one example of this was we had earlier on in the development of the model we had some um like science questions that were

[38:32] um it seemed like that they were difficult questions. You know, we would like you know, you know, test them out with like you know, taking multiple samples from the question and then okay, like the model’s like you know, sometimes solving it sometimes not solving it. Um but then we put it through RL and the um the reinforcement learning algorithm uh basically like caused the reasoning um process of the model to like drop to zero. And the reason was because these were actually tended to be more like factual knowledge questions that the model didn’t really have to reason about and that wasn’t so

[39:03] obvious to us until we actually put it through the reinforcement learning process. >> Okay, yeah. So, that that’s really cool. So, that paints a picture that yeah, most people in the community um wouldn’t necessarily have uh that much experience around, but people will be taking models and fine-tuning them for their domain. So, that that’s kind of one thing that like I think is quite exciting there that um if you are working with Beam on kind of a specific use case, you can say okay, let’s set up this kind of like domain-specific group

[39:34] in the same way that you that you did internally, but like we’re going to wrap around our problem and we’re going to kind of work together on on uh say data and then RL and then eval kind of loop like that. Um which leads me to the question like which domains like which skills do you think were kind of underexplored? Like like where do you see kind of um potential uh for uh for Beam? >> And to to tie into that, there’s a question from the community that I’d probably add to that. What do you think belongs uh

[40:05] in the environments uh versus in the weights and any things that didn’t work during this process? >> Um yeah, all good questions. Okay, let me see if I can answer all of them. Um, so the I guess in terms of skills that fell under explored, um, I think and so I would say actually like on a lot of the benchmarks that we were tracking, like the scores were still going up at the end of training. So to some extent we just need to train more on the stuff that we were already training on. Um,

[40:36] uh, I you know, I think that that’s kind of just a limitation of we didn’t have enough environments, um, to to keep the run going. Um, I think, um, maybe like, you know, more forward-looking, um, one thing that I’m really excited about is is like the ability to train the models to engage in a little bit like more robust like human agent collaboration explicitly. Um, you know, I think especially like when you’re considering like integrating an agent to your workflow like, you know, some sometimes you want it to go off and do something completely autonomously, but

[41:07] sometimes you also want it to, I guess, you know, bring you along for the ride, right? You want it to, um, do things in a way such that you by the time it’s finished doing what it’s doing, you as the user understand like what it what the model has done and why it made the choices it did. Um, and then that enables you to kind of like continue building on that work like going forward. Um, and um, so that that’s a particular direction that I that I’m quite excited about. Um, let’s see. Uh, what was it what was the second question? Can you repeat that?

[41:37] >> Um, things that worked and things that didn’t and what belongs in the environment versus >> Yeah, what what >> data sets? >> Yeah. Um, so yeah, what belongs in the weights versus the, um, environments? I mean, well, to some extent like the environments are what helps shape what’s in the weights, right? So it’s it’s less that it it belongs in the environment versus the weights, but more that the environments are means towards like shaping the weights in the way that

[42:07] we want, right? Um, we want the the to contain these like, uh, you know, as I was saying, like these cognitive behaviors or cognitive skills for reasoning, um, for tool use, you know, for operating autonomously for long stretches of time, and like and that, you know, that behavior doesn’t, at the beginning of training, doesn’t really like fully live in the weights yet. There may be the seeds of it are there, but then the environment is what allows us to sort of like pick that pick pick those behaviors out and sharpen them and strengthen them, so

[42:39] that when we like get to the end of training and we release the model, it’s a good, you know, coding model. Um, and, um, yeah, I guess like things that worked and things that didn’t work. I mean, I think again, like, you know, kind of coming back to like the data quality point, I think that is something that is, I don’t know, everyone loves to really talk about like, um, you know, the reinforcement learning algorithms and so on, but like fundamentally, like, you know, if the data quality isn’t there, you’re you’re going to have trouble training your model. And so, you

[43:09] know, anytime that we like overlooked something or cut a corner and then we tried to train the model, we would always find that, you know, that would result in problems. Um, and so I think, you know, again, like, having that attention to detail and always coming back and like looking many, many times at the environments that we have and making sure that, you know, they’re they’re really fully there is like one of the most critical aspects to getting this to work. >> Um, maybe it’s a skill issue of mine, and

[43:39] maybe Behrouz will never talk to me after I say this, but I tried setting up RL and it collapsed completely, even though it was a very small run. So, what’s the secret to making it successful at the scale we did it, and can you talk to the scale at which we run our, reinforcement learning run? >> Yeah, I mean, RL algorithms are notoriously, you know, unstable and kind of like really takes, you know, a good amount of

[44:10] time to to kind of achieve that stability and um especially I mean at at this scale of let’s say, you know, one one month of a like a continuous RL run on just, you know, like a you know, 10K GB200. So, this is a you know, something that is like a frontier kind of a lab scale of of a of an RL run. Um and for us

[44:41] it was both an infrastructure kind of a build-out uh process and an engineering challenge and at the same time like a scientific challenge. We had to kind of go deep into the algorithms. And you know, also build out the partnership between these these these two arms. Um so, you know, oftentimes the two things that really become problematic is that, you know, as you optimize your policy, you

[45:11] also optimize against the you know, small numerical divergences between your inference engine and your training engine. And you know, in a kind of a short RL run, this this is, you know, completely fine, but as you’re putting more compute on it, more optimization pressure, this becomes catastrophic. And at some point the the policy just learns to optimize against this divergence and and then you you you just see that, you know, suddenly your reward either kind of, you

[45:42] know, go like it drops or your you know, completion lengths blow up. Um so, that requires uh you know, like a kind of some sort of a consistent uh study of the dynamics and you know, putting the fixes in into the stack. Um and on the engineering side, so you’re suddenly you know, handling um, an async system with different kind

[46:13] of fault tolerance behaviors. And, you know, these chips or like, you know, your inference engines come in, uh, you know, like sometimes they they die. Um, and as you just, you know, scale these these up, uh, it’s it just the the, you know, scope of these engineering challenges increases, the failure rate goes up. So, you really want to have a system that is kind of a fault, like has has a like a strong amount of fault tolerance built

[46:44] into it. At the same time, it can, um, it has enough observability so that the folks who are working on the like a science aspect of it and the stability aspect of it can actually debug it and see that, okay, you know, this this kind of a component here, um, you know, caused issues. Um, you know, in in our own journey, we started from our L runs with maximum context size of, you know,

[47:17] 16k, which, you know, is is is rather limited. We don’t like it’s it’s very hard to do any kind of a real coding, or like the long horizon agency tasks there. And, you know, we just built out the infrastructure and science together. We went to 32, we went to 64, and, um, you know, just just extended to 256 and and beyond in in the, um, you know, like a run up to the run.

[47:49] Um, so all those things kind of need to come in week after week, month after month, and, uh, the lessons need to get absorbed into um, you know, our stack and our algorithms. >> Okay. That Yeah, that’s really cool. We’ve gone really deep into into RL and and and and heard about that run. And and if anyone wants to kind of learn about that, they should definitely go and check out your blog post uh, as well as all of the RL integrations that you’ve done, which are really cool. So, I think there’s TRL, there’s

[48:21] uh, Miles, there’s um, Sky RL, uh, there’s Nemo RL. So, really like like pick your your flavor. Um, and and you can try out Beam. So, so that’s pretty good. That you’ve also, which I thought was great, is actually uh, collaborated with the community to do those runs. So, people can use the frameworks and then they can also see the results that you got on a specific example, which makes things a way easier to start from. May- maybe if we come outside the last uh, one or two questions, oh, I’d I’d want to ask like I saw in the plots and

[48:53] you already mentioned it that there there isn’t really a plateau. Like it doesn’t look like um, necessarily the end of a run. Uh, looks like there there’s potential there. What does that potential look like? Like what’s the next step for Beam uh, in in its forms? Like is there another model? Have you considered other sizes? Like like where are you going with with Beam? >> Let me maybe take a bit [clears throat] of this. So, like obviously we are already working on the next models in the overall Beam

[49:27] family. Without sharing the specifics on the sizes, the specifics on the data and where exactly we go from here, but that’s already the case. As people mentioned, even uh, for instance, if you take the Beam as currently is and you continue doing RL on it, we have not seen the signs of that stopping. Uh, so you could continue them going. But also, so like we’ll share a little more uh Luke and talking about the model architecture, but there are so many things uh in the architecture, in the

[50:00] optimization regime, in the pre-training data that we would be able to rerun from scratch and get a substantial more powerful base on top of which you can apply the again. And at that point, let me just keep pushing the frontier further and further. So, that’s already underway. Uh I don’t know, Jess, do you want to say anything about the uh skills data as well? I think there’s I don’t know this >> Yeah, I mean, I think for us, like, um

[50:32] you know, uh we need to kind of continue to build out our like pool of environments that we can train on. Like, you know, as we build a more more and more capable models, like, the the problem with reinforcing learning data is like it gets exhausted, right? Like, the model improves and the data becomes too easy and you can’t really use it anymore. Um which is uh you know, unfortunate means you always got to be getting more and more environments that are harder and harder. So, that’s a you know, a big challenge for us is to you know, keep raising that like difficulty bar. And um

[51:02] you know, I think also like expanding into um you know, like other domains that we’ve invested in a little bit less. Um so, you know, I think that there’s like a whole um you know, range of like agentic tasks like that you know, are kind of like increasingly more complex and longer horizon that we haven’t yet. Um uh or we we’ve sort of scratched the surface with I would say and and we haven’t like, you know, gone deep enough on yet. Um and you know, uh and so that’s something that I’m really excited about. Um and um

[51:33] uh yeah. So, you know, onwards and upwards. >> Cool. Yeah, I I mean, we’ve we’ve got a wealth of of knowledge from this. It’s really cool. Um I’m going to do my best to share everything in the comments uh in the description as well so that this video in itself can be really educational. People can use it as a springboard. Um, but as I’ve said already that this kind of knowledge is is super useful to the to the community. Something that you can really learn from that you can’t necessarily always extract from a paper or a technical report. You know, the kind of like the

[52:04] intuitions that that you’ve built through your careers. Sanyam, did you have a last question or do you want me to kind of talk into the demos and these sorts of things? >> Uh yeah, I mean for me, I’m never going to talk to all of them because they’re so busy. So, I’ll I’ll take this chance until the next release. Um if you want people to like go home with one takeaway about Beam or one thing that you’re most proud of uh that you want them to know or want them to try, what would it be? And question for all all three of you.

[52:41] >> If I keep repeating the same things that I already said so I’ll just say it 10 times, it will be boring. So, the maybe the takeaway for everyone for me is why I joined this in the first place about a year ago, which is the the Western world been increasingly lacking a model on top of which everyone could build adapted to owning AI in their own application, in their own ecosystem, with their data, with their

[53:11] environment, but end-to-end controlling it and knowing that it’s been built end-to-end with uh the right data and patient provenance here. And there’s of course a lot more to do and furthermore in the coming months, but this is now something that we built in less than a year that we can be proud of. So, people can own the deployment of their AI stack on top of a

[53:42] model built here that is advancing the frontier of the, uh, artificial intelligence. This is something I’m incredibly proud of. That’s why I joined Reflection AI in the first place, and I’d love to see what people actually do with it in your own startups, applications, home projects, you name it, because it’s open it’s open for all. >> Um, I guess I can go next. Um, I I mean,

[54:14] actually to echo what Alex said, I think it’s, um, yeah, something that I’m also really proud of is like I think, um, you know, I I think that, uh, you know, everyone should have access to, um, cutting-edge intelligence and be able to use it in the way that they want to use it, um, and have control over it. Um, you know, I I think that that’s like just such an important like aspect of, um, this era that we’re entering into. Um, and, um, I you know, I personally feel very like

[54:45] proud to have been able to be a part of that. Um, and I’m really excited to see also how everyone is using the model, um, in like, you know, all so many different ways that we wouldn’t even be able to think of. And I think that that’s like one of the the really cool things about like working in this space of open models is to be able to see like the diversity and the creativity of the community building on top of it. And I also wanted to give a shout out to our team. Like everyone who’s contributed to building the model is like, um, I don’t know, working with this team has just been phenomenal, and it’s a small team,

[55:17] and like what they’ve managed to build over a year is like I just extraordinary in my opinion. Um, I’m I’m so proud of like everyone who’s worked on this, um, for putting together, um, such a great model. So, that that’s, yeah, what I’m really proud of. >> Yeah, I also like really want to yeah, all the points that Alex and Jess raised. Um you know, we are entering you know, like a an era of stronger and

[55:48] stronger kind of agentic AI models and you know I’m personally really excited about democratizing some of these capabilities and really allowing people to you know, to to interact with these things and kind of reducing some of these you know, like these these these gaps that people just just hear about as like okay, you know, these frontier labs that are closed have access to you know, some

[56:18] some magical you know, whatever that is inside and you can never know about it. Um So you know, I I think I mean, this is one of those wonderful things that um we can we can bring into this community where people you know, have access to these tools can integrate it into their systems. Um and uh you know, feel connected to it. Um And you know, also really want to echo the the team aspect of it. Um

[56:49] it’s really amazing to see all these things come together in less than a year. Um And you know, these these models have not plateaued. So, it’s it’s just we we’re just like moving towards like the next thing. Um and and and just seeing that you know, the these guys came together just built it. The scale of of these operations. Um and also the the energy inside it it it is just

[57:19] amazing. >> Cool. So, thanks for that. Thanks for everything that you shared. Um it’s been a really cool experience for me just just myself. Uh and so I I hope that everyone we that we shared it with and that gets to watch this video as it’s recorded on YouTube, X, LinkedIn can like kind of extract this and learn a lot from it. It’s really cool. So, good luck with the with the next model. Good luck with the next releases. Um, next I’m going to take people through how to use it. Um, but I’ll let you guys drop off the screen and then

[57:50] Sania and I will stay around and and I’ll go through all of that. So, thanks everyone. Bye. >> Um, while you while we transition, let me introduce our open source lead. Um, he’s an incredible runner. If if he if he was just running, he would probably set the world record in running speeds. But, he set a record with our launch, I believe. Um, he really sprinted and led our team towards the launch. So, I’d love to introduce Florent to the stage. Uh, I always mess up your name. I’m sorry

[58:21] about that. But, Flo, please tell us about yourself and what’s your favorite feature for of Beam. >> Hey. Hi. Um, >> uh, sorry, Florent. You’re muted there. That’s cool. Don’t worry about it. Um, if you just unmute yourself, we’ll start it back up again.

[58:52] Uh, >> I can I can actually tell you. Are we good now? Okay, that’s good. All right. So, yeah, so as Sania introduced me, I’m Florent working on open source uh, with him and like a big team and the goal is really like to uh, take the model and and bring it to the community and it’s been great uh, working closely uh, with the research

[59:24] team, with the engineering team at Reflection. Uh yeah, to make yeah, to make sure that we can build like great integration uh with Beam, with the rest of the community, and the and the the tool that powers the ecosystem. So, yeah, what’s great working on open source at Reflection is that you get to work with really smart people uh that we have internally, but also you get to work with the partners. Ben is one of them. Uh we’ve worked uh together

[59:57] on uh integrating Beam into the Hugging Face stack, uh Transformers, uh TRL. Um and yeah, um building great content about Beam and making sure it’s adopted by the community. And we in the open source team, we also work with like uh dozens of other uh partners from uh different projects. Uh we work with uh also inference provider, cloud provider, to make sure uh Beam is actually distributed and actually uh used by uh

[1:00:28] the community. >> Cool. Amazing, Florent. Thank you so much for that. Um that’s uh yeah, it it’s really cool to see a kind of a new lab be born in the open, a kind of like uh like, you know, turn from the caterpillar to the butterfly or something like that. And like you can kind of uh spread it I I shared this tweet actually a few weeks ago when you first released Beam. It was like, “If you’re working in open source for the last few months, I think you’ve been down in the trenches. You’ve actually interacted with Reflection

[1:00:59] engineers like on SD lying on the LM, on TRL, all these places.” Uh and and yeah, that that it really is true. And And if you go out into the docs of of all of those projects, uh you’ll find recipes and examples that are going to bootstrap your your projects, your startup ideas, uh yeah, your kind of hacker projects. Um let me take Florent off screen, and then I’ll um and I’ll move over to the blog post, and I’ll and I’ll show you how to start those projects. Cool. Okay. So, uh yeah, let me dig in here and kind of go down to the technical part of it.

[1:01:31] Um So, as I said, we’ve got this blog post on um on Hugging Face. As we often do, this is a really um yeah, it it it’s a really deep uh blog blog post compared to some of some that we’ve worked on. And and we really invested time in kind of showing you like what Beam is like and and how you can use it. Uh as ever, you can like see every single model and data set that that we talk about on the right and then and your spaces, so you can just kind of um springboard off to those. Um but

[1:02:03] let’s start off here. So, after the inference section, as I mentioned at the top of the video, if you just want to run the model, go to the inference section. That’s got real um SG Lang inference endpoints, inference providers. So, you can try it out on, say, uh Base10, Fireworks, and other providers. But, if you actually want to start building with with Beam uh in many ways, I’d recommend starting from this section. It’s called What We Tested. And this is this is uh my work. So, uh when I first got the model, uh we

[1:02:35] actually always do this. We we set up some tasks that we think will um will kind of like elicit the the the capabilities from the model based on really what the what the model authors tell us. So, so they normally say what it’s good at. So, we we collect like a a series of of benchmarks, and we’ll benchmark the model. Uh and and we usually match the scores that that um we’ll get. And then, what I like to do, and and I know other people do this, is to then look through the tasks in the benchmark

[1:03:05] and kind of understand in specific tasks how the model was behaving. So, um and and then you can really dig into a specific task. So, um for example, here you can see that that we uh we switch over to a trace. And uh this is a a trace on the hub which I’ve shared where I used uh the pie harness with beam. Uh and and I set up this task. So, it’s for synthetic order ORD 742, find the cheapest single warehouse that can fill

[1:03:36] the entire order and deliver by order deadline. So, this is a a real-world uh reasoning problem and I used harness. Uh I used the pie harness for this. So, as you look in here, you can see like it’s all rendered like it uses the get order tool, get inventory tool. These are all custom tools uh that that I defined. I also shared those custom tools in a bucket. So, if you just want to like take this project and and set it up for your own uh you know, kind of use it for your own project, you can just take that bucket and download it. Uh and and then you see like, okay, it’s completed that

[1:04:07] use case. So, let’s go back now to the blog post. Um and so, I I repeated that a few more times. So, then I did a kind of long context retrieval over a code base. Uh and you see here, okay, so in low reasoning, there’s a bit of an there was a a bit of an issue. So, low long context response got all code behavior. So, it got it right, but it didn’t reason. And this is how I always work. So, I’d always say take a a set of take a set of capabilities and then match those up to a to benchmark. And then

[1:04:38] find tasks within the benchmark that correspond to those capabilities. And then start to see like which capabilities require reasoning and and which ones don’t. Because when we look at uh evals from a model on a on a certain benchmark, that will typically be with a a specific reasoning parameters. So, you use the highest reasoning parameter. And you might want to know, okay, so what is it that requires that reasoning? And what could I what could I actually reduce the reasoning on uh and kind of match up to my own use case and really unpick the model. So, you want to push it beyond

[1:05:10] its limits to find out where it needs reasoning and and where it doesn’t uh and where it can get away with the lower reasoning settings. So that’s what I’ve I’ve done here. I won’t go into every single one, but I’d recommend that people that want to use the model come here and try that out and then kind of repeat that sort of study for their own their own project. >> Um maybe maybe I’ll put Flo on the spot here, but Flo can you tell us what mirror is? What’s it about and how can people try

[1:05:41] it? I’ll bring you on stage. >> Yeah, so mirror is a is our agentic coding harness that is developed by the team like Alex mentioned that earlier on. And yeah, so mirror is great to be paired with beam if you want to yeah, run task in your terminal, coding task in your terminal. So I’ll suggest you go to the reflection OSS org, you download mirror and you start building great stuff, great project with this

[1:06:13] harness. And this is definitely a harness which is made to be working well with the the model. So as Beru said previously, so mirror is kind of uh uh yeah, we had harness that we trained internally is called Daedalus and mirror is kind of the child of this harness. So it’s really made to be in distribution with how beam was trained. So we would recommend to use mirror with beam, but we also support

[1:06:45] other open source harnesses. Yeah, so let’s give it a try and find some great things with mirror. >> And >> [clears throat] >> maybe a follow-up, how do I get to mirror? So what’s the user journey? How can they try the model? Where should they get it from? What inference engine do you recommend? >> Yeah, so how can we fine tune if you want to? >> Yeah, so if you want to get like let’s say an endpoint uh uh to be able like to plug mirror uh

[1:07:15] and start coding with it. So, we have actually uh partnered with uh uh inference engines. So, uh SG Lang, a VLLM, Token Speed. So, this is uh when you whenever you want to deploy uh Beam on your own stack. So, we work closely with those teams and actually also collaboration with Nvidia to make sure you can get the best performance of your hardware when you deploy uh um on your on your stack. So, it’s

[1:07:46] optimized for uh H200, uh GB uh B300s, uh and other Nvidia GPU. But, also we have partnered with uh um Unsloth uh to um uh bring kind of uh uh mirror Beam to uh local hardware. So, uh the Unsloth uh team will like create quants uh with our model and this can be run with uh engines like llama.cpp. So, you can try

[1:08:16] to get Beam uh into your local uh uh computer uh and plug it with mirror. Um also um we made sure that uh uh Beam is integrated uh across like different uh inference provider, also cloud provider. They have inference services. So, you can also if you if you don’t want to uh do the hassle of like deploying yourself on your own GPUs, you can directly um go to our uh uh blog. They actually they

[1:08:47] are listed there and you’re going to have like find links on how you can directly hit an endpoint um um powered by those inference provider. >> Cool. Okay, yeah. Thanks for that. Uh well, that’s really So, we’ve learned about integrations. Let’s drop back into the blog post um and show you about Beam Build again. So, Beam Build, as we mentioned at the top, is a competition. And uh it’s a competition to win $10,000

[1:09:20] in cash and $10,000 in Hugging Face Hub credits that you’ll be able to use to train models, to to store models, to do whatever you want. And so, that can really bootstrap your your own project. If you want to submit a project, you have to go to the Beam model page on the hub, which you’ll see in the description to this video. And post a a comment on the on that uh model with your with your project. And your projects can be a space, a data

[1:09:51] set, or a model. So, you could build a demo that just used Beam. It could be in in Beam’s API. It could be running on your own inference engine. Uh and you could ship it in a in a space. It could be a a local project. Um and that’s okay, too. Uh and then or you could have a a model. So, you could fine-tune Beam. You could quantize it, um obliterate it, you could merge it. Anything that can go into a model. Uh in fact, maybe you you even come up with something a little bit different. And maybe you fine-tune another model with Beam. As an example

[1:10:22] uh where I did that, I’ll show you in a sec. Uh and the third thing you could do would be to create a data set. So, you could create a synthetic data set that um uh was maybe to fine-tune another model. You could create an RL environment that was maybe to fine-tune Beam or another model. Or you could create a a benchmark data set that’s maybe to benchmark Beam. All of these things, really whatever you can imagine, try it out and um uh post it on that. You don’t need to post any description in the comment, just the link. And then put everything

[1:10:53] about the project in the um the repo itself. So, everything on the readme and so that explains what it is, why it’s interesting, these kind of things. And then we’ll judge that and the winners will get this cash prize. And credit prize. Cool. So, let’s inspire you a little bit and show you some of the demos that that I worked on. >> Um maybe maybe before we jump there, uh folks are asking if they can if they want to fine-tune the model and they’re interested in that. So, maybe I’ll again put flow on this what is sitting across from me and I like bothering him. Flow,

[1:11:24] how can people fine-tune this model? >> Yeah, sure. >> Yeah. If >> If you’re >> not satisfied with like current uh Beam capabilities, we’ve also worked with uh a lot of different open-source partners to make it possible to customize Beam um on your own on your own stack. So, we partners with Nvidia to have a recipe supported uh in Nvidia automodel uh powered by Mega from Bridge if you want

[1:11:54] to run SFT uh on your uh data. Um we also partner with uh Ray Spark team that uh uh uh produce Mice, that creates Mice, this library, which is for RL. Uh Hugging Face as well uh has TRL, uh which is made it’s a post-training library where we have like enable uh RL recipes. We’ve also partnered with Anyscale uh to have recipes for Spark

[1:12:25] RL. So, yeah, we definitely we made kind of a lot of contribution out there uh if you want to customize Beam on your own data. And uh I would advise to uh go to our developer website. We have a lot of cookbooks recipe, so you can get started with like uh customizing Beams to to your own needs. Cool. Okay. Um Right. So, let’s say you’ve you’ve got the model and you now want to um

[1:12:56] to do something uh inspirational. You want you want to work with it. We’ve got examples embedded here. So, SFT with TRL um as Florent just mentioned. So, this is an example that we ran and that we set up with Laura. We fine-tuned it for a a multilingual reasoning problem. So, we get the model to reason in a specific language, which improves performance in that language. Uh this all runs in TRL. It works on eight This This run was on eight uh B300 GPUs. And uh you can see it converges.

[1:13:28] We’ve also integrated the example into TRL, so you can try that. If you want to go for RL, this Miles example, as Florent mentioned, is is a great place to start. There’s uh This is a is a math reasoning problem. You can run this in full with full parameters, so it’ll take uh in this case uh 96 H200s, or you could run a a Laura fine-tune, so 32 H200s. So, this is a really invested in an invested project. Um but the example’s right here that you could use to start that off. That’s also

[1:13:58] merged into Miles, so you can check out the examples there. And the reflection team ran this and and tested this run. Uh and you can see how it improved performance on AIME um here What was it? Uh 9%, um which is pretty cool. Uh they also ran it, as I said, with Laura, uh which also improved performance. So, you can kind of scale that down. Okay, those are the two fine-tuning examples. You don’t need to fine-tune to enter into the Build with Beam project.

[1:14:28] Like I said, it can just be a demo. It can just be a data set. So, let’s show you the examples that that uh I set up to to inspire you. Um but you can’t steal them, cuz if you use the same thing, then it kind of doesn’t count. Um but maybe you can uh just start from them. So, the first one that I did, um which is something that I I kind of try often. Doesn’t always work with with other models, um, but this time it did, so I was happy to share it. And it’s “Hey Beam, build a native local macOS application.” This is quite difficult, um, because you you really want the

[1:14:59] model to to stick to the specifics of macOS and build something that’s integrated. Um, in this case, I wanted it to build a, uh, speech-to-text application that I could use >> Open Jeff models fine-tuned for my, uh, >> like where my cursor was. Uh, I wanted it to build an open-source application that ran on device using a specific model from the hub. So, it had to interact with the Hugging Face MCP. It had to download the model and build, you know, this machine learning project, but

[1:15:30] then it also had to use MLX, which is a specific library for for that’s optimized for Mac, so that it could get the best out of, uh, the Mac hardware. And then it had to create a taskbar, and that taskbar had to map to to keys because I wanted to press, uh, I think it was command-shift-space to get the the application to pop up. So, it was a real real-world application, uh, and it one-shotted it, which was pretty great. Uh, I shared the source code, I shared the trace, uh, from from the run of how it one-shotted it, uh, and this was in the PyHarness. So, this is the kind of

[1:16:00] thing that you could share in a in a space, uh, and other people can try. And, uh, and that would be a a really cool submission. Um, the next one was, uh, was a bit of a like a a research project with Beam. So, I’ve been interested in how different harnesses use multi-agents recently. And, uh, it’s something I’ve been exploring with with different models and trying to see which models, um, which models use sub-agents in different ways and and how they use their sub-agents, whether they’re better

[1:16:32] with, uh, a single agent using the harnesses sub-agent feature, or whether they would be better with with five independent agents. So, I did a little research project, and I and I got Beam to set up Beam inside a pie harness to do this research project for me. Uh and it created this this plot here and we can see that actually Beam in in some in some latencies performs pretty well with an async sub agents and others performs better with separate agents

[1:17:03] but gets to the highest gets the highest performance with a with a single agent setup. I spoke to the reflection team and they haven’t um they haven’t optimized Beam at all for this pie setup. So the the research project isn’t really related to to Beam’s research or any of those these kind of things. It was really just a personal research project and I thought it was pretty cool how I got Beam to research Beam and to show me how it worked and these sorts of things. So if you have a research project that’s a bit like that and you want to use Beam as your as your you know research intern that’s a great thing that you can set

[1:17:34] up. You can share it as a space or maybe even as a data set maybe even all of them. Okay and then the last kind of project that I wanted to do was to fine-tune a decision model for my specific code base. Decision models are there all the rage at the moment everyone’s everyone’s fine-tuning them and and and releasing them because they’re super fast and they’re really practical for a lot of use cases where you don’t need these you know LLM capabilities, right? So I thought okay could I get Beam to help me with my decision model project.

[1:18:05] And it it it could it worked. So um So it uh fine-tuned a decision model using Unsloth and it first of all created a synthetic data set of decisions based on on a code base and I evaluated it based on the accuracy on the synthetic data set and then I measured the latency and I found that okay it’s way faster which is what you would expect but it’s also way more accurate. Um

[1:18:36] It’s way more accurate and so uh yeah, I could use this decision model uh in my project or in my application. Uh and that is a kind of like a, you know, pocket ML project. I could share that model, that decision model on the hub, and I could submit that to to build with Beam, and then maybe I win the prize. Uh maybe I could even go further. I could take my decision model and build a little demo around it and submit a uh space. There’s it’s really quite um like any ML project, you can take uh quite a few angles from this. You know, you could focus on the data set, the demo, or the model.

[1:19:07] Okay. Um that’s that’s all really. That’s everything that we had planned for this session. Uh like I said, come to all the resources that we shared. Come to this blog post. Uh put some time aside. Uh there’s a lot to it. Go check out Reflection’s blog post and uh their developer resources. Um I’ll hand over to Sanyam. Uh so he can say goodbye. I’ll bring Florent back on to say goodbye. Um I’ll take this off the screen. >> Um maybe I’ll I’ll ask Florent to help the participants. He’s He’s really led our open-source team, so he has a lot of

[1:19:38] insights on this. This $20,000 in prizes. Uh Flo, what’s what’s the secret sauce to winning them? How should people think about demos? Can you say some secrets to like help them with ideas? >> Yeah. What I can tell is that Beam actually internally >> Sorry, you’re you’re muted. >> What I can tell is like Beam actually internally operate uh a vending machine and can like generate profit with that. So, maybe it’s something that you can try to explore with this. But yeah, we uh if you want

[1:20:10] to build great demos, uh yeah, you can go uh on Hugging Face. You can pull up a space and plug Beam there, and maybe you can uh make it operate uh your your own uh vending machine with that. >> Cool. Okay, yeah, that’s it. I think Yeah, that’s really cool. We’re full of ideas. Um I can’t wait to see what everyone builds. Uh, and I guess we’ll now call it a day and uh, say goodbye to everyone. >> Yeah, look forward to your task. >> Thank you so much, Ben. It’s been an honor doing this with you.

[1:20:41] And thank you so much, Flo. It’s been an honor going on this journey with you. So, I’m really excited for to see what the community does with this. >> Nice. Yeah, thanks for coming and thanks for inviting me into your office and letting me uh, experience the vibes of the uh, release moment. Super excited. Okay. See everyone. See you soon. Bye.