Pular para o conteúdo

Reflection Beam e Cohere North 2: pesos abertos versus IA controlada

Ver no idioma original →

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Reflection Beam and Cohere North 2: Open Weights vs Locked Down AI · Canal: Fahd Mirza · 09:30 · Assistir no YouTube

Tópicos: Aplicações empresariais de IA, Modelos de IA, Modelos locais e open source, Segurança de IA

O vídeo compara duas novidades de IA: a plataforma corporativa North 2, da Cohere, e o modelo Beam, da Reflection AI, anunciado como open weight. North 2 destaca controle, segurança, implantação local ou isolada da internet e gestão de custos. Beam promete 501 bilhões de parâmetros totais, treinamento em larga escala e pesos sob licença Apache 2, mas eles ainda não estavam disponíveis no momento da gravação. O apresentador vê as duas iniciativas como respostas à preocupação com dependência de poucos provedores fechados e ressalta que a promessa do Beam precisará ser confirmada por testes independentes.

  • A Cohere apresenta North 2 como uma plataforma agentic para empresas, executável na nuvem, localmente ou em ambientes sem conexão com a internet.
  • North 2 oferece agentes reutilizáveis, memória, skills, conectores para ferramentas corporativas e limites de gastos com tokens por usuário.
  • A Cohere enfatiza governança, segurança, controle e custos previsíveis, além de permitir que clientes usem modelos próprios.
  • A Reflection AI anunciou Beam como seu primeiro modelo open weight, com 501 bilhões de parâmetros totais e 23 bilhões ativos por vez.
  • A Reflection diz que publicará os pesos sob licença Apache 2, mas eles ainda não estavam disponíveis quando o vídeo foi gravado.
  • O treinamento do Beam teria usado 23,8 trilhões de tokens e uma arquitetura mixture of experts; a empresa também destaca a filtragem dos dados.
  • A Reflection relata um grande processo de reinforcement learning e resultados competitivos em vários testes, embora Beam não lidere todas as comparações.
  • O apresentador considera decisivo verificar se os pesos serão publicados no prazo e se avaliações independentes confirmarão os resultados.
Início Capítulo Resumo
00:01 Duas respostas às pressões do setor de IA O vídeo apresenta North 2 e Beam como abordagens distintas diante da pressão por retorno financeiro e da preferência de empresas por controle ou modelos abertos.
02:08 Cohere North 2 e o foco corporativo North 2 é descrito como uma plataforma agentic com opções de implantação flexíveis, conectores e ferramentas de gestão e governança.
03:13 Beam: pesos prometidos e treinamento O apresentador detalha as características anunciadas do Beam, sua arquitetura, os dados de treinamento e os resultados de engenharia relatados pela Reflection AI.
05:47 Reinforcement learning e comparação de resultados O vídeo aborda o processo de reinforcement learning do Beam e compara seu desempenho com o de outros modelos, observando que ele não lidera todos os testes.
07:54 Controle, pesos abertos e o teste decisivo O apresentador relaciona as duas iniciativas à preocupação com dependência de provedores fechados e aponta a publicação dos pesos e avaliações independentes como provas essenciais.

Chega de abrir mão de segurança, inteligência, custo e controle. — 02:08

Tratem isso como uma promessa até que os arquivos possam realmente ser baixados. — 03:13

A qualidade dos dados importa mais do que o volume de dados. — 05:15

Ambas são reações ao mesmo temor: ficar preso a um pequeno número de provedores fechados. — 08:25

  • Cohere (empresa): Empresa de IA que apresentou North 2 como uma plataforma voltada ao uso corporativo e ao controle da implantação.
  • North 2 (ferramenta): Plataforma agentic da Cohere que pode ser executada na nuvem, localmente ou em ambientes isolados da internet.
  • Reflection AI (empresa): Empresa que anunciou Beam como seu primeiro modelo open weight.
  • Beam (modelo): Modelo anunciado pela Reflection AI com 501 bilhões de parâmetros totais e 23 bilhões ativos por vez.
  • Apache License 2.0 (conceito): Licença sob a qual a Reflection AI afirma que publicará os pesos do Beam.
  • Mixture of Experts (conceito): Arquitetura que ativa apenas parte dos parâmetros do modelo para cada entrada.
  • reinforcement learning (conceito): Método de treinamento que, segundo o vídeo, foi usado para aprimorar o Beam por meio de tentativas e avaliações.
  • Mistral (empresa): Empresa citada como exemplo de foco no mercado corporativo.
  • NVIDIA (empresa): Empresa cujas GPUs, segundo a Reflection AI, foram usadas no treinamento do Beam.

00:01 Dois lançamentos de IA chegaram hoje, e ambos contam a mesma história por ângulos opostos. Um é da Cohere e trata de controle, governança e de manter seus dados trancados dentro dos seus muros. O outro é da Reflection AI: um modelo com 501 bilhões de parâmetros que, segundo a empresa, será totalmente aberto. Por que isso importa agora? Porque o setor de IA está sob extrema

00:32 pressão para provar que consegue ganhar dinheiro. Hoje, duas empresas dominam a IA corporativa: OpenAI e Anthropic. Ambas estão gastando enormes quantias de dinheiro, e muitos relatos dizem que ainda operam com grandes prejuízos. Os investidores que financiaram tudo isso agora querem o dinheiro de volta ou, pelo menos, retorno. Então, o que as empresas fazem sob essa pressão? Muitas mantêm seus melhores modelos fechados. Algumas adiam o lançamento dos pesos, e

01:04 dá para ver isso em quase todas essas empresas chinesas, que agora estão muito relutantes em disponibilizar seus modelos como open source ou abertos; ou, pelo menos, primeiro fazem uma rodada com seus planos de tokens por cerca de um mês e só então lançam os modelos. Outras empresas estão mudando fortemente o foco para o mercado corporativo, especialmente as europeias e as que não são dos Estados Unidos. Isso sem contar OpenAI e Anthropic, que sempre combinaram o mercado corporativo com uma ampla base de usuários.

01:35 Essas empresas vendem controle, segurança e um painel de custos, porque é aí que estão os orçamentos. Um exemplo gritante é a Mistral. Esse é o pano de fundo de hoje. Vamos começar pelo lado corporativo. Aqui é Fahad Mirza, e dou as boas-vindas a você ao canal. Se quiser ajudar o canal, torne-se membro e inscreva-se nesta newsletter semanal gratuita sobre IA. Então, para começar, vamos falar sobre o North 2 da Cohere. A Cohere lançou

02:08 o North 2, e ele é um exemplo perfeito dessa mudança de foco para o mercado corporativo. Não é um modelo novo. É uma plataforma agêntica completa que você pode executar na nuvem, localmente ou totalmente isolada, ou seja, completamente desconectada da internet. E posso dizer que órgãos governamentais, pelo menos aqui na Austrália, adorariam um modelo assim. A proposta é muito simples: chega de concessões entre segurança, inteligência, custo e controle. Você tem

02:41 agents reutilizáveis, memória, skills, conectores para ferramentas como Teams, Slack, SharePoint e GitHub, além de um painel de administração onde você pode definir limites de gastos com tokens por usuário. Esse modelo North 2 também — quero dizer, a plataforma — foi pensado para ser independente de modelo. Assim, você pode até trazer seu próprio modelo. Então, perceba o que eles estão vendendo: não inteligência bruta, mas governança e

03:13 contas previsíveis, o que mostra para onde o dinheiro da IA está indo. Agora, vamos voltar ao evento principal de que eu queria falar. A Reflection AI acaba de anunciar o Beam, seu primeiro modelo com pesos abertos. Até hoje, os pesos ainda não foram disponibilizados. A Reflection diz que vai lançá-los ainda este mês sob a licença Apache 2, que é muito permissiva e sempre muito bem-vinda. Então, considere isso uma

03:43 promessa até que os arquivos estejam realmente disponíveis para download. Tudo o que vou citar a seguir vem do próprio anúncio da Reflection, não de uma análise independente. Então, o que exatamente é esse modelo? O Beam tem 501 bilhões de parâmetros no total, mas apenas 23 bilhões ficam ativos a cada momento. Ele usa uma arquitetura chamada mistura de especialistas, que já conhecemos. Para quem não

04:13 sabe e não tem doutorado em aprendizado de máquina, um exemplo de mistura de especialistas de que gosto muito é imaginar um hospital com centenas de médicos especialistas. Para cada paciente, chamam apenas alguns especialistas. Você tem o conhecimento do hospital inteiro, mas paga por apenas alguns médicos de cada vez. É por isso que um modelo enorme ainda pode ser barato de executar localmente ou até pela API. Agora, esse Beam

04:45 foi pré-treinado com 23,8 trilhões de tokens em um cluster de 6.144 GPUs Nvidia GP300, em menos de quatro semanas. Isso mesmo, quatro semanas. Eles dizem que cerca de 95% dos dados brutos da internet foram descartados durante a limpeza e que os filtros padrão teriam deixado passar cerca de 1,8 trilhão de tokens bons que eles mantiveram. A mensagem que estão tentando transmitir é que a qualidade dos dados importa mais do que o

05:15 volume de dados, e concordo plenamente. Olhe para a perda do pré-treinamento na tela. A perda basicamente indica o quanto o modelo está errado, e quanto menor, melhor. Grandes execuções de treinamento costumam ter picos bem feios, em que as coisas quase saem do controle. Esta curva é bem suave. Eles relatam apenas nove reinicializações durante toda a execução e que 92,3% do tempo foi dedicado a treinamento útil. Isso é engenharia séria.

05:47 Agora, uma coisa sobre a qual eles falaram bastante é o aprendizado por reforço, e acho que esse é o coração do Beam. Depois do pré-treinamento, ensinaram o modelo por tentativa e erro, o que se chama aprendizado por reforço. Imagine — ou simplesmente pense em — um estudante que resolve um milhão de exercícios e recebe uma nota em cada um. A Reflection executou esse processo em 10,5 mil GPUs por quatro semanas, gerando mais de 100 milhões de tentativas e usando cerca de 1

06:18 milhão de ambientes de prática diferentes. Eles afirmam que essa é uma das maiores execuções de aprendizado por reforço já feitas por qualquer laboratório aberto e que as pontuações ainda estavam subindo quando pararam. Isso é bastante impressionante. E aqui vem um número muito interessante na tela. Estes são os resultados publicados pela Reflection em comparação com outros modelos abertos na tabela, como Inkling, Nemotron-3 e Draw, da Nvidia. O Beam lidera na maioria dos testes.

06:49 Como dá para ver, o resultado no Sweep Bench é impressionante: 80,9. No Terminal Bench 2.1, é 80,1, e assim por diante. Mas a questão é que, pelo que descobri, especialmente em raciocínio, tool calling e capacidades gerais, além de algumas outras áreas — e a Reflection também admite isso —, o Beam não vence os modelos abertos maiores. No Terminal Bench, até o GLM-5.2 pontua 81,2, 81,0; o Qwen-3.8-Max pontua 86,6, e

07:22 o Kimiko-3 está realmente arrasando, com 88,3, o que é bastante impressionante. Outra coisa que eles também disseram é que o Kimiko-3 está à frente em capacidade bruta. O argumento do Beam não é que ele seja — é que ele é a opção de pesos abertos ocidental mais eficiente e melhor. Vamos ver quando for lançado. Vamos instalá-lo localmente, se for possível. Se

07:54 não, pelo menos vamos testá-lo a fundo, e você verá esse vídeo. Agora, olha, mais do que esses dois lançamentos de modelos, minha perspectiva é um pouco diferente sobre como esses dois lançamentos se encaixam. Normalmente não junto dois modelos em um vídeo, mas quis fazer isso neste caso. Para começar, a Cohere diz que sua IA deve funcionar dentro dos seus muros, sob suas regras e dentro dos seus controles orçamentários.

08:25 A Reflection diz que o próprio modelo deve ser aberto, para que qualquer pessoa possa executá-lo em qualquer lugar, mas eles adiaram a disponibilização dos pesos abertos. Não sei por quê; talvez ainda estejam treinando, ou talvez quisessem disponibilizar alguma coisa pela API antes disso. Ambos são reações ao mesmo temor, aliás: ficar preso a um pequeno número de provedores fechados enquanto a viabilidade econômica da IA ainda não foi comprovada. E esse é um ponto fundamental. O teste do Beam é simples.

08:58 Os pesos vão mesmo ser disponibilizados ainda este mês, e os resultados vão se confirmar quando pessoas independentes fizerem testes? Como nós. Se sim, será um grande momento para a OpenAI. Não tenho dúvida disso, especialmente olhando para esses números. Outra coisa é que, se isso não acontecer, será mais uma promessa em um setor cheio delas. Dá para ver especialmente a mudança de foco da Cohere. E, se você não sabe, já falamos bastante sobre a Cohere.

09:30 Eles começaram com modelos mais ou menos multilíngues, e eles eram muito bons, especialmente em idiomas que não são o inglês, mas agora estão mudando o foco para esse tipo de coisa. Vamos acompanhar de perto. E, se você quiser que eu teste o Beam na prática no dia em que os pesos forem disponibilizados, conte nos comentários e torne-se membro para apoiar o canal. Obrigado por todo o apoio.

Transcrição original

[00:01] Two AI releases landed today and they both tell the same story from opposite ends. One is from Cohere and it is all about control, governance, and keeping your data locked inside your walls. The other is from Reflection AI and it is a 501 billion parameter model that they say will be fully open. Why does this matter right now? Because the AI industry is under extreme

[00:32] pressure to prove it can make money. Enterprise AI today is dominated by two companies. OpenAI and Anthropic. Both are spending enormous amount of money and many reports say they’re still running at heavy losses. The investors who funded all of this now want their money back or at least returns. So, what do companies do under that pressure? Many keep their best models closed. Some delay releasing weights and

[01:04] you can see that with almost all of these Chinese companies who are now very reluctant to open source and open with their models or at least their first go with their token plans for a month or so and only then they release the models. Other companies are pivoting hard towards enterprise, especially the European and non-American companies. Excluding OpenAI and Anthropic which were always enterprise plus the large-scale user base.

[01:35] These companies are selling control, security, and cost dashboard because that is where the budgets are and one glaring example is Mistral. That is the backdrop for today. Let’s start with the enterprise side. This is Fahad Mirza and I welcome you to the channel. If you want to help out the channel, please become a member and please subscribe to this free weekly AI newsletter. So, first up, let’s talk about this North 2 from Cohere. Cohere launched

[02:08] North 2 and it is a perfect example of the enterprise pivot. It is not a new model. It is a full agentic platform that you can run in the cloud, on premise, or fully air-gapped, which means completely cut off from the internet. And I can tell you government agencies, at least here in Australia, would love such model. The pitch is very simple. No more trade-offs between security, intelligence, cost, and control. You get

[02:41] reusable agents, memory, skills, connectors to you know, tools like Teams, Slack, SharePoint, GitHub, and admin panel where you can set token spending limits per user. This, you know, North 2 model is also, you know, the platform I mean, is geared towards becoming model agnostic. So, you can even bring your own model. So, notice what they are selling, not raw intel intelligence, governance, and

[03:13] predictable bills that tells you where the money in AI is heading. Now, let’s come back to the main event which I wanted to talk about. Reflection AI has just announced Beam, their first open weight model. As of today, the weights are not out. Reflection says they will release them later this month under an Apache 2 license, which is very permissive and always very welcome. So, treat this as a

[03:43] promise until the files are actually downloadable. Everything I quote next comes from Reflection’s own announcement, not independent in setting. So, what exactly is this model? Be has 501 billion total parameters, but only 23 billion are active at any moment. It uses a design called as mixture of expert, which we already know. Um, you know, for those who really don’t

[04:13] know and don’t have PhD in machine learning, one example I really love about mixture of expert is that it is sort of a hospital with hundreds of specialist doctors. For each patient, only a few specialists that called in. You get the knowledge of the whole hospital, but pay for only a few doctors at a time. That is why a huge model can still be cheap to run locally or even through the API. Now, this Be

[04:45] was pre-trained on 23.8 trillion tokens on a cluster of 6,144 Nvidia GP300 GPUs in under 4 weeks. That’s it, 4 weeks. They say about 95% of raw internet data was thrown away during cleaning, and that standard filters would have missed roughly 1.8 trillion good tokens they kept. The message they are trying to give is that data quality matters more than the

[05:15] data volume, and I wholeheartedly agree. Look at the pre-training loss um on your screen. Loss is basically how wrong the model is, and lower is better. Big training runs usually have very ugly spikes where things nearly blow up. This curve is quite smooth. They report only nine restarts in the whole run, and 92.3% of the time spent on useful training. That is serious engineering.

[05:47] Now, one thing they have talked a lot about is reinforcement learning and I think that is the heart of Beam. After pre-training, they taught the model through trial and error, which is called reinforcement learning. Imagine, um or just, you know, think about a student who solves a million practice problems and gets graded on each one. Reflection ran this on 10.5 thousand GPUs for 4 weeks generating over 100 million attempts using about 1

[06:18] million different practice environments. They claim it is one of the largest other RL runs by any open lab and that scores were still climbing when they stopped. This is quite impressive. And here comes a very interesting number screen. These are reflections on published results against the other open models in their table like Inkling, Nemotron-3, and Draw from Nvidia. Beam leads on most tests.

[06:49] Like you can see Sweep Bench, amazing. This is 80.9, Terminal Bench 2.1 is 80.1, and so on and so forth. But, you know, the thing is that um what I have found, especially in reasoning, tool call, and general capability, and also a few others, and Reflection admits it, too, against the bigger open models, Beam does not win. On Terminal Bench, even GLM-5.2 scores 81.2, 81.0, Qwen-3.8-Max scores 86.6, and

[07:22] Kimiko-3 is really throwing it out of the park at 88.3, which is quite impressive. Another thing, uh which they also have said, is that um Kimiko-3 is ahead on raw capability. Beam’s argument is not that it is it is that it is the most efficient and the best Western open weight option. We will see when it gets released. We we are we we will install it locally if it is possible. If

[07:54] not, we will at least thoroughly test it out and you will see that video. Now look, even more than both of these model releases, my point of view is slightly different as how this these two releases fit together. I normally don’t combine two models in one video, but I wanted to for this one. First up, Cohere says that your AI should run inside your walls, under your rules, within your budget controls.

[08:25] Reflection says the model itself should be open, so anyone can run it anywhere, but they have delayed the open weights. I don’t know why, maybe they’re still training or they just wanted to have some API stuff or something like that beforehand. Both are reactions to the same fear, by the way. Which is being locked into a small number of closed providers while the economics of AI are still unproven. And that is a key thing. The test for Beam is simple.

[08:58] Will the weights actually land this month and will the results hold up when independent people test them? Like us. If yes, that is a big moment for OpenAI. I have no doubt about it. Especially looking at these numbers. Another thing is that if that doesn’t happen, it becomes one more promise in an industry full of them. Especially you can see the pivot of Cohere. And if you don’t know, we have we have covered Cohere a lot.

[09:30] They started with sort of multilingual models and it was quite good, especially in non-English language languages, but now they are pivoting towards this sort of thing. We’ll be watching closely, and if you want me to test Beam hands-on on the day the weights drop, tell me in the comments, become a member to support the channel. Thank you for all the support.