Novos modelos e agente da Meta

Ver no idioma original →

Autoria: Sam Witteveen · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Meta’s New Models & Agent · Canal: Sam Witteveen · 22:22 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Modelos locais e open source

Resumo

O vídeo analisa o lançamento do Muse Spark Open, modelo de pesos abertos da Meta, e o compara com modelos fechados da empresa e com o Reflections Beam. O apresentador destaca o desempenho, o tamanho, as condições de licença e as dificuldades para executar o modelo localmente. Também explica como a Meta desenvolveu seu agente pessoal, usando uma lista de capacidades e evals para orientar o treinamento e decidir quando o produto estava pronto. Nas demonstrações, os modelos mostram bons resultados em tool calling, mas diferem bastante em uso de ferramentas, consistência e geração de código e páginas web.

Pontos-chave

• O Muse Spark Open é um modelo mixture of experts com 816 bilhões de parâmetros no total e 42 bilhões ativos por token.
• Apesar de ser apresentado como o modelo de pesos abertos mais capaz dos EUA, ele fica atrás de vários modelos abertos chineses no índice citado.
• O Muse Spark Open supera o Reflections Beam em muitos benchmarks mencionados, mas é maior e tem uma licença menos permissiva.
• Executar o Muse Spark Open localmente exige hardware de alto custo; a maioria dos usuários provavelmente recorrerá a serviços hospedados.
• A Meta também lançou modelos fechados, incluindo Muse Wonder e Muse Wonder Full, mas o acesso ao segundo é restrito ao Muse code.
• O agente pessoal da Meta usa uma versão personalizada do Spark, e não o Muse Spark Open disponibilizado publicamente.
• A equipe definiu mais de 100 capacidades desejadas para o agente e criou evals para acompanhar o desempenho de cada uma.
• Nas demonstrações, os modelos se saem bem em testes de tool calling, mas o Muse Spark Open pode usar muitas chamadas de ferramenta e apresentar resultados variáveis.
• O apresentador vê o lançamento como um sinal positivo para modelos de pesos abertos, especialmente para empresas interessadas em alternativas aos modelos chineses.

Capítulos

Início	Capítulo	Resumo
00:00	Lançamento do Muse Spark Open	O vídeo apresenta o modelo, sua arquitetura e a alegação da Meta de que é o modelo de pesos abertos mais capaz dos EUA.
03:10	Comparação com o Reflections Beam e execução local	O apresentador compara benchmarks, tamanho e licenças dos modelos e comenta o hardware necessário para executar o Muse Spark Open.
05:54	Modelos fechados e agente pessoal da Meta	A análise aborda o Muse Wonder, as restrições de acesso aos modelos e a popularidade e as capacidades do agente pessoal da Meta.
10:14	Como a Meta desenvolveu o agente	O vídeo descreve a prototipagem do agente e o uso de uma lista de capacidades com evals para orientar o treinamento e a decisão de lançamento.
12:51	Demonstrações e comparação dos modelos	O apresentador testa os modelos em tarefas de SVG, geração de texto, RAG, tool calling, tarefas agênticas e criação de páginas web.
19:14	Conclusões sobre o desempenho e os pesos abertos	O vídeo avalia os pontos fortes e limitações dos modelos e considera o que o lançamento representa para o ecossistema de pesos abertos.

Citações

É também multimodal nativamente, o que é muito legal de ver. — 01:37

Não lance até que todos os evals estejam passando. — 12:20

No geral, acho que isso é um ótimo sinal. — 20:50

Adoraria que o próximo lançamento de pesos abertos chegasse pelo menos ao nível do Spark 1.3. — 22:22

Conceitos e entidades

• Muse Spark Open (modelo): Modelo de pesos abertos da Meta, com arquitetura mixture of experts e 816 bilhões de parâmetros no total.
• Muse Wonder (modelo): Modelo fechado da Meta que pode ser acessado por meio da API da empresa e do OpenRouter.
• Muse Wonder Full (modelo): Modelo fechado da Meta disponível apenas no Muse code, segundo o vídeo.
• Reflections Beam (modelo): Modelo de pesos abertos comparado ao Muse Spark Open em benchmarks e tamanho.
• Meta (empresa): Empresa que lançou os modelos Muse e o agente pessoal apresentado no vídeo.
• OpenRouter (ferramenta): Serviço usado no vídeo para acessar e comparar modelos por meio de uma interface de playground.
• Muse app (ferramenta): Aplicativo de agente pessoal da Meta que, conforme o vídeo, pode realizar tarefas como ler e-mails, preencher formulários e fazer reservas.
• Muse Code (ferramenta): Produto da Meta no qual o Muse Wonder Full está disponível para assinantes.
• evals (conceito): Testes associados às capacidades desejadas do agente e usados para acompanhar se cada comportamento atende aos critérios definidos.
• OpenClaw (ferramenta): Agentes que a equipe de Alexander Wang e Nat Friedman testou antes de prototipar o agente pessoal da Meta.

Tradução completa (pt-BR)

00:00 Certo, na semana passada a Meta lançou os pesos do Muse Spark Open, um modelo com 816 bilhões de parâmetros que eles estão chamando de modelo de pesos abertos dos EUA mais capaz até hoje. E tenho que dizer que, com base nos números que divulgaram, essa afirmação parece mesmo se sustentar. Mas essa não é a única coisa que eles têm lançado. Ultimamente, a Meta tem estado numa verdadeira arrancada com o que vem lançando. Então, não se esqueçam de que faz pouco mais de um ano que o Meta Superintelligence Lab foi criado. Eles lançaram um modelo aberto

00:32 o Muse Glimmer, no começo do ano, que na época eu disse ser muito interessante por ser o primeiro modelo daquela nova equipe. Claramente, isso elevou o nível. Depois, outras pessoas saíram do Google para se juntar à equipe. E tenho que dizer que eles vêm fazendo muitas coisas interessantes desde então. Na mesma semana em que lançaram o Muse Spark Open, lançaram dois modelos de fronteira fechados, um dos quais você nem consegue acessar pela própria API deles nem pelo OpenRouter, etc. E é importante distinguir que

01:06 o que eles realmente lançaram aqui não é o modelo por trás do aplicativo de agent pessoal deles, que está indo muito bem aqui nos EUA. E acontece que esse modelo pode ser, na verdade, um modelo totalmente diferente. Então, neste vídeo, quero tentar esclarecer o que a Meta realmente lançou e depois mostrar algumas demonstrações com o modelo aberto. Certo, vamos olhar para o modelo em si. O Muse Spark Open é um modelo de mistura de especialistas. Tem 816 bilhões de parâmetros no total, com 42 bilhões de parâmetros ativos por token.

01:37 Ele tem o que agora se tornou uma context window de 1 milhão de tokens, que é mais ou menos o padrão. Também é multimodal nativo, o que é muito legal de ver. E não são apenas texto e imagens que o tornam multimodal: vídeo e áudio também entram. Mas, como seria de esperar, por enquanto ele só retorna texto. A Meta o apresenta como uma espécie de modelo de uso geral para programação, trabalho com agents e várias outras coisas. E afirma que é o modelo dos EUA mais capaz.

02:08 É uma afirmação bem específica, né? Então é meio engraçado que não digam que é o melhor modelo que existe. Acho que isso claramente aponta para o fato de que certos países talvez tenham modelos melhores. E faz sentido, né? Se você olhar o Artificial Analysis Intelligence Index, ele marca 39. Os principais modelos abertos agora são todos chineses. Temos o Mimo 2.6 Pro com 46. Temos o GLM 5.3 com 45, o Kimi K3 com 44, e até o Qwen 3.8 está logo acima do

02:39 Spark Open, com 40. Então, embora eu ache que este é claramente um modelo sólido, não é o modelo líder entre os abertos. E não acho que isso deva nos impedir de experimentar esse modelo. Organizações como a Meta tendem a criar modelos e treiná-los com dados bem diferentes dos usados nos modelos chineses. Então, embora não haja benchmarkmaxxing nem nada do tipo aqui em relação aos benchmarks, é interessante ver como ele generaliza

03:10 para uma variedade de tarefas diferentes. O outro grande lançamento que saiu logo depois deste, também um lançamento aberto dos EUA, foi o Reflections Beam. Os pesos do Beam só foram disponibilizados no Hugging Face na última sexta-feira, embora o modelo tenha sido anunciado no começo do mês. Na época, eu queria fazer um vídeo sobre ele, mas simplesmente não havia pesos para experimentar. Então, os pesos da Meta saíram primeiro, e é por isso que estou me concentrando nisso agora. Claramente, o Spark Open supera o modelo Beam, certo? O Beam marca 30 no mesmo índice, então o Spark Open está claramente

03:45 bem à frente, com 39. E, quando você olha os benchmarks publicados pelas duas empresas, o Spark Open vence a maioria deles. Em coisas como uso de ferramentas no MCP Atlas, são 89 contra 79. No DeepSWE, são 60 contra 44. Embora o Beam fique um pouco à frente no Terminal Bench, com 80 contra 76. Mas é o seguinte: em muitos aspectos, não é uma comparação justa. O Beam é um modelo bem menor. Tem apenas 501 bilhões de parâmetros no total, com 23 bilhões ativos.

04:18 Além disso, eles realmente se concentraram em tornar esse modelo muito eficiente em tokens. E acho que precisamos levar em conta que o modelo está totalmente licenciado sob Apache 2. O Spark Open usa a licença própria da Meta, a Muse. Para a maioria das pessoas, isso não será um problema, mas você precisa exibir a indicação “feito com Muse Spark Open” no seu produto. E, se você administra um negócio de modelos como serviço com receita anual superior a 20 milhões de dólares, precisa de um acordo separado com a Meta para fazer isso. Então eu

04:50 diria que o Spark Open é o modelo mais capaz, mas é bem maior. O Beam é mais barato, tem uma licença mais simples e é menor. Agora, quanto a executar esse modelo por conta própria, a Meta trabalhou com a Apple nisso. A configuração que chama mais atenção são dois Mac Studios M5 Ultra com 512 GB cada, e, aparentemente, a Apple mediu o desempenho em cerca de 25 tokens por segundo. Não sei de cabeça quanto isso custaria exatamente, mas, pelo que estou ouvindo, além de custar uma fortuna, provavelmente você vai ter que esperar até janeiro ou fevereiro

05:23 para esse hardware chegar. Se você não for comprar Macs, eles têm um checkpoint NVFP4. Ele ocupa cerca de 530 GB. E a própria Unsloth criou um checkpoint de 2 bits, que reduz o tamanho para cerca de 300 GB. Mas, claramente, para a maioria das pessoas, a maneira realista de experimentar isso será usar um dos provedores de serviços hospedados. Nesse sentido, ele está no OpenRouter desde o primeiro dia. Então, daqui a pouco volto às demonstrações do Spark Open, mas vamos falar sobre o que mais a Meta vem lançando.

05:54 Claramente, o Spark Open não é o melhor modelo deles. Nem chega perto de ser o melhor modelo deles. A Meta claramente voltou ao jogo como criadora de modelos de fronteira. Três dias antes do Spark Open, eles lançaram o Muse Wonder e o Muse Wonder Full, com Wonder e Full sendo duas palavras. Esses são modelos fechados. E a Meta comparou esses modelos com o GPT-6 Astra e o Claude Opus 5.5. No Artificial Analysis Intelligence Index, o Wonder marca 52 e o Wonder Full marca 56,

06:29 o que é muito bom em comparação com o Opus 5, que está apenas dois pontos à frente, com 58. Obviamente, abaixo deles há vários modelos diferentes, mas também está incluído o Muse Spark 1.3, que marca 48. E acho que muita gente, eu inclusive, esperava que o Muse Spark 1.3 fosse o modelo disponibilizado a todos. Mas não foi bem assim, ao que parece. O modelo aberto está, na verdade, nove pontos atrás desse modelo fechado de nível intermediário e 17 pontos atrás do melhor modelo deles. Agora, um dos problemas que você vai

07:02 ter para conseguir acesso a esses modelos é que eles simplesmente não estão todos disponíveis. O Spark 1.3 está na API da Meta e no OpenRouter por US$ 1,25 por milhão de tokens de entrada e US$ 4,25 por milhão de tokens de saída. Eles também têm uma versão do modelo muito, muito mais barata, por US$ 0,10 na entrada e US$ 0,20 na saída. Mas, obviamente, o porém é que a Meta pode treinar com seus prompts e suas saídas. Então, assim como vimos os laboratórios chineses basicamente oferecerem bons preços em troca de poderem treinar com seus dados, a Meta está fazendo basicamente a mesma coisa aqui, e acho que isso não é uma grande surpresa. O modelo Muse Wonder está na API da Meta e no OpenRouter, e custa US$ 4 na entrada e US$ 20 na saída, exatamente o mesmo preço do Opus 5.5. Mas o Wonder Full — lembrem-se, Wonder Full, duas palavras — não está disponível em nenhuma API. Só está disponível no Muse Code, nos planos de US$ 50 ou US$ 200 por mês.

07:34 pode treinar com seus dados, e a Meta está fazendo basicamente a mesma coisa aqui. Acho que isso não é uma grande surpresa. O modelo Muse Wonder está na API da Meta e na Open Router, e custa US$ 4 por entrada e US$ 20 por saída, o que acaba sendo exatamente o mesmo preço do Opus 5.5. Mas o Wonder Full — lembre-se de que são duas palavras: Wonder Full — não está disponível em nenhuma API. Ele só está disponível dentro do Muse code nos planos de US$ 50 ou US$ 200 por mês.

08:05 Então acho que é um pouco exagerado eles fazerem todas essas afirmações sobre esse modelo e, ainda assim, ninguém poder testá-las de forma independente, porque não há uma API disponível para as pessoas experimentarem. Curiosamente, no LM Arena, eles submeteram o modelo Wonder a mais de 5.000 sessões reais de agents, e ele ficou apenas em 12º lugar na categoria de agents do Arena. Isso é meio interessante, porque ficou em segundo lugar no placar de texto. Mas claramente é um modelo forte. Talvez, em tarefas com agents, ele seja, na verdade

08:37 não está na liderança… Sinceramente, não sei o que pensar do modelo que chega em 12 para agents, porque uma das áreas em que a Meta claramente está se destacando bastante neste momento não são os benchmarks, são os agents pessoais. Enquanto gravo isto, estou em San Francisco, e agents pessoais parecem ser o assunto de que todo mundo está falando. O app Muse da Meta é claramente o agent pessoal que está ganhando mais força neste momento. Ele foi lançado nos EUA em 8 de setembro. Em poucas semanas, foi baixado mais de dois milhões e quinhentas

09:09 mil vezes. E, na verdade, foi o app número um na Apple App Store, mostrando que eles estão conquistando espaço de verdade, não apenas na comunidade de desenvolvedores de IA. Então, a grande pergunta é: o que o app consegue fazer? Bem, ele faz coisas como ler seus e-mails, reservar coisas para você, preencher formulários, pagar em seu nome e negociar por você. É interessante porque eles dizem que cada usuário recebe sua própria máquina virtual isolada, com o agent e os dados dele. Há um plano gratuito, um plano de US$ 20 por mês e um plano de US$ 100 por mês

09:44 e, embora apps como ChatGPT e Gemini ainda sejam muito mais usados no geral, na categoria específica de agents pessoais, parece que o Muse é aquele de que as pessoas estão falando. Agora, como eu disse antes, infelizmente o Muse não roda no Spark Open, certo? Ele usa uma versão personalizada do Spark, e não sabemos muito sobre exatamente quais versões estão rodando, se estão usando algum fine-tune específico dele ou algo do tipo. Mas surgiram informações bem interessantes sobre como eles realmente construíram isso.

10:14 Alexander Wang explicou isso no podcast de David Senra. E tenho que dizer que essa é uma das explicações mais úteis que já ouvi sobre como um laboratório lança um produto com agent. Coloquei o link na descrição. Basicamente, tudo começou em fevereiro, quando Alexander Wang e Nat Friedman passaram semanas convivendo com agents do tipo OpenClaw, e depois um monte de gente daquela equipe experimentou esses agents do OpenClaw. E a conclusão deles foi basicamente que a mágica era real, mas essas coisas simplesmente

10:47 não funcionavam de forma confiável. Então, nas semanas seguintes, eles trabalharam na prototipagem tanto do sistema de agent quanto dos modelos capazes de dar suporte a ele. E é interessante que parece que o agent pessoal Muse realmente surgiu de sete meses de trabalho intenso, com o que eles descrevem como uma equipe de menos de 200 pessoas trabalhando tanto no modelo quanto no produto. Achei muito interessante a forma como descreveram o que fizeram. Eles listaram mais de 100 comportamentos e capacidades específicas

11:18 que o agent pessoal ideal precisava ter. E colocaram tudo isso em uma planilha, e cada linha recebeu seu próprio conjunto de evals. Depois, treinaram o modelo com base nesses evals. Basicamente, tinham um sistema de sinal verde e sinal vermelho para saber se, com aquele modelo específico, os evals passavam ou não. E, muito rapidamente, conseguiam ver quais porcentagens estavam funcionando de verdade e quais não. Dá para imaginar que, então, eles basicamente

11:48 usaram muitos ambientes de aprendizado por reforço para fazer o pós-treinamento e coisas do tipo, para fazer tudo funcionar. Eles continuaram analisando os casos de uso que não funcionavam e fazendo atualizações para eles. E achei interessante que ele comentou que cada linha tinha um limite mínimo para o lançamento e um limite de qualidade. Então, houve muitos pontos de verificação em que cerca de 80% das linhas estavam verdes e 20% vermelhas, e eles literalmente decidiram que isso não era bom o bastante. Ele mencionou que o primeiro ponto de verificação em que todas as linhas ficaram verdes foi com aquela versão do Spark treinada especificamente para isso,

12:20 a 1.3. E acho que o que ele descreveu é realmente uma maneira fantástica de construir qualquer produto com agent. Se você estiver criando seu próprio agent, provavelmente não tem 100 comportamentos documentados, cada um com seus evals. Se pudesse começar com 20 e aumentar a partir daí, documentar o que o agent precisa fazer, criar alguns evals para cada item e simplesmente não lançar até que todos os evals estejam passando… Como eu disse, o link está na descrição. Certo, vamos começar e dar uma olhada nas demonstrações de como esse modelo funciona.

12:51 Mas, antes disso, tenho um pedido para vocês. Se estão assistindo a este vídeo e aos meus outros vídeos e ainda não se inscreveram, por favor, inscrevam-se. Estou tentando muito aumentar esse número até o fim do ano. Isso ajuda bastante a fazer com que esses vídeos alcancem mais pessoas e que mais gente os veja. Certo, vamos à demonstração. O que vou fazer é comparar o Muse Spark Open e o Muse Spark Wonder. Estou rodando os dois modelos no OpenRouter. Aqui vocês podem ver o OpenRouter para o Muse Spark Open; já há vários provedores disponíveis.

13:23 Temos a Modal, que está rodando bem rápido, Together AI, Nebius, Fireworks, Base10 e outros. É interessante ver que a própria Meta não está rodando uma versão dele. Todos os provedores aqui têm o mesmo preço: US$ 1,25 de entrada e US$ 4,25 de saída para o modelo open. Se olharmos o Muse Wonder, a situação é bem diferente. Há apenas um provedor: a própria Meta. O preço deste é US$ 4 de entrada e US$ 20 de saída. Mais uma vez, nos dias de hoje, isso não é exatamente barato.

13:54 E outra coisa que vou apontar é que a Meta está retendo os prompts, embora diga que não os usa para treinamento. Certo. Basicamente, configurei tudo aqui para poder usar no meu playground e iniciei os testes de SVG. O motivo foi que as pessoas estavam criticando os modelos da Meta por causa de gráficos, criação de sites e coisas do tipo. Tenho que dizer que, para o modelo Wonder, o resultado aqui não é ruim se olharmos, por exemplo, o SVG do pelicano. Está certamente aceitável.

14:25 Definitivamente não é tão bom quanto alguns dos outros, embora cada vez mais eu esteja achando que esse teste provavelmente não é tão útil, porque as próprias empresas de modelos estão meio que se ajustando demais a ele. O que acho realmente interessante aqui é o pouco que o Muse Wonder pensa. Dá para ver que ele usa apenas 55 tokens de raciocínio, que basicamente só reformulam o que escrevi no prompt para montar o resultado. E então passa direto a gerar o SVG aqui. Se olharmos o Muse Spark

14:57 Open, a história é bem diferente. Para começar, o pelicano não está com uma aparência muito boa, a bicicleta talvez não esteja certa, e os pés nos pedais estão bem bons. Mas, fundamentalmente, parece que há várias coisas acontecendo ali. E, mais importante, acho que o ponto aqui é quanto raciocínio ele faz antes de realmente gerar o resultado. Dá para ver que ele gerou muito mais tokens do que a versão Wonder. Acho que isso é basicamente um sinal de como eles fizeram o

15:30 RL aqui. A versão Wonder, além de ter um pré-treinamento diferente e quase certamente ser um modelo muito maior, entre outras coisas, também recebeu muito mais raciocínio e uma cadeia de pensamento longa muito melhor do que a versão open. Meu palpite agora é que vou iniciar apenas o prompt longo para pedir que eles basicamente escrevam um ensaio extenso. A Meta claramente não quer revelar como faz a cadeia de pensamento longa, certo? Então, se olharmos algo como isto, em que temos o modelo open, podemos ver que ele tem 1.000 tokens de raciocínio — que, na verdade, é raciocínio aberto

16:05 que estamos obtendo aqui. E, se compararmos, dá para ver que ele parou no fim. Neste caso, recebemos um ensaio bastante substancial. Isso não acontece sempre. Dá para ver que, se eu voltar e executar isto de novo, desta vez teremos menos tokens de raciocínio. Mas, em muitas das vezes em que executei o teste, embora a qualidade do resultado fosse bastante boa, a quantidade variava muito: às vezes, ele retornava apenas cerca de 3.000 a 4.000 tokens, e às vezes retornava 7.000 tokens.

16:36 Então, isso é com o modelo open source. Se olharmos para o Muse Wonder, vemos de novo que há bem pouca quantidade de raciocínio aqui, mas a qualidade do resultado é bastante boa. Agora, voltando ao Muse Spark Open, dá para ver que, desta vez, tivemos apenas 1.800 palavras. Da última vez, tivemos 4.900 palavras. É muito errático e, embora eu espere, é claro, que seja diferente a cada vez, não esperaria uma variação tão grande. A variação é realmente alta, como dá para ver no Muse Wonder,

17:08 que basicamente passou por tudo e nos entregou um ensaio completo. Agora, não sei os detalhes do que eles estão realmente nos fornecendo como raciocínio. Suspeito que talvez estejamos recebendo um resumo dos tokens de raciocínio. Provavelmente vale a pena investigar isso muito mais a fundo se você realmente pretende usar o modelo pago Muse Wonder. Dito isso, para coisas como perguntas e respostas com RAG, ele faz um trabalho razoável ao analisar o conteúdo. Só usa muitos tokens de raciocínio. Se eu tentar reduzir o raciocínio para baixo, consigo fazer

17:40 com que ele use muito menos tokens. Mas isso certamente parece afetar o resultado dessa análise. Certo. Nos testes básicos de agentes, dá para ver que o Spark Open se sai muito bem na chamada de funções e em lidar com diferentes tipos de situações relacionadas à chamada de funções. Nos testes básicos, ele passa em 10 de 10, o que não surpreende. O Muse Wonder também consegue a pontuação perfeita: 10 de 10 nesses testes específicos.

18:12 A história muda um pouco quando olhamos para os testes de agentes aqui. O modelo ainda se sai muito bem, mas, pelo que percebi, tende a acabar fazendo muitas chamadas de ferramentas. Neste caso, muitos outros modelos teriam feito isso muito rapidamente, mas este faz muitas e muitas chamadas de ferramentas para conseguir realizar a tarefa. Isso poderia explicar por que ele não se saiu tão bem nas pontuações ELO do Agent Arena: provavelmente estava demorando muito. Dito isso, ele se sai muito bem na maioria das outras tarefas.

18:44 Ele lidou muito bem com ferramentas quebradas. Conseguiu se recuperar e simplesmente continuar, e coisas assim. Também se saiu muito bem com tudo que envolvia elementos de distração nos prompts. O modelo open source marcou sete de oito. Se passarmos para o Muse Wonder, ele não tem problemas com esses casos e marca oito de oito aqui. E você vai notar que, assim como o outro, ele continuou e continuou nessa edição direcionada, mas este aqui basicamente usou só algumas chamadas de ferramentas e terminou.

19:14 Então, isso mostra a diferença de qualidade entre o modelo open source e o modelo de ponta deles. O último que vou analisar é o de HTML. Não acho que esse modelo seja muito bom para esse tipo de tarefa. Não acho que nenhum dos dois modelos seja necessariamente ótimo para esse tipo de tarefa. O Muse Wonder é muito bom em lógica e em coisas desse tipo, talvez não tanto em programação. Mas isso não me surpreende. Não acho que seja esse o objetivo da Meta. Se olharmos para os sites aqui, este acabou ficando nada mal.

19:45 Esta é a versão do Spark Open. Se olharmos para a versão do MuseSpark Wonder, ela é bem simples, tenho que dizer, não é? Não acho que seja tão boa em comparação com alguns dos outros modelos que testei aqui. Analisando os dois, ambos usam cerca de 6.500 tokens para chegar a esse resultado. No geral, acho que o modelo é muito bom. Meu palpite é que as pessoas que acabarão usando isso — porque, sinceramente, não acho que eu deixaria de usar algo como o Qwen 3.8-Next, ou até mesmo o Qwen 3.8-27B.

20:18 Não se esqueça de que esse modelo é tão grande que pouquíssimas pessoas vão conseguir executá-lo localmente ou fazer qualquer coisa com ele localmente. A maioria das pessoas vai executá-lo por uma API. E suspeito que o principal uso do modelo open source será mesmo por empresas dos EUA e talvez algumas empresas da Europa, entre outras, que talvez por motivos políticos não queiram usar um modelo chinês ou certamente queiram ter uma justificativa plausível para negar que o usam. E é algo que tenho visto em muitas empresas que não querem

20:50 admitir que usam os modelos Qwen em produção, aparentemente por motivos puramente políticos. Certo, então o que isso significa? No geral, acho que é um ótimo sinal. A Meta definitivamente voltou ao jogo dos modelos open source. Eles não estão fazendo aquela jogada da OpenAI, de simplesmente lançar um modelo e depois abandoná-lo, sem fazer mais nada. Agora voltaram, lançaram vários modelos. Tomara que continuem e atualizem esses modelos. O modelo Glimmer, o modelo de 30B com licença Apache deles, foi lançado

21:20 em agosto e, quando foi lançado, Mark Zuckerberg disse que abririam os pesos do Muse Spark. E, dois meses depois, cá estamos, não é? É uma versão diferente daquela que talvez preferíssemos — gostaríamos de ter a versão 1.3 —, mas pelo menos é um bom sinal. E, com esta última semana sendo uma grande semana para os modelos open source dos EUA em geral, com o Spark Open e o Beam disponibilizando os pesos no Hugging Face, é ótimo ver essas empresas entrando no jogo. E isso certamente é bom para muitos outros idiomas, entre outras coisas.

21:51 Porque a Meta tem muitos dados multilíngues e prioriza certos países e regiões, talvez idiomas europeus e alguns idiomas do Sudeste Asiático, entre outros, que muitas vezes simplesmente não são muito bem atendidos pelos modelos chineses. Então, embora estejam lançando este modelo bem atrás dos modelos chineses com pesos abertos, ele faz sentido para muitas pessoas experimentarem. Adoraria ver o próximo lançamento open source deles chegar pelo menos ao nível do Spark 1.3. Se pudéssemos ver um modelo open source da Meta a cada três meses,

22:22 dá para imaginar que isso seria ótimo para todo o ecossistema. Enfim, coloquei na descrição os links para o Spark Open, o BEAM e a entrevista com David Senra de que falei. Contem nos comentários o que acham da divisão da Meta entre os modelos open source e os modelos fechados. E, como sempre, se acharam o vídeo útil, cliquem em curtir e inscrevam-se no canal. Conversamos no próximo vídeo. Até mais.

Transcrição original

[00:00] Okay, so last week Meta released the weights for Muse Spark Open, an 816 billion parameter model that they’re calling the most capable US open weights model to date. and I gotta say, based on the numbers that they’ve released, this claim seems to actually hold up but this isn’t the only thing that they’ve been releasing. Meta has been on a absolute tear lately with what they’ve been shipping so don’t forget it’s not much more than a year that the Meta Superintelligence Lab was actually created they shipped an open

[00:32] model, Muse Glimmer, early in the year, Which at the time I talked about as being very interesting because of the fact that it was the first model from that new team. clearly that set a bar. After that, they had other people, leave from Google to join that team. And I’ve got to say that they’ve really been doing a lot of interesting stuff since So in the same week as them shipping this Muse Spark Open, they shipped two closed frontier models, One of which you can’t even get through their own API or through OpenRouter, et cetera and it’s important to distinguish that

[01:06] what they’ve actually released here is not the model behind their personal agent app, which is doing really well here in the US and it turns out that model might actually be an entirely different model altogether So in this video, I want to try and untangle what Meta actually released And then actually show some demos with the open model Okay, so let’s look at the actual model. So Muse Spark Open is a mixture of experts model. It’s 816 billion parameters total with 42 billion parameters active per token

[01:37] It’s got what now has become kind of the standard 1 million token context window. It’s also natively multimodal, which is really cool to see. and it’s not just text and images that’s making it multimodal, it’s video and audio in as well but as to be expected, it’s just returning text now Meta is pitching this as, a sort of general purpose model for coding, agentic work, a variety of different things. And they’ve made this claim that it’s the most capable US model.

[02:08] It’s a very specific claim, right? So it’s kind of funny that they’re not saying it’s the best model out there, And I guess that’s clearly pointing at certain countries perhaps having better models And that kind of makes sense, right? if you look on the artificial analysis intelligence index, this is scoring 39. so the top open models right now are all Chinese. We’ve got the Mimo 2.6 Pro at 46. We’ve got GLM 5.3 at 45, Kimi K3 at 44, and even the Qwen 3.8 is just above

[02:39] Spark Open at 40 so while I do think this is clearly a solid model, it’s not the leading model in the open field And I do feel that shouldn’t be something that stops us from sort of trying this model out. Definitely organizations like Meta tend to make models and train on data that is quite different than the Chinese models. so perhaps while there’s no benchmaxxing going on or anything like that here for benchmarks, it is interesting to see how this actually generalizes

[03:10] to a variety of different tasks The other big release that just came out just after this, which was also a US open release, was Reflections Beam. So Beam’s weights literally just went up on Hugging Face last Friday even though they announced the model earlier on in the month, and actually at the time I wanted to make a video about it, but there were just no weights to even try it. so Meta’s weights have come out first, and that’s why I’m focused on this now clearly Spark Open is beating the Beam model, right? The Beam model scores 30 on that same index so Spark Open is clearly

[03:45] a lot higher than that with 39 and when you look at the benchmarks that both companies publish, Spark Open is winning the majority of them. For things like tool use on MCP Atlas, It’s 89 versus 79. For DeepSWE, it’s 60 versus 44. although Beam does edge it on the terminal bench with 80 versus 76. But here’s the thing, in many ways it’s not a fair comparison. Beam is a much smaller model. Beam is only 501 billion parameters in total with 23 billion active.

[04:18] and on top of that, they’ve really focused with that model to make it very token efficient and something that I do think we have to take into account is that model is fully Apache 2 licensed. Spark Open is under Meta’s own Muse license. Now, for most people, that’s gonna be fine, but you do have to display a built with Muse Spark Open in your product. and if you run a model as a service business with more than $20 million a year in revenue, you need a separate agreement with Meta to be able to do that so I

[04:50] guess I would say that Spark Open is the more capable model, but it’s much bigger. Beam is the cheaper, cleaner licensed, smaller one now as for running this thing yourself, Meta worked with Apple on this. The headline setup is two M5 Ultra Mac Studios with 512 gigs each, and apparently Apple measured that at about 25 tokens per second now I don’t know off the top of my head how much that would actually cost, but from what I’m hearing, not only would it cost a fortune, but you’re probably gonna be waiting until January or February

[05:23] for that hardware to actually arrive. Now, if you’re not buying Macs, they’ve got an NVFP4 checkpoint. It’s around 530 gigs. and Unsloth themselves have made a 2-bit checkpoint, That gets it down to around 300 gigs. but clearly for most people though, the realistic way to try this is gonna be one of the hosted service providers. and in that sense it’s been on OpenRouter since day one So I’ll come back to the demos for the Spark Open in a second, but let’s just talk about what else Meta has actually been releasing here.

[05:54] Spark Open is clearly not their best model. It’s not even really close, to their best model. Meta clearly is back in the game of being a frontier model creator here. three days before Spark Open, they actually launched Muse Wonder and Muse Wonder Full with wonder and full being two words there. So these are closed models. and Meta has been benchmarking those against GPT-6 Astra, Claude Opus 5.5 and on the artificial analysis index, Wonder scores 52 and Wonderful scores 56,

[06:29] which is pretty good compared to Opus 5, which is only two points ahead at 58 now obviously sitting under those is a bunch of different models, but also includes the Muse Spark 1.3, which scores 48. And I think a lot of people, myself included, were hoping that the Muse Spark 1.3 was gonna be the model that was opened up for everyone But that really wasn’t the case, I guess. The open model is actually nine points behind that sort of mid-tier closed model and 17 points behind their best model now one of the issues you’re gonna

[07:02] have with getting access to these is that they’re just not all out there. so Spark 1.3 is on both Meta’s API and on OpenRouter at a $1.25 in and $4.25 out They also have a version of the model which is much, much cheaper at 10 cents in and 20 cents out. But obviously the catch there is that Meta gets to train on your prompts and your outputs. So just as we’ve seen the Chinese labs basically give sweet deals if they

[07:34] can train on your data, Meta’s doing basically the same thing here, and I guess that’s not a huge surprise. the Muse Wonder model is on the Meta API and Open Router, and that’s $4 in and $20 out, which turns out to be exactly the same cost of what Opus 5.5 is. But Wonder Full, remember that’s two words, Wonder Full, isn’t on any API. It’s only available inside Muse code on the $50 or the $200 a month plans

[08:05] So I do think it is a bit rich for them to basically make all these claims about this model and yet nobody can sort of independently test them because there is no API available for people to actually try this out. interestingly, on LM Arena, they put the Wonder model through more than 5,000 real agent sessions, and it only came back at number 12, in their agent arena Which is kind of interesting because it came in at number two on their text leaderboard. But clearly it’s a strong model, Perhaps on agent work, it’s actually

[08:37] not leading… Honestly, I’m not sure what to make of the model coming in 12 for agents, because one of the areas that Meta is clearly actually winning a lot at the moment is not benchmarks, it’s personal agents. So as I’m recording this, I’m in San Francisco at the moment, and personal agents seem to be the thing that everyone is talking about. Meta’s Muse app is clearly the personal agent with the most amount of momentum at the moment it launched in the US on September 8th. Within a couple of weeks, it’s been downloaded more than two and a half

[09:09] million times And it’s actually been the number one app on the Apple App Store just showing, that they are getting real traction, not just with the AI developer community so the big question there is what can the app actually do? Well, it does things like reads your email, books things for you, fills in forms, it can pay on your behalf, it can negotiate for you. It’s interesting because they’re saying that each user gets their own isolated virtual machine with the agent and their data in it. They’ve got a free tier, a $20 per month tier, and $100 per month tier in there

[09:44] and while apps like ChatGPT and Gemini are still far more widely used overall, in the specific sort of category of personal agents, it does seem like Muse is the one people are talking about Now, like I said before, unfortunately Muse doesn’t run on Spark Open, right? It’s on a customized version of Spark, and we don’t really know too much about exactly which versions it’s running, If it’s running any specific fine-tunes of it, that kind of thing But there has been some really interesting info that has come

[10:14] out about how they actually built this. So Alexander Wang actually went through this on, the David Senra’s podcast. And I’ve gotta say, it’s one of the more useful explanations I’ve heard about how a lab actually ships an agent product and I’ve put the link to that in the description. so basically it started back in February with Alexander Wang and Nat Friedman spent weeks living with sort of OpenClaw agents, and then a whole bunch of that team trying out these OpenClaw agents. And their conclusion was basically that the magic was real, but these things just

[10:47] didn’t really work reliably so over the next few weeks, they worked on prototyping both the agent system but also the models to be able to support that and it’s interesting that it looks like the Muse personal agent really has come from seven months of grinding With what they’re saying is a team of under 200 people across both the model and the product for it I found it really interesting how they described that they actually did this. So what they did was they listed more than 100 specific behaviors

[11:18] and capabilities that the ideal personal agent needed to have. And they put all those into a spreadsheet, and every row got its own set of evals. They then trained the model against those evals And they basically had sort of like a green light, red light system of knowing, okay, with this particular model, do these evals pass or not? and very quickly they could see what percentages were actually working and what percentages didn’t And you can imagine that they were then basically

[11:48] using lots of reinforcement learning environments to do post-training, et cetera, to get these things to work. They kept looking at the use cases that didn’t work and then updating for them And I thought it was interesting that he talked about each row had a launch blocking threshold and a good threshold so there were lots of checkpoints where there were green on about 80% of the rows and red on about 20, and they literally decided that wasn’t good enough He mentioned that the first checkpoint that was green on every row was that specifically trained version of Spark

[12:20] 1.3 and I kind of feel what he described in there is really a fantastic way of how to build any agentic product. If you’re building your own agent, you probably don’t have 100 behaviors written down with evals for each of them. if you could start with 20 and then grow it from there, write down what the agent has to do, build some evals for each one, and then just don’t ship until they’re passing all of the evals so like I said, the link for that is in the description All right, let’s jump in and have a look at the demos of how this model actually goes.

[12:51] but before that, I have an ask for you. If you’re watching this and my other videos and you haven’t subscribed, please subscribe. I’m really trying to get the number up by the end of the year It just helps a lot in making these videos get out there and let more people see them Okay, so jumping into the demo here, what I’m gonna do is compare both the Muse Spark Open and the Muse Spark Wonder. so both these models I’m running on OpenRouter. so you can see OpenRouter here for Muse Spark Open, there are actually quite a number of providers already.

[13:23] we’ve got Modal doing quite quickly, Together AI, Nebius, Fireworks, Base10, et cetera it is interesting to see in here that Meta themselves are not actually running a version of this all of them here have the same pricing, $1.25 in, $4.25 out for the open model. If we look at Muse Wonder, it’s quite a different story. There’s only one provider being, Meta themselves. this one’s the $4 in, $20 out. Again, in this day and age, that’s not really something that’s very cheap there.

[13:54] and the other thing I’ll point out too is that Meta is actually retaining prompts even though they’re saying that they don’t use them for training Alright. So I’ve basically just set these up here, where I can use them in my playground and I kicked them off basically doing the SVG test. And the reason why was that people were sort of criticizing, the meta models for graphics and for doing websites and stuff like that. I’ve gotta say for the Wonder model, it’s not bad here if we, sort of look at the, pelican SVG. it’s certainly okay.

[14:25] It’s definitely not as good as some of the other ones, although more and more I’m starting to feel that this is probably not that useful of a test because the model companies themselves are, sort of overfitting on it. what I do find really interesting in here is just how little thinking, Muse Wonder does. So you can see that basically it’s just got 55 tokens of thinking in here, which is kind of just rephrasing, what I’ve put in the prompt, for basically putting it together. And then it goes straight into generating, the SVG in here if we look at Muse Spark

[14:57] Open, it’s a very different story here. So you can see for a start, Pelican not looking so great, bicycle perhaps not okay, and actually the feet on the pedals is pretty good. but fundamentally it seems like there’s a bunch of things going on there. And more importantly, I think that the thing here is just how much thinking this does, before it, actually goes to generate out. So you can see that it generated a lot more tokens, than the, Wonder version in there really I think that’s a sign of basically how they’ve been doing the

[15:30] RL here, The Wonder version, while being a different pre-train And almost certainly a much bigger model, et cetera. It’s also had just a lot better reasoning and long chain of thought done on it, as opposed to the open one. my guess here is then I’ll kick off, just the long prompt for asking them to basically do a long essay Meta clearly doesn’t want to give away how they’re doing the long chain of thought, right? so if we look at something like this where we’ve got the, open model, we can see that this has got 1,000 tokens of, thinking, which is actually, open

[16:05] thinking, that we’re getting there. and if we compare that, you can see that’s come to a stop at the end there In this case, we actually have gotten quite a substantial essay out. that’s actually not always the case. So you can see that if I come back and run this again, this time we’re getting, less thinking tokens. but quite a number of times when I’ve run the test, while the quality coming out, is quite good, The amounts just vary widely of where sometimes it’s only giving sort of 3,000 to 4,000 tokens back, sometimes it’s giving 7,000 tokens back.

[16:36] so this is with the open model. If we look at Muse Wonder, we see again, we’re getting just really low, amounts of thinking in here, But pretty good, quality output going on here Now going back to Muse Spark Open, you can see here this time, we only got 1,800 words. Last time we got 4,900 words. it’s just very erratic and while of course I expect that it’s gonna be different, each time, I wouldn’t expect it to have such a huge range of difference. The variation there is really high where you can see for Muse Wonder,

[17:08] it basically went through and gave us a full, essay back there. Now, I don’t know what the details are of what they’re actually giving us back of reasoning. I suspect that we’re getting, perhaps like a summarization of the reasoning tokens back. This is something that’s probably worth looking into a lot more if you’re gonna actually use the paid Muse Wonder model, in here that said, for things like the RAG Q&A, this does, a decent job going through it. It’s just using a lot of thinking tokens. If I try turning thinking down to low, I can actually get

[17:40] it to use a lot less tokens. But that certainly does seem to affect the output, of going through this Alright. So running the sort of basic agentic tests, of going through it You’ll see that the Spark Open actually does a really good job at the function calling and dealing with different kinds of, things going on in the function calling here. So the basic tests, it’s passing, 10 out of 10, for this not surprisingly, the Muse Wonder also scores perfect, 10 out of 10 for these particular ones

[18:12] The story does change slightly when we look at the, agentic sort of tests in here. the model’s still doing very well, but it tends to basically end up using a lot of tool calls, I found. so for this one, where plenty of other models would have done this, very quickly, this is doing lots and lots of tool calls to actually do this. and this could actually explain why it was not doing great on the Agent Arena ELO scores there, is that it was just probably taking, a long time. that said, it does pretty well on most of the other things.

[18:44] dealing with broken tools, it did, did very well with that. it was able to recover and just keep going and stuff like that. all the things with distractors and stuff like that in the prompts, it did pretty well. the open model scored seven out of eight If we come across to the Muse Wonder, it has no problems with these, and it scores, an eight out of eight, here. And you’ll notice that like with the other one, it just kept going and going and going for this targeted edit, but this one basically just a handful of tool calls, and it was done.

[19:14] so that sort of separates the quality of the open model, versus their frontier model the last one that I’ll look at is actually the HTML one. I don’t think this model is very good for these kind of tasks. I don’t think either of these models is necessarily great for this kind of task. the Muse Wonder, very good at logic, very good at those kind of things, perhaps less so at coding. but that doesn’t surprise me. I don’t think that’s what Meta is sort of going for If we look at the websites here, This one has actually turned out not bad.

[19:45] So this is the Spark Open, version in there. If we look at the one for MuseSpark Wonder, it’s pretty plain, I gotta say, right? I don’t think it’s, that great, compared to some of the other models that I, tested in here. Looking at this, both of them are using sort of six and a half thousand tokens to actually get here. overall I think the model’s pretty good. My guess is that the people who are gonna end up using this, ’cause I don’t think honestly I would switch away from something like Qwen 3.8-Next, or even the Qwen, 3.8-27B.

[20:18] Don’t forget this model is so big that very few people are gonna be able to run this, locally or actually do anything with it locally. Most people are gonna be running it off an API. And I kind of suspect the main usage of the open model, is really going to be US companies, perhaps, some companies in Europe, et cetera, who perhaps for political reasons don’t wanna use a Chinese model or certainly wanna be able to have plausible deniability. And this is something that I’m definitely seeing, a lot of companies not want

[20:50] to admit that they’re using the Qwen models in production purely for what it seems to me to be political reasons All right, so where does this leave things? Overall, I think this is a really good sign. Meta is definitely in the open models game again. they’re not doing the whole sort of trick that OpenAI did of just put out one model and then, abandon it and not do anything more. they’ve now got back in, they’ve put out multiple models. Hopefully they’ll keep going and update those models. the Glimmer model, their 30B Apache licensed model, came out

[21:20] in August and when it launched, Mark Zuckerberg said that they’d open the weights to Muse Spark. And two months later, here we are, right? it’s a different version from perhaps what we would like, in that we would like to have that 1.3 version but at least it’s a good sign here and with this past week being a big week for US open models generally, with both the Spark Open and Beam both landing weights in Hugging Face it’s great to see these companies entering the game. and certainly good for a lot of other languages, et cetera.

[21:51] Because Meta’s got a lot of multilingual data and they’ve got certain countries and regions that they prioritize, perhaps like European languages, certain Southeast Asian languages, et cetera, that are often just not very strong in the Chinese models So while they’re landing this model quite a bit behind the Chinese open weight models, this model does make sense for a lot of people to actually try out here. I’d love to see their next open release at least get to the Spark 1.3 level if we could see an open model coming out from Meta every three months,

[22:22] you’ve got to think that that’s going to be great for the whole ecosystem. Anyway, I’ve put the links to the Spark Open, to BEAM, to the David Senra interview that I talked about in the description. Let me know in the comments what you think about Meta’s split between the sort of open models and the closed models. and as always, if you found the video useful, please click like and subscribe, and I will talk to you in the next video. Bye for now