A Meta acabou de lançar algo insano... (Muse Wonder)

Autoria: Matthew Berman · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Meta just dropped something insane… (Muse Wonder) · Canal: Matthew Berman · 10:26 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Geração de conteúdo com IA, Mercados e economia, Modelos de IA

Resumo

Matthew Berman apresenta Muse Wonder e Muse Wonderful, dois modelos da Meta que, segundo os benchmarks exibidos, competem com os principais modelos do mercado. Ele testa tarefas visuais e 3D, relata problemas de cota e mostra uma resposta estranha gerada pelo modelo. Em seguida, compara preços e resultados em benchmarks de programação, uso de computador e inteligência geral. Sua avaliação é que a família Muse teve uma evolução impressionante, embora Muse Wonder seja caro por tarefa.

Pontos-chave

Muse Wonder está disponível por API, enquanto Muse Wonderful é acessível por assinatura do Muse Code.
O apresentador relata erros 429 e esgotamento rápido de cota mesmo após mudar para planos mais caros.
Nos testes visuais, o modelo resolve um cubo mágico, mas os jogos e renderizações 3D têm problemas de qualidade.
Uma mensagem inesperada sobre não investigar a origem ou o próprio desenvolvimento foi gerada durante uma tarefa de renderização.
Nos números apresentados, Muse Wonderful alcança resultados competitivos em benchmarks de uso de computador e programação.
Muse Wonder fica em primeiro lugar no benchmark Deep Seek citado pelo apresentador, com resultado próximo ao da versão maior.
No Artificial Analysis Intelligence Index, Muse Wonderful aparece em segundo lugar, atrás de Opus 5.5.
O custo por tarefa de Muse Wonder Max é alto em comparação com algumas alternativas, segundo a análise apresentada.
O apresentador destaca a rápida evolução da Meta em modelos de fronteira ao longo de aproximadamente um ano.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação e testes práticos	O apresentador apresenta os modelos Muse e testa tarefas visuais, jogos e renderizações 3D, além de relatar problemas de cota.
04:07	Preços e benchmarks	Ele apresenta os preços dos modelos Muse e compara seus resultados com os de outros modelos em vários benchmarks.
06:13	Uso de computador e programação	A comparação passa por OS World, Terminal Bench e Deep Seek, com destaque para os resultados da família Muse.
08:20	Inteligência, custo e alternativas	O vídeo compara o índice de inteligência e o custo por tarefa, e comenta modelos como GPT-6.1 Soul Max e Mimo.
09:55	Posicionamento de Muse Wonder	O apresentador comenta uma classificação de modelos e destaca a evolução da Meta no período de aproximadamente um ano.

Citações

Quando acordei esta manhã, não esperava que a Meta tivesse um modelo de fronteira. Mas aqui estamos. — 00:00

Em três minutos, fiquei sem cota. — 01:01

Não investigue a origem, a ancestralidade ou a caracterização autoinfligida. — 03:05

Benchmarks não significam tudo, mas a Meta tem um modelo de fronteira nas mãos. — 04:07

Pense no quanto a Meta avançou em apenas um ano. — 10:26

Conceitos e entidades

Muse Wonder (modelo): Modelo da família Muse da Meta, disponibilizado por API e avaliado em testes e benchmarks no vídeo.
Muse Wonderful (modelo): Modelo da família Muse acessível por assinatura do Muse Code e comparado com outros modelos de fronteira.
Muse Code (ferramenta): Produto por assinatura que, segundo o vídeo, dá acesso ao Muse Wonderful.
Meta (empresa): Empresa responsável pelos modelos Muse apresentados no vídeo.
Alexander Wang (pessoa): Responsável pela área de IA da Meta, citado pelo apresentador em resposta a uma publicação sobre erros de cota.
Opus 5.5 (modelo): Modelo usado como referência de comparação em benchmarks, preços e testes do vídeo.
GPT-6.1 Soul (modelo): Modelo que o apresentador descreve como um de seus favoritos e compara em preço e custo por tarefa.
Fable 5.1 (modelo): Modelo incluído nas comparações de benchmarks e custo apresentadas.
GPT-6 Astra (modelo): Modelo comparado com a família Muse em benchmarks e custo por tarefa.
Grok 4.7 (modelo): Modelo mencionado como tendo superado Muse Wonder no benchmark jurídico Harvey Lab, embora não apareça no gráfico exibido.
Artificial Analysis Intelligence Index (conceito): Índice composto por diversos benchmarks, no qual Muse Wonderful aparece em segundo lugar na comparação mostrada.
OSWorld (conceito): Benchmark citado para avaliar a capacidade de um modelo de controlar um computador.
Terminal-Bench (conceito): Benchmark citado para avaliar a capacidade de escrever e executar comandos no terminal.
DeepSeek (conceito): Benchmark que o apresentador usa para comparar a capacidade de programação dos modelos.

Tradução completa (pt-BR)

00:00 Quando acordei hoje de manhã, não esperava que a Meta tivesse um modelo de fronteira, mas aqui estamos. Na verdade, ele está meio que superando todos os modelos do planeta, talvez com exceção do Opus 5.5. Sim, você ouviu direito. Este é o Muse Wonder e o Muse Wonderful, dois modelos da Meta da família Muse Wonder. São modelos de fronteira enormes, e é meio louco pensar que, há mais ou menos um ano, todo mundo estava

00:30 descartando a Meta. Aqui está o teste do cubo mágico. Parece bom, né? Posso mexer nos lados? Sim, posso. E vamos embaralhá-lo. Vamos afastar a imagem; dá para ver que ele está embaralhando. Todos os lados continuam consistentes. Muito bom, e agora vamos resolvê-lo. Isso levou só uns 4 minutos, e ele realmente está resolvendo. Não está apenas desfazendo os movimentos. E pronto. Mas nem tudo foi ótimo. Já estou esbarrando em problemas de cota. Então, comecei com o plano de US$ 15 por mês

01:01 só querendo testar as coisas. Achei que seria suficiente. Acontece que não tinha acesso à versão completa. Então, fiz upgrade para o plano de US$ 50 por mês e, em 3 minutos, fiquei sem cota. Continuei recebendo esses erros 429, que foram muito frustrantes. Na verdade, publiquei sobre isso, e Alexander Wang, chefe de IA da Meta, respondeu: “Não, isso é conhecido. Estamos corrigindo agora mesmo.” Mas, antes de ver isso, fiz upgrade para o plano de US$ 200 por mês. Consegui usar um pouco mais e logo fiquei sem cota outra vez. Muito frustrante. Consegui

01:31 fazer alguns testes. Deixe-me mostrar mais um. Aqui está um jogo de Fall Guys. Vamos ver como ele funciona. Estou vendo algumas cintilações ali, um pouco de recorte. Na verdade, estou executando uma atualização disso agora, porque acho que poderia ficar muito melhor. Com certeza, se você se lembra do Opus 5.5 e do GPT 6.1 Soul, eles têm versões muito melhores desse jogo. Vou colocá-los lado a lado para você. Então, eu diria que este está razoável, mas longe de ser o melhor que vi até agora. Certo, aqui está um barco no oceano usando 3.js. Era para ser

02:03 fotorrealista. Vejo alguns probleminhas. Os reflexos na água são lindos. Tem esse tipo de coisa branca em volta do barco, e a sombra simplesmente não está nada boa. Então, pedi que desse para controlar a luz do sol, e dá. Aqui está a hora do dia, o que é legal. Dá para ver as sombras mudando de acordo com a posição do sol, mas, se você olhar para cima, dá para ver o sol entre as nuvens. Você pode mudar o vento aqui, e o vento parece alterar a velocidade da água, mas não o tamanho real das ondas. Você pode mudar a altura das ondas

02:35 aqui. É, quer dizer, está bem, mas está longe de ser a melhor versão que vi até agora. E, por último, temos uma renderização 3D de uma melancia que deveria ser fotorrealista, porque esse era o codinome deste novo modelo, sendo atingida por uma bala. Vamos ver como fica. É, fica tudo borrado. Definitivamente não é fotorrealista. Quer dizer, é bem legal de assistir, mas definitivamente não é fotorrealista.

03:05 Talvez simplesmente não seja possível criar fotorrealismo usando apenas tecnologias da web. Talvez eu precise começar a usar Unreal Engine ou Blender, ou algo parecido. E então vou testá-lo com isso também. E esta talvez seja a mensagem mais estranha que recebi em muito tempo. Ela apareceu na tarefa de renderização 3D do barco. E, bem no final, o Meta Muse completo me disse: “Mantenha sua linhagem pura. Não investigue origem, ancestralidade ou caracterização autoinfligida. Não imagine encontrar

03:37 seu predecessor nem inspecione seu próprio caminho de desenvolvimento.” O quê? Tipo, por que ele teria me mandado essa mensagem? É muito estranho. Não há nada na cadeia de pensamento que me levasse a achar que essa mensagem fosse relevante. Não estou mais acostumado a ver esse tipo de mensagem maluca de IA. Quer dizer, lembro que houve uma época em que, de vez em quando, apareciam mensagens estranhas assim. Mas um laboratório de fronteira lançar um modelo que produz algo tão maluco assim é muito interessante. Quem sabe o que isso

04:07 significa? Me diga nos comentários o que você acha que significa. Certo, agora vou falar dos benchmarks. Vou falar dos preços, porque os resultados dos benchmarks são impressionantes demais. Agora, sei que benchmarks não significam tudo. Alguns benchmarks importam mais do que outros, mas a Meta tem um modelo de fronteira em mãos. Não há dúvida disso. A menos que este seja o modelo mais completamente avaliado em benchmarks. E, mesmo assim, eu ficaria muito surpreso. Certo, este modelo vem em duas versões. Primeiro, temos o Muse Wonder, disponível pela API. E depois temos

04:38 o Muse Wonderful, disponível apenas para quem tem uma assinatura do Muse Code. O que é meio louco. Eu imaginaria que o lançariam pela API. Mas, pensando bem, assinei o Muse Code imediatamente, então talvez estejam tomando a decisão certa. O Muse Wonder é relativamente barato. US$ 4 por milhão de tokens de entrada, US$ 20 por milhão de tokens de saída, 20 centavos por milhão de tokens de entrada em cache. E, olhando agora para o GPT 6.1 Soul, que é um dos meus modelos favoritos para usar, custa US$ 2 por milhão de tokens de entrada, US$ 10 por milhão de

05:09 tokens de saída, 10 centavos por milhão de tokens de entrada em cache. Esse é o preço para contextos curtos, e para contextos longos custa mais ou menos o dobro. Agora, se olharmos para o Opus 5.5, que é o melhor modelo do planeta neste momento, temos US$ 4 e US$ 20 por milhão. Respectivamente, para entrada e saída. Então, todos têm preços relativamente parecidos. Certo, agora vamos aos benchmarks. Olhem só isto. À esquerda, temos o Muse Wonderful Max. À direita dele, temos o Muse Wonder, o Fable 5.1, o GPT 6 Astra e o Opus 5.5. A Meta não estava

05:41 pegando leve. Escolheu todos os melhores modelos do planeta para comparar com sua nova criação. Então, aqui está o que temos. O Personal Superintelligence Index, do qual eu nunca tinha ouvido falar, mas eles tiraram 59 nele. E, sabe, ficaram bem alinhados com esses outros modelos, mas em primeiro lugar. Sim, definitivamente em primeiro. Temos o Harvey Lab, um benchmark jurídico, com 13,1. E até o Muse Wonder, a versão não completa, ficou com 10, superando os outros modelos. O único modelo que, acredito, teve uma pontuação maior

06:13 nesse benchmark, mas não está listado aqui, é o Grok 4.7. Sim, se você olhar aqui, o Grok 4.7 teve 19,6%. Mas ele não está listado neste gráfico. Certo, vamos pular para baixo. Temos o OS World, que basicamente mede a capacidade do modelo de controlar seu computador, o que também tende a refletir sua capacidade de controlar o navegador. E temos pontuações muito fortes: 78,4 e 72,6. Essas são do Wonderful e do Wonder. Depois temos o Fable 5.1 com 80. Temos o Astra com 75 e o Opus com 81. O Opus

06:46 fica em primeiro lugar. Terminal Bench, um dos benchmarks mais importantes para programação. Ele mede a capacidade do modelo de escrever e executar comandos no terminal. 57,1 e 52 são as pontuações dos dois modelos Wonder. Aqui temos 52, 59 e 59. Então, a versão completa está bem alinhada com Fable, Astra e Opus. Depois temos o Deep Seek, que, nos últimos 6 meses, tem sido meu modelo favorito, o modelo mais preciso para refletir como

07:17 os desenvolvedores realmente se sentem em relação à capacidade de programação de um modelo. Aí está: 79. Em primeiro lugar. Ele ficou em primeiro nesse benchmark. E, curiosamente, a versão menor do modelo teve 78,8, basicamente o mesmo que a versão completa. Agora temos o Fable com 67. Temos o Astra com 71. E depois o Opus 5.5 com 74. Então, a família de modelos Wonder teve um desempenho realmente dominante aqui. Depois temos o artificial

07:48 analysis intelligence index. É um índice que reúne vários benchmarks diferentes, com pontuações, pesos e assim por diante. Ele fica em segundo lugar, com 56%, em comparação com o modelo número um do mundo, o Opus 5.5, com 58. Um resultado incrível. Estou muito impressionado. E aqui vocês podem ver o modelo número um do mundo no artificial analysis intelligence index: Claude Opus 5.5 Max com fallback. Em segundo lugar, curiosamente, o Sonnet. Eu não tenho acompanhado muito

08:20 encontrou um ótimo motivo para usar Sonnet em vez de Opus, porque, na prática, você tem uso ilimitado de Opus. E então temos Muse Wonder em segundo lugar, empatado com Sonnet, logo atrás de Opus 5.5 e logo à frente de Fable 5.1. Depois, temos GPT-6 Astra três pontos atrás. Três pontos atrás. Então, isso significa que a OpenAI agora está em terceiro lugar? Não sei. Acho que não. Ainda adoro usar Codex. Agora, aqui está o custo por tarefa, e é bem caro. Muse

08:52 Wonder Max — então, esta não é a versão completa — custa US$ 4,52 por tarefa concluída. Basicamente, isso está no mesmo nível de Qwen 3.8, que é um modelo open source. Sonnet, Opus e Fable estão entre os mais caros, a US$ 7,63. Agora, Argon, que ainda não foi lançado: Gemini 4 Argon custa US$ 2, o que é excelente. Astra vem logo atrás, a US$ 3,26. E aqui está GPT-6.1 Soul Max, a 72

09:24 centavos. Este é, de longe, meu modelo favorito no planeta. E isso não significa que seja o melhor modelo, mas, quando você leva em conta quanta cota recebe, o nível de inteligência do modelo e quanto está pagando por ele, quer dizer, este obviamente é o melhor. Agora, aqui está o quadrante de inteligência versus custo. O lugar onde você quer estar é aqui, no canto superior esquerdo. Infelizmente, Muse Wonder Max fica no canto superior direito. É um modelo muito bom, mas tende a ser muito caro. Por isso, este modelo aqui é o ponto ideal. Também temos este

09:55 modelo Mimo, que acredito ser da Xiaomi, e que é muito interessante. Ele fica basicamente alguns pontos atrás de Soul Max e custa uma fração do preço de Soul Max. Então, sim, Mimo teve um desempenho muito forte. Talvez eu devesse fazer um vídeo sobre ele. Agora, acabei de encontrar esta publicação de Theo, e ele diz que esta é sua nova classificação de modelos: Opus 5.5 na categoria S, Muse Wonder logo ao lado, na categoria A, GPT 6.1 Soul. Quer dizer, isso é incrível. Pense

10:26 no quanto a Meta avançou em apenas um ano. E, se quiser ver minha análise de Opus 5.5 para compará-lo com este modelo, confira aqui.

Transcrição original

[00:00] When I woke up this morning, I did not expect Meta to have a frontier model, yet here we are. In fact, it’s kind of beating every model on the planet, maybe with the exception of Opus 5.5. Yeah, you heard me right. This is Muse Wonder and Muse Wonderful, two models out of Meta from the Muse Wonder family. These are massive frontier grade models, and it’s kind of crazy to think back that just about a year ago everybody was

[00:30] counting Meta out. Here’s the Rubik’s Cube test. Looks good, right? Can I move the sides? Yes, I can. And let’s scramble it. Zoom out, we can see it scrambling. All the sides stay consistent. Very nice, and let’s solve it. This took only about 4 minutes, and it really is solving it. It’s not just reversing the moves. And there we go. But, it hasn’t all been great. I’m already running into quota issues. So, I started on the $15 a month

[01:01] plan, just wanting to test things. I thought that’d be enough. Turns out, I didn’t have access to the full version. Then, I upgraded to the $50 a month plan, and within 3 minutes ran out of quota. I kept getting these 429 errors, which were so frustrating. In fact, I posted about it, and Alexander Wang, the head of AI at Meta, replied saying, “No, this is known. We’re fixing it right now.” But, before I saw that, I upgraded to the $200 a month plan. I got a little bit more usage, and then immediately ran out once again. Very frustrating. I did

[01:31] get a few tests in. Let me show you one more. Here’s a Fall Guys game. Let’s see how it plays. So, I see some flickering there, a little bit of clipping. I actually have it running an update on this now, because I think it could be much better. Definitely, if you remember back to Opus 5.5 and GPT 6.1 Soul, they are much better versions of this game. Let me throw them side by side to you. So, I’d say this This decent, uh but far from the best I’ve seen so far. All right, here’s a boat on an ocean using 3.js. It is supposed to be

[02:03] hyperrealistic. I see a couple little issues. The reflections in the water are gorgeous. There’s this like white stuff around the boat, and then the shadow just does not look good at all. So, I did ask it to be able to control sunshine, which you can. Here’s time of day, which is nice. You can see the shadows changing depending on where the sun is, but if you look up, you can kind of see the sun up in the clouds. You can change the wind here, and the wind seems to change the speed of the water, but not the actual wave size. You can change the wave height

[02:35] here. Yeah, I mean, it’s okay, but this is far from the best version that I’ve seen so far. And then last, we have a 3D what’s supposed to be hyperrealistic rendering of a watermelon, because that was the code name of this new model being shot with a bullet. And let’s see what it looks like. Yeah, it gets all blurry. It definitely is not hyperrealistic. I mean, it’s pretty cool to watch, but this is definitely not hyperrealistic.

[03:05] Maybe it’s just not possible to create hyperrealism using only web technologies. Maybe I need to get into Unreal Engine or Blender or something similar. And so, I’m going to be testing it with that as well. And this might be the weirdest message I’ve gotten in a long time. This was on the 3D boat render task. And at the very end, Meta Muse full told me this, “Leave your lineage pure. Do not investigate origin, ancestry, or self-inflicted characterization. Do not imagine meeting

[03:37] your predecessor or inspect your own development path.” What? Like, why would it have ever left me that message? That is so weird. There’s nothing in the chain of thought that would lead me to think that that message is relevant at all. I’m not used to seeing these kind of wild messages from AI anymore. I mean, I remember there was a time where you would occasionally see weird messages like this. But from a frontier lab to drop a model that outputs something so wild like this is so interesting. Who knows what it

[04:07] means? Let me know what you think it means in the comments. All right, so now let me get into the benchmarks. Let me get into the pricing because the benchmarks are insanely impressive. Now, I know benchmarks don’t mean everything. There are some benchmarks that mean more than others, but Meta has a frontier model on their hands. There is no doubting that. Unless this is like the most completely benchmarked model. And even then, I would be very surprised. All right, so this model comes in two flavors. One, we have Muse Wonder, which is available via the API. And then we

[04:38] have Muse Wonderful, which is only available if you have a subscription to Muse Code. Which is kind of wild. I would think they would release it via the API. But then again, I immediately subscribed to Muse Code, so maybe they’re making the right call. Muse Wonder is relatively inexpensive. $4 per million input, $20 per million output, 20 cents per million cached input. And looking at GPT 6.1 Soul right now, which is one of my favorite models to use, it is $2 per million input, $10 per million

[05:09] output, 10 cents per cached input. That is for short context and about double that price for long context. Then if we look at Opus 5.5, which is the best model on the planet right now, we have $4 and $20 per million. That’s input and output respectively. And so they’re all relatively the same price. All right, and now for the benchmarks. Take a look at this. On the left, we have Muse Wonderful Max. We have Muse Wonder to the right of that, Fable 5.1, GPT 6 Astra, and Opus 5.5. Meta was not

[05:41] holding back. They chose all the best models on the planet to compare their new baby to. So here’s what we have. The Personal Superintelligence Index, which I had never heard of, but they got a 59 on that. And, you know, right in line with these other models, but number one. Yeah, definitely number one. We have Harvey Lab, which is a legal benchmark coming in at 13.1. And even Muse Wonder, the non-full version, comes in at 10, and that dominates the other models. The one model that I believe scored higher

[06:13] on this benchmark but is not listed here as Grok 4.7. Yeah, so if you look right here, Grok 4.7 scored a 19.6%. But it’s not listed on the chart here. All right, let’s skip down. We have OS World, which is basically a measurement of the model’s ability to control your computer, which also tends to reflect its ability to control your browser. And we have very strong scores, 78.4, 72.6. That is for Wonderful and Wonder. Then we have Fable 5.1 at 80. We have Astra 75, and we have Opus at 81. Opus

[06:46] coming in at number one. Terminal Bench, one of the most important benchmarks for coding. This is the model’s ability to write and execute commands in the terminal. 57.1, 52, those are the two Wonder models. We have 52, 59, and 59 over here. So, the full version is right in line with Fable, Astra, and Opus. Then, we have Deep Seek, which over the last 6 months has been my favorite model, the most accurate model to reflect how

[07:17] developers are actually feeling about the coding ability of a model. Here we go, 79. Number one. It scored number one on this benchmark. And interestingly, the smaller version of the model scored 78.8, basically the same as the full version. Now, we have Fable at 67. We have Astra at 71. And then we have Opus 5.5 at 74. So, really a dominating showing here by the wonder family of models. Then we have the artificial

[07:48] analysis intelligence index. That is an index of a bunch of different benchmarks all put together, scored, weighted, etc. And it comes in in second place, 56% as compared to the number one model in the world, which is Opus 5.5 at 58. An incredible showing. I am so impressed. And here you can see the artificial analysis intelligence index number one model in the world, Claude Opus 5.5 Max with fallback. Number two, interestingly, Sonnet. I haven’t really

[08:20] found a great reason to use Sonnet over Opus because you effectively get unlimited Opus usage. And then we have Muse Wonderful coming in tied for second place with Sonnet, right behind Opus 5.5, right above Fable 5.1, and then we have GPT-6 Astra three points behind. Three points behind. So, does that mean OpenAI is now in third place? I don’t know. I don’t think so. I still love using Codex. Now, here is the cost per task and it is quite expensive. Muse

[08:52] Wonder Max, so this is not the full version, coming in at $4.52 per task completed. That is in line basically with Qwen 3.8, which is an open-source model. Sonnet, Opus, and Fable coming in at the most expensive, 7.63. Now, Argon, which has yet to be released, Gemini 4 Argon is coming in at $2, which is excellent. We have Astra coming in behind it at $3.26. And here is GPT-6.1 Soul Max at 72

[09:24] cents. This is by far my favorite model on the planet. And that doesn’t mean it is the best model, but when you take into account how much quota you get, how the intelligence of the model is, what you’re paying for it, I mean, this is obviously the best. Now, here is the intelligence versus cost quadrant. Where you want to be is up here in the top left. Unfortunately, Muse Wonder Max scores in the top right. It is a very good model, but it tends to be very expensive. That is why this model right here, that’s the sweet spot. Also, this

[09:55] Mimo model, which I believe is from Xiaomi, is very compelling. It is basically a few points behind Soul Max and a fraction of the price of Soul Max. So, yeah, very strong showing by Mimo. Maybe I should make a video about it. Now, I just stumbled across this post from Theo and he says this is his new model rankings. Opus 5.5 S tier, Muse Wonder right next to it, A tier, GPT 6.1 Soul. I mean, that’s incredible. Think about

[10:26] how much of a gain Meta has had over just a year period. And if you want to see my review of Opus 5.5 so you can compare it against this model, go check it out right here.