Muse Wonder testado: pagamento falhou, sandbox falhou

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Muse Wonder Tested: Payment Failed, Sandbox Failed · Canal: Prompt Engineer 48 · 07:18 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Ferramentas de desenvolvimento com IA

Resumo

O vídeo testa o pagamento do plano Muse Code, o Meta Model API e o agente de programação da Meta em uma tarefa simples: criar um jogo da cobrinha em um arquivo HTML. Embora o arquivo tenha sido escrito rapidamente, o agente passou cerca de dez minutos tentando executar um teste que nunca rodou por problemas no sandbox do Windows e terminou dizendo que a verificação não foi concluída. O apresentador também observa que o terminal informou estar usando Muse Spark 1.3, não Muse Wonder ou Muse Wonderful, então não conseguiu avaliar os modelos anunciados nem confirmar os benchmarks da Meta. Sua conclusão é que, na experiência testada, o agente foi lento e pouco confiável em comparação com Claude Code.

Pontos-chave

O plano Muse Code custou 399 rupias por mês; a primeira tentativa de pagamento falhou e a seguinte demorou para ser processada.
O Meta Model API usa cobrança conforme o uso, com saldo cobrado ao atingir 1.000 rupias, por isso o apresentador fez chamadas pequenas.
Na geração de imagem pelo playground, o resultado foi considerado aceitável, mas comum em comparação com outros modelos de imagem.
O terminal informou que o agente estava usando Muse Spark 1.3, não Muse Wonder nem Muse Wonderful.
O agente escreveu o arquivo do jogo da cobrinha em cerca de um minuto e meio, mas não conseguiu executar o teste por falhas no sandbox do Windows.
A execução levou 11 minutos e 40 segundos e terminou com a verificação marcada como não confirmada.
Em um teste limitado a escrever o arquivo, Claude Code levou 19,9 segundos e Muse levou 35 segundos; em uma resposta curta de uma palavra, os tempos foram semelhantes.
O apresentador não testou Muse Wonder ou Muse Wonderful no agente, nem verificou os benchmarks, a memória ativa ou o foco ativo anunciados pela Meta.

Capítulos

Início	Capítulo	Resumo
00:00	Anúncio da família Muse e benchmarks	O apresentador descreve o teste planejado, revisa os modelos e confronta as alegações e os benchmarks da Meta.
02:08	Instalação, pagamento e testes da API	Ele relata problemas no pagamento do Muse Code e testa uma geração de imagem pelo Meta Model API.
04:10	Teste do agente e falhas no sandbox	O agente escreve o jogo da cobrinha, mas falha ao executar o teste e termina com a verificação não confirmada.
05:44	Comparação, limitações e veredito	O apresentador compara os tempos, esclarece o que não conseguiu verificar e conclui que o agente testado não é confiável para programação.

Citações

Levou 11 minutos e 40 segundos para fazer um jogo da cobrinha em um único arquivo HTML e me dizer que estava pronto. — 00:00

A verificação não foi confirmada: o sandbox caiu antes que pudesse executar o teste. — 04:42

Claude Code: 19,9 segundos; Muse: 35 segundos. — 05:13

Para competir com Claude Code e Codex, você precisa vencer na única coisa que importa: terminar o trabalho. — 06:15

O que recebi pelo meu dinheiro não conseguiu terminar um jogo da cobrinha. — 06:47

Conceitos e entidades

Muse Wonder (modelo): Família de modelos anunciada pela Meta, cujo desempenho o vídeo compara com os resultados divulgados pela empresa.
Muse Wonderful (modelo): Modelo descrito no vídeo como disponível para assinantes do Muse Code.
Muse Spark 1.3 (modelo): Modelo que o terminal informou estar usando durante o teste do agente.
Meta (empresa): Empresa que lançou a família Muse e os produtos avaliados no vídeo.
Meta Model API (ferramenta): API da Meta com cobrança conforme o uso, testada pelo apresentador.
Muse Code (ferramenta): Plano e agente de programação da Meta testados no computador do apresentador.
Claude Code (ferramenta): Agente de programação usado como comparação em uma tarefa de criação de arquivo.
Codex (ferramenta): Ferramenta de programação mencionada na comparação, mas que apresentou um erro de configuração no computador testado.
sandbox (conceito): Ambiente isolado de execução cujas falhas impediram o agente de testar o jogo no Windows.
RunPod (empresa): Serviço recomendado pelo apresentador para quem procura GPUs baratas e confiáveis.

Tradução completa (pt-BR)

00:00 11 minutos e 40 segundos. Foi esse o tempo que o novo agent de programação da Meta levou para criar um jogo da cobrinha em um único arquivo HTML e me dizer que estava pronto. Ele escreveu o arquivo em cerca de um minuto e meio. Nos outros 10 minutos, ficou tentando testá-lo sem sucesso. E, quando finalmente disse que tinha terminado, admitiu que o teste nunca foi executado. Paguei pelo plano. Testei o playground. Testei a API. E vou contar exatamente para onde foram o dinheiro e o tempo. Certo. A Meta acabou de lançar uma nova família de modelos chamada Muse Wonder. E este é o vídeo de lançamento da própria empresa. Veja o que fiz com ele.

00:31 Primeiro, testei o modelo no playground. Segundo, configurei o faturamento da API na Meta Model API. Terceiro, assinei o plano Muse code, que custa 399 rúpias por mês, para poder usá-lo como agent de programação no meu próprio laptop. Depois, comparei com o Claude Code na mesma tarefa. Alerta de spoiler: nem chega perto. Esta é a publicação do blog, lançada em 12 de outubro. Há dois modelos. O Muse Wonder está na Meta Model API. E o Muse Wonderful, no Muse code, está disponível apenas para assinantes do Muse code. A Meta afirma que está na vanguarda em

01:03 agents, memória e programação. E, desta vez, há gráficos. Então, vou analisá-los direito. Primeiro gráfico: no Artificial Analysis Intelligence Index, o Claude Opus 5.5 está no topo, com 58. O Muse Wonderful tem 56. O Muse Wonder, o que está na API, tem 52, atrás de três modelos que estão empatados com 53. Portanto, nesse índice, a Meta não está em primeiro lugar. Depois, os próprios benchmarks da Meta. No SWE marathon, o Muse Wonder Full teve 57,5%. O Claude Opus 5.5, 46,3. No Focus Bench, 54,2 contra 45,8. No benchmark jurídico da Harvey,

01:36 13,1 contra 40,2. No Memory Bench, 85,6 contra 81,5. E o Focus Bench e o Memory Bench estão identificados como avaliações internas. A Meta criou o teste e a Meta venceu o teste. Então, no papel, a Meta passa nas próprias provas. Eu queria ver se isso se sustentaria diante de um jogo da cobrinha. Vamos ler o que eles realmente prometem. Memória ativa: mantém os contatos entre suas conversas. Foco ativo: continua trabalhando em direção a um objetivo, tenta outras abordagens quando encontra um obstáculo e consulta você antes de ações importantes. Depois, conhecimento especializado em direito, finanças e

02:08 saúde, além de programação de ponta para projetos de longa duração. As demonstrações são um plano de corrida para sábado, produtos personalizados com suas fotos, um mapa de lugares para os convidados de um casamento, um jogo de cozinha em 3D e uma reivindicação de seguro. Agora, lembre-se: aqueles gráficos dizem Wonder e Wonderful. Guarde isso, porque não foi esse o modelo que meu terminal disse estar executando. A instalação é feita com uma linha no PowerShell e baixa cerca de 446 MB. Tudo bem, essa parte funcionou. Depois, o plano: uso diário do Muse code, 399 rúpias por mês. Então cliquei e a primeira coisa que apareceu foi: “Não foi possível concluir o pagamento. Tente outro método de pagamento.”

02:38 Então, troquei para o meu cartão, recebi a OTP do banco, digitei e, como podem ver, continuava processando. Levou minutos. Não estou dizendo que a Meta tem culpa por causa de todos os bancos da Índia e, para ser justo, na tentativa seguinte deu certo. Mas a primeira experiência com o produto foi um pagamento que falhou e depois ficou travado, antes mesmo de eu escrever um único prompt. Em seguida, a Meta Model API. Você cria um projeto, cria uma chave e, depois, configura o faturamento. O pagamento é conforme o uso. E esta é a linha para a qual quero que olhem

03:09 : você paga quando seu saldo chega a 1.000 rúpias. Então, você fica com um medidor de 1.000 rúpias, e é por isso que, a partir daqui, só fiz chamadas bem pequenas. O faturamento estava ativo, então mantive tudo no mínimo. Playground, aba de imagens, modelo Muse image 1.0. Meu prompt até tinha um erro de digitação: “gerar de propósito, uma mulher no oceano pedindo ajuda, vista de cima”. E vocês podem ver o resultado. É uma foto de cima. A mão está levantada. O rosto está em pânico. As ondulações na água estão boas. É aceitável. Parece foto de banco de imagens. Não há nada aqui que eu não consiga obter dos modelos de

03:40 imagem que já uso. Além disso, olhem as configurações. Raciocínio no alto, pesquisa de imagens ativada, shell ativado, pesquisa na web ativada. Para uma única imagem, é muita coisa para chegar a uma imagem apenas aceitável. Agora, o próprio agent: digito muse, faço login e olhem esta linha: modelo definido como muse spark 1.3, não Wonder. A publicação de lançamento é sobre o Wonder, e meu terminal está executando o Spark 1.3. Ele carregou 85 skills do meu computador, incluindo as do Claude Code e do Codex, o que é legal. Pergunto quais skills ele tem,

04:10 e ele responde. Depois, o teste: “Você consegue criar um jogo da cobrinha simples em HTML? Nada sofisticado, um arquivo só.” Este é o teste que faço com todo agent. Foi isso que aconteceu. Cerca de um minuto e meio depois do meu prompt, ele escreveu snake.html, com 191 linhas. Ótimo, tarefa concluída. Mas, em seguida, decidiu fazer um teste rápido do jogo com o Node, e o teste nunca foi executado. O Temp right foi bloqueado, depois houve um problema no sandbox, tentando de novo; então surgiu este longo erro em vermelho: “Windows elevated unified exact session launcher unavailable”, falha de ACL do

04:42 sandbox. Depois, o sandbox do shell começou a dar erros de bloqueio, tentou mais uma vez e, em seguida, a execução do shell caiu. Então, vou verificar o arquivo lendo-o de volta. E ele continuou pensando: 11 minutos e 38 segundos pensando. Finalmente, aos 11 minutos e 40, disse que tinha terminado. E, na mesma mensagem, diz que a verificação não foi confirmada; o sandbox caiu antes que pudesse executar o teste, então ele apenas leu o arquivo de volta e continuou conferindo tudo repetidamente. O arquivo tinha sido escrito 10 minutos antes. Então, fiz um teste justo, no mesmo laptop, com o mesmo

05:13 prompt, e pedi aos dois que não executassem o jogo, apenas escrevessem o arquivo. Claude Code: 19,9 segundos; Muse: 35 segundos, e o arquivo é menor, quase o dobro do tempo. E, para ser justo com a Meta, um prompt de uma palavra leva praticamente o mesmo tempo nos dois: 11 segundos contra 10,7. Portanto, a primeira resposta simples não é o problema. O Codex deu erro nesta máquina por um problema na configuração do modelo, então não tenho um número para o Codex e não vou inventar um. O problema está no ciclo do agent: no momento em que precisa usar ferramentas no Windows, ele desmorona. Agora, vejam o que o Muse code realmente é.

05:44 Executei muse –help, retomei uma sessão, usei o exact para execuções sem interface, skills, plugins, servidores MCP, um comando de sandbox e a exportação de uma transcrição. O Claude Code tem tudo isso; o Codex também. Ele até diz que encontrou minhas regras e skills do Claude Code e do Codex e as importou. Então, esta não é uma ideia nova. É o mesmo formato das ferramentas que já existem, com um modelo por trás que, no meu teste, levou quase o dobro do tempo na tarefa fácil e depois perdeu 10 minutos dentro do próprio sandbox. Se você vai copiar a interface do

06:15 Claude Code e do Codex, precisa superá-los na única coisa que importa: concluir o trabalho. No meu laptop, levou 11 minutos e terminou com a verificação não confirmada. Agora, eis o que não consegui verificar. Minha sessão do plano executou o Spark 1.3, então nunca usei o Muse Wonder ou o Wonderful dentro do agent. Não repeti os benchmarks da Meta nem testei a memória ativa ou o foco ativo, então não posso dizer que o Wonder teve resultados piores nesses benchmarks. Posso dizer que o que recebi pelo meu dinheiro não conseguiu terminar um jogo da cobrinha. Então, quando digo que é ruim, quero dizer o que usei neste laptop, neste dia:

06:47 a instalação, o pagamento, o sandbox e o jogo da cobrinha. Tudo isso está na tela, e vocês podem avaliar por conta própria. Meu veredito: isso é ruim. Assinei o plano achando que seria bom, mas ele desperdiçou meu tempo e meu dinheiro. A Meta está tentando competir com o Claude Code e o Codex, e, neste momento, nem está no mesmo patamar. Eles dizem que o Wonder está na vanguarda. Meu terminal executou o Spark e, para um único jogo da cobrinha, levou 11 minutos e 40 segundos, 10 deles lutando contra o próprio sandbox antes de me dizer que o teste não tinha sido verificado. Então, aqui vai meu conselho sincero para a Meta.

07:18 Pare de tentar competir em agents de programação e siga um caminho separado: faça o assistente pessoal, a memória, o app Muse, as coisas que vocês realmente mostraram na demonstração, porque, como ferramenta de programação, isso não serve. Se você usa Claude Code ou Codex, continue com eles. Se está procurando GPUs baratas e confiáveis, eu uso o RunPod e o link está na descrição. Esse foi o Muse Wonder. Se quiser que eu teste o próximo da mesma maneira, inscreva-se e nos vemos em outro vídeo.

Transcrição original

[00:00] 11 minutes and 40 seconds. That is how long Meta’s new coding agent took to make a snake game in one HTML file and tell me it was done. It wrote the file in about a minute and a half. The other 10 minutes it spent failing to test it. And when it finally said done, it admitted the test never ran. I paid for the plan. I tested the playground. I tested the API. And I’m going to tell you exactly where the money and the time went. All right. So, Meta just released a new model family called Muse Wonder. And this is their own launch video. Here is what I did with it.

[00:31] One, I tested the model in the playground. Two, I set up API billing on the Meta Model API. Three, I took the Muse code plan, which is 399 rupees a month, so I could run it as a coding agent on my own laptop. And then I compared it with Claude code on the same task. Spoiler, it is not close. This is the blog post published October 12. There are two models. Muse Wonder is on the Meta Model API. And in Muse code, Muse Wonderful is only for Muse code subscribers. Meta says state-of-the-art across

[01:03] agents, memory, and coding. And this time there are charts. So, let me read them properly. First chart, the Artificial Analysis Intelligence Index, Claude Opus 5.5 is on top at 58. Muse Wonderful is 56. Muse Wonder, the one in the API, is 52 behind three models sitting at 53. So, on that index, Meta is not first. Then, Meta’s own benchmarks. SWE marathon, Muse Wonder full 57.5%. Claude Opus 5.5 at 46.3. Focus bench, 54.2 against 45.8. Harvey’s

[01:36] legal benchmark, 13.1 against 40.2. Memory bench, 85.6 against 81.5. And focus bench and memory bench are labeled internal evaluations. Meta wrote the test and Meta won the test. So, on paper, Meta wins its own exams. I wanted to see if that survives a snake game. Let’s read what they actually promise. Active memory, it keeps contacts across your conversations. Active focus, it keeps working toward a goal, tries other approaches when it hits a blocker, and checks in before important actions. Then domain expertise in law, finance, and

[02:08] health, and frontier coding for long-running projects. The demos are Saturday run plan, custom swag from your photos, a wedding seating chart, a 3D kitchen game, and an insurance claim. Now, remember those charts say wonder and wonderful? Hold that thought because that is not the model my terminal told me it was running. Install is one line in PowerShell, and it downloads about 446 MB. Fine, that part worked. Then the plan, Muse code everyday usage, 399 rupees a month. So, I clicked it, and the first thing I got was, “This

[02:38] couldn’t complete payment. Please try a different payment method.” So, I switched to my card, got the bank OTP, entered it, and now you can see still processing. It took minutes. I’m not saying this is Meta’s fault for every bank in India, and to be fair, it did go through on the retry, but the first experience of the product was a payment that failed and then hung, and that is before I wrote a single prompt. Next, the Meta model API. You make a project, you create a key, and then billing. This is pay as you go. And here’s the line I want you to look

[03:09] at. You’ll pay when your balance reaches 1,000 rupees. So, you’re on a 1,000 rupee meter, which is why I only ran very small calls from here on. Live billing, so I kept it tiny. Playground, image tab, model Muse image 1.0. My prompt even had a typo, generate on purpose, a woman in an ocean asking for help top view. And you can see the result. It is a top-down shot. The hand is up. The face is panicked. The water ripples are fine. It is okay. It is a stock photo. There is nothing here I cannot get from the

[03:40] image models I already use. Also, look at the settings. Reasoning on high, image search on, shell on, web search on. For one picture, that is a lot of machinery for an okay image. Now, the agent itself, I type muse, I log in, and look at this line, model set to muse spark 1.3, not wonder. The launch blog is about wonder, and my terminal is running spark 1.3. It loaded 85 skills from my machine, including my Claude code and Codex ones, which is nice. I ask what skills it has,

[04:10] it answers. Then the test, can you create a simple snake game in HTML? Nothing fancy, one file. This is the test I run on every agent. Here is what happened. About a minute and a half after my prompt, it wrote snake.html, 191 lines. Good, that is a finished job. But then it decided to smoke test the game with node, and the test never ran. Temp right was blocked, then sandbox hiccup, retrying, then this long red error, Windows elevated unified exact session launcher unavailable, sandbox

[04:42] ACL failure. Then shell sandbox is throwing lock errors, retrying once more, then shell execution is down, so I will verify the file by reading it back instead, and then it kept thinking, 11 minutes, 38 seconds of thinking. Then finally, at 11 minutes 40, it said done. And in the same message, it says verification is unverified, the sandbox went down before it could run the test, so it just read the file back, and then it kept double-checking. The file had been written 10 minutes earlier. So I ran a fair test, same laptop, same

[05:13] prompt, and I told both not to run it, just write the file. Claude code, 19.9 seconds, muse, 35 seconds, and the file is smaller, almost double. And to be fair to Meta, a one-word prompt takes about the same on both, 11 seconds versus 10.7, so the plain first response is not the problem. Codex errored on this machine with a model config issue, so I have no Codex number, and I’m not going to invent one. The problem is the agent loop, the moment it has to use tools on Windows, it falls over. Now, look at what muse code actually is.

[05:44] I ran muse {dash} {dash} help, resume a session, exact for headless runs, skills, plugins, MCP servers, a sandbox command, export a transcript, Claude code has those, Codex has those. It even says it found my Claude code and Codex rules and skills and imported them. So, this is not a new idea. It is the same shape as the tools that already exist with the model behind it that in my run took almost twice as long on the easy task and then lost 10 minutes inside its own sandbox. If you’re going to copy the interface of

[06:15] Claude code and Codex, you have to beat them at the one thing that matters, which is finishing the job. On my laptop, it took 11 minutes and ended on unverified. Now, here’s what I could not verify. My plan session ran Spark 1.3, so I never ran Muse wonder or wonderful inside the agent. I did not rerun Meta’s charts and I did not test active memory or active focus, so I cannot tell you wonder loses those benchmarks. I can tell you what I got for my money did not finish a snake game. So, when I say it is bad, I mean the thing I ran on this laptop on this day,

[06:47] the install, the payment, the sandbox, and the snake game. Those are all on screen and you can judge them yourself. My verdict, this is bad. I took the plan thinking it would be good and it wasted my time and it wasted my money. Meta is trying to compete with Claude code and Codex and right now it is not even in the same room. They say wonder is state-of-the-art. My terminal ran Spark and for one snake game it took 11 minutes 40, 10 of them fighting its own sandbox before telling me the test was unverified. So, here’s my honest advice to Meta.

[07:18] Stop trying to compete on coding agents, take a separate path, do the personal assistant, the memory, the Muse app, the things you actually showed in your demo because as a coding tool this is not it. If you’re on Claude code or Codex, stay there. If you’re looking for cheap and reliable GPUs, I use RunPod and the link is in the description. That is Muse wonder. If you want me to test the next one the same way, subscribe and I will see you in another one.