NOVO Muse Wonder Full da Meta promete superar Opus 5.5 e virar o rei dos benchmarks

Ver no idioma original →

Autoria: Inteligência Mil Grau · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: NOVO Muse Wonder Full da Meta Promete Superar Opus 5.5 e Vira o Rei de BenchMark · Canal: Inteligência Mil Grau · 24:28 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Geração de conteúdo com IA, Modelos de IA

Resumo

O vídeo apresenta os modelos Muse Wonder e Muse Wonder Full, da Meta, e compara seus resultados de benchmark com modelos concorrentes. Embora os números divulgados sejam muito altos, os testes práticos do apresentador mostram resultados considerados simples e inferiores aos de outros modelos em tarefas de geração de sites e jogos. A análise aponta uma possível discrepância entre benchmarks e desempenho real, associando o caso ao benchmaxing. O apresentador também questiona o preço do plano necessário para acessar o Muse Wonder Full e conclui que os modelos não correspondem às expectativas criadas.

Pontos-chave

• A Meta lançou o Muse Wonder e o Muse Wonder Full, este último disponível, segundo o vídeo, em um plano pago mais caro.
• Benchmarks citados posicionam os modelos da Meta próximos ou à frente de concorrentes como Opus 5.5 e GPT-6 Astra.
• O vídeo destaca a memória ativa e o foco ativo como capacidades enfatizadas pela Meta.
• O apresentador ressalta que resultados altos em benchmarks não garantem bom desempenho em tarefas variadas do mundo real.
• Em testes práticos de sites, ilustrações e jogos, o apresentador considera as gerações do Muse Wonder simples e pouco detalhadas.
• As comparações com modelos como Opus 5 e Sonnet 5 são usadas para ilustrar diferenças de qualidade nas tarefas testadas.
• O apresentador chama a discrepância entre os benchmarks e os testes práticos de um exemplo de benchmaxing.
• O vídeo questiona se o preço do plano necessário para acessar o Muse Wonder Full se justifica.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação dos modelos da Meta	O apresentador introduz o Muse Wonder e o Muse Wonder Full e questiona se os modelos corresponderão às expectativas.
04:41	Benchmarks, memória e riscos de benchmaxing	O vídeo revisa resultados de benchmark, recursos anunciados pela Meta e a diferença entre desempenho interno e externo.
08:52	Reações e primeiras comparações práticas	O apresentador contrapõe os benchmarks a relatos e exemplos visuais que apontariam limitações do Muse Wonder.
12:32	Testes de sites e ilustrações	O vídeo compara gerações do Muse Wonder com resultados de outros modelos em um pet shop e em uma cena com um pelicano.
16:41	Comparação de jogos por geração	O apresentador avalia jogos gerados por diferentes modelos e compara a simplicidade do Muse Wonder com resultados mais elaborados.
20:48	Desempenho prático e custo	O vídeo compara um jogo de kart com o resultado do Muse Wonder Full e questiona o valor do plano necessário para acessá-lo.
23:25	Conclusão sobre benchmarks e expectativas	O apresentador critica a distância entre as promessas e os testes práticos e encerra convidando o público a comentar.

Citações

Testar o modelo em casa com os seus próprios problemas é muito fácil. — 06:15

Benchmarks não contam a história toda. — 08:52

A discrepância entre o benchmark e o que estamos vendo é um exemplo claro de benchmaxing. — 21:19

Aquele outro é uma piada; está só brincando. — 22:22

Conceitos e entidades

• Muse Wonder (modelo): Modelo da Meta apresentado no vídeo e avaliado em benchmarks e testes práticos.
• Muse Wonder Full (modelo): Versão mais avançada do Muse Wonder, comparada a outros modelos e descrita como disponível em um plano pago.
• Meta (empresa): Empresa que lançou os modelos Muse Wonder e Muse Wonder Full.
• Opus 5.5 (modelo): Modelo usado como referência em comparações de benchmark no vídeo.
• GPT-6 Astra (modelo): Modelo citado nas comparações de benchmark e nos testes de geração visual.
• benchmaxing (conceito): Prática de otimizar um modelo para obter resultados altos em benchmarks sem necessariamente apresentar desempenho equivalente em tarefas práticas.
• memória ativa (conceito): Recurso descrito no vídeo como uma forma de manter informações importantes sobre o usuário e recuperá-las durante conversas.
• foco ativo (conceito): Capacidade descrita no vídeo de continuar trabalhando em direção a um objetivo desafiador ao longo de uma tarefa.
• Artificial Analysis (ferramenta): Plataforma de análise de modelos cujos resultados de benchmark são citados no vídeo.
• Opus 5 (modelo): Modelo usado como comparação em testes práticos de jogos e geração.

Tradução completa (pt-BR)

00:00 É, pessoal, a Meta acabou de lançar o Music Wonder. Isso mesmo. Um novo modelinho da Meta foi lançado. Eles também lançaram o Music Wonderful, que é uma versão ainda mais avançada. E fica a pergunta: será que desta vez eles vão mesmo criar um modelo realmente avançado ou vão se consolidar como os reis do benchmarking, mostrando pontuações absurdas que acabam sendo uma grande decepção quando testamos os modelos, deixando a gente se perguntando como os pesquisadores tiveram coragem de

00:30 publicar algo assim? Então vamos entender o que está acontecendo. Vem comigo. É isso aí. Vamos nessa, pessoal. Agradeço sempre a todos que curtiram, a todos que se inscreveram e, em especial, a todos os membros do canal que patrocinam este canal de inteligência artificial. Lembrando que os membros têm acesso a vídeos exclusivos sobre agentes inteligentes, nos quais faço integração com WhatsApp, MCP, leitura de PDF, planilhas e muito mais. E, para quem é membro aprendiz, há

01:00 o treinamento avançado. Então, pessoal, o que está acontecendo? O Music Wonder foi lançado e, segundo a Meta, é voltado para tarefas pessoais e profissionais e caminha em direção à superinteligência pessoal. Então, eles estão dizendo aqui: olha, temos o modelo Music Wonder e também o Music Wonderful. É um trocadilho, não sei se vocês perceberam a brincadeira com Wonder e Wonderful. E ele já está disponível tanto na API da Meta quanto no plano Music Code. O Music Wonderful já está disponível para assinantes do Music Code.

01:32 Mas preciso mostrar que ele só está disponível no plano de US$ 250 ou superior, pelo menos por enquanto. Você não vai conseguir usá-lo antes, mas, se estiver em um plano inferior, confira se ele já apareceu por lá — mas precisa ser no Music Code. O Music Wonder, para quem gosta de usar o Mus, será lançado primeiro para os assinantes, mas depois eles vão disponibilizá-lo para todo mundo. Olha que interessante essa trajetória da Meta. Segundo a Artificial Analysis, eles fizeram 31 pontos no Music Spark, chegaram a 34 no Music Spark

02:04 1.1, fizeram 40 pontos no Music Spark 1.2, 48 pontos no Music Spark 1.3 e agora estão fazendo 52 pontos com o Music Wonder e 56 pontos com o Music Wonderful. Então, tecnicamente, eles estão aqui como no Mario Bros., pulando de tijolo em tijolo até chegar à linha de frente, entre Cloud Fable 5.1 e Cloud OPO 5. Então, pessoal, a única coisa que sabemos até agora é que eles elevaram

02:34 as expectativas às alturas. Até o próprio ChatGPT está com dificuldade para se posicionar aqui ao lado do Opus 5. E também ao lado do Claude Fable 5.1. Há uma grande disputa aqui com o GPT6 Astra. E, no vídeo sobre o Gem 4, pelo que mostrei a vocês, o Gem 4 não está se saindo tão bem quanto dizem. O pessoal da Arena AI testou o modelo e não gostou tanto assim, mas enfim. Será que este é o novo rei dos benchmarks? Calma, vamos testá-lo agora. Então, agora eles começam

03:06 a executar uma série de testes de fronteira e, aqui, nas versões Max do Music Wonderful e também do Music Wonder Max, que está em azul, eles estão superando o Oppul 5.5 e o GPT6 Astra por uma certa margem, certo? Na verdade, o Mus Wonder está no mesmo nível, e o Wonderful está vencendo. Olha só. Praticamente a mesma coisa aqui no Automation Bench; e, no Memory B, olha, eles estão bem à frente, ambos juntos aqui, melhores do que todos os outros, incluindo o Claude 5. Então, as expectativas continuam subindo, né?

03:38 O que podemos esperar desses modelos? Os melhores resultados, pelo menos no SI Marathon, são a mesma coisa: está à frente de todos, à frente do Apple 5.5 em deepsui, a mesma coisa, à frente de todos, mantendo nossas expectativas lá em cima para que seja um modelo absurdo. E aqui estão os mesmos resultados em formato de tabela, né? Eles afirmam que são os melhores do planeta, com o Mus e o Wonderful Max bem à frente. Em alguns benchmarks,

04:08 ou em outros, certo, neste Health Bch Pro, o vencedor foi o Claude Opus; e, no GDP PDF, o vencedor foi o Astra 6. Mas, no geral, eles estão praticamente acompanhando todos os outros no mesmo nível. Ou vencem ou ficam bem perto. Não há aqui nenhuma vantagem significativa, nenhuma diferença enorme que os destaque dos demais. Embora eu não tenha visto o GDP Val aqui, né? Eu sempre falo do GDP Val, porque é ali que sabemos se o modelo é realmente bom, se consegue concluir uma tarefa completa, e ele não apareceu aqui. Mas tudo bem, vamos continuar

04:41 com as expectativas altas. Quanto às capacidades de fronteira no Harvey Lab, eles também estão em primeiro lugar aqui. Olha só: marcaram 13%, um número que já começa a ser bem maior do que o do GPT6 Astra. E estão se saindo bem tanto com o Music Wonderful quanto com o Music Wonder. E, aqui no Vals Finance, estão empatados com todos os outros, perto de 60%. Então, pelo menos aqui, estão mais ou menos no mesmo nível. Eles dizem que um dos recursos do modelo é a chamada memória ativa, que ajuda a manter informações importantes sobre você ao longo das conversas e a recuperar detalhes relevantes.

05:12 E é por isso que dizem que estão se saindo muito bem no Memory Bench, melhor do que todos os outros, porque se concentraram nessa tal de memória ativa. A outra coisa de que estão falando é o chamado foco ativo, em que o Musy Wonder continua trabalhando para atingir um objetivo desafiador. Isso aqui são tarefas baseadas em objetivos, algo que já conhecemos, né? Ou seja, o modelo não perde o foco à medida que a tarefa avança. E, por isso, no S Marathon, estaria liderando, à frente de todos. E, no Focus

05:44 Bench, o MUS Wonderful estaria na liderança, enquanto o MUS Wonder está no meio do pelotão, ainda no nível do 5.5. As expectativas continuam lá no alto. E eles insistem que, na parte de programação do deepseek, também são melhores do que o 5.5. Melhores do que o GPT6 Astra, melhores do que todos os outros. E, bem, não me perguntem por quê, mas incluíram um texto que normalmente ninguém inclui: eles levantam preocupações sobre modelos que apresentam pontuações semelhantes em

06:15 benchmarks, mas em que um deles parece lidar com uma variedade maior de tarefas desconhecidas. É aquela coisa, né? Testar o modelo em casa, com os seus próprios problemas, é muito fácil. Quero ver lançarem esse modelo para o público e os bons resultados que mostraram também se confirmarem para todo mundo. Eles até nos lembram que existe um conceito chamado bench maxing, que é justamente quando você otimiza seu modelo para aquele benchmark, consegue pontuações altas e, na prática, seu modelo não é tão bom assim. E também falam de outra

06:47 expressão, agora positiva, que é Big Model Smell, algo mais ou menos assim: o cheiro de um bom modelo, sabe? É quando o modelo não se sai tão bem nos benchmarks, mas, na prática, arrasa. E eles investiram tanto nessa análise para descobrir se o modelo é bom, tanto interna quanto externamente, que até mostraram este gráfico, fazendo uma comparação entre os testes dentro do alvo — que seria esta barra inferior, que vai de 0 a 100% — e os testes com problemas fora do alvo, que são esta barra à esquerda, que

07:18 mostra o desempenho dos modelos sendo usados fora do treinamento-alvo. Tecnicamente, quanto mais à direita e mais acima, melhor o desempenho em problemas internos e externos. Então, podemos ver aqui que, enquanto alcançam 70% de precisão nos benchmarks internos, ficam em 50% nos externos, o que é esperado, já que normalmente se tem mais precisão internamente do que externamente. Mas, de certa forma, o que estão tentando dizer é que esta

07:48 curva, em comparação com o Mus Spark 1.3, subiu; aumentou, ou seja, o modelo está acertando mais tanto internamente quanto externamente, o que seria muito bom — afinal, é isso que esperamos. Outra coisa que eles também mostram é que os modelos são mais seguros. Por exemplo, enquanto o GPT6 Astra tem quase 20% de probabilidade de executar código não autorizado, o Mus Wonder e o Music Wonderfall ficam em torno da metade disso, em 10%, e o Cloud Fable 5.1 também fica em 11%. E aqui,

08:20 quanto a deslizes envolvendo informações pessoais, acontece a mesma coisa. E é interessante notar que, quando acessamos oficialmente a Artificial Analysis, o Music Wonderful na versão Max aparece aqui. A página informa que não há API pública porque, até agora, esse modelo só foi disponibilizado para assinantes do Music Code. Ele está posicionado entre o Cloud Sonet 5 e o Cloud Fable 5.1. E aqui, com 52 pontos, logo atrás do Gemini 4, está o Music Wonder Max, à frente do GPT 6.1 S Max.

08:52 É interessante ver que a Artificial Analysis está endossando esses benchmarks deles, mostrando que está tudo correto. O que eles mostraram aparece aqui e tudo confere. No entanto, quando vamos ao X, a história muda um pouco. Olha só que interessante. Anchu disse: “Muse Wonder pode superar Astra nos benchmarks, mas está longe de alcançar Astra em termos de estilo.” Os benchmarks não contam a história toda. E então ele mostra aqui uma pequena animação que fez de dois relógios. Há duas engrenagens

09:24 ali que estão girando, sendo simuladas. Olha só. Espera, espera, espera. Olha aqui. O da direita é o GPT-6 Astra, fazendo a parte interna do relógio, cheia de engrenagens, funcionando muito bem, com muitos detalhes. O da esquerda é o Muse Wonder, que fez esta coisa aqui — nem sei o que é — que claramente tem uma estética mais simples, e até as articulações aqui não parecem fazer muito sentido. Embora dê para dizer que todos eles são um pouco estranhos, né? Sempre têm algum tipo de alucinação, coisas que não fazem sentido. Mas, de qualquer forma, dá para

09:56 perceber que o Wonder tem certa simplicidade em comparação com o GPT-6 Astra. E aqui o Bav diz a mesma coisa. Estou de saco cheio do Muse Wonder. Tentei bastante obter bons resultados e continuei esperando que ele entregasse algo melhor pelo menos uma vez, mas isso simplesmente não acontece. Desculpa, Meta. Com base nos meus testes, ele tem um desempenho pior que o Opus 4.8, mas custa tanto quanto o Opus 5. Para ser preciso, está longe de alcançar o Gemini 3. E é aí que percebemos, né? O Gemini 3 fez um avião

10:27 pousar numa pista com bastante beleza, enquanto o Muse Wonder fez um foguete voando de lado e pousando no gramado de um aeroporto. Então, é, o Gemini 3 deu um show aqui, não deu? O Muse Wonder tem muito a aprender. E aqui, da mesma forma, comparando o Muse Wonder com o Gemini 3 no lançamento do foguete, dá para notar que o nível de detalhe do Gemini 3 é muito maior e que o Muse Wonder é um pouco sem graça. Funciona, mas também é muito simples. E, do mesmo modo, aqui, com uma baleia saltando, o Gemini 3 fez uma baleia e o Muse Wonder fez um submarino voador.

10:59 É uma coisa muito interessante, né? O Muse Wonder ainda tem muito a aprender, mas todas as comparações anteriores eram sempre com o Muse Wonder, e nenhuma delas mencionava que era o Muse Wonder Full. E desta vez, usando o Muse Wonder Full, o Opus 5.5 fez uma simulação de um pequeno trator dentro de uma fazenda. Olha a qualidade desta mansão que estão mostrando, né? E olha o que estamos vendo no Muse Wonder Full. O Opus fez um jogo de verdade e o Wonder fez um joguinho de brincadeira

11:30 ali, para a gente se divertir. Bem simplificado, bem reduzido. E no nosso teste da pet shop Matrix, olha só que loucura. Ele gerou algo muito simples, não gerou as imagens que eu esperava. Afinal, ele tem um gerador de imagens. Podemos adicionar itens ao carrinho aqui, e este coelhinho apareceu. Esse coelhinho, pessoal, já vimos nos testes do GLM 5.3 ou 5.2. E, para mim, isso não é um sinal muito bom, pessoal. A imagem do site está muito

12:01 melhor, mas seria muito estranho se alguém tivesse usado GLM aqui. Não sei, porque essa coisa parece GLM, mas vamos continuar adicionando itens ao carrinho. Podemos fazer um teste aqui, olha, para desencadear o despertar tomando a pílula vermelha. Confere só: gerando um card. O coelhinho vai aparecer de novo. Este card é super, super simples, não tem nada a ver com um modelo de fronteira. E, quando vamos ao carrinho, ele também é super simples aqui. Podemos concluir a compra e ela é finalizada

12:32 como esperado. Então, está tudo certo, o site está funcionando. Mas, para um modelo de fronteira, isso entregou muito pouco. E uma das coisas que vou começar a fazer daqui para a frente é mostrar uma referência, mostrar nossa pet shop de ponta, para podermos ver o que está acontecendo. Então, confere só. Olha a diferença com o GPT-6.1 Sol gerando um site. Neste caso, ele já gerou as imagens. O site é muito mais interessante, não tem aquele coelho do GLM 5.3. Dá para adicionar itens ao

13:04 carrinho aqui. Se você for despertar o pet, coloque seu Bob aqui. Desperte seu pet. Tem até um joguinho aqui, olha, que você joga para poder brincar. E, em algum momento, ele calcula sua pontuação e mostra seu card com a imagem prontinha. Bem mais interessante, né? O que você acha? E, na hora de finalizar a compra, tudo também está muito bem feito. Você pode preencher as informações aqui, adicionar ou remover produtos, revisar o pedido, e tudo é comprado e funciona. Agora, com o nosso pelicano aqui, o

13:34 desenho ficou bem legal. O rosto e a asa do pelicano estão certinhos. Há um sol ao fundo, mas, por exemplo, o pé esquerdo está do lado direito, né? O pedal esquerdo está do lado direito, ele não está sentado corretamente no banco, a asa não está segurando o guidão direito, e a cena toda é muito simples, parece muito o trabalho de um iniciante. A única coisa que ele realmente acertou aqui foi esta cassete traseira e a corrente traseira. É algo que os modelos costumam errar, mas ele acertou. Agora, comparando com o nosso modelo de ponta

14:07 aqui, gerado pelo Sonnet 5. Olha este pelicano, né? Embora a cassete esteja virada para a frente, o pé esquerdo está do lado esquerdo. Ele está sentado perfeitamente no banco e segurando o guidão direitinho. Tem até um peixe; os detalhes, o cenário, tudo ao fundo é muito mais interessante. E isso mostra a diferença entre um modelo que não é de fronteira e outro que realmente é um modelo de fronteira, que já acerta muitos detalhes. E coisas importantes: esta engrenagem está errada, tecnicamente

14:37 não está na posição original, mas, como solução alternativa, funciona. Agora, no nosso joguinho de carro, olha só que interessante: esta foi a única versão que fiz usando Wonder sem ser o Wonder Full. E esta acabou na versão Max. E olha o que aconteceu. Aqui está o nosso carrinho. Já estou chamando esta geração do jogo de carro de geração um. O que é uma geração um? Aquela em que os objetos são quadrados. Parece aquelas gerações de 2025. Tudo é quadrado. Embora este trenzinho quadrado aqui seja muito bom, né, pessoal? Naquela época,

15:08 o trenzinho derrapava, mas não há texturas no chão. O jogo é todo geométrico, muito simples. A IA está completamente perdida jogando, olha. Não consegue pegar a moeda. Isso é típico de uma geração um. Nenhuma textura. Embora as vantagens aqui sejam que a pista está certinha, algo que eles costumavam errar naquela época, e o trenzinho também está certinho, apesar de ser bem simples. Então, para ser justo, comecei a fazer as gerações usando o Wonder Full. E aqui no Wonder Full, as coisas mudaram um pouco.

15:38 Embora seja quadrado, assim como na geração um, agora pelo menos há textura no chão e também textura aqui no asfalto. O trenzinho é bonitinho, mais ou menos no mesmo nível do outro, né? Neste caso, não mudou tanto. Pelo menos o trenzinho não está derrapando. Já há alguns prédios na paisagem e as coisas melhoraram bastante. Mas o carro ainda é quadrado, nada de especial. Poderia ter texturas por toda parte, mas não tem. Não parece um modelo de fronteira. Então, o que eu fiz? Usei o prompt mágico

16:09 e fiz algumas versões e algumas gerações numa versão dois e depois numa versão três, aqui, fazendo melhorias. O jogo melhorou? Melhorou. Há mais coisas aqui, olha. O trenzinho agora solta fumacinha. Há alguns detalhes extras aqui. Mas, aparentemente, o jogo continuou igual. Até que descobri que estava usando tudo em extra alto e que os modelos do benchmark eram os modelos Max. Então descobri que tinha que escrever manualmente /effort max, e só então consegui acessar o Max

16:41 modelo. E, finalmente, aqui no Wonder Turbo, já na versão máxima, há textura. As coisas melhoraram bastante, mas, de modo geral, ainda são aqueles elementos blocados, com trenzinhos blocados — material clássico de primeira geração. Embora o trenzinho não esteja derrapando e o trilho esteja maravilhoso, então isso é de primeira, né? Essa é a parte boa, mas não há nada aqui que me faça dizer que este é um modelo de fronteira do fim de 2026, sabe? O carrinho está alucinando as trajetórias ali. Ele está fazendo isso…

17:11 …mas dá para perceber que até essa trajetória é bem simples. E, embora agora haja mais prédios e as coisas tenham ficado mais interessantes, ficaram mesmo. Mas tudo ainda é bem quadrado, tudo de primeira geração: postes no meio da rua, aquelas coisas típicas de um modelo que está começando. E, só para termos uma ideia e uma comparação, esta aqui é uma versão do Sol 6.1. Olhem a diferença, pessoal, né? Estamos no Sun aqui, olhem. Já há uma pracinha no meio do mapa e a nossa locomotiva. Olhem como ficou interessante. A locomotiva realmente…

17:41 …parece uma locomotiva agora. E olhem o nosso carrinho. Ele já é todo arredondado; não é mais só uma caixinha se movendo por aí. Ainda é baseado em retângulos, e os retângulos são arredondados. Então dá para dizer que esta é a segunda geração. A segunda geração tem esta característica: textura por toda parte. As coisas começam a ficar mais ou menos arredondadas, e os joguinhos já começam a ficar bonitos, né? É, olhem, a IA ficou presa ali, tentando escapar do poste, mas, como não consegue, não vai sair dali, estão vendo? Vamos ver se conseguimos ajudar por aqui. Vou ficar um pouco mais no caminho dela. Talvez ela consiga encontrar um caminho mais…

18:11 …interessante e se soltar do poste. Não, não conseguiu. Não tinha jeito. Mas, só para vocês terem uma ideia, esta é outra versão da segunda geração. Os carrinhos também são arredondados. Olhem que carrinho arredondadinho bonito, perfeito. É um retângulo arredondado. Um retângulo arredondado. Mas vamos ver como está esse trenzinho. Olhem também para esse trenzinho. A mesma coisa, estão vendo? A locomotiva já é bonita, toda colorida e detalhada. O trilho ali também é muito bonito, maravilhoso. Sai uma fumacinha. Este aqui, pessoal…

18:43 …que modelo é esse? É o Riko 5. Vocês têm ideia, gente? Um modelo minúsculo, Riko, superbarato, produzindo uma geração assim, em que o próprio carro já é todo arredondado. Então o Riko já está fazendo jogos de carros de segunda geração aqui, enquanto Mus e Wonder estão fazendo jogos de carros de primeira geração, né? É uma diferença enorme. Mas vocês devem estar se perguntando: afinal, o que é a terceira geração? Eu estava só esperando vocês perguntarem. A terceira geração, olhem a diferença. Estamos no Opus 5.

19:16 O carrinho já é todo arredondado. Não é mais só um simples retângulo arredondado. O carro inteiro já tem um formato diferente. Olhem para este trilho, gente. Ele já tem ondas, subidas e descidas. Há casas, está tudo bonito ali, olhem. Os postes de luz não estão no meio da pista. Esta versão foi gerada exatamente com o mesmo prompt. Olhem a graminha aqui. Ondulando, com moedas maravilhosas. Este sim é um modelo de fronteira. Olhem o trem sinalizando e chegando. Olhem a diferença deste trem chegando aqui, gente. Ele…

19:46 …já tem vários vagões, todos com texto. O nível aqui é bem mais alto, né? Ah, olhem como este trenzinho maravilhoso é interessante. Olhem estas pedras. Olhem a textura das pedras. Quando pensamos em um modelo de fronteira do fim de 2026, é algo deste nível. Olhem a setinha aqui indicando o caminho do carro, passando por mim. É outro nível. Aqui tudo é diferente. Tudo tem um pouco mais de detalhe. E a geração do Sonnet 5. A mesma coisa, olhem. Já é arredondado. Olhem como é interessante. Embora este carro seja meio feio, é…

20:18 …meio estranho, mas pelo menos também já é arredondado. E o trenzinho desta versão, olhem. Olhem só. Olhem este cenário aqui na frente. Já tenho uma pracinha aqui. E o trenzinho do Sonnet 5. Foi a primeira vez que ele fez um comboio inteiro, com a locomotiva na frente e tantos vagões que mal cabe na tela. Então é isso, né, gente? Não dá para chamar isso de modelo de fronteira. Não podemos dizer que isso está no mesmo nível do Opus, nem do Sonnet, nem sequer do Haiku. Não vale os 250 dólares…

20:48 …por nada neste mundo. Se quiserem pagar esse valor, não fui eu que recomendei. Comentem abaixo o que estão achando. Quem teve o melhor resultado? Music Wonderful, Sol 6.1, Opus 5, Sonnet 5, Haiku 5. E, no nosso teste de kart, olhem como é interessante: os karts estão funcionando perfeitamente, mas já dá para perceber que a qualidade é mais ou menos a mesma, né? Olhem, não virou um grande jogo, não tem animações incríveis; há muitas coisas bem…

21:19 …simples, embora tudo esteja funcionando, né? Então, o que dá para perceber é que está funcionando, mas está longe de ser um modelo de fronteira, longe de nos surpreender, já que esperávamos algo no nível do Opus, porque foi isso que mostraram nos benchmarks, né? A discrepância entre o benchmark e o que estamos vendo é um exemplo claro de benchmaxing. Eles fizeram algo otimizado para benchmarks, mas que não entrega na prática. E olhem só a diferença para um kart do Opus 3.5. Olhem essa diferença, pessoal.

21:51 Aqui há uma multidão, os carros funcionam, os visuais são maravilhosos, há muitos efeitos de animação. É um jogo difícil de vencer. Estou acelerando aqui e, não importa o que eu faça, não consigo alcançá-los. Para realmente vencer esse jogo, tenho que jogar bem. Então, dá para dizer com segurança que os gráficos são melhores, a dificuldade é maior e o jogo é mais bonito. Então, sim, não há comparação, né? Se compararmos este jogo que estamos vendo aqui, com a dificuldade e a beleza dele, e o colocarmos lado a lado com o “Mus Wonderful”, este aqui dá um show em termos de animação e de todo o resto. O outro é uma piada, é só uma brincadeira.

22:22 Comentem abaixo de qual vocês gostaram mais: desta versão do Opus 3.5 ou da “Music Wonderful”. Sou suspeito para dizer, porque esta versão aqui é muito boa. E eu nem dei um prompt específico nem nada, pessoal. É exatamente o mesmo prompt, o mesmo resultado. A única coisa que mudou foi o próprio modelo. E algo interessante que está acontecendo, pelo menos por enquanto, é como está a situação. Para ter acesso ao “Music Wonderful”, é preciso estar no plano Power Usage, de R $ 259 por mês. Os planos anteriores aqui não incluem o “Wonderful”; vocês só poderão usar o “Music Wonder”.

22:53 E vocês se lembram, né? Esta geração do jogo de kart aqui é do Mini 2.5, lá no começo de 2025, né? Este aqui não fez falta nenhuma. Quem pagaria para usar isso? É melhor simplesmente assinar o plano da Anthropic de R $ 100 e usar o Raiko para fazer aquela geração que já vimos, né? Até o Riko está fazendo gerações mais interessantes. Então, aparentemente…

23:25 …parece que a Meta não está na corrida da IA. É como o Google com o Gemini, tentando lançar algo relevante e não conseguindo. Então, na realidade, o rei dos benchmarks, o primeiro lugar indiscutível, vai para a Meta com o MusicGen. Faz muito tempo que uma empresa não promete tanto, não afirma estar em primeiro lugar e depois entrega um teste tão malfeito quanto este, enquanto eu me esforço para fazer o modelo produzir resultados. Já não tenho feito prompts mágicos para o jogo de carros, só para não precisar ficar aprimorando-o. E, neste caso,

23:57 Fiz três versões e isso não ajudou. Em segundo lugar aqui está o Gemini 1.5, porque eles também estão nessa, certo? Lançaram um benchmark antes de lançar o modelo de fato. E as pessoas que o testaram, que o usaram — talvez você tenha visto isso no vídeo que fiz —, não disseram que ele era tudo isso, certo? E, em terceiro lugar, quem não poderia ficar de fora é Elon Musk, com seu hábito de dizer que faz coisas maravilhosas. Por enquanto, Grok é uma promessa que não foi cumprida, embora o 4.7 tenha sido muito bom, certo? Pelo menos para gerar alguns jogos, foi muito bom, mas é

24:28 muito instável, então não dá para usá-lo nas tarefas do dia a dia. Comente abaixo o que você está pensando. E, se quiser apoiar o canal para continuar vendo vídeos como este, torne-se membro. Os membros têm acesso a vídeos exclusivos sobre agentes inteligentes e acesso antecipado aos vídeos. É isso, deixe seu like. Obrigado,

Transcrição original

[00:00] Yeah, guys, Meta just released Music Wonder. That’s right. A new little model from Meta is out. They also released Music Wonderful, which is an even more advanced version. And that question remains: will they actually make a truly advanced model this time, or will they cement themselves as the kings of benchmarking, where they show absurd scores that turn out to be a huge disappointment when we test them, leaving us wondering how the researchers even had the nerve to

[00:30] publish something like that? So let’s understand what is happening. Come with me. That’s it. Let’s go, everyone. Always thanking everyone who liked, everyone who subscribed, and a special thanks to all the channel members who sponsor this artificial intelligence channel. Always remembering that members have access to exclusive videos on intelligent agents where I integrate with WhatsApp, MCP, PDF reading, spreadsheets, and much more. And for those who are apprentice members, there

[01:00] is the advanced training. So guys, what’s going on? Music Wonder has been released, which according to Meta is for personal and professional tasks and is heading towards personal super-intelligence. So they are saying here, look, there is the Music Wonder model and also Music Wonderful, which is a play on words there, I don’t know if you caught the Wonder and Wonderful pun. And it is already available both in the Meta API and in the Music Code plan. And Music Wonderful is already available for Music Code subscribers.

[01:32] But I need to show you that it’s only on that $ 250 plan and up, at least for now. You won’t be able to use it before , but if you’re on a lower plan, check if it has appeared there, but it has to be on Music Code. The Music Wonder, for those who like to use Mus, will be released first to subscribers, but later on, they will release it to everyone. Look how interesting this journey of Meta’s is here. According to Artificial Analysis, they had 31 points on Music Spark, got 34 on Music Spark

[02:04] 1.1, scored 40 points on Music Spark 1.2, 48 points on Music Spark 1.3, and now they are scoring 52 points with Music Wonder and 56 points on Music Wonderful. So, technically they are here like Mario Brothers, jumping from brick to brick until they reach the front line between Cloud Fable 5.1 and Cloud OPO 5. So, folks, the only thing we know so far is that they’ve set

[02:34] expectations sky-high. Even ChatGPT itself is struggling to position itself here next to Opus 5. And also next to Claude Fable 5.1. And there’s a huge battle here with GPT6 Astra. And in the Gem 4 video here, from what I showed you, Gem 4 isn’t doing as well as they’re saying. The folks at Arena AI tested it and didn’t like it that much, but anyway. Could this be the new king of benchmarks? Hold on, we’re going to test it now. So here now they start

[03:06] running a series of frontier tests, and here in the Music Wonderful Max version and also in the Music Wonder Max, which is in blue, they are beating Oppul 5.5 and GPT6 Astra by a certain margin, right? Actually, Mus Wonder is at the same level and Wonderful is winning, look. Practically the same thing here on the Automation Bench, and on the Memory B here, look, they are way out in front, both together here, better than everyone else, including Claude 5. So, the expectation keeps rising, right

[03:38] ? What can we expect from these models? The best results, at least in the SI Marathon, are the same thing. It’s ahead of everyone, ahead of Apple 5.5 in deepsui, same thing, ahead of everyone, keeping our expectations sky-high for it to be an absurd model. And here are the same results in table form, right, where they claim to be the best on the planet here, with Mus and Wonderful Max here by a landslide. Where, occasionally, on one benchmark

[04:08] or another, right, in this Health Bch Pro here, the winner was Claude Opus, and in the GDP PDF the winner was Astra 6, but overall they are practically keeping up with everyone else at the same level. Either they win or they stay very close. There is no major value here, no huge discrepancy that sets them apart from the others. Although I didn’t see GDP Val here, right? I always talk about GDP Val, because that’s where we know if the model is really good, if it can deliver a complete task there, and it didn’t appear here. But okay, we continue here

[04:41] with high expectations. On the frontier capabilities at Harvey Lab. They are also in first place here, look, scoring 13%here, which is already starting to be a much higher number than GPT6 Astra . And they are doing well with both Music Wonderful and Music Wonder. And here in Vals Finance, they are tied with everyone else here, close to 60%. So here, at least, they are more or less equal. They are saying that one of its features is the so-called active memory, which helps to keep important

[05:12] context about you throughout conversations and retrieve relevant details. And that is why they say that in the Memory Bench here they are doing very well, better than everyone else, because they focused on this active memory talk. And the other thing they are talking about is the so-called active focus, where Musy Wonder keeps working toward a challenging goal. This here is objective-based tasks, we’re already familiar with it, right? Which would be that thing: it doesn’t lose focus as the task progresses, and so, in the S Marathon, it would be leading ahead of everyone. And in the Focus

[05:44] Bench, MUS Wonderful would be leading, while MUS Wonder is there in the middle of the pack, still at the level of the 5.5. Expectations just stay up there. And they insist here that in the deepseek programming part they are also better than the 5.5. Better than the GPT6 Astra, better than everyone else. And well, don’t ask me why, but they included a text here that usually no one includes, but they raise concerns about models that show similar

[06:15] benchmark scores, but where one of them seems to handle a wider range of unknown tasks, which is that thing, right? Testing the model at home with your own problems is very easy. I want to see you release this model to the public and those good results you showed there work for the public too. And they even remind us that there is a concept called bench maxing, which is exactly when you optimize your model for that benchmark, get high scores, and in practice your model isn’t that good. And they also talk about another,

[06:47] now positive expression, which is the Big Model Smell, which would be something more or less like that, that scent of a good model, you know? which is more or less when the model doesn’t do so well on benchmarks, but in practice it rocks. And so, they invested so much in this analysis to know if their model is good, both internally and externally, that they even showed this graph here, making a comparison with tests within the target , which would be this bottom bar here, which goes from 0 to 100%, and testing with problems outside the target, which is this bar here on the left, which

[07:18] shows the performance of the models being used outside of the target training. Technically, the further to the right and the higher up, the better it performs on both internal and external problems. So we can see here that while they’re hitting 70% accuracy on internal benchmarks, they’re at 50%on external ones, which is expected, as you typically have higher accuracy internally than externally. But in a way, what they’re trying to say is that this

[07:48] curve, compared to Mus Spark 1.3, has gone up; it has increased, meaning it’s getting more right both internally and externally, which would be very good, after all, that’s what we expect. And another thing they also end up showing is that they are safer. So, for example , while GPT6 Astra has a nearly 20% probability of executing unauthorized code, Mus Wonder and Music Wonderfall are around half that, at 10%, and Cloud Fable 5.1 is also at 11%. And here,

[08:20] regarding slips with personal information, it’s the same thing. And it’s interesting to note that when we officially go to Artificial Analysis, the Music Wonderful in the Max version is actually appearing here. It states there is no public API because this model, so far, has only been released to Music Code subscribers. And it is positioned between Cloud Sonet 5. Cloud Fable 5.1. And here with 52 points, just behind Gemini 4, is the Music Wonder Max, ahead of the GPT 6.1 S Max.

[08:52] It is interesting to see that Artificial Analysis itself is endorsing these benchmarks of theirs, showing that it’s all accurate. What they showed is appearing here and it all checks out. However, when we go onto X, the story changes a bit. Look how interesting this is. Anchu said: “Music Wonder might outperform Astra in benchmarks, but it is far from reaching Astra in terms of flavor.” Benchmarks don’t tell the whole story. And then he shows here a little animation he made of two clocks. There are two gears

[09:24] there that are rotating, that are being simulated. Look at this. Wait, wait, wait. Look here. The one on the right is the GPT6 Astra, doing the internal part of the clock full of gears, running quite nicely, with a lot of detail. The one on the left is the Mous Wonder, which made this thing here—I don’t even know what it is—which clearly has a simpler aesthetic, and even the joints here don’t seem to make much sense. Although you could say that all of them are a bit weird, right? They always have some kind of hallucination there, things that don’t make any sense. But either way, you can

[09:56] tell that Wonder has a certain simplicity compared to GPT6 Astra. And here Bav says the same thing. I’m fed up with Mus Wonder. I tried hard to get good results and kept hoping it would deliver something better at least once, but that’s just not happening. Sorry Meta. Based on my tests, it performs worse than Opus 4.8, but costs as much as Opus 5. To be precise, it’s far from reaching Kim 3. And that’s when we realize, right? Kim 3 made a plane

[10:27] landing on a runway quite beautifully, while Mus Wonder made a rocket flying sideways landing on an airport lawn. So yeah, Kim 3 put on a show here, didn’t it? Mus Wonder has a lot to learn. And the same thing here compared to Mus Wonder and Kim 3, on the rocket launch, you notice the level of detail in Kimica 3 is much higher and that Mus Wonder is a bit plain, it works, but it’s also very simple. And likewise here with a whale jumping, Kim K3 made a whale and Musy Wonder made a flying

[10:59] submarine. It’s a very interesting thing there, huh? That Mus Wonder still has a lot to learn, but all the previous comparisons were always with Mus Wonder and none of them mentioned it was Mus Wonder Full. And this time here using Music Wonder Full, Apple 5.5 made a simulation of a little tractor inside a farm. Look at the quality of this mansion they are showing, right? And look at what we are seeing there in Music Wonderful. Apples made a real game and Wonderful made a little joke

[11:30] game there, for us to have fun. Just very simplified, very scaled back. And in our Matrix pet shop test, look how crazy that is. It made a very simple generation, it didn’t generate the images I expected it to. After all, it has an image generator. We can add items to the cart here and this bunny appeared. This bunny, guys, we already saw in the GLM 5.3 or 5.2 tests. And that, to me, is not a very good sign, guys. The website’s image is much

[12:01] better, but it would be very strange if someone had used GLM here. I don’t know , because this thing looks like GLM, but we’ll keep adding items to the carts. We can run a test here, see, to trigger the awakening by taking the red pill, check it out. generating a card. The bunny will appear again. This card is super, super simple, it has nothing to do with a frontier model. And when we go to the cart, the cart is also super simple here. We can finish the purchase and it goes through to the end

[12:32] as expected. So everything is fine, the site is working. But for a frontier model, this delivered very little. And one of the things I will start doing from now on is showing a reference, showing our top pet shop. so that we can see what is happening. So, check this out. Look at the difference with GPT 6.1 Sol generating a site. In this case here, it already generated the images. The site is much more interesting, it doesn’t have that GLM 5.3 bunny. You can add items to the

[13:04] cart here. If you are going to awaken the pet, you put your Bob here. Awaken your pet. There’s even a little game here, see, that you go through to be able to play. And at some point here, it calculates your score and shows you your card with the image all set. Much more interesting, right? What do you think? And when checking out, everything is also very well done. You can fill in the information here, add or remove products, review the order, and everything is purchased and working . Now with our pelican here, the

[13:34] drawing turned out quite nice. The pelican’s face and the pelican’s wing are just right. There’s a sun in the background, but for example, the left foot is on the right side, right? The left pedal is on the right side, it isn’t sitting properly on the seat, the wing isn’t holding the handlebar correctly, and the whole scene is very simple, very much like a beginner’s work. The only thing it really got right here is this rear cassette and the rear chain. This is something models usually get wrong, but it got it right. Now compared to our top-tier one

[14:07] here, generated by Sonnet 5. Look at this pelican, right? Even though the cassette is facing forward, the left foot is on the left side. It is sitting perfectly on the seat, it is holding the handlebar just right. There’s even a fish, the details, the scenery, everything in the background is much more interesting. And it shows the difference between a non-frontier model and another that is truly a frontier model, which is already getting many details right. And important things, this gear is wrong, it’s technically

[14:37] not in the original position, but as a workaround, it works. Now in our little car game, look how interesting, this was the only version I made using Wonder without it being Wonderful. And this one ended up in the max version. And look at what happened. Here is our little car. I’m already calling this generation one of the car game. What is a generation one? Where objects are square. It looks like those 2025 generations. Everything is square. Although this little square train here is very good, isn’t it, guys? Back then

[15:08] the little train would drift, but it has no textures on the ground. The game is all geometric, very simple. The AI is totally lost playing there, look. It can’t grab the coin. That is a typical generation one thing. No texture at all . Although the advantages here are that the track is just right, something they used to get wrong back then, and the little train is also just right, despite being quite simple. And so, to be fair, I started making the generations using Wonderful. And here in Wonderful, things changed a bit.

[15:38] Although it’s square just like in generation one, now at least there is texture on the ground and also texture here on the asphalt. The little train is cute there, more or less on the same level as the other, right? In this case here, it didn’t change that much. At least the little train isn’t drifting. There are already some buildings there in the landscape and things improved a lot. But the car is still a square car, nothing special. It could have had texture everywhere and it didn’t. It doesn’t look like a frontier model. So, what did I do? I did the magic prompt

[16:09] and made some versions and some generations in a version two and then in a version three here making improvements. Did the game improve? It improved. There are more things here, look. The little train now has little smoke. There are some extra details here. But apparently the game remained the same thing. Until I discovered that I was using everything in extra high and that the benchmark models were the max models. And then I discovered that I had to manually write/effort max, and only then was I able to access the Max

[16:41] model. And so finally in Wonder Turbo here, already in the max version, it has texture. Things have improved quite a bit, but generally speaking, it’s still that blocky stuff with little blocky trains—classic generation one material. Although the little train isn’t drifting and the track is wonderful, so that’s top-tier, right? That’s the good part, but there’s nothing here that makes me say this is a frontier model from late 2026, you know? The little car is hallucinating its trajectories over there. It’s doing

[17:11] it, but you can tell that even this trajectory is quite simple, and although there are more buildings now and things got more interesting, they did. But everything is still very square, all generation one, lamp posts in the middle of the street, those typical things of a model that’s just starting out. And just so we have an idea and a comparison, this here is a version of Sol 6.1. Look at the difference, folks, right? We’re on the Sun here, look. There’s already a little plaza in the middle of the map, and our locomotive. Look how interesting. The locomotive actually

[17:41] looks like a locomotive now. And look at our little car. It’s already all rounded; it’s no longer just a little box moving around. It is still based on rectangles, and the rectangles are rounded. So you could say this is generation two. Generation two has this characteristic: texture everywhere. Things are starting to get more or less rounded, and the little games are already starting to look good, right? Yeah, look, the AI got stuck there, trying to escape the lamp post, but since it can’t, it won’t move from there, see? Let’s see if we can help it out here. I’ll get in its way a little more. Maybe it can find a more

[18:11] interesting path and get unstuck from the pole. Nope, it didn’t manage to. There was no way. But just so you have an idea, this is another version of generation two. Little cars are also rounded. Look at that nice, little rounded car, perfect. It’s a rounded rectangle. It’s a rounded rectangle. But let’s see how this little train is doing. Look at this little train too. Same thing, see? The locomotive is already pretty, all colorful, and detailed. The track there is also very beautiful, wonderful. Little puff of smoke coming out. This here, folks,

[18:43] what model is this? It’s Riko 5. Do you have any idea, guys? A tiny model, Riko , super cheap, producing a generation like this, where the car itself is already fully rounded. So Riko is already doing generation two car games here, while Mus and Wonder are doing first-generation car games, right? It’s a very big difference. But you must be wondering, after all, what is the third generation? I was just waiting for you to ask that. The third generation, look at the difference. We are on Opus 5.

[19:16] The little car is already all rounded. It’s no longer just a simple rounded rectangle. The whole car already has a different shape. Look at this track, guys. It already has waves, hills, and dips. There are houses, everything is pretty there, look. The streetlights are not in the middle of the road. This here is a generation with exactly the same prompt. Look at the little grass here, look. Waving wonderful little coins. This is truly a frontier model. Look at the train signaling and the train arriving. Look at the difference of this train arriving here, guys. It

[19:46] already has a bunch of cars, all with text already. The level here is much higher, right? Oh, look how interesting this wonderful little train is. Look at these stones. Look at the texture of the stones. When we think of a frontier model from late 2026, it’s something at this level. Look at the little arrow here of the car’s path passing by me. It’s another level. Everything is different here. Everything has a little bit more detail. And the generation of Sonnet 5. The same thing, look. It’s already rounded. Look how interesting. Although this car is a bit ugly, it’s a

[20:18] bit weird, but at least it’s also already rounded. And the little train from this version, look. Look at that. Look at this scenery here in the front. I already have a little square here. And the little train from Sonnet 5. It was the first time it made an entire convoy that has the locomotive in the front and has so many cars that the thing barely fits on the screen. So that’s the thing, right, guys? You can’t call this a frontier model. We can’t say this thing is on the same level as Opus, nor Sonnet, nor even Haiku. It’s not worth those 250 dollars

[20:48] for anything on this earth. If you want to pay that amount, it wasn’t me who recommended it. Comment down below what you are thinking. Who had the best result? Music Wonderful, Sol 6.1, Opus 5. Sonnet 5. Haiku 5. And in our kart test, look how interesting, the karts are all working perfectly, but you can already tell that the quality is more or less the same, right? Look, it didn’t turn into a great game, it doesn’t have super animation, there are a lot of things that are quite

[21:19] simple, although everything is working, right? So, what you can tell is that it is working, but it is far from being a frontier model, it is far from surprising us, since we were expecting something at the Opus level, because that’s what they showed in the benchmarks, right? The discrepancy between the benchmark and what we are seeing is a clear example of benchmaxing. They made something optimized for benchmarks, but it doesn’t deliver in practice. And just look at the difference with an Opus 3.5 . Kart. Look at that difference, folks.

[21:51] Here there’s a crowd, the cars work, the visuals are wonderful, there are lots of animation effects there, it’s a hard game to win. I’m accelerating here and no matter what I do, I can’t catch up to them. To actually win this game, I really have to play well. So, it’s safe to say that the graphics are better, the difficulty is higher, the beauty of the game is greater. So, yeah, there’s just no comparison, right? If we compare this game we are seeing here, with the difficulty, the beauty, and put it side by side with the “Mus Wonderful,” this one puts on a

[22:22] show in terms of animation and everything else. That other one is a joke, it’s just messing around. Comment down below which one you liked more, this version from Opus 3.5 or the “Music Wonderful” one. I’m biased to say, because this version here is very good. And I didn’t even prompt it or anything, folks. It’s exactly the same prompt, same output. The only thing that changed was the model itself . And one interesting thing that is happening, at least for now, is how it stands. For you to have access to “ Music Wonderful,” you need to be on

[22:53] this Power Usage plan of R $ 259 per month. The previous plans here, they don’t include the “Wonderful,” you will only be able to use “Music Wonder. “ And you guys remember, right? This generation of the kart game here is from Mini 2.5 back at the beginning of 2025, right? This one was not missed at all. Who would want to pay to use that? It’s better to just subscribe to the R $ 100 Anthropic plan and use Raiko to make that generation we already saw, right? Even Riko is making more interesting generations. So, apparently

[23:25] , it seems like Meta is not in the AI race. It’s just like Google with Gemini , trying to launch something relevant and failing to do so. So, in reality, the king of the benchmark, the number one spot, undisputed, goes to Meta with MusicGen. Because it’s been a long time since a company promised so much, claimed they were in first place, and then delivered a test as messed up as this, while I’m struggling to get the model to produce results. I haven’t been doing any magic prompts for the car game anymore just so I don’t have to keep improving it. And in this case,

[23:57] I made three versions and it didn’t help. And in second place here is Gemini 1.5, because they are also in on this, right? They released a benchmark before actually releasing the model. And the people who tested it, who used it—you might have seen it in the video I made—those who tested it didn’t say it was all that great, right ? And in third, who couldn’t be missing is Elon Musk, with his habit of saying he does wonderful things, and for now, Grok is a promise that hasn’t been fulfilled, even though 4.7 was very good, right? At least for generating some games, it was very good, but it’s

[24:28] very unstable, so you can’t use it for day-to-day tasks. Go ahead and comment below what you’re thinking. And if you want to support the channel to keep seeing videos like this, become a member. Members have access to exclusive videos on intelligent agents and early access to videos. That’s it, leave that like. Thanks,