Sonnet 5.5 chegou: veja o que ele consegue criar

Autoria: Matthew Berman · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Sonnet 5.5 Is Here. Look What It Can Build. · Canal: Matthew Berman · 16:33 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Engenharia de software com IA, Geração de conteúdo com IA, Modelos de IA

Resumo

Matthew Berman apresenta projetos criados com Sonnet 5.5, incluindo um oceano 3D interativo, jogos e uma ferramenta para montar modelos de Lego com peças reais. Ele compara o modelo com Opus 5.5 em tarefas de criação e em benchmarks, observando resultados próximos e algumas limitações, como problemas gráficos e áudio pouco convincente. Segundo o vídeo, Sonnet 5.5 custa cerca da metade do preço de Opus 5.5 e é mais rápido. O apresentador também destaca que projetos ambiciosos podem levar dias e consumir muitos tokens.

Pontos-chave

Um único prompt gerou uma demonstração de oceano 3D com ondas, clima, barco, reflexos e visualização subaquática.
O apresentador recomenda pedir ao modelo que verifique o próprio trabalho com capturas de tela, vídeos ou testes jogáveis.
Sonnet 5.5 criou jogos de navegador e projetos em Unreal Engine, embora tenham sido observados problemas gráficos e limitações na criação de áudio e música.
A ferramenta de Lego transforma descrições em modelos feitos de peças reais e oferece instruções passo a passo e listas de peças exportáveis.
O projeto de San Francisco em Unreal Engine levou vários dias e milhões de tokens para ser concluído.
Nos benchmarks apresentados, Sonnet 5.5 teve resultados próximos aos de Opus 5.5 e o superou em Terminal Bench 4.0.
O apresentador relata que Sonnet 5.5 custa cerca de 50% do preço de Opus 5.5: US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de saída.
O modelo às vezes usa grafias britânicas, como “colour”, mas o apresentador diz que é possível direcionar sua escrita.

Capítulos

Início	Capítulo	Resumo
00:00	Oceano 3D criado a partir de um prompt	Berman demonstra um oceano interativo com diferentes condições do mar, iluminação, barco, chuva e visualização subaquática.
02:37	Jogo inspirado em Fall Guys e revisão de código	Ele testa um jogo de obstáculos feito com Three.js, destaca a importância de verificar o trabalho do modelo e apresenta a promoção da CodeRabbit.
05:53	Modelos de Lego e instruções de montagem	O vídeo mostra um aplicativo que cria modelos com peças reais de Lego, fornece instruções passo a passo e exporta listas e arquivos.
08:30	San Francisco e outros projetos em Unreal Engine	Berman avalia uma simulação de San Francisco e apresenta outros jogos e mundos criados pela equipe, apontando acertos e limitações.
13:16	Benchmarks, preço e conclusão	O apresentador compara resultados de Sonnet 5.5 e Opus 5.5, comenta diferenças de custo e velocidade e recomenda o modelo.

Citações

Você precisa pedir explicitamente ao modelo que confira o próprio trabalho à medida que avança. — 02:37

Isso levou vários dias para ser concluído. Foram milhões e milhões de tokens. — 10:36

Sonnet 5.5 realmente superou Opus 5.5 no Terminal Bench 4.0. — 13:16

Você está basicamente recebendo um modelo efetivamente igual, mas com um grande desconto. — 14:51

Sonnet 5.5 é basicamente tão bom quanto Opus 5.5 e muito mais barato. — 16:33

Conceitos e entidades

Sonnet 5.5 (modelo): Modelo apresentado no vídeo, usado para gerar jogos, experiências 3D e aplicações a partir de instruções.
Opus 5.5 (modelo): Modelo comparado a Sonnet 5.5 em demonstrações, benchmarks, velocidade e preço.
Matthew Berman (pessoa): Apresentador do vídeo, que relata seus testes de Sonnet 5.5.
CodeRabbit (empresa): Empresa promovida no vídeo por sua interface de revisão de código.
Change Stack (ferramenta): Interface da CodeRabbit que organiza alterações de código em grupos, camadas e resumos para facilitar a revisão.
Unreal Engine (ferramenta): Motor usado em demonstrações de uma cidade de San Francisco e de outros mundos e jogos 3D.
Three.js (ferramenta): Biblioteca usada para criar o jogo de navegador inspirado em Fall Guys.
Jev (ferramenta): Ferramenta que, segundo o prompt apresentado, deveria decidir o que cada pessoa faz na simulação de San Francisco.
BrickLink (ferramenta): Plataforma para a qual o aplicativo de Lego pode exportar uma lista de peças.
Terminal-Bench 4.0 (conceito): Benchmark de programação no qual Sonnet 5.5 superou Opus 5.5, segundo os resultados exibidos no vídeo.

Tradução completa (pt-BR)

00:00 Sonnet 5.5 chegou, e talvez seja o melhor modelo do planeta no geral. Neste vídeo, vou mostrar o que ele consegue fazer e também o que não consegue. Tive acesso antecipado, então tenho testado o modelo, e agora vou mostrar algumas demonstrações. Certo, esta primeira talvez seja a demonstração mais impressionante que já consegui criar basicamente com um único prompt. Crie um oceano 3D em tempo real no navegador e continue aprimorando-o até que imagens estáticas possam ser confundidas com fotos do mar aberto. Use uma simulação real de ondas, com estados do mar que vão de calmaria total a tempestade. Ondas brancas onde as ondas quebram, um céu realista, nuvens que fazem sombra na água, horários do dia até uma noite enluarada, além de chuva e relâmpagos. Adicione um veleiro com uma esteira e uma vista subaquática com raios de luz e peixes. Certo, então aqui está.

00:33 com estados do mar que vão de calmaria total a tempestade. Ondas brancas onde as ondas quebram, um céu realista, nuvens que fazem sombra na água, horários do dia até uma noite enluarada, além de chuva e relâmpagos. Adicione um veleiro com uma esteira e uma vista subaquática com raios de luz e peixes. Certo, então aqui está. E está absolutamente incrível. Temos várias configurações diferentes com as quais podemos brincar. Temos o comportamento do mar: calmo como um espelho; aqui está a calmaria,

01:03 uma brisa leve, ondas obviamente maiores, e começamos a ver algumas cristas brancas. Mas olhe os reflexos. Ah, lá está nosso lindo veleiro. Depois, podemos escolher água tranquila, agitada ou tempestuosa. Olhe o tamanho dessas ondas em comparação com o barco. Aqui podemos escolher o nascer do sol. Olhe como é lindo. Dá para ver a esteira que o barco deixa para trás bem ali. Aqui está o meio-dia. Água azul absolutamente maravilhosa. Veja como os reflexos ondulam pela água. Podemos

01:35 alterar a cobertura de nuvens bem aqui. A cobertura está em 4%; podemos adicionar mais nuvens. E dá para ver as nuvens chegando e, à medida que adicionamos nuvens, a iluminação muda, obviamente, porque elas bloqueiam o sol. Então, vamos colocar algumas nuvens e podemos mudar tudo: a ondulação, a direção, o encapelamento. Aqui está o encapelamento; vamos aumentá-lo. A altura das ondas. Dá para mudar a posição do sol. Olhe só, a direção do sol. Quer dizer, isso parece água azul-turquesa, límpida e maravilhosa. Dá para pedir um passeio. Então, há uma

02:06 pequena ilha ali, o que é bem legal. Aqui tem um easter egg bem bacana. Se você clicar na água, aparece um respingo. Então, podemos mergulhar e olhar para cima; dá para ver os pequenos feixes de luz atravessando a água. Quer dizer, está simplesmente incrível. E também pedi ao Sonnet para criar vídeos de demonstração de cada uma delas. Ele abriu cada demonstração, gravou, cortou e editou tudo. Veja só. Aqui está, mergulhando. Dá para ver os peixes. Olhamos para cima. Olhe só.

02:37 Lindo. E tudo isso foi editado pelo Sonnet. Certo, a seguir temos um clone de Fall Guys, e este é um jogo realmente divertido que você pode jogar. Aqui está o prompt. Crie um programa de eliminação de Fall Guys jogável no navegador com Three.js. Isso é importante: tudo foi feito com Three.js. Eu contra 59 bots em cinco rodadas, terminando numa final e numa cerimônia da coroa. E esta parte é importante. Você precisa pedir explicitamente ao modelo que confira o próprio trabalho enquanto avança, e isso pode ser feito com capturas de tela ou vídeos, ou simplesmente jogando o jogo. Enfim, aqui está o jogo.

03:08 E aqui está a fase. Quer dizer, é de verdade, e é realmente divertido. Vamos ver se consigo vencê-la. Então, dá para pular. E, de novo, isso foi basicamente feito com um ou dois prompts. Certo, aquela porta abriu. Você pode mergulhar apertando Control. Opus 5.5 conseguiu fazer isso, mas Sonnet 5.5 também, igualmente bem. Este é

03:40 tão bom quanto, e, conforme fui melhorando meus prompts para criar esse jogo, comecei a achar que este é mais divertido de jogar do que a versão do Opus. Lá vai. Deu certo. Certo, ele me dá algumas dicas enquanto avanço e, sim, com certeza vou vencer esta. É realmente divertido. Certo, temos algumas áreas saltitantes e portas giratórias. E pronto. Ganhei. Há um ou outro problema de recorte, mas, no geral, está muito bom. E com todo esse código incrível que as IAs

04:12 estão escrevendo, você precisa de uma maneira de revisá-lo, especialmente se estiver colocando-o em produção. É por isso que quero falar sobre o CodeRabbit. As pessoas estão escrevendo mais código do que nunca, mas é quase impossível acompanhar e revisar de verdade todo esse código antes que chegue à produção. É aí que o CodeRabbit entra. Usar interfaces tradicionais para revisar todo esse código, mesmo com a ajuda da IA, ainda é tedioso. Por isso, eles lançaram o Change Stack. Ele tem recursos como grupos, que permitem dividir um diff grande em pequenas unidades independentes de trabalho relacionado,

04:45 que você pode revisar uma de cada vez, cada uma com resumos específicos do trecho. Ele tem camadas. Cada alteração é dividida na ordem natural de leitura e na cadeia de dependências, em vez de seguir a ordem alfabética dos arquivos. Tem uma visão geral, que é um resumo com opinião. O que é a alteração, por que ela existe, o que está bloqueando o merge e o que precisa de atenção. E também, o que é ótimo, tem um detector do raio de impacto. Quais outras partes do código essa alteração pode afetar? E um chat com agent, para você fazer perguntas sobre o PR. Quando você está enviando

05:20 mais código do que nunca e seus PRs estão ficando mais complexos do que nunca, esta é a melhor maneira não apenas de entender as alterações, mas também de ter confiança de que está enviando código estável e seguro. Então, confira o CodeRabbit, use a interface Change Stack e você vai enviar código mais rápido e com mais confiança do que nunca. Use o código MatthewCR para os primeiros 50 usuários que experimentarem o serviço pela primeira vez. E, quando você vence, basicamente pode assistir a todos os bots jogando. É isso. Dá para ver todo mundo jogando. Acho isso legal. Certo, você pode personalizar. Pode mudar as cores do seu personagem

05:53 aqui. Há vários padrões diferentes. E o melhor é que o Sonnet 5.5 custa metade do preço do Opus. Então, você consegue fazer muita coisa com sua cota. E veja quantas fases diferentes ele criou. Olhe todas estas. Posso carregar outra. Aqui está. Uma fase completamente diferente. E ele carregou umas 50 delas. Certo, o próximo é um criador de Lego. Basicamente, você pode criar qualquer Lego que quiser usando prompts em linguagem natural. Ele monta o Lego, identifica as peças e também dá instruções passo a passo para

06:24 montá-lo. Aqui está o prompt. Crie um aplicativo web em que eu possa digitar qualquer coisa ou inserir uma imagem e obter um modelo feito apenas com peças Lego reais, nas cores reais, exibido em 3D, com instruções passo a passo e uma lista de peças que eu possa enviar para o BrickLink. Não deixe a IA posicionar os blocos por conta própria. Faça com que ela descreva as formas e que um programa as transforme em peças reais e verifique se o modelo é uma única peça conectada que realmente pode ser montada. Se não puder, envie os problemas de volta à IA para que ela os corrija. Faça o plástico parecer real. Eu realmente queria que fosse

06:57 fotorrealista. Adicione algumas opções de iluminação e mantenha as instruções bem simples. No máximo quatro peças por etapa. Destaque as peças novas. Deixe-me inserir minha chave da Anthropic no aplicativo e inclua modelos prontos que funcionem sem ela. Mantenha o design compacto e monocromático. Confira tudo com capturas de tela e diga claramente o que funciona quando terminar. E aqui está. Esta é a interface. Ela já me oferece várias montagens de Lego prontas. Aqui está um pato de borracha. Se eu clicar nele,

07:30 dá para ver que estas são todas peças Lego reais e posso avançar por elas passo a passo. Se eu clicar aqui, ele vai colocar todas as peças uma por uma. Olhe só. Muito legal. São 281 etapas diferentes; depois, posso ver de frente, mudar para o lado, ir para cima, passar para 3D e até separar as peças. A visualização com as peças separadas não funciona muito bem, eu

08:00 percebeu, mas ainda funciona. Dá para ver todas as peças diferentes bem ali. Posso mudar a iluminação e exportar as instruções em PDF, uma lista de peças desejadas do BrickLink, um CSV do Rebrickable, um modelo LD raw ou simplesmente JSON. Tudo isso é muito fácil e possível. Então, clico aqui em “instruções”, e agora é basicamente como um manual de instruções. Clico em “começar”, e ele vai me guiar passo a passo para montar isso.

08:30 Olha só. Olha como isso é legal. E também é 3D. Então, se você curte Lego, agora tem criatividade ilimitada. Pode criar qualquer coisa; ele informa exatamente quais peças você precisa e monta tudo para você. Certo, em seguida, fiz de novo a renderização 3D de San Francisco usando Unreal Engine. Lembra que fiz isso com Opus 5.5? Vamos ver como Sonnet 5.5 se sai. Crie um centro de San Francisco hiper-realista no Unreal Engine 5.8, em escala real e com base em dados reais da cidade,

09:01 com cerca de 120 mil pessoas e 2.400 veículos circulando. Use Jev para decidir o que cada pessoa faz e, se ele não estiver disponível, recorra a regras simples. Dê-me uma caixa onde eu possa digitar um evento, como “incêndio na Transamerica Pyramid”, e fazer a cidade inteira reagir. Os caminhões de bombeiros chegam, o trânsito encosta, as multidões fogem ou ficam olhando. O objetivo é criar capturas de tela que um morador confundiria com fotos. Então, compare com fotos reais e seja sincero sobre o que parece falso. Certo. Também tive que baixar

09:35 assets, todos gratuitos também. Deixa eu mostrar para vocês. E aqui está. Esta é a nossa pequena San Francisco. Comparada com Opus 5.5, ela é definitivamente melhor em alguns aspectos. Em outros, não é tão boa. Uma coisa é que ela sobrecarrega um pouco o meu computador. Dá para ver que às vezes simplesmente para de funcionar, mas, no geral, é muito boa. Dá para ver todas as pessoas nas esquinas. Aqui está o bonde, ou o vagão ferroviário. Aqui tem um monte de

10:05 pessoas atravessando a rua. Quer dizer, o realismo, especialmente das pessoas caminhando, dos padrões do trânsito e dos carros estacionados na rua, é incrivelmente realista, mas há pequenos problemas. Dá para ver um certo brilho saindo deste prédio aqui. Também dá para ver que algumas sombras estão um pouco estranhas, mas, no geral, eu diria que ficou muito, muito bom. Vamos ver. Ali está a Salesforce Tower. Parece extremamente real. Então, conforme começo a voar sobre a cidade,

10:36 dá para começar a enxergá-la de verdade. Esta é Union Square. Está razoável, não ótima, mas é bem reconhecível. Dá para ver que os prédios são todos diferentes. Cada um tem uma aparência própria e, sabe, à primeira vista, parece bem precisa. Ali está a via expressa. É, quer dizer, isso é incrível. Agora, o seguinte: levou vários dias para concluir. Milhões e milhões de tokens. Não vai ser rápido criar isso, mas Sonnet consegue. Ele realmente resolveu o 3D. Certo, então

11:11 este aqui foi criado pelo Brian, da minha equipe. Chama-se Crown Fall. É um jogo no estilo Age of Empires. Dá para ver minha tropinha aqui. Consigo movê-la com bastante facilidade. Criar um aldeão. Dá para ver que ele está começando a ser criado. Depois disso, cavalaria de reconhecimento. Ah, preciso construir mais casas. Vamos lá. Posso criar uma casa. Ah, sim, lá vamos nós. Olha só. Legal. Certo, então um dos aldeões está construindo uma casa agora. Você precisa construir mais casas. Sim, estou ouvindo. Certo, vamos construir outra.

11:43 Casa, vou construir bem ao lado daquela. A propósito, vou deixar links para a maioria desses jogos abaixo, caso queiram jogar e experimentar vocês mesmos. Então, pronto. Aqui está uma casa que foi totalmente construída. Agora, se eu puder criar outra… Vamos criar uma cavalaria de reconhecimento. Certo, lá vamos nós. Então, é muito fácil. Quer dizer, agora dá para criar jogos completos e divertidos. Certo, aqui está Batman Arkham Knight, que Alex, da minha equipe, criou. Ele construiu uma cidade inteira no Unreal. Dá para voar por aí e acho que aquilo é um gancho.

12:13 Na verdade, aquilo não é uma teia, porque isso seria coisa do Spider-Man, mas dá para correr pela cidade inteira, e ela é linda. Percebo alguns problemas com as janelas cintilando, o que fica um pouco estranho. Vi a mesma coisa nas minhas criações 3D de San Francisco, então talvez haja um pequeno bug aí, mas, no geral, acho que ficou muito bom. Aqui está outro que Alex criou. É um mundo realista de Mario. Basicamente, o Unreal Engine criou Mario. Olha como ficou bom. O Mario parece mais humano do que

12:45 costuma parecer, mas, quer dizer, ficou muito bom. Dá para ver, ficou muito bom. Tem muitas características do Mario. Quando corre, o personagem fica definitivamente um pouco curvado. Aqui está Forza. É um jogo de corrida. Três, dois, um. Vamos ver como anda. Muito bom. A única coisa em que percebo que ele ainda não é bom, de modo geral, é criar sons e músicas. Quer dizer, realmente não soa nada bem. Nenhum dos meus ficou bom. Então, pronto. Acho que este também ficou

13:16 bem legal. Vou mostrar os benchmarks. Vou mostrar os preços, porque essa provavelmente é a coisa mais impressionante sobre Sonnet 5.5. Certo, agora olhem só para isso. Nossa, que loucura. Sonnet 5.5 realmente superou Opus 5.5 no Terminal Bench 4.0, o que é meio louco de pensar. Sonnet deveria ser um modelo menor, mais barato e mais rápido, e realmente superou Opus 5.5, pelo menos neste benchmark, Terminal Bench, que é realmente um dos

13:46 benchmarks mais importantes para programação. E vou dizer: depois de usar muito este modelo nos últimos dias, uma coisa que percebi é que não consigo notar muita diferença entre Sonnet 5.5 e Opus 5.5. Talvez eu não esteja fazendo testes difíceis o bastante. No geral, esses modelos parecem quase idênticos. No Frontier Code 1.1, com esforço extra alto, obtive 52,1, contra 54,4 do Opus 5.5: quase a mesma coisa. No Cursor Bench, 55,5 contra 57,8; mais uma vez, quase a mesma coisa. Aqui está o GDP

14:20 Val. Basicamente igual: 1844 contra 1846. Meu Deus, todas essas pontuações são basicamente iguais. Isso é loucura. Eu falei para vocês. Eu disse: “Sonnet parece ser o mesmo modelo”. E, sim, basicamente, olhem só. Temos 64,5 contra 67,7 no Humanity’s Last Exam. No OS World, que avalia o uso do computador — ainda acho que os modelos da OpenAI são muito melhores em controlar o navegador ou usar o computador —,

14:51 mas ainda assim, são 80,1% contra 81%. Aqui está o Chartography Visual Chart Recognition: 61% contra 64%. Então, na prática, você está recebendo quase o mesmo modelo com Sonnet 5.5 e Opus 5.5, mas com um desconto enorme, e ele também é muito mais rápido. Quer dizer, olhem só para isso. Em vários benchmarks, Sonnet 5.5 com esforço baixo ou médio supera a melhor pontuação do Sonnet 5 por cerca de um décimo do custo. É disso que estou falando. Essa é a magia da

15:25 inteligência artificial. A cada ano, a cada mês, ela fica mais barata, mais rápida e mais fácil. Agora, uma peculiaridade que notei é que Sonnet 5.5, ao escrever, tende a grafar as palavras como no inglês britânico. Por exemplo, escreve “color” como “colour”. Não sei por que decidiu fazer isso, mas fez isso basicamente em todos os textos que pedi para escrever. Mas é óbvio que dá para direcioná-lo muito bem, então, se eu não quisesse que fizesse isso, bastaria

15:58 dizer, e ele não faria. E, como eu disse, ele é muito mais barato: custa cerca de 50% do Opus 5.5, que já era barato. Então, Opus 5.5 custa US$ 4 por milhão de tokens de entrada e US$ 20 por milhão de tokens de saída; já Sonnet 5.5 custa US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída. Portanto, não chega a competir com o open source, que custa centavos por milhão de tokens de entrada e saída, mas, pelo nível de qualidade que esse modelo oferece, o preço é extremamente atraente. Certo, então

16:33 Como vocês podem ver, Sonnet 5.5 é altamente recomendado. É um modelo incrível. É basicamente tão bom quanto Opus 5.5, mas muito mais barato. Você deveria estar usando. Se cancelou sua assinatura do Claude no passado, volte a assinar. Vale a pena. Vou deixar abaixo o máximo de demonstrações que conseguir, então confira. E, se quiser ver como essas demonstrações se comparam às de Opus 5.5, confira aquele vídeo aqui.

Transcrição original

[00:00] Sonnet 5.5 is here, and it might be the overall best model on the planet. In this video, I’m going to show you what it can do, and also what it can’t do. I’ve had early access, so I’ve been testing it, and now let me just show you some of the demos. All right, so this first one might be the most insane demo that I’ve ever been able to create basically from a single prompt. Build a real-time 3D ocean in the browser and keep improving it until still frames could pass for photos of the open sea. Use a real wave simulation with sea

[00:33] states from glassy calm to a storm. Whitecaps where waves break, a realistic sky, clouds that shadow the water, times of day through a moonlit night, and rain and lightning. Add a sailing yacht with a wake and an underwater view with light shafts and fish. All right, so this is it. And it looks absolutely incredible. So, we have a bunch of different settings that we can play with. We have how the sea is actually behaving, so glassy, here’s calm,

[01:03] a little breeze, obviously bigger waves, we start to see some whitecaps. But look at the reflections. Oh, there’s our beautiful sailboat. Then, we can have fresh water, rough water, and stormy water. Look at the size of those waves compared to the boat. Here we can have sunrise. Look how beautiful that is. You can actually see the wake coming off the boat right there. Here’s noon. Absolutely gorgeous blue water. Look at how the reflections are just rippling through the water. We can

[01:35] change the cloud cover right here. So, we have cloud cover 4%, we can add more clouds. And you can see the clouds coming in, and as you add the clouds, the lighting actually changes, obviously, because the sun is being blocked by the clouds. So, let’s put a little bit of cloud cover in there, and you can change everything. Swell, direction, choppiness. Here’s choppiness, let’s turn it up. Wave height, you can change where the sun is. Look at that, sun bearing. I mean, this looks like gorgeous clear blue teal water. You can make it give you a tour. So, there’s actually a

[02:06] little island out there, which is kind of kind of cool. Here’s a nice little Easter egg. You actually get a little splash if you click the water. So, there we can go underneath the water and look up, and you can see the little columns of light coming through. I mean, it just looks incredible. And I even had Sonic create demo videos from each of them. So, it opened up each of the demos, and it recorded it, and clipped it, edited it in full. Watch this. So, here it is, going under the water. We can see the fish. We look up. Look at that.

[02:37] Beautiful. And that was fully edited by Sonic. All right, next we have a Fall Guys clone, and this is an actually fun game that you can play. Here’s the prompt. Build a playable Fall Guys knockout show in the browser with 3.js. This is important, so it was all built with 3.js. Me against 59 bots across five rounds, ending in a final and a crown ceremony. And this is the important part. You have to explicitly prompt the model to double-check its work as it goes, and that might come in the form of

[03:08] screenshots or video, or literally just playing the game itself. So, anyways, here’s the game. And here’s the level. I mean, it is legit, and it is actually fun. Let’s see if I can beat it. So, you got jump. And again, this was basically like one or two prompts. Okay, so that door opened. You can dive by pushing control. And Opus 5.5 was able to make this, but so was Sonic 5.5, just as well. This is

[03:40] just as good, and as I got a little bit better at prompting it to create this game, I actually think this game is more fun to play than its Opus version. Here you go. This worked out well. Okay, it gives me little hints as I go, and yeah, I’m definitely going to win this one. This is actually fun. Okay, we have a little bouncy areas, revolving doors. And there we go. I won. A little clipping issue here and there, but overall it looks really good. And with all of this incredible code that AI’s

[04:12] writing, you do need a way to review it, especially if you’re putting it on production. And that’s why I want to tell you about Code Rabbit. Humans are writing more code than ever, but it is nearly impossible to keep up and actually review all of that code before it gets to production. That’s where Code Rabbit comes in. Using traditional interfaces to review all of that code, even with the help of AI, is still tedious. And that’s why they introduced Change Stack. It has features like cohorts, allowing a big diff to be split into small independent units of related work that

[04:45] you can review one at a time, each with range-specific summaries. It has layers. Each change is broken into its natural reading order and dependency chain instead of alphabetical file order. It has an overview, which is an opinionated summary. What the change is, why it exists, what’s blocking the merge, and what needs attention. It also, and this is awesome, has a blast radius detector. What are the potential other pieces of code that this change will touch? And a gentic chat, so you can ask questions against the PR. When you’re shipping

[05:20] code more than ever, and your PRs are getting more complex than ever, this is the best way to not only understand the changes, but to feel confident that you’re shipping code that is stable and secure. So, go check out Code Rabbit, use the Change Stack interface, and you will be shipping faster and more confidently than ever. Use code MatthewCR for the first 50 first-time users. And once you win, you basically get to watch all the bots play it. So, So it is. You can see everybody else playing. I think this is cool. Okay, so you can customize. You can change the colors of your little guy

[05:53] here. Have different patterns. And the best part is Sonar 5.5 is half the price of Opus. So you get a ton with your quota. And look how many different levels it created. Look at all of these. So I can load another one up. Here it is. A completely different level. And it loaded basically like 50 or so of them. All right, the next one is a Lego creator. You could basically create any Lego you want by just natural language prompting it. It will build the Lego, figure out the pieces, and then also give you step-by-step instructions to

[06:24] create it. So here’s the prompt. Build me a web app where I type anything or drop in a picture and get a model made only of real Lego parts in real colors shown in 3D with step-by-step instructions and a parts list I can upload to BrickLink. Don’t let the AI place bricks itself. Have it describe the shapes and have a program turn those into real parts and check that the model is one connected piece that actually builds. If it doesn’t, send the problems back to AI to fix. Make the plastic look real. I really wanted it to be

[06:57] hyperrealistic. Add a few lighting looks and keep instructions dead simple. At most four pieces per step. New New pieces highlighted. Let me paste my Anthropic key in the app and include ready-made builds that work without one. Keep the design compact and monochrome. Check everything with screenshots and tell me plainly what works when you’re done. And here it is. So this is the interface. So it gives me a bunch of ready-made Lego builds already ready to go. Here’s a rubber duck. So if I click into it,

[07:30] you can see these are all real Lego pieces and I can go step-by-step through them. So if I click this, it’s going to lay all the pieces down one by one. Look at that. So, so cool. So, 281 different steps, and then I can do front, I can switch to the side, go to the top, go to 3D, I can even explode it. The exploding doesn’t work super well, I

[08:00] realized, but it still works. You can actually see all the different pieces right there. I can change the lighting, I can export it as instructions in a PDF, a BrickLink wanted list, Rebrickable CSV, LD raw model, or just JSON. All like super easy and possible. So, here I click on instructions, and now it’s basically like an instruction book. So, I click go, and it’s going to walk me through step-by-step how to build it.

[08:30] Look at that. Look how cool this is. And it’s 3D as well. So, if you’re into Legos, you basically have unlimited creativity now. You can create anything, it tells you exactly the pieces you need, it builds it for you. Okay, next, I did the 3D render of San Francisco again using Unreal Engine. Remember, I did that with Opus 5.5. Let’s see how Sonnet 5.5 does. Build a hyperrealistic downtown San Francisco in Unreal Engine 5.8 at real scale and from real city

[09:01] data with about 120,000 people and 2,400 vehicles moving around it. Use Jev to decide what each person does, and fall back to simple rules if it’s unavailable. Give me a box where I can type an event like fire at the Transamerica Pyramid and have the whole city react. Fire engines arrive, traffic pulls over, the crowds flee or watch. The goal is screenshots a local would mistake for photos. So, compare against real pictures and be honest about what looks fake. Okay. So, I actually also had to download

[09:35] assets, all free assets as well. Let me just show it to you. And so, here it is. This is our little San Francisco. And compared to Opus 5.5, it’s definitely better in some ways. It’s not as good in others. So, one thing is it does overload my computer a little bit. You can see sometimes it’ll just stop working, but overall it’s pretty good. You can see all the people on the corners. You can see here’s the trolley or the the railcar. Here’s a bunch of

[10:05] people walking across the street. I mean, the realism, especially the people who are walking around and and the traffic patterns and the cars parked in the street, it is all crazy realistic, but there are little issues. You can kind of see some glimmering coming off this building right here. You can see some of the shadows here a little bit wonky, but overall I’d say this is really, really good. Let’s see. There’s the Salesforce Tower. Looks extremely real. So, you can see as I start to fly above the city,

[10:36] you can really start to see it. This is Union Square. It looks decent, not great, but it does look very familiar. We can see all the buildings very individual. Every single one looks different and it, you know, at first glance looks pretty darn accurate. There’s the freeway right there. Yeah, I mean, this is incredible. Now, here’s the thing. This took multiple days to complete. Millions and millions of tokens. It’s not going to be fast to create this, but Sonit can do it. It absolutely has solved 3D. Okay, so

[11:11] here’s one that Brian from my team created. This is called Crown Fall. It’s an Age of Empires-like game. So, you can see my my little troop here. I can move them around pretty easily. Create a villager. You can see now it’s starting to be created. Then after that, scout cavalry. Oh, I have to build more houses. Here we go. I can create a house. Oh, yeah, there we go. Look at that. This is cool. All right, yeah. So, there we go. I have one of the villagers building a house now. You must build additional houses. Yes, I hear you. Okay, let’s build another one.

[11:43] House, I’ll build it right next to that one. By the way, I will link most of these games down below if you want to play it and try it out yourself. So, there we go. Here is a house that got fully created. Now, if I can create another Let’s do a scout cavalry. Okay, there we go. So, yeah. Very easy. I mean, you can create now full games, fun games. All right, here’s a Batman Arkham Knight that Alex from my team created and it built out an entire city in Unreal. You can fly around and I guess that’s a grappling hook.

[12:13] That is not actually webbing cuz that would be Spider-Man, but you can run around this whole city and it does look beautiful. I can see a little bit of issues with shimmering windows, which look a bit awkward. I saw the same thing in my i3D San Francisco builds, so maybe there’s like a little bug there, but overall, I think this looks really good. Here’s another one that Alex created. This is a realistic Mario world. Basically, Unreal Engine build Mario. Look how good this looks. So, the Mario looks more human-like than what it

[12:45] typically looks like, but I mean, this is really good. Yeah, so you can see, it looks really good. It has a lot of characteristics of Mario. The guy when it runs is definitely a little bit hunched over. Here is Forza. So, a racing game. 3 2 1 Let’s see it go. Pretty good. The one thing I can tell across the board that it’s still not good at is creating sounds and music. I mean, it really doesn’t sound good at all. Mine None of mine sounded good. So, there we go. I think this again looks

[13:16] quite good. I’m going to show you the benchmarks. I’m going to show you the pricing because that is probably the most impressive thing about Sonic 5.5. Okay, now look at this. Oh, crazy. So, Sonnet 5.5 actually beat Opus 5.5 on Terminal Bench 4.0, which is kind of crazy to think about. The Sonnet is supposed to be a smaller, cheaper, faster model, and it actually beat Opus 5.5, at least at this one benchmark, Terminal Bench, which is really one of

[13:46] the most important benchmarks for coding. And I will tell you, upon using this model a ton over the last few days, one thing I noticed is I can’t really tell the difference between Sonnet 5.5 and Opus 5.5. Maybe I’m not giving it hard enough tests. Overall, these models seem almost identical. Here’s Frontier Code 1.1 on extra high, I got a 52.1 versus Opus 5.5 at 54.4, almost the same. Cursor Bench, 55.5 versus 57.8, once again, almost the same. Here’s GDP

[14:20] Val. Basically the same, 1844 versus 1846. Oh my god, these scores are all basically the same. This is crazy. I told you guys. I was like, “Sonnet seems like the same model.” And yeah, so basically, look at this. So, we have Humanity’s Last Exam at 64.5 versus 67.7. OS World, this is computer use, which I still find OpenAI models to be much better at browser control or computer

[14:51] use, but still 80.1% versus 81%. Here’s Chartography Visual Chart Recognition, 61% versus 64%. So, you’re basically getting effectively the same model between Sonnet 5.5 and Opus 5.5, but you get it at a massive discount, and it’s also much faster. I mean, look at this. On several benchmarks, Sonnet 5.5 at low or medium effort beats Sonnet 5’s best score for about a 10th of the cost. This is what I’m talking about. This is the magic of

[15:25] artificial intelligence. Every year, every month, it gets cheaper and faster and easier. Now, one quirk that I did notice is Sonnet 5.5 with writing has the tendency to spell things as if it were British. So, color is c o l o u r, for example. Now, I don’t know why it decided to do that, but it has done that basically across the board with all of the writing that I’ve given it. Now, it is obviously extremely steerable, so if I didn’t want it to do that, I simply

[15:58] tell it and it wouldn’t. And like I said, it is much cheaper, about 50% of the cost of Opus 5.5, which was already cheap. So, Opus 5.5, $4 per million input, $20 per million output versus Sonnet 5.5, $2 per million input, $10 per million output. So, it’s not quite competing at the open-source, you know, pennies per million output and input, but for the level of quality that you get with this model, it is extremely compelling at this price. All right, so

[16:33] as you can see, Sonnet 5.5, highly recommended. It is an incredible model. It is basically as good as Opus 5.5, much less expensive. You should be using it. If you canceled your Claude subscription in the past, go get it back. This is worth it. I’ll drop as many of the demos as I can down below, so go check them out. And if you want to see how these demos compared to Opus 5.5, go check out that video right here.