GPT-6 Sol vs. Claude Opus 5.5: qual modelo novo você deve usar?

Autoria: Zero to MVP · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: GPT-6 Sol vs Claude Opus 5.5: Which New Model Should You Use? · Canal: Zero to MVP · 09:24 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Claude Code, Engenharia de software com IA, Modelos de IA

Resumo

O vídeo compara GPT-6 Sol e Claude Opus 5.5 em três tarefas práticas, usando cada modelo em seu ambiente nativo: Codex e Claude Code. Os testes envolvem criar uma ilusão de pirâmide 3D com caracteres, desenvolver uma simulação de evolução por algoritmo genético e analisar o código de um projeto. Os dois modelos tiveram bons resultados, mas o apresentador preferiu Opus 5.5 em duas tarefas e considerou a segunda um empate. Ele ressalta que o teste é uma impressão inicial, não um benchmark abrangente.

Pontos-chave

GPT-6 Sol e Claude Opus 5.5 são apresentados como modelos intermediários voltados ao uso cotidiano.
O teste compara os modelos diretamente, em seus ambientes nativos: Codex e Claude Code.
Na tarefa de criar uma ilusão 3D com caracteres, o apresentador preferiu o resultado de Opus 5.5.
Na simulação de criaturas que evoluem por algoritmo genético, os dois modelos tiveram bom desempenho; o resultado foi considerado empate.
Na análise de código, Opus 5.5 levou cerca de oito minutos, contra cinco minutos de Sol, e encontrou mais problemas com descrições mais detalhadas.
O apresentador escolheu Opus 5.5 como vencedor geral, mas afirmou que Sol também teve bons resultados e não falhou em nenhuma tarefa.
O apresentador ressalta que os testes servem como impressão inicial, não como benchmark abrangente.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação dos modelos e alegações dos fabricantes	O apresentador introduz GPT-6 Sol e Claude Opus 5.5, comenta o posicionamento dos modelos e propõe uma comparação direta.
02:06	Teste da ilusão de pirâmide 3D	Os modelos criam imagens com caracteres para impressão, e o apresentador considera mais convincente o resultado de Opus.
04:41	Simulação de evolução por algoritmo genético	Sol e Opus implementam simulações visuais de criaturas em evolução, e ambos recebem o mesmo resultado no teste.
06:45	Análise de código e resultado final	Os modelos analisam um editor de Markdown, Opus é preferido nessa tarefa e também é escolhido como vencedor geral, com a ressalva de que o teste não é abrangente.

Citações

Neste teste, eu daria a vitória a Opus. — 04:41

Os dois modelos tiveram um desempenho excelente neste teste, então podemos dizer que ambos venceram. — 06:14

No geral, gostei mais desta versão. — 08:21

Na minha opinião, o vencedor de hoje é Opus. — 08:53

Isso não foi pensado para ser um benchmark abrangente. — 08:53

Conceitos e entidades

GPT-6 Sol (modelo): Modelo da OpenAI testado no vídeo por meio do Codex.
Claude Opus 5.5 (modelo): Modelo da Anthropic comparado a GPT-6 Sol em três tarefas práticas.
Codex (ferramenta): Ambiente da OpenAI usado para testar GPT-6 Sol.
Claude Code (ferramenta): Ambiente usado para testar Claude Opus 5.5.
OpenAI (empresa): Empresa responsável por GPT-6 Sol.
Anthropic (empresa): Empresa responsável por Claude Opus 5.5.
algoritmo genético (conceito): Método usado na tarefa de simular gerações de criaturas em evolução.
ilusão 3D com caracteres (conceito): Tarefa em que os modelos criam uma pirâmide com caracteres de texto para produzir um efeito tridimensional quando impressa.
GitHub (ferramenta): Plataforma onde o apresentador disponibiliza o repo de prompts e o projeto analisado.

Tradução completa (pt-BR)

00:00 GPT-6 Soul e Opus 5.5, dois novos modelos dos líderes da corrida da IA. Eles foram lançados esta semana. Então, hoje quero descobrir qual usar de ponta a ponta e também avaliar o quanto houve de progresso em comparação com as versões anteriores. Tenho um conjunto de benchmarks que vou usar para testar esses modelos hoje. Vou testar o GPT-6 da OpenAI no Codex e o Opus 5.5, é claro, no Claude Code. Assim, cada modelo será testado no seu ambiente nativo. Mas

00:31 antes de passar aos testes, vamos dar uma olhada rápida nos próprios lançamentos e ver o que os criadores desses modelos afirmam. Os dois são modelos intermediários, posicionados como modelos para o dia a dia, para uso regular. A OpenAI diz que seu modelo mais forte é o Astra, enquanto o Soul agora é a opção intermediária. Então, a linha de modelos agora é Astra, Soul e Luna. Já Terra e Eros foram removidos. Se olharmos os benchmarks fornecidos pela própria OpenAI, podemos ver que, embora

01:03 o Soul fique atrás do Astra, ele continua muito próximo. E, considerando a diferença de preço, na minha opinião, isso faz dele a opção ideal. Agora, vamos dar uma olhada no novo modelo Claude Opus 5.5 da Anthropic. Para a Anthropic, este também não é o maior modelo. O Fable continua sendo seu modelo principal. Ao mesmo tempo, porém, a empresa afirma que conseguiu alcançar inteligência no nível do Fable a um custo menor. E, a julgar pelos benchmarks, isso

01:34 parece mesmo ser o caso. O Opus 5.5 supera o Fable 5.1 em todos os testes. Eles também comparam seu novo modelo com o GPT Astra, e ele o supera em quase todos os benchmarks, tanto em desempenho quanto em preço. No entanto, Anthropic e OpenAI comparam seus novos modelos com a geração anterior dos concorrentes. O que quero fazer agora é compará-los diretamente entre si. Então, vamos passar direto aos testes. Para os testes, vou usar meu repositório

02:06 com uma coleção de prompts. Eles estão organizados do mais simples ao mais difícil e, neste caso, não faz sentido usar as tarefas simples, porque foram criadas para testar modelos locais. Os modelos que estamos testando hoje dariam conta delas sem dificuldade. Então, vou direto aos prompts difíceis. Aliás, esse repositório está disponível no GitHub, então você pode baixá-lo e fazer seus próprios experimentos. O link estará na descrição. Certo, a primeira tarefa será incomum. Ela vai testar o quanto o modelo consegue

02:37 se orientar e entender o mundo físico ao nosso redor. Nessa tarefa, os modelos precisam criar a imagem de uma pirâmide usando caracteres de texto que, quando impressa em uma folha de papel comum, deve criar uma ilusão 3D. Em outras palavras, a pirâmide deve parecer tridimensional quando vista de um ângulo. Certo, vamos começar com o GPT-6 Soul. Envio o prompt ao modelo e espero. Não vou mostrar todo o processo de geração da resposta porque

03:08 nada de particularmente interessante acontece. O modelo está apenas pensando. Então, vamos direto ao resultado. O Soul gerou vários arquivos, e parece que um deles é exatamente o que precisamos. Certo, em princípio, está tudo de acordo com a tarefa. Gráficos no estilo ASCII feitos de caracteres de texto, com distorção de perspectiva. Parece que o modelo entendeu corretamente o que eu queria e produziu o resultado esperado. Mas vou imprimir essa imagem para ver o quanto a

03:38 ilusão 3D convence. Na hora de imprimir, vou definir a escala em 100%, para que o que sair no papel seja exatamente o que o modelo criou, sem nenhuma distorção adicional. Então, eu diria que há pelo menos algo que lembra um efeito 3D. No mínimo, quando mudo o ângulo de visão, a imagem começa a parecer uma pirâmide normal. Certo, agora vamos passar ao Opus 5.5. Apaguei todos os arquivos criados pelo Soul, para que os dois modelos sejam testados nas mesmas

04:09 condições. Envio exatamente o mesmo prompt. Quando o modelo terminar, vamos olhar os arquivos. Sim, o Opus também gerou um arquivo PDF. Vamos abri-lo. Na minha opinião, a imagem ficou melhor aqui. Ela até tem um fundo. Também defini a escala de impressão em 100% e imprimi em papel. Então, vamos ver o resultado. Estou experimentando ângulos de visão diferentes e, sim, na minha opinião, o efeito 3D parece mais convincente aqui do que no Soul.

04:41 Mas vamos compará-los lado a lado também. No geral, acho que os dois modelos concluíram a tarefa com sucesso, mas ainda prefiro a versão do Opus. Então, neste teste, daria a vitória ao Opus. Certo, acho que a primeira tarefa ficou clara. Vamos passar à segunda. Aqui, quero dar ao modelo uma tarefa que combine programação com elementos de simulação do mundo físico. Eles terão que criar uma simulação de gerações de criaturas evoluindo por meio de

05:11 um algoritmo genético. E [limpa a garganta] um dos requisitos é que a simulação também tenha um visual atraente. Assim como da última vez, o Deputy 6 Soul recebe a tarefa primeiro. Como a tarefa está descrita em detalhes em um arquivo separado, não vou copiar todo o texto para o prompt. Vou apenas dizer ao modelo que o projeto está descrito no arquivo. Mais uma vez, vou pular todo o processo de geração e ir direto ao resultado. Então, vou abrir o arquivo final no navegador. Certo, parece

05:42 que tudo foi iniciado e está funcionando. Como você pode ver, o processo de evolução funciona. As gerações vão mudando e, no geral, tudo se comporta como deveria. Além disso, está muito bonito. Ótimo resultado. O novo modelo Soul da OpenAI lidou muito bem com essa tarefa. Certo, agora vamos passar ao modelo da Anthropic, o Opus 5.5. Tudo exatamente igual. Abro o Claude Code, peço que implemente o projeto descrito no arquivo e espero. Alguns minutos depois,

06:14 o resultado fica pronto. Aliás, o Soul também levou alguns minutos nessa tarefa. Parece que com o Opus também está tudo certo. A simulação foi iniciada e está funcionando. As criaturas evoluem gradualmente. Parece um pouco diferente da versão do Soul, mas também está muito bom. Sem dúvida, um excelente resultado. O Opus também lidou muito bem com a tarefa. Então, os dois modelos tiveram um desempenho excelente neste teste, o que significa que podemos dizer que ambos venceram. Ou, em outras palavras, deu empate. Certo, acho que a segunda tarefa também ficou clara

06:45 Agora é hora de passar ao terceiro e último teste dos modelos de hoje. Mas, antes disso, quero lembrar que lancei recentemente um Patreon, onde publico muitas coisas interessantes e úteis que não chegam a este canal. Confira, se quiser ver mais experimentos, materiais extras e conteúdo que não vai para o YouTube. A terceira tarefa será analisar o código de um dos meus projetos e encontrar possíveis problemas. O projeto

07:17 será meu editor de markdown, que é gratuito, open source e está disponível no GitHub. Clono o projeto na pasta em que estou executando os testes de hoje e peço ao Soul que o analise. Depois, peço que salve os resultados em um arquivo markdown. Após alguns minutos de trabalho, ou, mais precisamente, depois de 5 minutos, o resultado fica pronto. Vamos dar uma olhada. O engraçado é que estou analisando o feedback sobre o código do editor dentro do próprio editor. Dá para dizer que acabamos com uma espécie de recursão aqui, mas vamos ver as

07:48 descobertas. O modelo encontrou vários problemas e os agrupou por gravidade. Ótimo. Pelo que consigo perceber numa olhada rápida, as descobertas parecem válidas. Também gosto do fato de cada issue incluir a localização exata no código. Excelente. Agora, vamos ver como o Opus 5.5 lida com essa tarefa. É claro que apaguei o arquivo criado pelo Soul para que o Opus não pudesse dar uma espiada nele. Certo, o modelo da Anthropic demorou mais, cerca de 8 minutos, quase 40% a mais do que o Soul levou. Mas,

08:21 vamos dar uma olhada no resultado. Certo, no início do arquivo há uma tabela-resumo com todos os problemas encontrados. Nada mal. Já dá para ver também que ele encontrou um número bem maior de áreas problemáticas. Ótimo. Cada problema também tem uma descrição um pouco mais detalhada do que a fornecida pelo Soul. Sim, no geral, gostei mais desta versão. Eu diria que, para mim, o Opus 5.5 venceu esta rodada. Certo, acho que, depois de três rodadas, já podemos fazer um balanço. Em

08:53 Na minha opinião, o vencedor de hoje é Opus. Ele se saiu melhor na primeira e na terceira tarefas. No entanto, Sol também é muito bom. Na minha opinião, o modelo da OpenAI teve um desempenho um pouco pior. Mas não falhou em nenhuma das tarefas. Eu simplesmente preferi os resultados do modelo da Anthropic. Mas é importante observar que isso não pretendia ser nenhum tipo de benchmark abrangente. Eu só queria ter uma impressão inicial dos modelos por conta própria. Nas próximas semanas, vou continuar usando os dois

09:24 e, depois disso, poderei tirar algumas conclusões finais e compartilhá-las com vocês. Então, não se esqueçam de se inscrever no canal. E é isso por hoje. Além disso, não se esqueçam de assinar minha newsletter semanal sobre TI e IA. O link está na descrição. Até breve. Fiquem bem.

Transcrição original

[00:00] GPT-6 Soul and Opus 5.5, two new models from the leaders of the AI race. They were released this week. So, today I want to figure out what to use end-to-end and also how significant the progress is compared to the previous versions. I have a set of benchmarks that I am going to use to test these models today. I’ll be testing OpenAI’s GPT-6 in Codex and Opus 5.5, of course, in Cloud Code. So, each model will be tested in its native environment. But

[00:31] before I move on to the testing, let’s quickly look at the releases themselves and see what the creators of these models are claiming. So, both of these are mid-tier models positioned as everyday models for regular use. OpenAI says that its strongest model is Astra, while Soul is now the mid-tier option. So, the model lineup now looks like Astra, Soul, and Luna. Terra and Eros, on the other hand, have been removed. If you look at the benchmarks provided by OpenAI itself, we can see that while

[01:03] Soul falls behind Astra, it stays very close to it. And considering the price difference, in my opinion, that makes it the optimal choice. Now, let’s take a look at Anthropic’s new Claude Opus 5.5 model. For Anthropic, this isn’t their largest model either. Fable remains their flagship. At the same time, however, the company claims that they have managed to achieve Fable-level intelligence at a lower cost. And judging by their benchmarks, that does

[01:34] seem to be the case. Opus 5.5 outperforms Fable 5.1 across all of their tests. They also compare their new model with GPT Astra, and it beats it in almost every benchmark, both in term of performance and price. However, Anthropic and OpenAI compare their new models with the previous generation of their competitors. What I want to do now is compare them directly against each other. So, let’s move directly to the testing. For the tests, I’ll use my repository

[02:06] with a collection of prompts. They grouped from simple to difficult, and in this case, there’s no point in his using the simple tasks because they’re designed for testing local models. The models we are testing today would handle them without any trouble. So, I’m going straight to the difficult prompts. By the way, this repository is available on GitHub, so you can download it and experiment with it yourself. The link will be in the description. Okay, the first task will be an unusual one. It will test how well the model can

[02:37] navigate and understand the physical world around us. In this task, the models need to create an image of a pyramid using text characters, which, when printed on a regular sheet of paper, should create a 3D illusion. In other words, the pyramid should appear three-dimensional when viewed from an angle. All right, let’s start with GPT-6 Soul. I give the model the prompt and wait. I’m not going to show the entire response generation process because

[03:08] nothing particularly interesting happens. The model is just thinking. So, let’s jump straight to the result. Soul generated a number of files, and it looks like one of them is exactly what we need. Okay, in principle, everything matches the task. ASCII-style graphics made from text characters, perspective distortion. It looks like the model both understood what I wanted correctly and produced the expected result. But, let me actually print this image and see how convincing

[03:38] the 3D illusion is. When printing, I’m setting the scale to 100%, so that what ends up on the paper is exactly what the model created without any additional distortion. So, I’d say there is at least something resembling a 3D effect. At the very least, when I change the viewing angle, the image starts to look like a normal pyramid. Okay, now let’s move on to Opus 5.5. I deleted all the files created by Soul, so that both models are tested under the same

[04:09] conditions. I give it the exact same prompt. Once the model is finished, let’s look at the files. Yeah, Opus also generated a PDF file. Let’s open it. In my opinion, the image looks better here. It even has a background. I also set the print scale to 100% and print it on paper. So, let’s look at the result. I’m trying different viewing angles, and yes, in my opinion, the 3D effect looks more convincing here than with Soul.

[04:41] But, let’s also compare them side by side. Overall, I think both models completed the task successfully, but I still prefer the version from Opus. So, in this test, I would give the win to Opus. All right, I think everything is clear with the first task. Let’s move on to the second one. Here, I want to give the model a task that combines coding with elements of physical world simulation. They will need to build a simulation of generations of creatures evolving using

[05:11] a genetic algorithm. And [clears throat] one of the requirements is that the simulation should also look visually appealing. Just like last time, Deputy 6 Soul gets the task first. Since the task is described in detail in a separate file, I’m not going to copy the whole text into the prompt. I’ll just tell the model that the project is described in the file. Again, I’ll skip the whole generation process and go straight to the result. So, I’m opening the final file in the browser. All right, it looks

[05:42] like everything launched and is working. As you can see, the evolution process works. The generation are changing and overall everything behaves as required. And on top of that, it looks very good. Great result. Open AI’s new Soul model handled this task really well. Okay, now let’s move on to Anthropic’s model Opus 5.5. Everything is exactly the same. I launch Claude code and I ask it to implement the project described in the file and wait. A few minutes later,

[06:14] the result is ready. By the way, Soul also spent a few minutes on this task. It looks like everything is fine with Opus as well. The simulation launched and is working. The creatures gradually evolve. It looks a bit different from Soul’s version, but it also looks very good. Definitely an excellent result. Opus handled the task really well, too. So, both models performed excellently in this test, which means we can say they both won. Or in other words, this one is a tie. Okay, I think everything is clear

[06:45] with the second task as well. So, it’s time to move on to the final third test for today’s model. But before we get to it, I want to remind you that I recently launched a Patreon, where I post a lot of interesting and useful things that don’t make it onto this channel. Definitely check it out if you want more experiments, extra materials, and content that doesn’t make it to YouTube. So, the third task will be to analyze the code of one of my projects and find potential problems in it. The project

[07:17] will be my markdown editor, which is free, open source, and is available on GitHub. I clone it into the folder where I run in today’s tests and ask Soul to analyze it. Then I ask it to save the results into a markdown file. After a few minutes of work, or more precisely, after 5 minutes, the result is ready. Let’s take a look. The funny part is that I am reviewing the feedback on the editor’s code inside the editor itself. You could say we ended up with a kind of recursions here, but let’s look at the

[07:48] findings. The model found a number of issues and grouped them by severity. Great. From what I can tell at a quick glance, the findings seem valid. I also like that each issue includes the exact location in the code. Excellent. Now, let’s see how Opus 5.5 handles this task. Of course, I deleted the file created by Soul so that Opus couldn’t peek at it. Okay, Anthropic’s model took longer, around 8 minutes, which is almost 40% more than Soul took. But,

[08:21] let’s take a look at the result. Okay, at the beginning of the file, there’s a summary table with all the issues it found. Not bad. I can also already see that the number of problematic areas it found is much higher. Great. Each issue also has a slightly more detailed description than what Soul provided. Yes, overall, I like this version more. I’d say that for me, Opus 5.5 won this round. All right, I think after three rounds, we can already sum things up. In

[08:53] my opinion, today’s winner is Opus. It handled both the first and the third tasks better. However, Soul is also very good. OpenAI’s model performed slightly worse, in my opinion. But, it didn’t fail any of the tasks. I simply preferred the results from Anthropic’s model. But, it’s important to note that this was not meant to be any kind of comprehensive benchmark. I just wanted to get an initial impression of the models for myself. Over the next few weeks, I am going to keep using both of

[09:24] them, and after that, I’ll be able to draw some final conclusions and share them with you. So, don’t forget to subscribe to the channel. And that’s all for today. Also, don’t forget to subscribe to my weekly newsletter about IT and AI. The link in the description. See you soon. Take care.