Saiu o SWE 2! A nova versão do modelo da Cognition, será que vale? (Teste real)

Author: Matheus Battisti - Hora de Codar · Watch on YouTube

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: Saiu o SWE 2! A nova versão do modelo da Cognition, será que vale? (Teste real) · Channel: Matheus Battisti - Hora de Codar · 20:27 · Watch on YouTube

Topics: AI agents, AI evaluation and benchmarks, Software engineering with AI, AI models

Summary

O vídeo apresenta o SWE-2, modelo da Cognition baseado no Kimi K2 e aprimorado com treinamento por aprendizagem por reforço, e comenta seus benchmarks, custo e disponibilidade limitada ao Devin. No teste prático, o modelo cria um app de bolão de futebol com autenticação, grupos, palpites e ranking; há um problema inicial de login, corrigido após uma solicitação. O apresentador também avalia um jogo inspirado em Counter-Strike, elogiando o cenário, mas observando limitações na jogabilidade. Ao final, considera o resultado satisfatório, mas recomenda comparar as opções disponíveis e pondera que, para quem tem orçamento limitado, o GPT pode ser uma escolha melhor.

Key points

O SWE-2 é um modelo fechado da Cognition, baseado no Kimi K2 e treinado com aprendizagem por reforço.
Segundo a apresentação, o modelo tem resultados competitivos em benchmarks e pode custar menos por tarefa que modelos comparados.
Na data do vídeo, o acesso ao SWE-2 é feito pelo Devin, e o modelo estava disponível sem consumo de sessão durante uma promoção.
O Devin oferece modos de agent e editor, além de desenvolvimento local ou em cloud.
O modelo criou um app de bolão de futebol com cadastro, grupos, convites, palpites, resultados e ranking.
O fluxo de login apresentou um problema inicial, que foi corrigido após o apresentador pedir uma revisão.
O jogo inspirado em Counter-Strike teve cenário e elementos visuais razoáveis, mas não alcançou a qualidade do jogo criado com Claude.
O apresentador considera o SWE-2 satisfatório, mas diz que o GPT pode ser uma opção mais atraente para quem tem orçamento limitado.

Chapters

Start	Chapter	Summary
00:00	Apresentação do SWE-2 e dos benchmarks	O apresentador introduz o modelo, sua origem, o treinamento e as comparações de desempenho e custo.
04:09	Acesso ao modelo e configuração do Devin	O vídeo explica a promoção de acesso ao SWE-2 e apresenta o ambiente do Devin antes de iniciar os testes.
07:20	Criação do app de bolão de futebol	O SWE-2 monta a interface inicial do projeto, e o apresentador avalia o design e os recursos de edição.
10:29	Autenticação, grupos e correção de login	O modelo implementa funcionalidades de backend para o bolão, enfrenta um erro de login e o corrige após receber feedback.
15:13	Teste do jogo inspirado em Counter-Strike	O apresentador joga o projeto criado pelo modelo e avalia seus gráficos, comandos e limitações de jogabilidade.
18:22	Avaliação final e recomendações	O apresentador resume sua impressão do SWE-2, compara opções de custo e encerra com divulgações do canal.

Quotes

Mesmo no esforço máximo, ele ainda realiza menos passos que a versão antiga do SWE. — 02:37

A gente precisa ter uma área para alterar arquivos na mão quando a gente quiser. — 08:53

O problema era o preview do navegador, não o código. — 13:38

Para mim está satisfatório, mas acho que vocês devem testar e dar uma olhada. — 18:22

Concepts and entities

SWE 2, Cognition, Devin, Kimi K2, Moonshot AI, aprendizagem por reforço, VS Code, Matheus Battisti

Full transcript (original language)

00:00 Galera, lançou o SW2, um modelo da Cognition, que é dona, né, criadora do Devin, uma IDE de programação, um agente de código. Esse modelo é bem interessante, que ele é baseado no química 3, melhorado, segundo a própria empresa, e hoje tem benitmarks para brigar com Fable 5.1. Então, eu vou te apresentar aqui tudo sobre ele, vou mostrar ele na prática e aí veremos se ele é realmente bom assim. Fechou? Bora então. Chega aí. Olha só, galera, o SW2

00:31 ele atualmente não dá para usar fora ali do ambiente da cognition, do devin. E o que que é isso? Basicamente vai ter que fazer a conta e assinar algum dos planos dele que começam com $, tá? Então já adianto isso para vocês. Ele não tá de fácil acesso como se estivesse no Open Houter ou gratuito, tá? Mas acho interessante a gente abordar aqui porque ele tem um valor, né, quando ele for liberado via PI considerável, considerado baixo, tá? E benarks bem interessantes. Então eu botei aqui que

01:02 ele tá quase um Fab 5.1 custando 64% menos. Então anotem esses dados que é importante. Vou ter aqui também que é a promessa da Cognition, que é a empresa dona do Devin, e desse modelo SW2. Se eu não me engano, o SWE ele nasceu lá no IND Surf, tá? Posso estar enganado aqui, mas é interessante ver que ele vem evoluindo de longas datas. Então a gente vê aqui dois benchmarks onde mostra o SWE comparado com o Fable em questão de nota e custo por tarefa. De onde vem o

01:33 SWE2? Bom, a Conition não treinou do zero, usou como base o química 3, que é o modelo da Moon Shot. A gente já trouxe aqui, teve bons resultados. Então um modelo interessante, chinês, tá? E aí o treino por cima da RL da Cognition. Então o que que aconteceu aqui? A gente teve três vezes mais ambiente de treino. Isso quer dizer que o química 3 foi posto à prova, né, de maneiras diferenciadas e utilizando aprendizagem por reforço, que é o URL, correção mais

02:03 difícil de burlar, então ele se tornou também mais a prova de falhas com isso, tá? O resultado desse treino do química 3 foi o SW2, um modelo fechado da Cognition, né? Então eles fecharam o modelo aberto. É meio mas tudo bem. E por enquanto só tá rodando dentro do dev. E comparando, né, com química 3, tá melhor nos benchmarks também, ou seja, eles melhoraram realmente o modelo. Três níveis de esforço, um treino só. Então a gente vai ter aí os esforços medium, high e max, tá? Isso aqui só mostra, né,

02:37 o tempo de raciocínio por tarefas, mas mesmo no esforço máximo, ele ainda realiza menos passos que a versão antiga do SW. Então, olha só que legal, né? A gente tendo aqui o modelo com todo o effort possível, ele ainda faz uma tarefa similar, né? A mesma tarefa, desculpa, com menos passos. ele chega no ponto que precisa antes, ou seja, isso também resulta em menos gasto de tokens, né? Porque é menos idas e vindas entre o

03:07 modelo e o nosso desenvolvimento ali local. Aí aqui os benchmark, então percebam em azul claro, tá? O SW2, a gente tem modelos como Astra e Fable 5.1 aqui, né? E ele tá sempre bem posicionado, né? Ó, até em terminar o BCH, ele ficou em primeiro, né? que é tarefas no terminal, que é interessante também pra gente, porque eles estão utilizando direto o terminal para rodar comandos, né? Então, cara, um modelo legal, interessante de trazer, mas como

03:37 eu falei, meio ruim o acesso ainda, né? Mas bora lá ver como que eles lançaram isso e como é que a gente acessa. Bom, galera, eles mandaram esse artigão aqui do jeito que eu gosto, tá bem explicado, mostrando aqui os diferentes níveis de níveis de effort, mostrando os benchmarks, né, as comparações, entre outros modelos e também explicando como é que funcionou esse treino, né, aquela explicação que eu fiz ali por cima do da questão do química 3 virar o SW2, tá?

04:09 Então, cara, vou deixar esse link aqui na descrição para quem tiver interesse. É algo mais hardcore, né, ler isso aqui, mas acho que vale a pena para quem quer se aprofundar. Uma coisa interessante, pelo que eu entendi, pelo que tá acontecendo aqui, mesmo tu assinando o Pro, tá? Tu vai ter esse modelo, o SW2 de graça, tá? Ele é tipo um presentinho até dia 10 de outubro, ou seja, tem um mizinho para usar, tá? Pode ver aqui, ó, esses que estão com o presentinho, não é de graça, né? Nem nem todos são de

04:40 graça. Ele tá falando que é promo pring, mas eu usei aqui para criar um jogo já, né, pra gente testar. Ele não gastou nada da minha session. Então o modelo SW2 ele tá de graça mesmo até esse dia, tá? Então quem quiser testar vai conseguir testar bastante porque ele não tá consumindo sessão. Então é uma boa, né? Vai pagar R$ 100 mais ou menos e vai conseguir testar bastante. Beleza? Então nem adianta comparar aqui usage, né? Para ver se o plano dura, porque não tem como fazer isso agora, tá? Esse aqui é o painel da Devin. Quando tu faz a tua

05:11 conta, tu já vai ter acesso e contratar o modelo, né, o plano. Vai ter acesso ao SW app aqui, né, que ele tem a a parte web também, mas tu pode baixar o desktop, fazer o login e pronto, a gente já saiu usando ele, tá bom, galera? Então, sobre o o SW2 era isso. Agora vamos fazer os testes, tá? Só antes aquela boa, aquele bom anúncio, né, sobre a formação cloud code, nosso mais novo treinamento, galera, quem quer dominar o cloud e também os softwares, né, que compõe a

05:42 STEC, como Cork, design e outros, deem uma olhada nesse link que vai tá aqui no comentário fixado desse vídeo para que vocês possam conhecer a nossa formação. Eh, nesse vídeo que eu tenho aqui na página, eu explico tudo direitinho, tá? Como é que vai ser lá dentro e tal. Aqui dá para baixar grade curricular, ver os cursos, os projetos que tu vai criar e se f alguma dúvida, manda uma mensagem pra gente no whats lá que estamos a sua disposição para esclarecer qualquer coisa. Beleza? Então tá, vamos ao dev. Então aqui, cara, eu não vou explicar o dev porque ele é bem completo, tá? Então

06:16 daria muito tempo de vídeo, né? E a gente vai direto pro modelo em si, mas ele é uma espécie de VS code misturado qu graft, tem tudo que todo mundo tem, tá? Aí eu vou dar um new session aqui. Eu tô numa pasta já que eu vou usar para criar o projeto Ftech, né? Eu criei um joguinho ali, tipo um CS para mostrar para vocês, né? Inclusive quem viu o os exemplos de CS que a gente criou aqui, viu que outros modelos como Fable, né, criaram eh representações bem interessantes, né? Depois a gente vai comparar com esse aqui, tá? Se vocês não

06:48 viu, se você não viu, veja, veja o nosso vídeo analisando o Fable e o GPT Astra, tá? Ficaram bem legais. Bom, então aqui não tem mistério, a gente só seleciona o modelo certo aqui, tá? Dei permissão total para ele e aqui é local porque ele tem também a possibilidade de desenvolver em cloud, né, pra gente poder trabalhar remoto num projeto e tal, mas não é necessário aqui. E tem o agent manager, é tipo antigravity, então por isso que eu falei que é tudo misturadão mesmo, tá? Mas é é para mim é fork do VS Code, tá? Bom, então vou começar o projeto aqui, aquela ideia,

07:20 né, de primeiro analisar o tempo de entrega, o scaffolding, o design que o modelo entrega, tá? Então eu pedi aqui para ele criar o projeto chamado chute, certo? Aquela stack que a gente já conhece, next type india, skelite. E aí o que que é o projeto? É um app de bolão de futebol entre amigos, sem dinheiro envolvido. Olha só, a turma cria um grupo, cada um dá um palpite no placar dos jogos da rodada, o app calcula os pontos e mantém um rank. O valor está na resenha, não em aposta. Responsabilidade social ainda nos projetos aqui. Tô cada

07:51 tô virando, tô ficando cada vez mais específico nos projetos porque eu já criei de tudo aqui. Então me perdoem também. Então aqui é só para criar landing page e scfolding, tá? Aí pelo que eu vi ali o jogo, né, que já tá pronto, aí criou rápido até, então não foi demorado, ele responde bem e tal. Lançamento ainda, né? Acredito que deveria ter mais fluxo, mas talvez porque tem essa paywall, né? tem que pagar o modelo para acessar, deve tá mais leve, né? Não tem opener, né? Algo mais eh tem que realizar um processo a

08:22 mais, né? Fazer uma conta lá, baixar um negócio. Então, a galera deve estar pegando leve no teste. Mas vamos ver aqui, vamos ver como é que ele se sai. Vou analisar os critérios que eu gosto de analisar aqui. Beleza? Aí, galera, uma coisa importante aqui, tá? Ele tá fazendo ainda, né? E eu não gostei que ele não salva o tempo total da sessão, tá? Mas olha só, a gente tá em agent, né? a gente pode vir em editor e ter a visão do editor também. Aí fica nosso critério onde trabalhar, tá? Então aqui seria a visão do agent manager, né? E a gente pode voltar aqui para editor e ver

08:53 os arquivos, o que, cara, para mim é essencial, velho. Eu sempre falo isso porque a gente precisa ter uma área para alterar arquivos na mão quando a gente quiser. Como por exemplo dv, que a gente coloca as nossas chaves e não é seguro passar pela Eia, né? Então cara, isso aqui é bem legal, hein? Ponto pro dev. Agora vamos aguardar novamente. Bom, galera, ele trouxe o preview aqui, ó, mas a gente quer ver no navegador, né? Terminou. Beleza, vamos lá dar uma olhada. Então, eu gostei do que eu vi, né, ali. E realmente tá interessante

09:26 aqui. Gostei. Um design meio único assim, né? Ele mistura um EA slop com design único. Então, tá um meio a meio para mim, tá? Isso aqui é legal. Eu posso já direto editar alguma coisa no Devin, né? Então, interessante. Subiu, Zoa, caiu, aguenta. Ó, uma copzinha interessante, né? Meio provocativa. Português do Brasil, né? Não tem aquela tradução literal que às vezes as ias imprimem, né? Aham. É nada demais. Não tem aquele SVG, né? Essas

09:58 novas estão desenhando, mas também não é aquele full slop, né? Vamos ver aqui então na próxima etapa. A gente vai incluir aqui um banco de dados, ó. Puxar o devin aqui de novo e vou fazer a segunda etapa, tá? Então, o prompt é esse. Não uso nenhuma skill. Deixa eu fechar isso aqui, minimizar, né? Ó, já dá para ver o responsível também, ó. Não, deixa eu ver aqui. O bom também, né? Tudo encaixadinho e tal. A segunda etapa é esse aqui. Não uso nenhuma. Agora de produto de verdade por trás da

10:29 lã de peixe. Autenticação. Então, tô pedindo ali para ele criar essa parte de autenticação, tá? alguns requisitos que eu gosto, grupos. Então, como é que a gente vai criar grupos lá dentro do sistema? Qualquer usuário logado, cria o grupo e vira dono dele. Cada grupo tem um código convite, esses caracteres, né? Então, algumas regras pra gente poder convidar as pessoas. Tela do grupo com a lista de participantes, jogos e palpites, né? Como é que a gente vai ali poder cadastrar os jogos, tá? Então, o dono do grupo cadastra, cada participante dá o palpite, na hora de início, o palpite tem que travar, né? Então tem algumas regrinhas que tem que

10:59 acontecer pra pessoa não burlar o sistema, ganhar à toa ali, né? Resultado da pontuação, dono do grupo lança o placar final de cada jogo e pode corrigir se errar. Pontuação, placar resinco, acertar só o vencedor com empate três e errar vale zero. Eu tenho também a questão de como funciona o ranqueamento, né? E aí o ranking em si. E eu peço para ele popular o banco com dados de demonstração pra gente poder entrar nesse usuário aqui e ver se deu certo, tá? Então, uma etapa interessante que vai testar ali a integração com o

11:31 banco de dados, autenticação, regra de negócio do sistema e assim a gente vai poder ter uma ideia, né, se ele erra alguma coisa básica e tal. Vamos comparar isso também lá na tela. E galera, outra coisa que vale citar aqui também, né, a gente tá rodando várias coisas e ele não me travou ainda por usagem, tá uma chuva monstra que vocês pegou o trovão, mas ele não me travou aqui ainda, né? Então, cara, é um gratuito que tá gratuito mesmo, né? Não é aquele

12:01 gratuito capadão, né, que a gente recebe ali aí te trava no meio da session, né? Vou ver se tem alguma coisa aqui já, ó. Usou. E aí, será que ele usou algum modelo por baixo dos panos ali? Ou será que ele tem um pequeno uso mínimo ali para não deixar correr solto também? Vale entender, né? Aí agora é com vocês. Mas cara, 1% que a gente já fez, né? Fiz o jogo, lembrando que eu não mostrei ainda e tô aqui na metade do chute certo, né? Tá legal, não achei ruim não. Aqui ele

12:33 tá terminando ainda. Foi mais alguns minutinhos a gente vê essa parte de banco também, tá? Ó, terminou. Então ele me deu dois usuários aqui. Eu vou usar o dono, né? Pra gente poder ver como é que ficou. Vamos só vir aqui, vamos fazer um teste rapidinho de criação, né? Ó, criou o usuário princípio, tá? Não redirecionou direto. Eu gosto quando redireciona, ó, tá meio bugadão aqui, hein?

13:05 Não tá logando. Deixa eu ver aqui se com o usuário vai. Ó, deu bug no login, tá? Isso aqui é bem preocupante, cara. Nem modelos menores que eu faço teste, a gente tem erros aqui na parte de autenticação, tá? Então vou citar isso para ele aqui para ele corrigir. Não consigo logar quando tento cadastrar usuário ou entrar pelo que você me passou. [roncando] Fica na rota barra entrar e não e aparece uma

13:38 tela branca. Corrie. Vamos ver que acontece, né? Mas cara, não curti experiência negativa. Tá bom, galera, então ele retornou aqui. Eh, deixa eu ver se ele falou alguma coisa que ele baralha muito a resposta, mas corrigida. O problema era o previo do navegador, não o código. Então, tá pintar de novo. Botar aqui um cadastro, né? Agora foi mesmo, tá? Beleza. Então vamos copiar ali o usuário que ele me deu.

14:09 Denho 1 2 3. Vamos sair. Autenticação tá funcionando, né? Ó, tá aqui o grupo já criado, mas eu posso criar outro. Tá aqui. Beleza. Vamos ver o que já tem. Ah, não tem nenhuma rodada, mas Ah, não, esse aqui, ó. Ah, já tá tudo certinho, cara. Bem bonitinho e tal. Eu posso botar o palpite de um jogo, né?

14:41 Posso adicionar um jogo aqui. Tem o rank, ó. Posso corrigir um resultado. Naturalmente isso muda o ranking já. Ah, ficou bom, mas teve aquele problema no login ali, né, que ele falou que foi um um erro. É que, por exemplo, tem o código do grupo, ó. E aí eu posso sair. Vamos ver se eu consigo entrar no grupo.

15:13 Mas a princípio tá tudo funcionando, né? Ó, consegui entrar no grupo. Bem legal. Então, cara, ele fez tudo certo e tal, teve aquele probleminha ali do login normal, um prompt conseguimos corrigir, né? Nem arranhou e usa de lá. É isso. Tá aí, galera, o que que eu fiz? Antes de começar o vídeo, eu criei um jogo tipo CS, né, pra gente ver, porque lá no Fable o CS ficou muito bom. Então, como ele falou ali que é parecido com Fable,

15:44 eu fui testar, tá? Eu o jogo ficou esse pavio curto aqui. Eu vou botar fácil que eu sou ruim. Vou de terroristas, né? Vamos ver aqui como funciona. E aí começa o time. A gente vai ver que os modelos estão piores do que o F nitidamente. O cenário tá OK, tá bem legal. Tá, tem aquela barra ali que eu não sei para que que serve, mas eu posso mudar, ó. Posso colocar C4, tal. E a Iá no fácil, ela é bem tensa, mas

16:17 vejam que já tem um movimentozinho da arma, né? Não fica todo paradinho, né? Vamos ver aqui se eu encontro alguém. Tem um shift para andar, ó. Ó, peguei o cara, tal, tentar plantar ali. Já era. Esse cara ficou bom, né? Meio travadão aqui e tal. A visão do do time, né? Um resultado OK esse, hein? Nada tão ruim. Não acho que chega no Fable, né? Foi um prompt só. Tem o minimapa ali e

16:48 tal, mas acho que desempenhou melhor que o Dipsic V4.1 Flash que eu testei. Criei lá um jogo tipo de moto ali de entrega de pedidos. Aí ali ficou meio bugado. Apesar do gráfico bom. O que eu tô percebendo é isso, né? O modelo bom, ele entrega um gráfico legal, tipo esse, e o jogo num estado jogável. E o modelo mais ou menos, ele entrega o cenário, o gráfico

17:19 bom, só que a jogabilidade, né, até tu sentindo ali o feeling no jogo, né, não só questão de funcionar, né, mas ser responsivo, os comandos ali estarem adequados, né, jogando mesmo, ruins, né, médio para ruim. É isso que eu percebi da diferença entre eles, tá? É que vai acabar um round, ele já recomeça ali para comprar também. Ele aparece o menu, mas não compra, né? Só vou deixar terminar aqui para vocês verem, ó. Aí venceu o CT, né?

17:51 Mas cara, tá tá legal, né? Deixa eu ver aqui, ó. Não compra, tá vendo? Daí tem que fazer, né? Mas ele começa normal e tal. Ó, P1 também, ó. Opa. Aí sim, ó. Essa vez eu não vim com C4. Opa, peguei todos. Então é isso, galera. Gan o round. Bem bom, né? Um menuzinho

18:22 bem padrão. Esse aqui, cara. Deve ser dado de treino mesmo, que a maioria faz isso, né? Esse zoom outrando o menu. Mas gostei, gostei do resultado, tá? Agora por 20, que que eu acho, cara? Tem o GPT Sol, dá para usar um Astra ali de vez em quando. Acho que eu iria de Codex com GPT, né? Mas eu acho que vocês devem testar ali, dar uma olhada, leiam o artigo, vejam se gostam, tá? Tem a questão do Devin, que é legal, não é ruim, tá? E para mim tá tá satisfatório,

18:55 tá? Mas eu acho que como os preços estão muito competitivos hoje, quando a gente vai pagar alguma coisa, eu já penso direto no GPT, né? Para mim tá assim hoje em dia, né? Claro que eu tô usando mais o cloud, mas também eu tô utilizando o plano 20x, então não dá para, eu sei que não é a realidade de todo mundo, né, galera? Então se eu fosse falar assim, ah, orçamento baixo, orçamento definido, né, tem uma graninha para investir, eu acho que o GPT é o melhor caminho, tá bom? Não esqueçam aí da formação Cloud Code, galera. Vou

19:25 deixar aqui no comentário fixado para vocês conhecerem, tá? Lá vocês vão aprender tudo sobre cloud Code. É o meu treinamento mais recente com a última versão. Vários sistemas prontos para vocês ficarem junto comigo e também o desenvolvimento, né, a explicação da minha estratégia para criar os sistemas que eu crio aqui na minha empresa, tá? Vou deixar o link aqui para vocês. Assistam o vídeo. Qualquer dúvida falem com a gente nos nos comentários. Não passa no comentário também, mas fala pelo WhatsApp, tá bom? Então vou ficando

19:56 por aqui. Quero saber de vocês, deixem as suas considerações, tá galera? Quero saber de vocês no comentário o que vocês acharam do SW2, tá? Avisos finais, cara, a gente tem vídeos para membros todas as semanas, então considera se tornar um membro. Tem um grupo VIP de alunos, alunos não, né? Membros do canal lá no WhatsApp. A gente tá trocando uma ideia bem bacana. Então também estou lá participando. É o benefício extra de ser membro, né? esse vídeo semanal, mais o grupo. E cara, eu tô começando com uma ideia de live aqui que é para ser

20:27 semanal aqui no canal. Eu já fiz na quinta-feira passada, tá? Puder dar uma assistida, ver o que que tu acha também seria legal pra gente poder ir trocando essa ideia nas próximas lives e evoluir esse projeto, tá? Que é algo que eu acho que faltava aqui no canal e eu tô resolvendo trazer agora para vocês, beleza? Então é isso, valeu, falou, até a próxima. Yeah.