Prévia do Step 5 (testado): este modelo me deixou de queixo caído!

Autoria: AICodeKing · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Step 5 Preview (Tested): This MODEL BLEW MY BRAINS AWAY! · Canal: AICodeKing · 11:16 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Engenharia de software com IA, Modelos de IA, Modelos locais e open source

Resumo

O vídeo testa o Step 5 Preview, modelo da Stepfun, em oito tarefas de programação e raciocínio executadas no OpenCode. O modelo cria projetos variados, incluindo um jogo de arco e flecha jogável e um fluxo local de fine-tuning com pesos salvos e interface web funcional. Sua pontuação final é 67 de 80, ou 83,75%, com destaque para essas duas demonstrações. O apresentador considera a prévia promissora para protótipos interativos e experimentos locais, mas ressalta problemas de qualidade nos dados gerados e limitações em algumas tarefas.

Pontos-chave

O Step 5 Preview é testado em oito tarefas no OpenCode, com até 64 mil tokens de saída por geração.
O modelo obteve 67 de 80 pontos, equivalentes a 83,75% e nota geral de 8,38 em 10.
O jogo de arco e flecha inclui alvos móveis, vento, placar por tempo e uma opção funcional para jogar novamente.
Na tarefa de fine-tuning local, o modelo preparou dados, executou treinamento com LoRA, salvou o adapter e criou uma interface web que usa os pesos treinados.
O apresentador identificou erros factuais nos dados de treinamento gerados e recomenda verificá-los antes de confiar nas respostas.
Outras tarefas incluíram simulação de elevadores, objetos 3D interativos, uma ilustração em SVG, um problema de contagem e um relógio de pulso 3D.
Na comparação apresentada, os resultados de GLM e MIMO são referências históricas, não uma classificação controlada baseada apenas nas demonstrações novas.

Capítulos

Início	Capítulo	Resumo
00:02	Apresentação e configuração do teste	O vídeo apresenta o Step 5 Preview, suas capacidades e os parâmetros usados para compará-lo com outros modelos no OpenCode.
02:42	Simulação e objetos 3D	O apresentador avalia a simulação de elevadores, o estojo de lentes de contato e a animação de uma mesa dobrável.
05:23	Ilustração e jogo de arco e flecha	O modelo cria uma ilustração de panda em SVG e um jogo jogável com alvos, placar e opção de reiniciar.
06:58	Problema de contagem e fine-tuning local	O vídeo mostra o resultado do problema de contagem e um fluxo local de treinamento com interface web, apontando erros nos dados gerados.
08:34	Pontuação final e conclusão	O apresentador avalia o relógio 3D, resume a pontuação e comenta as demonstrações mais promissoras e as comparações com outros modelos.

Citações

Joguei uma rodada completa no navegador, acertei os quatro alvos e obtive um resultado cronometrado no placar. — 05:53

O Step fez essa sequência funcionar, e verificamos a interface local usando o modelo treinado. — 08:02

O Step 5 Preview soma 67 pontos de 80. — 08:34

Acho que vale muito a pena experimentar o Step 5 Preview para protótipos interativos e experimentos de desenvolvimento local como estes. — 10:44

Conceitos e entidades

Step 5 Preview (modelo): Modelo de prévia da Stepfun testado em tarefas de programação e raciocínio.
Stepfun (empresa): Empresa que desenvolveu o Step 5 Preview e patrocinou o vídeo.
OpenCode (ferramenta): Ambiente usado para executar os modelos, criar arquivos, rodar comandos e inspecionar os projetos entregues.
KingBench 3 (benchmark): Conjunto de oito tarefas usado no vídeo para avaliar os modelos.
GLM-5.3 (modelo): Modelo usado como referência na comparação de resultados.
GLM-5.3-Flash (modelo): Variante do GLM 5.3 cujas demonstrações recentes são comparadas às do Step 5 Preview.
MiMo-V2.6 Pro (modelo): Modelo incluído entre as referências históricas da comparação.
MiMo-V2.6 Flash (modelo): Variante do MIMO v2.6 incluída entre as referências históricas da comparação.
Gemma 2B (modelo): Modelo mencionado no enunciado da tarefa de fine-tuning local.
MLX (ferramenta): Ferramenta mencionada como parte do fluxo usado para executar o modelo Gemma localmente.
LoRA (conceito): Método de treinamento usado na tarefa para adaptar o modelo localmente.

Tradução completa (pt-BR)

00:02 [música] Olá, bem-vindos a mais um vídeo. Hoje vamos testar o Step 5 preview, o novo modelo principal da Stepfun. Os resultados que chamaram minha atenção foram um jogo de arco e flecha jogável e um modelo ajustado localmente com uma interface web funcional. São duas tarefas bem diferentes, e o Step entregou as duas por meio de código aberto. Então, vou mostrar o que ele criou e por que acho que vale a pena prestar atenção a esta prévia. A Stepfun está patrocinando este vídeo. Estou usando a API oficial da Stepfun diretamente no Open Code e vamos testar o modelo nas oito tarefas do Kingbench 3. MIMO

00:34 v2.6 Pro, MIMO v2.6 flash, GLM 5.3 e GLM 5.3 Flash são nossos pontos de referência. Hoje, o foco principal é o que podemos obter do Step e como seus projetos funcionam quando realmente os usamos. O Step 5 preview oferece suporte a um milhão de tokens de contexto e até 64.000 tokens de saída. Ele aceita texto, imagens e vídeo. Nos testes de hoje, usamos prompts de texto para programação e raciocínio dentro do Open Code. A Stepfun descreve a arquitetura como um modelo de mistura de especialistas com 600 bilhões de parâmetros no total e 27 bilhões ativos para cada token.

01:06 Basicamente, o modelo ativa uma parte dos parâmetros para cada token. Essa é uma configuração técnica interessante, mas quero me concentrar no que ele produz dentro de um agente de programação. E o Open Code nos oferece uma maneira útil de ver isso. O Step consegue trabalhar na tarefa, criar arquivos, executar comandos e verificar o próprio resultado. Com as ferramentas fornecidas pelo Open Code, temos projetos reais para abrir e inspecionar. O jogo e o aplicativo de treinamento local são exemplos particularmente bons de por que esse fluxo de trabalho é útil. O preço internacional divulgado para a API é de US$ 1 por milhão de tokens de entrada sem cache, US$ 5 para entrada em cache e US$ 2,70 por milhão de

01:39 tokens de saída. Os tokens de raciocínio estão incluídos na cobrança por saída. Vale prestar atenção a essa tarifa de entrada em cache se seu fluxo de trabalho enviar repetidamente um contexto compartilhado elegível, embora o valor real da conta ainda dependa de quanto o agente gera e de quantas chamadas ele faz. A Stepfun também diz que os pesos estão previstos para 15 de outubro. A versão que estamos usando hoje é a prévia da API, e vou acompanhar o lançamento planejado depois de ver o que ela já consegue criar aqui. Então, vamos à configuração. O Step se conecta diretamente à API da Stepfun, enquanto os quatro modelos de referência usam o Open Router. Todos os cinco rodam dentro do

02:10 Open Code. Cada tarefa tem sua própria pasta e sessão, com o prompt original do Kingbench e sem soluções de outros modelos ou gabarito. São oito tarefas, cada uma valendo 10 pontos, para um total de 80 pontos. Solicitei alto esforço de raciocínio e permiti até 64.000 tokens de saída por geração. Conferimos os projetos entregues e usamos os resultados atualizados para a pontuação final. Os números de GLM e MIMO no gráfico comparativo continuam sendo os resultados históricos do Kingbench. As novas execuções deles nos dão demonstrações de referência, enquanto o Step recebe sua pontuação desta análise, que mantém as pontuações anteriores intactas e deixa claro o que o gráfico representa. A primeira tarefa é a simulação de elevadores. Precisamos de

02:42 três elevadores, cada um levando apenas uma pessoa, com pessoas esperando em andares diferentes e indo para destinos atribuídos aleatoriamente. Há bastante comportamento para coordenar, porque a simulação precisa acompanhar tanto os elevadores quanto as pessoas que esperam por eles. Então, vamos enviar o prompt e conferir. O Step nos dá uma simulação funcional. Criei 12 pessoas, e o número de pessoas atendidas chegou a 12, sem ninguém esperando ou dentro de um elevador. Os elevadores levam um passageiro por vez. As pessoas ficam nas filas até poderem embarcar, e as dicas de ferramenta com os destinos também estão lá. Gosto de poder acompanhar todo o

03:14 processo na tela. Criamos pessoas, vemos os elevadores pegá-las e observamos as filas diminuírem à medida que elas chegam aos andares. O Step implementou o comportamento central solicitado no prompt, e podemos verificar isso executando a simulação de fato. Os controles sobrepostos dos andares e um bug que ocorre ao reiniciar durante o embarque custaram pontos. Por isso, fica com 8 de 10. São problemas específicos a corrigir em um projeto que já demonstra o comportamento solicitado dos passageiros e dos elevadores. Agora, vamos testar o estojo para lentes de contato. O pedido é um modelo em 3JS com rótulos para a esquerda e a direita e tampas que se abrem ao clicar nelas, tudo em um único arquivo HTML. O Step

03:47 entrega um estojo 3D interativo. Posso abrir cada tampa separadamente, fechá-la de novo e usar os controles da câmera para inspecionar o modelo. É um resultado útil para um prompt curto, especialmente quando queremos experimentar como um objeto se comporta na tela. Veja o que acontece quando abro um lado e depois o outro. Cada tampa responde separadamente, e posso mover a câmera para inspecionar o interior. Com essas interações funcionando, temos algo muito mais útil para avaliar do que uma única imagem estática. A geometria e o enquadramento inicial precisam de mais uma revisão, e o líquido e as lentes deveriam ficar nos compartimentos, em vez de

04:17 subirem junto com as tampas. Vou dar 8 de 10. Gosto dos controles funcionais das tampas e da interação com a câmera. A terceira tarefa é uma mesa dobrável. O prompt pede um controle deslizante que desdobre a mesa quando movido para a direita e a dobre quando movido para a esquerda, com uma animação 3D suave. O Step cria uma mesa reconhecível, e as estruturas das pernas se movem suavemente sob o tampo. Posso percorrer as posições intermediárias, parar no meio e inverter o movimento. Assim, temos uma animação contínua que responde ao controle, exatamente o tipo de interação que eu queria explorar neste teste. Mas ele inverte a direção solicitada para o

04:50 controle deslizante. O lado esquerdo estende as pernas, e o direito as recolhe para baixo do tampo, enquanto os rótulos descrevem o contrário. Por isso, fica com 8 de 10. O movimento de dobrar funciona, e vale a pena mostrar essas posições intermediárias, porque é nelas que podemos inspecionar a animação de verdade. A seguir, o panda comendo um hambúrguer. Esta é uma tarefa de SVG, então pedimos ao Step que crie uma ilustração vetorial com um personagem reconhecível e uma relação clara entre o panda e a comida. O resultado é imediatamente reconhecível como um panda segurando um hambúrguer perto da boca. É um SVG válido, então temos uma

05:23 ilustração que podemos abrir e redimensionar enquanto inspecionamos as formas. Acho que este é um bom exemplo da variedade desses testes. O Step passa de coordenar uma simulação à criação de um pequeno recurso visual. As camadas do hambúrguer e o posicionamento da boca precisam de alguns ajustes na composição. Por isso, fica com 8 de 10. O tema e a ação estão claros, e a ilustração oferece um ponto de partida útil para orientar melhor a arte. Agora, vamos criar um jogo de arco e flecha. Deve haver quatro alvos, e acertá-los em menos tempo deve colocar o jogador mais alto no placar. Este é um dos meus resultados favoritos do Step nesta

05:53 análise toda. Você puxa a corda do arco, prepara o disparo e solta a flecha. O Step também adiciona vento e alvos em movimento. Então, o jogo envolve um pouco mais do que simplesmente clicar em quatro objetos parados. É preciso ajustar a mira e observar como o disparo se comporta. Joguei uma rodada completa no navegador, acertei os quatro alvos e consegui um resultado cronometrado no placar. O botão para jogar de novo reinicia corretamente os alvos, as flechas e o cronômetro. Assim, o jogo nos leva por todas as etapas: mirar, acertar os alvos, registrar um resultado e começar outra rodada. É isso que torna esta demonstração convincente para mim. Podemos jogar

06:26 e inspecionar o comportamento enquanto ele acontece. Os tempos menores aparecem acima dos mais lentos. Os erros não contam como acertos, e acertar o mesmo alvo várias vezes não conclui o desafio indevidamente. O Step entregou aqui um jogo mais completo do que a demonstração recém-gerada do GLM 5.3 flash, que falhou ao salvar o resultado no placar. Essa comparação é entre as demonstrações entregues. As pontuações históricas do gráfico permanecem inalteradas. Há um pequeno caso extremo em que um resultado lento que fica fora do top 10 pode exibir a posição zero. Com esse desconto, o Step recebe 9,5 de 10. Gosto muito desse resultado. A rodada jogável e o

06:58 ciclo de replay funcional fazem dele uma das demonstrações mais fortes deste teste. A sexta tarefa é o problema de contagem. A resposta correta é 20.460. Na tabela de pontuação atualizada, dou ao Step 10 de 10 por essa questão. Isso adiciona os 10 pontos completos ao total. A sétima tarefa é mais complexa. Gerar um conjunto de dados com fatos sobre pandas. Fazer fine-tuning de um modelo Gemma 2B e criar uma interface web local que produza um fato quando eu atualizar a página. Este é o outro resultado que torna o Step especialmente interessante para mim como agente de programação. O Step gerou o conjunto de dados, executou um treinamento Laura de verdade e salvou o

07:30 o adapter treinado e o fundiu a um modelo local. Ele usou o Gemma 22B instruct por meio do MLX. Em seguida, o app web executou a inference localmente com esses pesos treinados. A execução precisou de uma continuação depois que corrigi um problema na configuração do cache no ambiente de teste. Depois disso, o Step concluiu o workflow. Então, aqui está o app. Ele gera uma resposta sobre pandas localmente, e atualizar a página produz outra resposta. Também há um botão “Próximo fato”, que facilita a demonstração. Essa tarefa envolve várias partes que precisam se encaixar. Os

08:02 dados precisam ser preparados. O treinamento precisa ser executado. Os pesos resultantes precisam ser salvos, e o app precisa carregá-los corretamente. O STEPPEP fez essa cadeia funcionar, e verificamos a interface local usando o modelo treinado. Nesta demonstração inédita, o STEPP entregou um workflow de treinamento local mais completo do que qualquer uma das execuções do GLM. O app funcional e os pesos salvos são os motivos pelos quais eu dedicaria mais tempo a explorar o STEP para esse tipo de projeto. A dedução de pontos é por erros factuais nos dados de treinamento gerados, incluindo uma afirmação incorreta sobre os primeiros pandas em um zoológico dos EUA. Os dados precisam ser verificados antes de você confiar nos fatos gerados. Estou dando nota 9,5 de 10

08:34 pelo workflow entregue, incluindo na avaliação esse problema de qualidade dos dados. A tarefa final é criar um relógio de pulso 3D completo, com ponteiros suaves, a hora atual e dois fusos horários. Gereis este de novo, e o Step terminou o relógio. Ficou bom, mas nada extraordinário. Então, estou dando nota 6 de 10. Bem, este é o gráfico final. O Step Five Preview recebe 67 pontos de 80. Isso dá 83,75% ou uma nota geral de 8,38 em 10. As notas individuais são 8 para o elevador, 8 para o estojo de lentes, 8

09:08 para a mesa dobrável, 8 para o panda, 9,5 para o arco e flecha, 10 para o problema de contagem, 9,5 para o fine-tuning e 6 para o relógio de pulso. Agora, sete das oito tarefas recebem pelo menos 8 de 10, incluindo duas notas 9,5 e uma nota 10. O total atualizado é 83,75%. O jogo e o app de treinamento local continuam sendo minhas demonstrações favoritas. E, junto com a simulação, os objetos 3D e a ilustração, eles mostram a variedade de projetos que o STEP consegue realizar. Para referência, o GLM 5.3 está em 91,25%

09:40 e o GLM 5.3 Flash está em 78,75% no gráfico de referência. O resultado original do Myo V2.6 Pro é 69,38%, e o resultado original do Myo V2.6 Flash é 7250%. Ambos os modelos Myo mantêm a nota anterior de 10 em 10 para fine-tuning. Essas são pontuações históricas de referência, não uma nova classificação controlada das demonstrações inéditas. Há também o reteste de matemática do Myo Flash, identificado separadamente, com um limite de 131.072 tokens. Usando essa nota de matemática, ele fica com 80% e permanece separado

10:13 porque usou um orçamento de saída diferente. Os 83,75% atualizados do Step o colocam acima dos valores de referência do Myo e do GLM 5.3 Flash neste gráfico, enquanto o GLM 5.3 continua à frente. Suas demonstrações mais fortes me dão vontade de colocá-lo para trabalhar em outro protótipo interativo. Pessoalmente, o jogo de arco e flecha e o app de fine-tuning local são os clipes que eu mais gostaria de mostrar a vocês. Eles nos dão interações completas para experimentar, e a tarefa de treinamento local nos deixa com pesos salvos e um app que os utiliza. É um trabalho considerável para um agent de programação entregar. Acho que vale muito a pena experimentar o Step Five Preview para

10:44 protótipos interativos e experimentos de desenvolvimento local como estes. Comece com uma tarefa cujo resultado você possa verificar diretamente, como fizemos ao jogar o jogo e atualizar o app local. Os dois resultados de 9,5 me dão um motivo concreto para explorar mais esses workflows. Então, se você tem curiosidade sobre o Step, vou deixar a documentação dele e as instruções para configurar a API diretamente com o open code na descrição. Você pode seguir o mesmo caminho, abrir um projeto novo e ver como ele lida com o tipo de trabalho que você quer desenvolver. Estou especialmente interessado no que podemos criar em seguida, expandindo o jogo ou desenvolvendo o app de modelo local

11:16 a partir desta análise. No geral, é bem legal. Enfim, me contem o que vocês acham [música] nos comentários. Se gostaram deste vídeo, considerem fazer uma doação pela opção Super Thanks ou se tornar um membro clicando no botão “Participar”. Além disso, [música] deixem um gostei neste vídeo e se inscrevam no meu canal. Vejo vocês no próximo. Até lá, tchau. >> [música] [música]

Transcrição original

[00:02] [music] Hi, welcome to another video. So, today we’re testing Step 5 preview, Stepfun’s new flagship model. And the results that got my attention were a playable archery game and a locally fine-tuned model with a working web interface. Those are two very different jobs, and Steep delivered both through open code. So, let me show you what it built and why I think this preview is worth paying attention to. Stepfun is sponsoring this video. I’m using Steppp’s actual API directly in open code and we’re putting it through all eight tasks in Kingbench 3. MIMO

[00:34] v2.6 Pro, MIMO v2.6 flash, GLM 5.3 and GLM 5.3 Flash are our reference points. The main focus today is what you can get out of step and how its projects work when you actually use them. Now, step 5 preview supports a million tokens of context and up to 64,000 output tokens. It accepts text, images, and video. Today’s tests use text prompts for coding and reasoning inside open code. Stepfund describes the architecture as a mixture of experts model with 600 billion parameters in total and 27 billion active for each token.

[01:06] Basically, the model activates a portion of its parameters for each token. That’s an interesting technical setup, but the part I want to spend time on is what it produces inside a coding agent. And open code gives us a useful way to see that. Step can work through the task, create files, run commands, and check its own output. Using the tools Open Code provides, we get actual projects to open and inspect. The game and the local training app are particularly good examples of why that workflow is useful. The published international API price is $1 per million uncashed input tokens, 5 for cached input, and $2.70 per million

[01:39] output tokens. Reasoning tokens are included in output billing. That cached input rate is worth looking at if your workflow repeatedly sends eligible shared context, although your actual bill still depends on how much the agent generates and how many calls it makes. Stepfun also says the weights are planned for October 15th. The version we’re using today is the API preview, and I’ll be watching that planned release after seeing what it can already build here. So, let’s get into the setup. Step connects directly to Stepf funs API while the four reference models use Open Router. All five run inside

[02:10] Open Code. Every task has its own folder and session with the original King Bench prompt and no other model solution or answer key. There are eight tasks, each worth 10 points for 80 points in total. I requested high reasoning effort and allowed up to 64,000 output tokens per generation. We check the delivered projects and use the updated results for the final scorecard. The GLM and MIMO figures on the comparison chart remain their historical Kingbench results. Their fresh runs give us reference demonstrations while STEPP receives its score from this review that keeps the earlier scores intact and makes it clear what the chart represents. The first task is the elevator simulation. We need

[02:42] three elevators, each taking only one person with people waiting on different floors and traveling to randomly assigned destinations. There’s quite a bit of behavior to coordinate here because the simulation has to keep track of both the cars and the people waiting for them. So, let’s send it and check. Step gives us a working simulation. I spawned 12 people and the delivered count reached 12 with nobody left waiting or riding. The elevators carry one passenger at a time. People stay in the cues until they can board and the destination tool tips are there too. I like that you can follow the whole

[03:14] process on screen. Spawn people, watch the cars collect them and see the cues drain as they reach their floors. Step has implemented the central behavior of the prompt and we can verify it by actually running the simulation. The overlapping floor controls and a reset during pickup bug costed points. So this gets 8 out of 10. Those are specific things to correct in a project that already demonstrates the requested passenger and elevator behavior. Now, let’s try the contact lens case. This asks for a 3JS model with left and right labels and caps that open when you click them, all in a single HTML file. Step

[03:47] delivers an interactive 3D case. I can open either cap independently, close it again, and use the camera controls to inspect the model. That’s a useful result from a short prompt, especially when you want to experiment with how an object behaves on screen. Watch what happens as I open one side and then the other. Each cap responds separately and I can move the camera to inspect the interior. Having those interactions working gives us something much more useful to evaluate than a single still image. The geometry and default framing need another pass and the liquid and lens should stay in the wells instead of

[04:17] moving up with the caps. I’m giving this 8 out of 10. The working cap controls and camera interaction are the parts I like here. The third task is a folding table. The prompt asks for a slider that unfolds the table as you move right and folds it as you move left with smooth 3D animation. step creates a recognizable table and the leg frames move smoothly underneath the top. I can scrub through the middle positions, stop partway and reverse the movement. So, we get a continuous animation that responds to the control, which is exactly the kind of interaction I wanted to explore with this test. It does reverse the requested

[04:50] slider direction. The left side extends the legs and the right side tucks them underneath while the labels describe the opposite. That keeps it at 8 out of 10. The folding motion itself works and it’s worth showing those intermediate positions because that’s where you can really inspect the animation. Next is the panda eating a burger. This is an SVG task, so we’re asking step to create a vector illustration with a recognizable character and a clear relationship between the panda and its food. The result reads immediately as a panda holding a burger near its mouth. It is valid SVG, so we have an

[05:23] illustration we can open and scale while inspecting the shapes. I think this is a nice example of the range in these tests. Step moves from coordinating a simulation to making a small visual asset. The burger layers and mouth placement need some composition cleanup. So, this gets 8 out of 10. The subject and action are clear, and the illustration gives us a usable starting point for further art direction. Now, let’s make a bow and arrow game. There should be four targets, and hitting them in less time should move the player higher on the leaderboard. This is one of my favorite results from step in the

[05:53] whole review. You draw back from the bow, set the shot, and release the arrow. Step also adds wind and moving targets. So, there’s a bit more to the game than simply clicking four stationary objects. You have to adjust your aim and see how the shot behaves. I played a complete round in the browser, hit all four targets, and got a timed result on the leaderboard. Play again resets the targets, arrows, and timer correctly. So, the game carries us through aiming, hitting the targets, recording a result, and starting another round. That’s what makes this demo convincing to me. We can play the game

[06:26] and inspect the behavior as it happens. The lower times sort above the slower ones. Misses don’t count as hits, and hitting the same target repeatedly doesn’t falsely finish the challenge. Step delivered a more complete game here than the fresh GLM 5.3 flash demo, which failed when saving its leaderboard result. That’s a comparison of these delivered demos. The historical chart scores stay unchanged. There’s a small edge case where a slow result that misses a full top 10 can display rank zero. With that deduction, step gets nine and a half out of 10. I like this result a lot. The playable round and

[06:58] working replay loop make it one of the strongest demonstrations in this test. The sixth task is the counting problem. The correct answer is 20,460. On the updated scorecard, I’m giving step 10 out of 10 for this question. That adds the full 10 points to its total. The seventh task is more involved. Generate a data set of panda facts. fine-tune a Gemma 2B model and create a local web interface that produces a fact when I refresh the page. This is the other result that makes STEP especially interesting to me as a coding agent. Step generated the data set, ran an actual Laura training job, saved the

[07:30] trained adapter, and fused it into a local model. It used Gemma 22B instruct through MLX. The web app then ran inference locally with those trained weights. The run needed one continuation after I corrected a cache setup issue in the test environment. After that, step completed the workflow. So, here’s the app. It generates a Panda response locally and refreshing the page produces another response. There’s also a next fact button which makes it easy to demonstrate. This task involves several pieces that have to fit together. The

[08:02] data has to be prepared. The training has to run. The resulting weights have to be saved and the app has to load them correctly. STEPPEP got that chain working and we verified the local interface using the trained model. For this fresh demonstration, STEPP delivered a more complete local training workflow than either GLM run. The working app and saved weights are the reasons I would spend more time exploring STEP for this kind of project. The deduction is for factual errors in the generated training data, including a wrong claim about the first pandas in a US zoo. The data needs checking before you rely on the generated facts. I’m giving this nine and a half out of 10

[08:34] for the delivered workflow with that data quality issue included in the assessment. The final task is a full 3D wristwatch with smooth hands, the current time and two time zones. I regenerated this one and step finished the watch. It was fine, but nothing extraordinary. So, I’m giving it 6 out of 10. So, this is the final chart. Step five, preview gets 67 points out of 80. That is 83.75% or an overall grade of 8.38 out of 10. The individual scores are eight for the elevator, eight for the lens case, eight

[09:08] for the folding table, eight for the panda, 9 and 1/2 for archery, 10 for the counting problem, 9 and 1/2 for fine-tuning, and six for the wristwatch. Seven of the eight tasks now score at least eight out of 10, including two 9 and 1 halfs and a 10. The updated total is 83.75%. The game and the local training app remain my favorite demonstrations. And together with the simulation, 3D objects, and illustration, they show the range of projects STEP can handle. For reference, GLM 5.3 is at 91.25%

[09:40] and GLM 5.3 Flash is at 78.75% on the retain chart. Myo V2.6 Pro’s original result is 69.38% and Myo V2.6 Flash’s original result is 7250%. Both myo models retain their earlier 10 out of 10 for fine-tuning. These are historical reference scores rather than a new controlled ranking from the fresh demonstrations. There’s also the separately labeled Myo flash math retest with a 131,072 token allowance. Using that math grade gives it 80% and it stays separate

[10:13] because it used a different output budget. steps updated 83.75% puts it above the myo and GLM 5.3 flash reference figures on this chart with GLM 5.3 still ahead. Its strongest demonstrations make me want to put it to work on another interactive prototype. Personally, the archery game and the local fine-tuning app are the clips I’d spend the most time showing you. They give us complete interactions to try and the local training task leaves us with saved weights and an app that uses them. That’s substantial work for a coding agent to deliver. I think step five preview is well worth trying for

[10:44] interactive prototypes and local development experiments like these. Start with a task where you can check the result directly as we did by playing the game and refreshing the local app. The two 9 and 1/2 results give me a concrete reason to explore those workflows further. So if you’re curious about step, I’ll leave its documentation and the direct API setup for open code in the description. You can use the same route, open a fresh project and see how it handles the kind of work you want to build. I’m particularly interested in what we can make next by extending the game or building on the local model app

[11:16] from this review. Overall, it’s pretty cool. Anyway, let me know your thoughts [music] in the comments. If you like this video, consider donating through the super thanks option or becoming a member by clicking the join button. Also, [music] give this video a thumbs up and subscribe to my channel. I’ll see you in the next one. Until then, bye. >> [music] [music]