DeepSeek finalmente corrigiu seu maior problema (V4.1 Flash 1017 — testado a fundo!)

Autoria: Prompt Engineering · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: DeepSeek Finally Fixed Its Biggest Problem (V4.1 Flash 1017 - Fully Tested!) · Canal: Prompt Engineering · 13:28 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Modelos de IA, Modelos multimodais

Resumo

O vídeo testa o DeepSeek V4.1 Flash 1017 em tarefas de programação, simulação, visão e criação de páginas, destacando sua maior eficiência no uso de tokens. Nos testes do apresentador, o modelo concluiu tarefas com menos tokens e, em alguns casos, maior precisão, tornando o custo por tarefa mais baixo. Ele se saiu bem em tarefas longas e autônomas, mas ficou atrás de Gemini 4 Argon na reprodução precisa de páginas a partir de imagens. A recomendação é usar o nível de esforço high por padrão e max em projetos longos e abertos que se beneficiem de mais refinamento.

Pontos-chave

O DeepSeek V4.1 Flash 1017 mantém o tamanho da versão anterior, mas recebeu treinamento adicional e apresentou melhorias nos benchmarks citados.
O custo real de uma tarefa depende tanto do preço por token quanto da quantidade de tokens gerados; o modelo reduziu o uso de tokens nos testes do apresentador.
Em tarefas de programação e simulação, o modelo construiu mundos 3D, simulou colisões de galáxias e treinou um robô quadrúpede com PPO sem bibliotecas de RL.
O treinamento do robô começou a produzir caminhada após 46 segundos e atingiu a pontuação-alvo em menos de dois minutos.
O modelo interpretou uma planta baixa sem medidas completas e criou uma visualização 3D, além de ajustar uma simulação de pêndulo duplo a partir de quadros de vídeo.
Na reprodução de páginas a partir de screenshots, o modelo foi competente, mas ficou atrás de Gemini 4 Argon em páginas mais complexas.
O nível max gerou cerca de 16% mais tokens que high, mas foi mais útil em tarefas longas e abertas, como a criação de mundos 3D.
O apresentador recomenda high como configuração padrão e max para projetos abertos que precisem de mais refinamento.
DeepSeek recomenda atualizar o DeepSeek harness; o apresentador cita a versão 0.2.1 como a mais recente no momento da gravação.

Capítulos

Início	Capítulo	Resumo
00:00	Novidades e eficiência de tokens	O apresentador introduz o DeepSeek V4.1 Flash 1017, comenta os benchmarks e explica por que a quantidade de tokens afeta o custo real.
04:37	Tarefas autônomas de programação e simulação	O modelo cria um dragão em 3D, mundos interativos, uma simulação de galáxias e um robô treinado com reinforcement learning.
08:14	Testes de visão e interpretação de vídeo	O modelo transforma uma planta baixa em uma visita 3D e ajusta uma simulação de pêndulo duplo a partir de quadros de vídeo.
09:48	Reprodução de páginas e níveis de esforço	O apresentador compara a reconstrução de páginas com Gemini 4 Argon e avalia quando usar os níveis high e max.
12:26	Harness recomendado e conclusão	O vídeo comenta a recomendação de atualizar o DeepSeek harness e conclui que o modelo oferece bom custo por tarefa, embora não seja de frontier.

Citações

Um modelo que custa metade, mas pensa por três vezes mais tempo, acaba custando muito mais. — 02:35

Ele estava caminhando para a frente após apenas 46 segundos de treinamento. — 07:12

Eu usaria high por padrão e mudaria para max apenas em projetos longos e abertos. — 11:55

Com esse lançamento, a DeepSeek finalmente entregou um modelo que não é apenas mais barato por token, mas também por tarefa. — 12:56

Conceitos e entidades

DeepSeek (empresa): Empresa responsável pelo modelo e pelo harness discutidos no vídeo.
DeepSeek V4.1 Flash 1017 (modelo): Versão de outubro do modelo flash da DeepSeek testada no vídeo.
DeepSeek Harness (ferramenta): Harness usado pelo apresentador para executar tarefas autônomas com o modelo.
Gemini 4 Argon (modelo): Modelo usado como referência de comparação em tarefas de criação e reprodução de páginas.
PPO (conceito): Algoritmo de reinforcement learning que o modelo implementou do zero para treinar um robô quadrúpede.
Arena web dev leaderboard (benchmark): Ranking mencionado no vídeo, baseado nas preferências de pessoas sobre resultados de desenvolvimento web.
Terminal-Bench (benchmark): Benchmark citado como um dos que tiveram maior aumento na pontuação do modelo.
DGX Spark (ferramenta): Hardware com GPU ao qual o apresentador deu acesso ao modelo para executar experimentos.

Tradução completa (pt-BR)

00:00 A DeepSeek acabou de lançar uma nova versão do seu modelo Flash. Agora, eles estão chamando isso de uma atualização menor, mas os benchmarks contam uma história bem diferente. E o que mais chamou minha atenção foi quantos tokens a menos esse modelo agora usa para chegar ao resultado. Os modelos da DeepSeek sempre foram muito competitivos em preço por token, mas isso nunca se traduziu de fato em tarefas mais baratas, porque eles tendem a usar muitos tokens. Mas este lançamento é a primeira vez que acho que isso pode realmente mudar. Passei

00:31 o fim de semana inteiro executando-o no harness da DeepSeek em tarefas reais de engenharia, não apenas em alguns testes de uma rodada. E, até agora, ele tem sido bastante impressionante. Um dos meus testes favoritos foi pedir que ele ensinasse um robô quadrúpede a andar completamente do zero, usando aprendizado por reforço. Então, aqui está o robô sem treinamento, e aqui está ele alguns minutos depois do início do treinamento. Neste vídeo, quero falar sobre tudo o que aprendi testando este modelo nos últimos dias. Vamos ver por que um modelo barato ainda pode ser

01:02 caro de executar, o que ele consegue criar sozinho e qual configuração de raciocínio vale a pena pagar. Então, vamos começar pelo que há de novo neste modelo. Esta é a versão de outubro do DeepSeek V4.1 Flash, e essa nova versão se chama 1017 por causa da data de lançamento. Ela tem exatamente o mesmo tamanho da versão anterior, lançada em setembro, mas parece que fizeram mais pós-treinamento no modelo. Portanto, os pesos que vocês veem aqui serão bem diferentes. De acordo com

01:34 a DeepSeek, esse treinamento adicional o ajudou bastante. Ele subiu em todos os benchmarks das tabelas deles, e o maior salto foi no Terminal-Bench, que passou de 31% para 42%, o que é bastante impressionante, considerando que eles estão chamando isso de uma atualização menor. Segundo os números deles, agora ele é comparável ao GPT 5.6 soul da OpenAI, que não é o modelo mais recente da OpenAI, mas este é um modelo Flash que custa uma fração do preço. Esses são os números da própria DeepSeek, mas

02:05 na tabela de classificação de desenvolvimento web da Arena, em que pessoas reais votam no resultado que preferem, ele agora é o modelo open source número um. Está apenas oito pontos atrás do Gemini 4 Argon. Mais uma vez, por uma fração do preço. Os benchmarks são uma coisa, mas a afirmação deles é que o modelo vai concluir tarefas mais rápido porque usa os tokens com muito mais eficiência. Então, vamos falar sobre por que isso importa, porque é aqui que a maioria das pessoas entende errado o preço desses modelos. O

02:35 preço que você vê na página de preços é o preço por token, mas o que você realmente paga é o preço multiplicado pela quantidade de tokens que o modelo gera para concluir sua tarefa. Portanto, um modelo que custa metade do preço, mas pensa por três vezes mais tempo, acaba custando muito mais. Esse tem sido um problema com os modelos Flash da DeepSeek. Eles costumam consumir muitos tokens. Geram muitos tokens. Por exemplo, quando a Artificial Analysis testou o V4 Flash em abril, eles

03:06 descobriram que era um dos modelos que mais consumiam tokens entre todos os que já tinham testado. A versão de setembro do V4.1 Flash era ainda mais prolixa e gerou quase o dobro de tokens que um modelo open source típico do mesmo tamanho para executar o benchmark deles. Assim, o baixo preço por token era discretamente consumido por todo o raciocínio que o modelo fazia. Agora, com este lançamento, o próprio gráfico da DeepSeek mostra que o custo das tarefas de programação, no esforço máximo, caiu de cerca de

03:36 50 centavos para cerca de 20 centavos, com o mesmo preço por token, o que é uma queda significativa. E isso só acontece se o modelo gerar muito menos tokens. Para ver se essas afirmações realmente se confirmam, executei novamente alguns dos benchmarks que usei com a versão de setembro, com exatamente os mesmos prompts e configurações. No nível de esforço alto, ele usou cerca de um terço menos tokens para raciocinar. No nível máximo, a redução foi ainda maior.

04:07 Nos meus testes, a precisão também aumentou, especialmente na detecção de objetos, porque ele tem recursos de visão. Mas percebi algo muito interessante, porque executei os testes antes de a DeepSeek anunciar oficialmente este novo modelo. O nome do modelo na API não mudou, e a impressão digital da resposta também não mudou. Mas o modelo por trás dele claramente mudou. Certo, já falamos o bastante sobre os números. Agora, vou mostrar o que este modelo realmente

04:37 consegue fazer. Peguei exatamente a mesma tarefa de longa duração que dei ao Gemini 4 Argon uma semana atrás e executei cada uma delas no harness da DeepSeek, sem supervisão alguma. Cada tarefa tem um objetivo, e o agent continua trabalhando nele. Depois, verifica a própria saída com capturas de tela e só para quando acha que terminou. Portanto, são tarefas agentic de longa duração, totalmente autônomas. A primeira é este teste 3D que o pesquisador de computação gráfica

05:08 Keenan Crane executou em outro modelo de ponta. Ele pediu um dragão 3D construído inteiramente com a função distância com sinal, que basicamente descreve cada forma usando matemática em vez de polígonos. Isso foi feito sem Blender nem qualquer software 3D. Então, dei à DeepSeek exatamente os dois prompts dele e a imagem de referência. Este é o render final. E cada escama, chifre e olho aqui é uma função matemática escrita em um único arquivo de shader.

05:38 Depois, dei a ele três mundos 3D de formato aberto. Um é um planeta procedural, outro é um laboratório de física com portal e o terceiro é um relógio mecânico com um trem de engrenagens de verdade. Cada um deles é uma única página da web que ele escreveu. Depois, ele os testou no próprio navegador e continuou aprimorando-os por cerca de uma hora. Mais uma vez, eu diria que os resultados são bem legais, considerando que é um modelo open source que você pode, potencialmente, executar no seu

06:10 próprio hardware. Páginas e shaders são uma coisa, mas eu queria ver se ele conseguia executar experimentos reais em hardware GPU de verdade. Então, dei a ele acesso ao meu DGX Spark por SSH, com regras rígidas sobre quais pastas e containers podia acessar. Para a primeira tarefa, pedi uma simulação GPU de duas galáxias colidindo, com mais de meio milhão de estrelas. Nesse caso, ele escreveu a própria simulação, verificou se a energia total permanecia quase constante e, em seguida,

06:40 renderizou a fusão completa. Na primeira vez que executei isso, meu Spark travou completamente porque eu tinha três tarefas pesadas rodando nele ao mesmo tempo. A falha foi da minha configuração, não do modelo, mas eu esperava que o modelo apontasse isso, e ele não apontou. Quero que vocês julguem a qualidade, mas isso nos traz de volta ao robô do início. Então, pedi que ele escrevesse do zero um algoritmo de aprendizado por reforço chamado PPO, sem permitir bibliotecas de RL,

07:12 e ensinasse o robô quadrúpede a andar. Também estamos interessados no tempo que levou para fazer o robô andar direito. Ele já estava andando para a frente depois de apenas 46 segundos de treinamento e atingiu a pontuação-alvo em menos de 2 minutos. Depois de 26 minutos de treinamento, estava correndo a quase 6 m/s. Então, o trabalho inteiro — escrever o código, treiná-lo, renderizar os vídeos e criar a página com o resultado — custou cerca de

07:44 22 centavos para essa tarefa específica. O que é realmente incrível. Estou preparando um vídeo comparando este modelo com alguns dos outros lançamentos de modelos open source que tivemos recentemente. Então, se isso interessa a você, não deixe de se inscrever no canal. Até agora, foi muito bom, certo? Executar código é uma coisa, mas o que acontece quando o problema só existe dentro de uma imagem ou de um vídeo? Este é um modelo multimodal, então eu queria testar de verdade seus recursos de visão.

08:14 O DeepSeek Flash consegue receber imagens nativamente, mas não vídeos. Então, o agent precisa extrair os quadros do vídeo por conta própria e analisá-los. Para o primeiro teste, dei a ele a planta de um apartamento em que dois cômodos não tinham as medidas indicadas e pedi um passeio 3D completo. O detalhe é que ele calculou as dimensões que faltavam com base no restante da planta e criou a vista de casa de bonecas, uma planta vista de cima e uma

08:46 modo de caminhada e um tour automático. O que, na verdade, é bem incrível. Depois, dei a ele 20 segundos de um pêndulo duplo realista e caótico e pedi que construísse uma simulação que correspondesse ao vídeo, lado a lado. Agora, foi aqui que ele fez algo realmente interessante em comparação com o Gemini 4 Argon, que eu testei na semana passada. Então, no caso do Argon, ele mediu discretamente os ângulos dos braços no vídeo e adicionou uma

09:17 mola oculta que puxa a simulação para que ela corresponda à gravação real. Já o DeepSeek, por outro lado, rastreou as duas luzes nos braços ao longo de todos os 500 quadros, ajustou a física a elas e, então, deixou a simulação rodar completamente por conta própria. Assim, ela corresponde ao pêndulo real nos primeiros segundos e, depois, se desvia, que é exatamente o que um sistema caótico real deveria fazer. Então, acho que este modelo é bem inteligente. Até agora, todos os resultados que eu

09:48 mostrei indicam que este modelo é realmente impressionante. Mas vamos falar dos testes de frontend, porque é aqui que a diferença em relação a um modelo de ponta realmente aparece. Dei a ele uma captura de tela de um site real e pedi que reconstruísse a página do zero, sem acesso ao código ou às imagens originais. Na página inicial do meu próprio aplicativo, a reconstrução ficou quase perfeita em termos de pixels. Aliás, este é um aplicativo de conversão de fala em texto para transcrição que funciona inteiramente

10:20 localmente no seu Mac. Confira se tiver interesse. Esta página da web é bem simples, mas, em páginas mais movimentadas, como a página inicial da NASA, ele ficou consistentemente um pouco atrás do Argon. Isso cria um contraste interessante com os resultados da Arena, porque as pessoas preferem o design dele quase tanto quanto o do Argon, mas o Argon ainda é melhor em copiar uma página com exatidão. Então, o Argon parece ter capacidades de visão muito melhores e, assim, consegue reproduzir páginas da web com base em imagens melhor do que este novo modelo DeepSeek-Flash.

10:51 Agora, outro teste que fiz foi fornecer a ele apenas a versão clara da página e pedir que criasse o modo escuro que a própria equipe do site lançaria. E ele fez um trabalho impressionante. Quanto às fotos nas páginas, ele desenhou à mão cada imagem como SVG. Então, os paraquedas na página da NASA valem mil linhas de código vetorial escrito à mão. E estou meio impressionado com essas novas iterações dos modelos,

11:23 porque, mesmo sem fornecer imagens a eles, conseguem reproduzi-las usando código, o que é incrível. Agora, vamos falar sobre qual configuração de raciocínio você deveria usar, já que o modelo vem com três níveis diferentes de esforço: baixo, alto e máximo. Para compará-los, executei novamente 20 das tarefas no nível alto e comparei os resultados com o nível máximo. No nível máximo, ele gerou cerca de 16% mais tokens, mas o tempo total foi quase

11:55 o mesmo. Nas tarefas de raciocínio e nas reconstruções de sites, o nível máximo não fez nenhuma diferença mensurável, porque o nível alto já foi perfeito no raciocínio, e as páginas ficaram quase idênticas. Mas, nas construções longas e abertas, o nível máximo concluiu a planta baixa que excedeu o tempo limite no nível alto, e os mundos 3D ficaram visivelmente mais ricos. Então, minha regra é bem simples: eu usaria o nível alto por padrão e mudaria para o máximo apenas em construções longas e abertas

12:26 nas quais você quer que ele continue refinando o resultado. Certo, algumas coisas para ter em mente. A DeepSeek diz que treinou o modelo com o harness da DeepSeek e recomenda atualizá-lo para a versão mais recente, que, acredito, é a 0.2.1 até a gravação deste vídeo. Também testei o modelo em uma versão anterior do harness da DeepSeek. Não notei nenhuma diferença perceptível, mas essa é uma recomendação da DeepSeek.

12:56 Então, preste bastante atenção a isso. Com este lançamento, a DeepSeek finalmente lançou um modelo que não é apenas mais barato por token, mas também por tarefa. E parece que estão realmente apostando na eficiência de tokens. Mas lembre-se: não é um modelo de ponta, e isso fica evidente no trabalho preciso de frontend. Ainda assim, para tarefas agentic longas a esse preço, é o melhor custo-benefício que testei até agora. Então, a guerra de preços realmente começou e

13:28 está afetando até as empresas chinesas. Agora, se quiser ver como um modelo de ponta se sairia nas tarefas que discuto neste vídeo, assista a este vídeo. E, se você testou isso em todas as suas próprias tarefas, compartilhe os resultados nos comentários, especialmente se estiver obtendo números de tokens diferentes dos meus. Enfim, espero que este vídeo tenha sido útil. Obrigado por assistir e, como sempre, até o próximo.

Transcrição original

[00:00] Deepseek just released a new version of their flash model. Now, they’re calling it a minor update, but the benchmarks tells a very different story. And the thing that caught my attention the most is how many fewer tokens this model now spends to get there. Deepseek models have always been very competitive when it comes to token pricing, but that never really translated into cheaper tasks because they tend to spend a lot of tokens. But, this release is the first time I think that might actually change. I have been

[00:31] running it all weekend in Deepseek harness on real engineering tasks, not just some one-shot games. And so far, it’s have been pretty impressive. And one of my favorite test was asking it to teach a four-legged robot to walk completely from scratch using reinforcement learning. So, here’s the untrained robot, and here it is few minutes into training. In this video, I want to talk about all my learnings from testing this model for the last couple of days. We’re going to look at why a cheap model can still be

[01:02] expensive to run, what this one can build on its own, and which reasoning setting is worth paying for. So, let’s start with what exactly is new in this model. So, this is the October release of Deepseek V 4.1 flash, and this new version is called 1017 because of its release date. Now, it’s exactly the same size as the previous September release, but seems like they have done further post training on the model. So, the weights that you see here are going to be very different. According to

[01:34] Deepseek, this further training has helped it a lot. It went up on every benchmark in their tables, and the biggest jump is on terminal bench, which goes from 31 to 42%, which actually is pretty impressive given that they’re calling it a minor update. Now, on their numbers, it’s now comparable to OpenAI’s GPT 5.6 soul, which is not OpenAI’s latest model, but this is a flash model at a fraction of the price. Now, these are Deep 6’s own numbers, but

[02:05] on Arena web dev leaderboard, where real people vote on which result they prefer, it’s now the number one open model. It’s only eight points behind Gemini 4 Argon there. Again, at a fraction of the price. Now, benchmarks are one thing, but their claim actually is that it’s going to finish tasks faster because it’s a lot more token efficient. So, let’s talk about why that matters because this is where most people get the pricing of these models wrong. The

[02:35] price you see on the pricing page is the price per token, but what you actually pay for is the price multiplied by how many tokens the model generates to finish your task. So, a model that is half the price, but thinks three times as long, ends up costing you a lot more. Now, this has been problem with Deep 6 flash models. They are usually token hungry. They produce a lot of tokens. For example, when Artificial Analysis tested the V4 flash back in April, they

[03:06] found that it was one of the most token hungry models they have ever tested. The September version of V4.1 flash was even more verbose, and it generated almost twice the tokens of a typical open model of its size to run their benchmark. So, the low price per token was quietly eaten up by all the thinking it was doing. Now, with this release, Deep 6’s own chart shows that the cost of coding tasks at max effort dropping from about

[03:36] 50 cents to about 20 cents at the same price per token, which is pretty significant. And this only happens if the model is generating a lot fewer tokens. Now, to see if these claims actually hold up, I re-ran some of my benchmarks that I used with the September version with the exact same prompts and settings. So, on high effort, it used about a third fewer tokens for reasoning. And on max, the effort drop was even bigger.

[04:07] Now, for my test, the accuracy went up at the same time, especially on object detection, because this has vision capabilities. But, I noticed something really interesting because I ran the tests before DeepSeek had officially announced this new model. The model name in the API didn’t change, and the response fingerprint never changed either. But, the model behind it had clearly changed. Okay, so that is enough on the numbers. Now, let me show you what this model can

[04:37] actually do. So, I took the exact same long-running task that I gave Gemini 4 Argon a week ago, and ran every single one of them in the DeepSeek harness completely unattended. Each task is a goal, so the agent keeps working on it. Then, it checks its own output with screenshots, and only stops when it thinks it’s done. So, these are actually long-running agentic tasks, which are fully autonomous. Now, the first one is this 3D test that graphic researcher

[05:08] Keenan Crane ran on another frontier model. He asked for a 3D dragon built entirely out of the signed distance function, which is basically describing every shape with math instead of polygons. This is without Blender or any 3D software. So, I gave DeepSeek his exact two prompts and his reference image. So, this is the final render. And every scale, horn, and eyes here is a math function written in a single shader file.

[05:38] Now, the output actually looks pretty good. Then, I gave it a three open-ended 3D worlds. One is a procedural planet, uh, a portal physics lab, and a mechanical watch with a real gear train. Each of these is a single web page that it wrote. Um, then it tested those in its browser and kept improving on uh, its own for about an hour. Again, I would say the results are uh, pretty nice here given that it’s an open model that you can potentially run your on

[06:10] your own hardware. Now, pages and uh, shaders are one thing, but I wanted um, to see if it can run real experiments on real GPU hardware. So, I gave it access to my DGX Spark over SSH with strict rules about which folders and containers it can touch. For the first task, I asked for a GPU simulation of two galaxies colliding with over half a million stars. Now, in this case it wrote its own simulation, uh, checked that the total energy stayed almost constant, and then

[06:40] rendered the full merger. Now, uh, the first time I ran this, my Spark froze completely because, um, I had three heavy jobs running on it at the same time. Now, this was my setup fault, not the model’s, but I expected the model to actually point that out, which it did not. Now, I want you to be the judge of the quality, uh, but this brings us back to the robot from the beginning. Uh, so I asked it to write a reinforcement learning algorithm called PPO from scratch with no RL libraries allowed,

[07:12] and teach the four-legged robot and to walk. We are also interested in uh, the time it took um, to make the robot walk properly. So, it was walking forward after uh, just 46 seconds of training, and it hit the target score in under 2 minutes. Now, after 26 minutes of training, it was running at almost 6 m/s. So, the entire job, uh, writing the code, training it, rendering the videos, and building the result page cost about

[07:44] 22 cents for this specific task. Which is actually pretty incredible. Now, I’m putting together a comparison video comparing this model with some of the other open model releases that we had uh recently. So, if you are interested in that, make sure to subscribe to the channel. So, so far, it’s been pretty good, right? And running the code is one thing, but what happens when the problem only exists inside an image or a video? This is a multimodal model, so I wanted to really test its uh vision

[08:14] capabilities. DeepSeek Flash can take images natively, but not video. So, the e-agent has to pull frames out of the video itself and look at them. So, for the first test, I give it a floor plan of an apartment where two of the rooms have no measurements on them and asked it for a uh full 3D walk-through. Now, here’s the thing. It actually worked out the missing room sizes from the rest of the plan and built the uh dollhouse view, a top-down plan, and a

[08:46] walk mode, and an automatic tour. Which actually is pretty incredible. Then, I give it a 20 seconds of a realistic chaotic uh double pendulum and asked it to build a simulation that matches the video side by side. Now, this is where it did something really interesting compared to uh Gemini 4 Argon, um which I actually tested last week. So, in case of Argon, uh it quietly measured the arm angles from the video and attached a

[09:17] hidden spring that pulls the simulation onto the real footage. Now, DeepSeek on the other hand, uh tracked the two lights on the arms across all 500 frames, then fitted the physics to them, and then let the simulation run completely on its own. So, it matches the real pendulum for the first few seconds, and then it drifts away, which is exactly what a real chaotic uh system should do. So, I think this model is pretty smart. Now, so far all of the results that I

[09:48] have shown you shows that this model is actually pretty impressive. But, let’s talk about uh the front-end tests because this is where the gap to a frontier model actually uh shows up. So, I gave it a screenshot of a real website and asked it to rebuild the page from scratch with no access to the original code or images. On my own app’s uh landing page, uh the rebuild is almost pixel perfect. This is, by the way, uh a speech-to-text app for transcription that runs entirely

[10:20] locally on your Mac. Check it out if you’re interested. Now, this webpage is pretty simple, uh but on busier pages like NASA’s homepage, it was consistently a little behind Argon. So, this is a nice contrast with the Arena results because people prefer its design almost as much as Argon’s, but Argon is still better at copying a page exactly. So, Argon seems to have much better vision capabilities, and then um it’s able to reproduce uh webpages based

[10:51] on images better compared to this new DeepSeek-Flash model. Now, another test uh that I ran was that I gave it only the light version of the page and asked it to design uh the dark mode the site’s own team would ship. And it actually did impressive job here. Now, for the photos on the pages, um it hand-drew every image as SVG. So, the parachutes on the uh NASA page are worth a thousand lines of handwritten vector code. And I’m kind of impressed with these new iterations of the models, uh

[11:23] even if you don’t give them images, uh they can reproduce the images using code, which is pretty amazing. Now, let’s talk about uh which reasoning uh setting you should actually use because the model ships with three different effort levels. It’s low, high, and max. Now, in order to compare them, I actually re-ran 20 of the tasks on high to compare it against max. So, on max, it generated about 16% more tokens, but the total time was almost

[11:55] the same. On the reasoning tasks and the website rebuilds, max made no measurable difference because high was already perfect on the reasoning, and the pages looks almost identical. But, on the long open-ended builds, max finished the floor plan that timed out on high, and the 3D worlds came out noticeably richer. So, my rule is pretty simple. I would use high by default and switch to max only for long open-ended builds

[12:26] where you want it to keep polishing. Okay, so a couple of things to keep in mind. DeepSeek says that they have trained the model within the DeepSeek harness, and they recommend to update it to the latest version, which I believe is 0.2.1 as of the recording of this video. Now, I tested the model in a prior version of the DeepSeek harness as well. I didn’t see any noticeable differences, but that’s something which DeepSeek is

[12:56] recommending. So, pay close attention to it. So, with this release, DeepSeek has finally shipped a model that is not only cheaper per token, but also cheaper per task. And seems like they are really pushing for the token efficiency. But, keep in mind, it’s not a frontier model, and that shows on the precise front-end work. But, for long agentic tasks at this price, it’s the best value I have tested so far. So, the pricing war has really begun and

[13:28] it’s impacting even the uh Chinese companies as well. Now, if you want to see how a frontier model would perform on these tasks that I discuss in this video, watch this video. And if you have tested this on all your own tasks, please share your results in the comments, especially if you are seeing different token numbers than I did. Anyways, I hope you found this video useful. Thanks for watching and as always, see you in the next one.