DeepSeek V4.1 Flash vs. V4 Flash: mesmos prompts, mesmo hardware

Autoria: Prompt Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: DeepSeek V4.1 Flash vs V4 Flash: Same Prompts, Same Hardware · Canal: Prompt Engineer · 13:37 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Inferência e otimização de modelos, Modelos de IA, Modelos locais e open source

Resumo

O vídeo compara DeepSeek V4.1 Flash com a versão antiga V4 Flash usando os mesmos prompts e, em alguns testes, o mesmo hardware. O apresentador relata que o modelo antigo foi retirado da API e que roteadores podem redirecionar solicitações sem deixar isso claro. Nos testes de animação, V4.1 foi mais confiável no desafio do donut, empatou no foguete e usou mais tokens no robô; também passou nos testes de visão, tool calling e recuperação de informação em um contexto longo. O vídeo destaca ressalvas sobre verbosidade, apresentação de benchmarks, preços e mudanças silenciosas de versão, e conclui que V4.1 Flash supera o modelo antigo em vários testes, mas não o V4 Pro em conhecimento e raciocínio.

Pontos-chave

DeepSeek deixou de servir V4 Flash pela API e passou a direcionar o nome antigo para V4.1 Flash; os pesos da versão antiga continuam disponíveis.
O teste comparou as versões com prompts iguais, incluindo três animações, chamadas de ferramentas, leitura de imagem, busca em contexto longo e velocidade.
No desafio do donut, V4.1 acertou duas de três tentativas, enquanto V4 Flash acertou uma de três; as duas versões empataram no foguete.
V4.1 usou quase o dobro de tokens que V4 Flash na animação do robô, embora tenha sido mais econômico no teste do foguete.
V4.1 encontrou uma informação escondida em um prompt de 182.279 tokens e realizou chamadas paralelas de ferramentas corretamente.
Em testes no mesmo host, V4.1 foi mais rápido que V4 Flash; os resultados variaram entre provedores, então o apresentador recomenda comparar modelos no mesmo hardware.
O apresentador critica a verbosidade do modelo e a apresentação dos benchmarks, observando que V4 Pro ainda lidera em algumas avaliações de conhecimento e raciocínio.
Roteadores podem direcionar solicitações para outro modelo ou provedor; o vídeo recomenda verificar os dados de cada resposta.

Capítulos

Início	Capítulo	Resumo
00:00	A troca silenciosa de modelo e o lançamento de V4.1	O apresentador explica que a API deixou de servir V4 Flash pelo nome antigo e apresenta a arquitetura, o KV cache e os benchmarks de V4.1.
04:42	Testes de animação com os mesmos prompts	As versões são comparadas em animações de robô, donut e foguete, com diferenças de qualidade, confiabilidade e uso de tokens.
08:23	Visão, ferramentas, contexto e velocidade	O vídeo testa leitura de imagens, tool calling, esforço de raciocínio, recuperação de uma informação em contexto longo e velocidade em diferentes hosts.
11:31	Custos, ressalvas e conclusão	O apresentador resume preços e limitações, critica a verbosidade e os benchmarks e conclui que V4.1 supera V4 Flash em vários testes, mas não V4 Pro em conhecimento e raciocínio.

Citações

O modelo que eu pedi não existe mais. — 00:00

O modelo antigo acertou o donut uma vez em três. — 06:47

Se estiver comparando modelos por um roteador, confira o provedor em cada resposta. — 08:55

O modelo que você chama hoje pode ser retirado sem aviso, porque você pode baixá-lo. — 13:05

Conceitos e entidades

DeepSeek V4.1 Flash (modelo): Modelo comparado no vídeo, apresentado como a versão que passou a substituir V4 Flash em solicitações feitas com o nome antigo.
DeepSeek V4 Flash (modelo): Versão antiga usada como referência nos testes e que, segundo o vídeo, deixou de ser servida pela API da DeepSeek.
DeepSeek V4 Pro (modelo): Modelo comparado a V4.1 Flash em benchmarks, velocidade e preço, que ainda lidera em algumas avaliações de conhecimento e raciocínio.
OpenRouter (ferramenta): Roteador usado para acessar instâncias de V4 Flash, que em um teste direcionou a solicitação de imagem para V4.1 Flash.
Artificial Analysis (empresa): Organização cujas avaliações e medições de velocidade e verbosidade são citadas no vídeo.
KV cache (conceito): Memória que guarda informações já lidas pelo modelo e cujo tamanho por token é comparado entre as versões.
Mixture of Experts (conceito): Arquitetura atribuída a V4.1 Flash, na qual diferentes partes do modelo são ativadas durante o processamento.
context window (conceito): Capacidade de contexto de um milhão de tokens atribuída a V4.1 Flash no vídeo.

Tradução completa (pt-BR)

00:00 Pedi à API da Deepseek o V4 Flash, o modelo antigo. A resposta veio identificada como Deepseek Flash, com exatamente a mesma impressão digital do sistema que o novo. Então, o modelo que pedi não existe mais. A Deepseek o aposentou em 10 de setembro e, sem alarde, passou a direcionar o nome antigo para o V4.1. Isso torna um teste justo de antes e depois mais difícil do que deveria. A própria tabela da Deepseek diz que o V4.1 Flash supera o carro-chefe V4 Pro. Eu quis conferir isso comparando com o antigo Flash, usando os mesmos prompts, e a Deepseek

00:30 já não o disponibiliza. Mas os pesos ainda são públicos. 28 hosts no Open Router ainda executam o V4 Flash, a versão de 31 de julho. Então, fixei o modelo antigo nesses hosts, desativei as alternativas e executei as duas versões nos mesmos testes. Três animações de ASCII, incluindo um donut 3D que um dos modelos desenhou como uma linha pontilhada plana. Chamadas de ferramentas de visão, uma agulha escondida a 182.000 tokens e velocidade medida no mesmo hardware. Todos os números deste vídeo vieram da minha própria tela, exceto aqueles que digo serem da DeepSeek.

01:01 Agora, o que eles lançaram de fato? O V4.1 Flash é um modelo de mistura de especialistas com 552 bilhões de parâmetros, sob licença MIT, com os pesos no Hugging Face no mesmo dia. A parte interessante é a divisão: a DeepSeek o chama de codificador-decodificador causal. São 40 camadas divididas ao meio. 20 camadas leem seu prompt. 20 camadas escrevem a resposta. A leitura ativa 8 bilhões de parâmetros por token. A escrita ativa 16 bilhões. Essa assimetria foi pensada para agents. Um

01:31 agent lê muito mais do que escreve. O conteúdo dos arquivos, os resultados das ferramentas, toda a conversa de novo a cada turno. Se ler custa metade do que custa escrever, as cargas de trabalho com muito input ficam mais baratas primeiro. Ele também tem visão integrada desde o início do pré-treinamento, uma context window de 1 milhão de tokens e 45 trilhões de tokens de treinamento. O destaque que a DeepSeek apresenta no Hugging Face é o cache KV. Essa é a memória que o modelo mantém de tudo o que já leu, para não precisar reler todo o seu prompt a cada palavra nova. O V4 Flash armazenava 3.514

02:04 bytes por token. O V4.1 armazena 890. Fiz a divisão eu mesmo: 3,95 vezes menor, o que corresponde à alegação de um quarto. Eles conseguiram isso com alguns truques na pilha. O cache é armazenado em quatro bits. As camadas mais profundas reutilizam os índices das anteriores, e o decodificador constrói seu cache a partir da saída do codificador, em vez de manter um cache próprio. O gráfico que publicaram tem uma escolha de design que vale a pena notar. O eixo começa em 389.000 bytes. Então, a diferença entre o V4 e o

02:37 V4.1 é minúscula. Mal dá para ver. O número é real. É só que a imagem faz todos os modelos recentes parecerem zero. Para mim, pelo menos, essa é a informação mais útil do lançamento, porque é pelo cache que você paga em execuções longas de agents. O preço do cache da DeepSeek para o Flash agora é de 0,6 por milhão de tokens no pico. Agora, sobre os benchmarks e a alegação na página do anúncio: os resultados superam os de modelos carro-chefe, incluindo o DeepSeek V4 Pro, em tarefas de codificação com agents. A tabela confirma isso. Terminal Bench 2: 19,6 contra 87,9 do Pro. SWE da DeepSeek: 74,2 contra 62,7. Terminal Bench 3: contra 11,8. Essas diferenças são grandes. O gráfico em destaque no topo da página mostra apenas quatro das 19 linhas. E compara o V4.1 com Kimmy, GLM, Opus 5 e GPT. As colunas do próprio V4 Pro e do V4 Flash da DeepSeek não aparecem na imagem. Elas ainda estão na tabela completa abaixo. E nessa tabela, o Pro ainda vence em duas linhas. GPQA Diamond: 92,4 para o Pro,

03:09 90,9 para o V4.1. O Humanity’s Last Exam é mais complicado. O número em destaque do V4.1 é 36,8 no conjunto completo, enquanto o 42,7 do Pro tem um asterisco, que significa que é apenas o subconjunto de texto. Comparando o mesmo com o mesmo, apenas texto contra apenas texto, são 39,1 para o V4.1 contra 42,7. Portanto, o Pro mantém a vantagem em conhecimento e raciocínio. No gráfico de destaque, eles deixaram uma derrota no Terminal Bench 3. O Opus 5 pontua 43,3 e o V4.1

03:40 pontua 30. Eles poderiam ter cortado essa barra, mas não cortaram. Todos esses resultados foram medidos pela DeepSeek usando a própria harness, no esforço máximo. Então, consultei a Artificial Analysis, que executa seus próprios evals. Eles listam o V4.1 Flash no esforço máximo com um índice de inteligência de 46 entre 113 modelos da sua categoria, a 209 tokens por segundo. Também o classificam como muito prolixo: 250 milhões de tokens de saída para concluir o conjunto de evals, contra uma

04:12 mediana de 130 milhões. Lembre-se desse número, porque ele aparece nos meus testes também. Há mais uma coisa na página que não bate. O anúncio diz que o V4 Pro está sendo descontinuado e que, a partir de 14 de setembro, todas as solicitações ao V4 Pro serão direcionadas ao V4.1 Flash. O registro de alterações, datado do mesmo lançamento, diz o contrário. Em resposta à demanda dos usuários, o V4 Pro continuará funcionando depois de 14 de setembro. O faturamento não muda. A página de preços concorda com o registro de alterações. Então, a página de notícias está desatualizada. E se você tem o V4 Pro em

04:42 produção, os documentos são os que você deve consultar. Chamei o V4 Pro hoje e ele respondeu com uma impressão digital própria, separada. Agora vem a parte divertida. Dei exatamente o mesmo prompt aos dois modelos. Um único arquivo HTML independente, fundo preto, um bloco de texto verde monoespaçado, JavaScript puro, 12 quadros por segundo, em loop infinito, sem bibliotecas, sem canvas, sem imagens. Depois, três animações diferentes: um robô andando, um donut 3D giratório com matemática de projeção e sombreamento reais, e um lançamento de foguete com contagem regressiva e um campo de estrelas

05:14 rolando. O V4.1 foi executado na API da DeepSeek, no esforço máximo. O V4 Flash foi executado em hosts de terceiros, com a configuração de esforço mais alta, uma chamada para cada um, e gravei exatamente o que voltou. Primeira rodada: o robô. O modelo antigo desenhou um robô simples e quadradão, cabeça quadrada, dois olhos pontilhados, antena, pernas e um passo sem movimento. Funciona. Usou 17.134 tokens de saída e levou 49 segundos. O V4.1 foi além. Olhos com visor que piscam, abrindo e fechando. Um painel no peito, braços

05:44 pendurados ao lado do corpo e pés que alternam qual deles está apoiado. Também levou 30.682 tokens e quase dois minutos. Um robô melhor, com quase o dobro de tokens; isso corresponde à prolixidade apontada pela Artificial Analysis. Segunda rodada: o donut, e foi aqui que os dois se diferenciaram. O V4 Flash voltou em 19 segundos com uma página que funciona sem um único erro. O que desenha é uma linha pontilhada plana no meio da tela. A matemática da rotação está lá. A projeção colapsa e você obtém uma linha

06:16 onde deveria haver um donut. Uma execução pode dar azar. Então, executei o modelo antigo mais duas vezes. Na primeira tentativa, ele pensou por 259 segundos, gastou 131.000 tokens, atingiu o limite de saída e retornou um arquivo vazio. Na segunda tentativa, em 18 segundos, desenhou um donut giratório pequeno e sombreado corretamente. Então, o modelo antigo acertou o donut uma vez em três. O V4.1 desenhou um donut completo e sombreado logo na primeira tentativa. 12.683 tokens, 51 segundos. A luz incide sobre

06:47 ele com aquela gradação de pontos para sinais de mais, e dá para ver o buraco girar. Para ser justo, dei ao V4.1 as mesmas duas tentativas extras. Na primeira, ele desenhou outro donut bom, girando nos dois eixos. A segunda falhou. Uma função arrow do JavaScript não pode definir propriedades de null, e a tela ficou preta. Então, o resultado final no donut é 2 de 3 para o V4.1 e 1 de 3 para o modelo antigo. O novo modelo é mais confiável nisso, mas ainda falha às vezes. Terceira rodada: o foguete. E aqui houve empate. Os dois modelos criaram um

07:19 campo de estrelas, um foguete na plataforma, uma contagem regressiva, chamas e uma decolagem em loop. A versão do modelo antigo é mais compacta e rápida. O V4.1 tem uma plataforma de lançamento mais larga e um rastro de escapamento mais limpo. Nenhum dos dois falhou. O V4.1 usou 34.000 tokens e o modelo antigo usou 43.000. Então, nesta rodada, o novo modelo foi o mais econômico. Duas vitórias claras para o novo modelo, em detalhes e na matemática difícil. Um empate e um padrão: o V4.1 pensa por mais tempo e falha menos. Visão é o único recurso que o modelo antigo

07:50 consegue fazer por completo. E testar isso revelou algo que eu não esperava. Enviei ao V4.1 o próprio gráfico de cache KV da DeepSeek e pedi todos os nomes e números dos modelos. Depois, a proporção. Ele leu os quatro valores com exatidão, de 389.120 até 890, e calculou 3,958 segundos. Em seguida, enviei a mesma imagem ao antigo V4 Flash no Open Router, e ele também respondeu perfeitamente. Isso não deveria ser possível para um modelo apenas de texto. Então, fui ver quem tinha atendido à solicitação. Open

08:23 o modelo consegue fazer tudo. E os testes revelaram algo que eu não esperava. Enviei o próprio gráfico de cache KV da Deepseek V4.1 e pedi todos os nomes e números dos modelos. Depois, a proporção. Ele leu os quatro valores exatamente: de 389.120 até 890, e calculou 3,958 segundos. Então enviei a mesma imagem para a antiga V4 flash no OpenRouter, e ela também respondeu perfeitamente. Isso não deveria ser possível para um modelo só de texto. Então fui conferir quem atendeu à solicitação. Open

08:55 O router tinha encaminhado silenciosamente a solicitação para o endpoint da própria DeepSeek, e o campo do modelo na resposta dizia DeepSeek V4.1 Flash. Pedi o modelo antigo e recebi o novo de novo, com os fallbacks desativados. A resposta honesta veio: “Nenhum endpoint compatível com entrada de imagem foi encontrado.” Se você estiver comparando modelos por meio de um router, confira o provedor em cada resposta. Três verificações rápidas de recursos do tool calling do V4.1. Dei a ele dois tools fictícios, uma consulta de preços de ações e um conversor de moedas, e perguntei quanto custariam, em rupias, 10 ações de cada uma — Nvidia e Apple.

09:26 Custariam 1 lakh e 78.840 rupias para a Nvidia e 28.900 para a Apple. Ele fez as duas consultas de preços em paralelo, passou os resultados para duas conversões paralelas e então respondeu. Conferi a conta. Está correta. E ele acrescentou uma observação de que as cotações em tempo real variam. O modo JSON retornou JSON válido logo na primeira tentativa. Os níveis de esforço não se comportaram como eu imaginava em um problema de contagem cuja resposta, obtida por força bruta, era 432. Nas seis execuções, ele acertou.

09:58 O esforço baixo usou entre 1.000 e 2.100 tokens de raciocínio. O máximo usou de 2.100 a 2.800. Na verdade, o esforço alto usou a menor quantidade em uma das execuções. Em um problema desse tamanho, o esforço baixo deu a mesma resposta por menos. Então, eu começaria por ele e só aumentaria o esforço quando as respostas estivessem erradas. Depois, o contexto. Criei um palheiro com 2.000 parágrafos de texto de preenchimento, 182.279 tokens, e escondi uma frase a 63% do texto. O código secreto de lançamento do

10:28 submarino laranja é Tangerine 4471. Os dois modelos o encontraram. O V4.1 começou a responder em 4 segundos e meio, e o modelo antigo, em um host de terceiros, levou 8 segundos e meio. O prompt custou cerca de 3 centavos com as tarifas fora do horário de pico. Uma única agulha em uma única posição, como verificação básica, e os dois passaram. A velocidade foi onde quase me enganei. Na minha primeira execução, o modelo antigo chegou a 295 tokens por segundo e o V4.1, a 190. Isso dá a impressão de que o modelo novo é mais lento. O modelo antigo

10:59 estava rodando em um host chamado RA, e o V4.1, em servidores da DeepSeek. Eu estava comparando o hardware. Então, fixei os dois modelos no mesmo host. Três execuções de cada, com os fallbacks desativados, na Silicon Flow. O modelo antigo rodou a 87 tokens por segundo, e o V4.1, a 187, mais que o dobro. Na Novita, 139 contra 189 na Parasel. Os resultados variaram muito. O V4.1 oscilou entre 15 e 141 nas três execuções. Então, estou

11:31 descartando esse host. Na própria API da DeepSeek, o V4.1 manteve 190 tokens por segundo nas três execuções, e o V4 Pro chegou a 73, para comparação. A Artificial Analysis mediu 209. Preço: o V4.1 Flash custa US$ 1,20 por milhão de tokens de saída no horário de pico e US$ 0,60 fora do horário de pico. O V4 Pro custa US$ 3,96 no horário de pico. A entrada custa 30 centavos no horário de pico quando há um cache miss e 6 centavos quando há um cache hit. Fora do horário de pico, custa metade; e o horário fora de pico

12:02 inclui todo o fim de semana. Todos os testes deste vídeo — três rodadas de animação com novas tentativas, tools de visão, testes com diferentes níveis de esforço, uma agulha em um contexto de 182.000 tokens e nove testes de velocidade na API da DeepSeek — me custaram cerca de 9. O que há de errado com ele? Primeiro, a verbosidade. Ele usou quase o dobro de tokens do modelo antigo no robô, e a Artificial Analysis o mediu em quase o dobro da mediana. O preço por token é baixo, mas um modelo que pensa por 30.000 tokens em um robô de desenho animado gasta

12:33 isso rapidamente. Segundo, a apresentação dos benchmarks. O gráfico principal deixa de fora os modelos mais antigos da própria DeepSeek, e o destaque sobre o HLE compara uma pontuação do conjunto completo com pontuações apenas de texto. O Pro ainda vence em conhecimento e raciocínio. Terceiro, o lançamento. Os nomes dos modelos antigos redirecionam silenciosamente. A página de notícias e o changelog divergem sobre o V4 Pro, e os routers recorrem ao modelo novo sem avisar. Se você fixa uma versão do modelo em produção, agora precisa verificar se é mesmo a versão que fixou. Então, o V4.1 Flash é melhor do que o modelo que substituiu em

13:05 tudo o que consegui medir? Sim. Ele acertou a animação difícil duas vezes em três, enquanto o modelo antigo conseguiu uma vez, no mesmo hardware. Rodou mais que o dobro da velocidade em um host e foi um terço mais rápido em outro. Ele lê imagens e chama tools em paralelo sem problemas. É melhor do que o V4 Pro em agents, programação e velocidade? Sim, por menos de um terço do preço dos tokens de saída. Em perguntas de conhecimento, a própria tabela da DeepSeek diz que o Pro ainda lidera, e ele tem pesos abertos sob a licença MIT. O modelo que você usa hoje pode ser retirado debaixo dos seus pés, porque você

13:37 pode baixá-lo. Se tiver interesse em ler mais, deixei o link para esta página principal na descrição abaixo. Uma pergunta para os comentários: você já percebeu um router ou uma API servindo um modelo diferente daquele que pediu? Se isto foi útil, deixar uma curtida e se inscrever ajuda muito o canal. Obrigado por assistir.

Transcrição original

[00:00] I asked Deepseek’s API for V4 Flash, the old model. The reply came back labeled Deepseek Flash with the exact same system fingerprint as the new one. So, the model I asked for is gone. Deepseek retired it on September 10th and quietly pointed the old name at V4.1. That makes a fair before and after test harder than it should be. Deepseek’s own table says V4.1 Flash beats their flagship V4 Pro. I wanted to check that against the old flash on the same prompts and Deepseek

[00:30] no longer serves it. The weights are still public though. 28 hosts on Open Router still run V4 flash the July 31st build. So I pinned the old model to those hosts turn fallbacks off and ran both versions through the same tests. Three ASKI animations including a 3D donut that one model drew as a flat dotted line. vision tool calls a needle buried at 182,000 tokens and speed measured on the same hardware. Every number in this video came off my own screen except the ones I tell you belong

[01:01] to DeepSeek. Now, what did they actually ship? V4.1 flash is a mixture of experts model with 552 billion parameters under an MIT license with the weights on hugging face the same day. The interesting part is the split deep sea calls it a causal encoder decoder. 40 layers cut in half. 20 layers read your prompt. 20 layers write the answer. Reading activates 8 billion parameters per token. Writing activates 16 billion. That asymmetry is aimed at agents. An

[01:31] agent reads far more than it writes. File contents tool results the whole conversation again every turn. If reading costs half of what writing costs, the input heavy workloads get cheaper first. It also has vision built in from the start of pre-training. a 1 million token context window and 45 trillion training tokens. The part DeepS leads with on hogging face is the KV cache. That’s the memory the model keeps of everything it already read, so it doesn’t have to reread your whole prompt for every new word. V4 flash stored 3514

[02:04] bytes of it per token. V4.1 stores 890. I divided those myself, 3.95 times smaller, which matches their one quarter claim. They got there with a few stack tricks. The cache is stored at four bits. Deeper layers reuse the indexes of earlier ones and the decoder builds its cache from the encoder’s output instead of keeping its own. The chart they published has one design choice worth noticing. The access starts at deepsec v1 389,000 bytes. So the step from v4 to

[02:37] v4.1 is a sliver. You can barely see. The number is real. The picture just makes every recent model look like zero. At least for me, this is the most useful thing in the release because cash is what you pay for on long agent runs. Deepseek’s cash head price for flash is now 0.6 per million tokens at peak. Now, the benchmarks and the claim on the announcement page results ahead of flagship models including DeepSeek V4 Pro on agent encoding work. The table backs that up. Terminal Bench 2.19.6 6

[03:09] against pros 87.9. Deepsw SWE 74.2 against 62.7. Terminal bench 3 against 11.8. Those gaps are big. The hero chart at the top of the page shows only four of the 19 rows. And it compares V4.1 against Kimmy, GLM, Opus 5, and GPT. Deepseek’s own V4 Pro and V4 flash columns are missing from the picture. They’re still in the full table underneath. And in that table, Pro still wins two rows. GPQA diamond 92.4 for pro

[03:40] 90.9 for V4.1. Humanity’s last exam is messier. V4.1’s headline number is 36.8 on the full set while pros 42.7 has an asterisk meaning text only subset. Compare like with like text only against text only and it’s 39.1 for v4.1 against 42.7. So pro keeps the knowledge and reasoning rose. In Fanis, they did leave a loss in the hero chart on terminal bench 3. Opus 5 scores 43.3 and V4.1

[04:12] scores 30. They could have cut that bar and didn’t. Every one of these scores is deepseek measuring Deepseek using their own harness at maximum effort. So I checked artificial analysis which runs its own evals. They list V4.1 flash at max effort with an intelligence index of 46th of 113 models in its class at 209 tokens per second. They also flag it as very verbose 250 million output tokens to finish their eval suite against a

[04:42] median of 130 million. Keep that number in mind because it shows up in my tests too. One more thing on the page doesn’t add up. The announcement says V4 Pro is being phased out and that from September 14th, every V4 Pro request routts to V4.1 Flash. The change log dated the same release says the opposite. In response to user demand, V4 Pro keeps running after September 14th. Billing unchanged. The pricing page agrees with the change log. So, the news page is out of date. And if you have V4 Pro in

[05:14] production, the docs are the ones to trust. I called V4 Pro today and it answered with its own separate fingerprint. Now the fun part. I gave both models the exact same prompt. One self-contained HTML file, black background, a single block of green monospace text, plain JavaScript, 12 frames per second, looping forever, no libraries, no canvas, no images. Then three different animations, a walking robot, a spinning 3D donut with real projection math and shading, and a rocket launch with a countdown and a

[05:44] scrolling starfield. V4.1 ran on DeepSeek’s API at max effort. V4 Flash ran on thirdparty hosts at its highest effort setting, one call each, and I recorded exactly what came back. Round one, the robot. The old model drew a simple boxy robot, square head, two dot eyes, antenna, legs, dead step. It works. It used 17,134 output tokens and took 49 seconds. V4.1 went further. Visor eyes that blink from open to shut. a chest panel, arms

[06:16] hanging off the body, and feet that swap which one is planted. It also took 30,682 tokens and almost two minutes. Better robot nearly double the tokens that matches the verbosity artificial analysis flagged. Round two, the donut and this is the one that separated them. V4 Flash came back in 19 seconds with a page that runs without a single error. What it draws is a flat dotted line across the middle of the screen. The rotation math is in there. The projection collapses and you get a line

[06:47] where a donut should be. One run can be bad luck. So I ran the old model twice more. The first retry thought for 259 seconds, burned through 131,000 tokens, hit the output cap, and returned an empty file. The second retry, 18 seconds, drew a small, properly shaded spinning donut. So the old model got the donut right one time out of three. V4.1 drew a full shaded donut on its first try. 12,683 tokens, 51 seconds. Light falls across

[07:19] it with that ramp from dots to add signs and you can see the hole rotate. To be fair, I gave V4.1 the same two retries. The first one drew another good donut spinning on both axis. The second one crashed. A JavaScript arrow cannot set properties of null and a black screen. So, the final count on the donut is 2 out of three for V4.1, 1 out of three for the old model. The new model is more reliable on this and it still breaks sometimes. Round three, the rocket. And this one is a tie. Both models built a

[07:50] starfield, a rocket on a pad, a countdown, flames, and a liftoff that loops. The old models version is tighter and faster. V4.1 has a wider launchpad and a cleaner exhaust trail. Neither broke. V4.1 used 34,000 tokens and the old model used 43,000. So on this round, the new model was the more economical one. Two clear wins for the new model on detail and on the hard math. One tie and a pattern. V4.1 thinks longer and fails less. Vision is the one feature. The old

[08:23] model can do it all. And testing that turned up something I didn’t expect. I sent V4.1 Deepseek’s own KV cache chart and asked for every model name and number. Then the ratio. It read all four values exactly 389,120 down to 890 and computed 3.958 seconds. Then I sent the same image to the old V4 flash on open router and it answered perfectly too. That shouldn’t be possible for a text only model. So I looked at who served the request. Open

[08:55] router had quietly routed it to DeepSseek’s own endpoint and the model field in the response said Deepseek v4.1 flash. I asked for the old model and got the new one again with fallbacks turned off. The honest answer came back. No endpoints found that support image input. If you’re comparing models through a router, check the provider on every response. Three quick feature checks on V4.1 tool calling. I gave it two fake tools, a stock price lookup and a currency converter, and asked what 10 shares each of Nvidia and Apple would

[09:26] cost in rupees. It called both price lookups in parallel, fed the results into two parallel conversions, and then answered 1 lak 78,840 rupees for Nvidia, 28,900 for Apple. I checked the arithmetic. It’s correct. And it added a note that live quotes move. JSON mode returned valid JSON first time. The effort levels didn’t behave the way I assumed on a counting problem with a brute forced answer of 432. All six runs got it

[09:58] right. Low effort used between 1,00 and 2,100 reasoning tokens. Max used 2,100 to 2,800. High actually used the fewest on one run on a problem this size. low effort gave the same answer for less. So, I’d start there and only raise it when answers go wrong. Then, context. I build a hay stack of 2,000 paragraphs of filler, 182,279 tokens, and hid one sentence 63% of the way in. The secret launch code for the

[10:28] orange submarine is Tangerine 4471. Both models found it. V4.1 started answering in 4 1/2 seconds, and the old model on a third party host took 8 and 1/2. The prompt cost V4.1 about 3 cents at off peak rates. One needle at one depth as a sanity check and both passed it. Speed is where I nearly got fooled. My first run had the old model at 295 tokens per second and V4.1 at 190. That looks like the new model is slower. The old model

[10:59] was running on a host called RA and V4.1 on deep servers. I was comparing hardware. So I pinned both models to the same host. Three runs each fall backs off on Silicon Flow. The old model ran at 87 tokens per second and V4.1 at 187, more than double. On Novita, 139 against 189 on Parasel. The results were all over the place. V4.1 swung between 15 and 141 across three runs. So, I’m

[11:31] throwing that host out. On DeepSync’s own API, V4.1 held 190 tokens per second across three runs and V4 Pro managed 73 for comparison. Artificial analysis measured 209 price. V4.1 Flash costs $120 per million output tokens at peak and 60 off peak. V4 Pro costs $3.96 at peak. Input on a cash miss as 30 cents at peak and a cash hit as 6 of a cent. Off peak as half price and off peak

[12:02] includes all of the weekend. This entire video’s testing. Three animation rounds with retries, vision tools, effort sweeps, a 182,000 token needle and nine speedruns on Deep Seeks API cost me about 9. What’s wrong with it? first verbosity. It used almost double the tokens of the old model on the robot and artificial analysis measured it at nearly twice the median. The per token price is low and a model that thinks for 30,000 tokens on a cartoon robot spends

[12:33] it quickly. Second, the benchmark presentation. The hero chart leaves out Deepseek’s own older models and the HLE headline compares a full set score against texton scores. Pro still wins knowledge and reasoning. Third, the roll out. Old model names silently redirect. The news page and change log disagree about V4 Pro and routers fall back to the new model without telling you. If you pin a model version in production, you now have to verify. It’s really the version you pinned. So, is V4.1 Flash better than the model it replaced on

[13:05] everything I could measure? Yes. It got the hard animation right two times out of three, while the old model managed one. on the same hardware. It ran more than twice as fast on one host and a third faster on another. It reads images and it calls tools cleanly in parallel. Is it better than V4 Pro on agents coding and speed? Yes, at under a third of the output price. On knowledge questions, Deepseek’s own table says Pro still leads and it’s open weights under MIT. The model you call today can be retired out from under you because you

[13:37] can download it. If you’re interested in reading further, I link to this main page in the description below. One question for the comments. Have you caught a router or an API serving you a different model than the one you asked for? If this was useful, a like and a subscribe helps the channel a lot. Thanks for watching.