Vast-10M na prática: será que 10 milhões de tokens de contexto dão conta?

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Vast-10M Hands-On: Does 10 Million Tokens of Context Hold Up? · Canal: Fahd Mirza · 11:00 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Engenharia de prompts e contexto, Engenharia de software com IA, Modelos de IA

Resumo

Fahd Mirza testa o Vast-10M em tarefas de programação, criação visual, análise jurídica e geração de nomes em vários idiomas. O modelo, baseado em versões modificadas de DeepSeek V4 Flash, DeepSeek V4 Pro e GLM 5.2, usa um mecanismo de atenção chamado VSA e promete contexto nativo de 10 milhões de tokens. O jogo 3D criado pelo modelo ficou incompleto, enquanto a ilustração em HTML foi considerada razoável, mas aquém do nível de detalhe solicitado. Em análise jurídica, as respostas foram bem estruturadas e precisas, apesar de um raciocínio confuso; na tarefa multilíngue, houve variedade, mas também repetição de ideias e raízes.

Pontos-chave

O Vast-10M oferece três variantes — Flash, Pro e Medium — com contexto nativo de 10 milhões de tokens.
Segundo o relatório técnico, o modelo substitui o mecanismo de atenção de três modelos existentes pelo VSA, sem treinamento extensivo.
A tarefa de criar um jogo 3D levou quase uma hora e produziu um resultado sem personagem visível, portanto incompleto.
A ilustração de tatuagem em um arquivo HTML funcional incluiu vários elementos pedidos, mas não atingiu o nível de detalhe solicitado.
Na análise dos volumes da lei societária australiana, a resposta foi estruturada e precisa, embora o raciocínio tenha se repetido e confundido nomes de arquivos.
Na geração de nomes de aplicativos em 81 idiomas, o modelo respeitou o formato e apontou incerteza em dois idiomas, mas repetiu raízes e ideias.
O apresentador considera que o desempenho varia bastante conforme a tarefa e pede mais informações sobre o VSA e a abertura do modelo.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação do Vast-10M e do VSA	O apresentador explica a promessa de contexto de 10 milhões de tokens, as variantes do modelo e a origem do mecanismo VSA.
03:07	Teste de criação de um jogo 3D	O modelo gera arquivos e scripts para um jogo, mas, após quase uma hora, o personagem não aparece durante a partida.
05:11	Ilustração de tatuagem em HTML	O modelo produz uma página funcional com vários elementos solicitados, mas a ilustração não alcança o nível de detalhe esperado.
07:16	Pergunta jurídica sobre a lei australiana	O apresentador verifica se o modelo consegue relacionar seções de vários volumes e considera a resposta precisa, apesar de falhas no raciocínio.
09:23	Nomes de aplicativos em 81 idiomas e conclusão	O modelo entrega uma tabela completa e sinaliza dúvidas, mas repete raízes e ideias em parte dos nomes.

Citações

Dez milhões de tokens de contexto. Vamos ver se isso resiste ao contato com o meu terminal. — 00:01

O problema é que não há personagem pulando. — 04:41

Acho que o raciocínio poderia melhorar, mas, fora isso, ele se saiu muito bem com esse grande conjunto de dados. — 08:51

A afirmação de que nenhum nome compartilha a mesma raiz ou ideia é totalmente falsa. — 09:55

Conceitos e entidades

Vast-10M (modelo): Modelo apresentado com contexto nativo de 10 milhões de tokens e variantes Flash, Pro e Medium.
VSA (conceito): Mecanismo de atenção próprio que, segundo o vídeo, substitui o mecanismo de atenção dos modelos usados como base.
DeepSeek V4 Flash (modelo): Um dos três modelos cuja atenção foi substituída pelo VSA para criar variantes do Vast-10M.
DeepSeek V4 Pro (modelo): Um dos modelos usados como base para o Vast-10M.
GLM-5.2 (modelo): Um dos modelos usados como base para o Vast-10M e citado nos testes do vídeo.
Hermes (ferramenta): Agent usado pelo apresentador para testar o modelo no terminal.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável pelos testes do Vast-10M.
Australia’s Corporations Act (conceito): Lei societária australiana cujos volumes foram usados em uma tarefa de análise jurídica.

Tradução completa (pt-BR)

00:01 10 milhões de tokens de contexto. E, se você olhar este gráfico do relatório técnico deles, este modelo supera o Fable 5.1 da Anthropic com 1 milhão de tokens. Uma afirmação e tanto. Vamos ver se ela se sustenta quando chegar ao meu terminal. O modelo de que estamos falando é este Vast-10M da Waltropy. O que eles fizeram foi pegar o mecanismo de atenção de três modelos open source: DeepSeek V4 Flash, DeepSeek V4

00:31 Pro e GLM 5.2, e substituí-lo pelo mecanismo próprio, chamado VSA. Vou falar mais sobre isso depois. Mas, por enquanto, você precisa lembrar que o resultado é este modelo. E ele vem em três versões: Flash, Pro e Medium, cada uma com 10 milhões de tokens de contexto nativo. E vamos testá-lo a fundo. Aqui é Fahad Mirza, e dou as boas-vindas ao canal. Inscreva-se também nesta newsletter semanal gratuita sobre IA em fahadmirza.substack.com. Agora, uma declaração de transparência. A Waltropy me deu

01:04 alguns créditos de API. Mas este não é um vídeo patrocinado. Eu pedi, assim como peço a vocês, que se tornem membros. E, como sempre, eles também disseram que queriam uma avaliação objetiva. Então, nada feito. Parece que vou morrer pobre mesmo. Mas, para a sorte deles, objetividade é o único tipo de avaliação que fazemos neste canal. Então, se este modelo tropeçar, vocês vão ficar sabendo. Se ele voar, também vão ficar sabendo. Então, vou levar vocês direto

01:34 ao meu terminal, onde já configurei este modelo com o agent Hermes. Primeiro, vou testar isto. Este é um prompt bem desafiador, e acho que o único modelo que me deu uma resposta decente foi o Fable. O que este prompt faz é pedir ao modelo que crie do zero um jogo 3D completo de “o chão é lava”. Scripts do Blender para os móveis e a lava. 4

02:05 para a jogabilidade, com cronômetro, tela inicial e tela de fim de jogo. E vocês podem ver que ele começou a construir. Vamos ver se este Vast-10M consegue planejar e executar sozinho uma tarefa longa com várias ferramentas e concluir com um jogo jogável, sem que eu precise resgatá-lo. Enquanto ele trabalha nisso, vamos falar sobre o VSA. Não consegui encontrar muita informação sobre o VSA, mas, depois de ler o relatório técnico deles

02:36 parece que não criaram um modelo novo do zero, como mencionei antes. Eles pegaram três modelos existentes e trocaram o mecanismo de atenção pelo mecanismo próprio, chamado Waltropy Scalable Attention, ou VSA. Mas a alegação deles é que isso estende o contexto para 10 milhões de tokens e também resulta em pontuações mais altas em contextos menores, sem retreinamento extensivo. Então, é algo muito bom, e há alguns parágrafos aqui e ali, mas acho que seria ótimo se eles pudessem nos dar mais informações. E seria

03:07 ótimo se eles pudessem realmente tornar este modelo open source ou disponibilizar seus pesos. O modelo me deu o resultado, como vocês podem ver, e, pelo que aparece até agora, parece forte. Um resultado sem interface gráfica, com alguns testes também. Vamos conferir. Vou pressionar Control+C. Vocês veem que ele levou quase uma hora. Deixem-me mostrar rapidamente quais arquivos GLB ele criou. Como podem ver, criou bastante coisa.

03:38 Mas, de qualquer forma, em vez de fazer isso, vou executar o jogo na frente de vocês. Estou fazendo isso ao vivo para que vejam exatamente o que está acontecendo. Agora vou pressionar a barra de espaço para começar. Mas onde exatamente está o personagem com quem estou pulando? Essa é a questão principal. Não consegui ver nada. Há alguns recursos faltando, então talvez eu faça isto: Control+C. E talvez eu

04:11 importe primeiro esses recursos no modo sem interface gráfica. Este é o caminho. Ele está importando esses arquivos. Depois, vou executá-lo de novo. A importação terminou, então talvez fosse por isso que aquilo estava faltando. Agora vou executar tudo de novo. Vamos colar outra vez. E esperar que seja iniciado. Vou pressionar a barra de espaço aqui. Aí está. Como podem ver, estou pulando. O pulo

04:41 funciona. Vou pressionar Enter de novo para reiniciar. E estou me movendo por aqui. Ele também se move, mas, assim que me movo, não mostra nada de fato. O problema é que não há nenhum personagem pulando. Essa é a questão principal. Não acho que tenha passado neste primeiro teste, mas, fora isso, conseguiu criar aqueles personagens e tudo mais. Só que, se levou uma hora, acho que deveria ter feito um trabalho completo, pelo menos. De qualquer forma, vamos fazer

05:11 outro teste. Para o segundo teste, pedi ao modelo que criasse uma tatuagem elaborada de motociclista em um antebraço realista, em um único arquivo HTML independente, para ver como ele lida com trabalhos visuais detalhados a partir de um único prompt. Este foi o meu prompt, como podem ver: bem detalhado, bem rico, e expliquei tudo. E foi isto que ele criou depois de pensar bastante: este arquivo com a tatuagem de motociclista, que acabei de abrir para vocês no

05:42 navegador. Para ser justo, ele entregou uma página funcional, sem erros relatados, e vários elementos solicitados estão presentes: um crânio, pistões cruzados, três rosas e um conjunto de chamas vermelhas, uma mandala na parte de cima e uma faixa com a frase “Ride or Die” sobre um fundo escuro. Então, isto não é um software de geração de imagens. É apenas um arquivo HTML simples. O tom de pele e o sombreamento dão uma impressão convincente de profundidade, e as rosas

06:12 são a parte mais bem-acabada. Mas acho que fica aquém do padrão mundial, de qualidade de museu. Se conferirem meu prompt, voltem àquela tela e pausem o vídeo para olhar. O crânio é simples e não tem a coroa alada e as asas visíveis. Esta cobra parece uma espiral preta solta, sem escamas nítidas. Essa é, na minha opinião, a parte mais fraca. O texto da faixa também está um pouco sobreposto, mas tudo bem. Acho que isso já seria implicância. No geral, acho

06:44 que ele incluiu bastante coisa, mas também teve dificuldade com alguns elementos. Então, é uma primeira ilustração razoável, mas eu diria que fica um pouco aquém do design elaborado solicitado. Ainda assim, vou considerar que passou. Agora, vou levar vocês à plataforma hospedada deles. Como podem ver, carreguei sete volumes da Lei das Sociedades da Austrália, cerca de 4 MB de texto, e não uma das demonstrações selecionadas por eles, e

07:16 estou fazendo uma pergunta jurídica difícil que obriga o modelo a conectar seções de toda a lei. Depois, vou conferir cada número de seção que ele citar com a legislação real. Como podem ver, são 10 milhões de tokens de context window, então vai ser bem interessante. Também é meio que uma busca por uma agulha no palheiro. Vamos ver qual resposta o modelo vai dar. O modelo respondeu, e a resposta é bem interessante.

07:48 Se vocês olharem o raciocínio — e vou mostrá-lo, porque estou mais interessado no raciocínio e em como exatamente ele chegou àquela conclusão e àquela resposta —, ele fica repetindo bastante. Confere e depois confere de novo quais arquivos estão carregados, muitas vezes, e também troca os nomes dos arquivos, como volume 02 e volume 03. Ele admitiu que estava reconstruindo uma passagem de memória

08:18 e depois diz: “sim, está presente no texto”, sem apresentar provas. Mas, se eu rolar para baixo e mostrar a resposta, ela é, na verdade, bem boa. Está bem estruturada. Seguiu os agrupamentos do meu prompt e também sinalizou o que não conseguiu encontrar, em vez de adivinhar ou alucinar, o que é sempre bem-vindo. Também conferi por amostragem a seção 1841 no AustLII e, como podem ver, ela corresponde. E acho que a

08:51 resposta também é bastante precisa. Muito bom. Estou bem satisfeito com a precisão das respostas. Acho que o raciocínio poderia melhorar, mas, fora isso, ele se saiu muito bem com este grande corpus de dados. E, por fim, vamos dar uma olhada neste prompt. Aqui, estou testando a criatividade, a profundidade cultural e a consistência do modelo ao longo de toda a lista em uma única resposta. Pedi que ele criasse um nome de aplicativo de namoro específico para cada cultura, em 81 idiomas, com uma regra estrita de não

09:23 repetir regras para testar a criatividade e, como eu disse, a variedade de idiomas e se ele admite o que não sabe. E esta é a resposta. Confira também e me diga nos comentários o que você acha do seu próprio idioma. O formato está perfeito. Uma tabela limpa, com todas as 81 linhas, sem texto extra, e ele sinalizou honestamente dois idiomas sobre os quais não tinha certeza: gutnês e tinya, o que é bom. Isso é bastante raro. E agora vou percorrer todos os idiomas e, sabe, ele se saiu razoavelmente bem com

09:55 vários deles. Ele até nos deu algumas das traduções também. Então, muito bom. A afirmação final de que nenhum dos nomes compartilha a mesma raiz ou ideia é falsa, totalmente. Porque dá para ver pelo menos, sabe, consigo identificar facilmente nove linhas que significam apenas amor. Como em pashto, latim, esperanto e alguns outros. Amor, em latim, e amor, em esperanto, compartilham a mesma raiz, e a ideia de saudade se repete muitas vezes. Mas também há várias escolhas fortes. Ainda assim, algumas me parecem duvidosas, então eu

10:28 vou seguir seu conselho, sabe, especialmente no que diz respeito aos idiomas com poucos recursos. Vamos considerar os idiomas regionais da Índia, talvez, ou os idiomas do sudeste. Então, me conte nos comentários. Mas veja, acho que não foi uma resposta ruim de forma alguma, para esse modelo. Então é isso. Esse é o modelo Vast-10M. Diga o que você acha do modelo. E, mais uma vez, se quiser ajudar o canal, torne-se membro clicando neste último link ou no primeiro comentário fixado. E, por favor,

11:00 assine esta newsletter. Obrigado por todo o apoio.

Transcrição original

[00:01] 10 million tokens of context. And if you look at this chart from their technical report, this model beats Anthropic’s Fable 5.1 at 1 million tokens. Very big claim. Let’s see if it survives contact with my terminal. The model we are talking about is this vast 10 million from Waltropy. What they have done is they have taken the attention mechanism in three open models: DeepSeek V4 Flash, DeepSeek V4

[00:31] Pro, and GLM 5.2, and replaced it with their own called as VSA. I’m going to talk more about it later. But for now you need to remember is the result is this model. And it comes in three flavors: Flash, Pro, and Medium, each with 10 million tokens of native context. And we are going to test it out thoroughly. This is Fahad Mirza, and I welcome you to the channel. Please also subscribe to this free weekly AI newsletter at fahadmirza.substack.com. Now, a full disclosure. Waltropy gave me

[01:04] some API credits. This is not a sponsored video, though. I did ask just like I ask you guys to become a member. And as usual, they also said that they wanted an objective review. So, no dice. So, it seems that I’m just going to die poor. But lucky for them, objective is the only kind we do at this channel. So, if this model stumbles, you will hear about it. If it flies, you will hear about that too. So, let me take you straight

[01:34] to my terminal, where I already have configured this model with Hermes agent. And first up, this is what I’m going to test out. Now, this is quite a challenging prompt, and I think the only model which gave me decent response for this was Fable. So, what this prompt is doing, it is asking the model to build a complete 3D floor is lava game from nothing. Blender scripts for the furniture and lava go. 4

[02:05] for the game play with a timer, start screen and game over screen. And you can see that it has started building. So let’s see if this vast 10 million can plan and run a long multi-tool agentic job on its own and finish with a playable game without any rescue from me. While it works through it, let’s talk about that VSA. Now I really couldn’t find much information around that VSA, but after going through their technical

[02:36] report, it seems that they did not build a new model from scratch as I mentioned earlier. They took three existing models and swapped their attention mechanism with their own, which is called as world trophy scalable attention or VSA. But their claim is that it stretches context to 10 million tokens and also scores higher at shorter context with no extensive retraining. So, really good stuff and there are a few paragraphs here and there, but I think it would be really good if they could get us more information and it would be

[03:07] swell if it they could really open source this or open weight this model. The model has given me the result as you can see and from the output so far it looks strong. Um headless result with some tests too. So, let’s check it out. I’m going to press control C. You see it is it has taken almost 1 hour and let me quickly show you what exactly files the GLB one it has created. So a lot of stuff it has created as you can

[03:38] see. But anyway, instead of doing that, let me run that game in front of you. I’m just doing it live so that um you see exactly what is happening. So now I’m going to press space to start. So, but where exactly is the person where I’m jumping? That is the main thing. I couldn’t see anything. Now, there are some assets which are missing, so maybe I will just do this control, see? And maybe I will

[04:11] first import them in the headless. This is a path. So, it is importing those. And then let me rerun it. So, import is done, so maybe that is why it was missing that. And now I’m going to rerun this stuff. So, let’s paste it again. And let’s wait for it to get launched. Let me press the space bar here. There you go. So, you see, I’m jumping. The jump

[04:41] works. I will just press enter again to restart. And I’m moving here. It also moves, but as soon as I move, it doesn’t really show anything. the problem is that there is no character which is jumping. So, that is the main issue there. I don’t think so this has passed this first test, but other than that, it was able to create those characters and everything, but if it has taken 1 hour, I think it should have done at least a complete job. Anyway, let’s do

[05:11] another test. For the second test, I asked the model to design an intricate biker tattoo on a realistic forearm as one self-contained HTML file to see how it handles detailed visual work from a single prompt. This was my prompt, as you can see, quite detailed, quite rich, and I have explained everything. And this is where after thinking long and hard, it has created this biker tattoo file, which I have just opened in front of you in the

[05:42] browser. Now, if you look at here, to be very fair, it delivered a working page with no reported errors and several requested elements are there. A skull, crossed pistons, three roses, and a red flame cluster, a mandala at the top, and a ride or die banner on a dark uh background. So, this is not an image generation software. This is just a plain HTML file. The skin tone and shading give a believable hint of depth, and the roses

[06:12] are the most polished part. But, I think where it falls short is world-class, museum-quality. If you check out my prompt, go back to that screen and pause and check. The skull is simple and lacks the visible uh winged crown and wings. This snake looks like a loose black coil with no clear scales, uh really. Um so, that is the weakest part, in my opinion. The banner text is also overlapping a bit, but that is fine. I think that is um borderline nitpicking. Overall, I think

[06:44] um it has listed quite a few things, but it has also struggled with few. So, a decent first pass illustration, but I would say uh bit short of intricate design requested, but I will, you know, mark it as a pass. And now, let me take you to their hosted platform. You can see that I have um uploaded seven volumes of Australia’s Corporations Act, about 4 MB of text, and not one of their curated demos, and

[07:16] I’m asking one hard legal question that forces the model to connect sections across the whole act. Then, I will check every section number it cites against the real law. So, you see 10 million context window, so should be a real fun. It is sort of a needle in the haystack, too. So, let’s see what model comes back with. The model has come back with the response and it is quite an interesting one.

[07:48] Um, if you you know, look at the reasoning and I will actually show you because I’m more interested in reasoning and how exactly it reached to that conclusion and response. It is actually looping a lot. It is checking and then rechecking which files are loaded many times and then it has also mixed up the file names like volume 02 versus volume 03. It has admitted that it is reconstructing a passage from memory

[08:18] then says, yes, present in the text with no proof. But if I just scroll down and show you the response, the response is actually quite good. It is well structured. It has followed my groupings in the prompt and it has also flagged what it could not find instead of guessing or [clears throat] hallucinating, which is always welcome. And I have also sport checked sport checked the section 1841 on AustLII and you know, it has matched and I think the

[08:51] answer is quite accurate, too. So, very nice. I’m quite happy with the answers accuracy. I think reasoning could be improved but other than that, it has done very well with this large corpus of data. And finally, let’s have a look at this prompt. Here, I’m testing its creativity, cultural depth and consistency across the whole list in one reply. So, I have asked it for a different culture specific dating app name in 81 languages with strict no

[09:23] repeat rules to test creativity and as I said, language breadth and whether it admits what it does not know. And this is the response. Please also check out, let me know in the comments what do you think about your own language. The format is perfect. One clean table, all 81 rows, no extra text, and it honestly flagged two languages it was unsure of, Gutnish and Tinya, which is fine. It is quite rare. And then I’m just going to scroll through all the languages and in you know, it is done okay for

[09:55] various of them. It has even given us some of the translation, too. So, pretty good. It’s closing claim that no two names share the same root or idea is false, totally. Because you see at least, you know, I can spot easily nine rows just mean love. Like in Pashto, Latin, Esperanto, and few others. Latin amor and Esperanto amor share the same root and longing repeats many times. But there are various strong picks, too. But still some look doubtful to me, so I

[10:28] will take your you know, advice, especially around the low-resource languages. Um, let’s say the regional languages in India, maybe, or southeastern languages. So, let me know in the comments. But look, I think it is not a bad response at all from this model. So, that’s it. That is a vast 10 million model for you. Let me know your thoughts about the model. And again, if you want to help out the channel, please become a member by just clicking on this last link or in the first pinned comment. And please

[11:00] subscribe to this newsletter. Thank you for all the support.