Testei a IA de vídeo que “nunca esquece” (e ela tirou 2/10)

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: I Tested the Video AI That “Never Forgets” (It Scored 2/10) · Canal: Prompt Engineer 48 · 08:14 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Geração de conteúdo com IA, Infraestrutura e hardware de IA, Modelos multimodais

Resumo

O vídeo testa o Delta Streamer, um sistema de IA que promete registrar mudanças em vídeos e recuperar detalhes ao consultar os frames originais. Em um clipe de cinco minutos com objetos movidos lentamente, uma pipeline de resumo acertou 10 de 10 detalhes, enquanto o Delta Streamer acertou apenas 2 de 10. A análise dos logs mostra que o sistema registrou a mão que movia os objetos, mas quase nunca percebeu os próprios movimentos. O teste tem limitações, mas destaca que a memória e a etapa de replay não podem recuperar informações que o modelo não notou inicialmente.

Pontos-chave

O Delta Streamer registra observações e mudanças entre frames, e pode voltar aos frames originais quando uma pergunta exige mais detalhes.
O sistema depende de Qwen 3.6 27B, SAM 2.1 para rastreamento e Whisper para áudio; a demo implantável desativa rastreamento e áudio.
O teste usou um vídeo sintético de cinco minutos, com seis objetos e oito movimentos lentos.
A pipeline de resumo, baseada em 31 frames e legendas geradas por Claude, acertou 10 de 10 respostas.
O Delta Streamer acertou 2 de 10 respostas e, em vários casos, afirmou que os objetos não haviam se movido.
Os logs mostraram que o sistema detectou a mão em movimento, mas quase nunca registrou o movimento dos objetos.
O processamento foi lento: analisar cinco minutos de vídeo levou 41 minutos em uma H100.
O teste foi limitado a um único clipe sintético e uma execução por pergunta; o autor não conclui que os resultados do artigo estejam errados.
O repositório não inclui o código de treinamento, não tem releases e usa licença CC-BY-NC 4.0, que não permite uso comercial.
Para esse tipo de pergunta sobre gravações, o autor recomenda usar legendas em intervalos de 10 segundos e resumir o conteúdo.

Capítulos

Início	Capítulo	Resumo
00:01	O que é o Delta Streamer	O vídeo apresenta o sistema, sua proposta de memória baseada em mudanças entre frames e os componentes necessários para executá-lo.
02:04	Preparação do teste e comparação com uma pipeline de resumo	O autor descreve o clipe sintético, os problemas de configuração e o método de comparação baseado em legendas de frames.
03:35	Resultados: 10/10 contra 2/10	As respostas às três perguntas mostram que a pipeline de resumo identificou os movimentos, enquanto o Delta Streamer frequentemente não os percebeu.
05:39	Limitações, análise dos logs e conclusão	O autor contextualiza as limitações do teste, examina o que foi registrado na memória e discute desempenho, licença e casos de uso.

Citações

Um resumo em texto simples acertou 10 de 10 detalhes. O Delta Streamer, que deveria lembrar de tudo, acertou dois. — 00:01

“Nenhum objeto foi movido.” — 03:35

Se a memória é construída a partir do que o modelo percebeu, ela só pode ser tão boa quanto essa percepção. — 06:42

A pipeline de resumo levou cerca de 50 segundos. — 07:13

Conceitos e entidades

Delta Streamer (modelo): Sistema de IA para vídeo que registra mudanças entre frames e tenta recuperar detalhes consultando os frames originais.
Dense AI Quest Research (empresa): Organização mencionada como parte da equipe por trás do lançamento de pesquisa do Delta Streamer.
Nankai University (empresa): Universidade associada ao lançamento de pesquisa do Delta Streamer.
Chinese Academy of Sciences (empresa): Instituição associada ao lançamento de pesquisa do Delta Streamer.
Qwen3.6 27B (modelo): Modelo indicado como requisito do sistema para analisar o vídeo.
SAM 2.1 (modelo): Modelo usado para rastreamento no sistema, embora esse recurso esteja desativado na demo implantável.
Whisper (modelo): Modelo de áudio mencionado como parte dos requisitos do sistema.
Claude (modelo): Modelo usado para gerar legendas dos frames na pipeline de resumo comparada no teste.
RunPod (empresa): Serviço usado para alugar uma GPU H100 e executar o modelo.
Hugging Face (empresa): Plataforma onde o autor tentou usar uma demo hospedada do sistema.
H100 (ferramenta): GPU alugada para executar o Delta Streamer, que levou 41 minutos para processar o vídeo completo.
CC BY-NC 4.0 (conceito): Licença indicada para o projeto, descrita no vídeo como não comercial.

Tradução completa (pt-BR)

00:01 Mesmo vídeo de 5 minutos, mesmas três perguntas. Um resumo em texto simples acertou os 10 detalhes. O Delta Streamer, o modelo que supostamente se lembra de tudo, acertou dois, e sua primeira resposta foi que nada se moveu. Agora, antes de dizer que eu configurei tudo errado, pensei a mesma coisa. Então, li o artigo, executei o código de verdade em uma H100 alugada e conferi cada frame que ele analisou. Certo, vamos ver o que aconteceu. Então, o que é o Delta Streamer? Esta é a página no GitHub. É um lançamento de pesquisa da Nankai

00:31 University, da Dense AI Quest Research e da Chinese Academy of Sciences, e o artigo foi publicado no arXiv em 14 de outubro. O repo é muito novo. Quando gravei isto, tinha 71 estrelas, zero forks, nenhum lançamento e dois colaboradores. O readme diz que o código de treinamento não está incluído e que uma regressão completa na GPU não foi concluída. A proposta está na página do projeto: o vídeo está sempre mudando, então a memória deve acompanhar. Assim, em vez de descrever cada frame e descartá-lo, ele registra o que mudou de um frame para o outro. E, quando você faz uma pergunta

01:01 mais tarde, ele pode voltar e consultar os frames originais. No benchmark OVE O, o artigo informa uma pontuação geral de 66,07. O Gemini 3 Flash marcou 64,02 na mesma tabela, e os humanos, 92,81. Vale lembrar que esses são os números do artigo. O repo diz que eles não vêm de uma nova execução desta versão. Veja como funciona, em quatro etapas. Primeiro, ele assiste ao vídeo a um frame por segundo e, para cada frame novo, escreve uma descrição e um delta, que é simplesmente o que mudou desde o frame anterior. Segundo, esses dados vão para uma memória com três

01:32 camadas: observações de trabalho, resumos de episódios e fatos fixados. Cada um deles tem um link para o frame original. Terceiro, ele não vê sua pergunta enquanto assiste. Quando a pergunta finalmente chega, ele monta um plano: de quais evidências preciso para responder a isso? Quarto, se a memória de texto não tiver o detalhe, ele volta e reproduz os frames reais. Essa é a parte que supostamente supera um resumo em texto. Por baixo dos panos, ele precisa do Qwen 3.6 27B, além do SAM 2.1 para rastreamento e do Whisper para áudio. Mas a demo que você pode deployar desativa

02:04 o rastreamento e o áudio, e já volto a isso. Então, eu quis testar a única coisa que ele promete: lembrar o que aconteceu antes. Planejei filmar por 5 minutos com meu celular, mas queria saber a resposta exata para cada pergunta. Então, gerei o clipe com um script. É uma mesa filmada de cima, com seis objetos: uma caneca vermelha, um caderno azul, um post-it amarelo, uma planta verde, um celular preto e fones de ouvido laranja. Uma mão move um objeto de cada vez. Oito movimentos em 5 minutos, com pelo menos 25 segundos sem nada acontecer entre eles, e há um relógio sobreposto no canto. Anotei as respostas corretas antes de executar qualquer coisa.

02:34 Primeiro, tentei a demo hospedada no Hugging Face. Ela só transmite os primeiros 12 segundos de um vídeo, e a cota gratuita de GPU acabou depois de uma resposta. Meu laptop tem uma RTX 4060 de 8 GB, e o modelo 27B precisa de muito mais do que isso, então aluguei uma H100 na RunPod. Foram necessárias três tentativas para colocar o servidor do modelo no ar. Primeiro, um conflito no caminho da biblioteca CUDA; depois, faltava uma ferramenta de build chamada Ninja, o que fez o modelo travar na primeira pergunta de verdade. O readme não avisa

03:05 sobre nenhum desses problemas. A maneira normal de fazer isso é usar um pipeline de resumo. Pegar um frame a cada 10 segundos, escrever uma legenda para cada um, condensar as legendas em um resumo e responder às perguntas usando apenas esse texto. Fiz exatamente isso com 31 frames. O Claude criou uma legenda para cada frame sem saber quais eram as perguntas. Depois, uma segunda etapa respondeu usando apenas o resumo. Vale lembrar que um bom modelo de legendas torna essa linha de base forte. Então, esta é uma comparação justa com um workflow real, não com um fraco. A pergunta A foi feita a 1 minuto e

03:35 40 segundos: “Quais objetos foram movidos até agora, e em que ordem?” A resposta certa é três: o post-it amarelo aos 35 segundos, a caneca vermelha aos 60 e o celular preto aos 95. O pipeline de resumo disse: primeiro, o retângulo amarelo; depois, o círculo vermelho; então, o retângulo preto, cada um dentro de 10 segundos do horário real: três de três. O Delta Streamer disse — e estou lendo na tela —: “Nenhum objeto foi movido.” E foi isso que conferi. Olhe o log do Delta. Aos 35 segundos, ele percebe um círculo rosa: é a mão.

04:06 Aos 38 segundos, percebe que a mão desapareceu. E, nos 3 segundos entre esses momentos, registra que todas as formas permanecem em posições idênticas. O post-it tinha acabado de atravessar a mesa. Pergunta B, feita aos 3:20: “Onde estava o caderno azul antes de ser movido? Onde está agora? E quando ele se moveu?” A resposta correta é: “No centro da mesa; agora, à esquerda do centro; moveu-se por volta de 2:50.” O pipeline de resumo disse: “Estava no centro; agora está no meio, à esquerda; moveu-se entre 2:50 e 3:02”: três de três. O Delta Streamer disse que o

04:36 caderno estava no centro à esquerda e não se moveu em nenhum momento do vídeo. O próprio log mostra a mão chegando em 1:70 e saindo em 1:73, sem mencionar o caderno nesse intervalo: um de três. E o único acerto foi simplesmente a posição em que o caderno fica no final. Pergunta C, feita no fim, aos 5 minutos: “Quantas vezes a caneca vermelha foi movida? Ela voltou ao lugar onde começou? Qual objeto foi movido por último? E quantas vezes esse objeto foi movido?” A resposta correta é: “Duas vezes; sim; o celular preto; duas vezes.” O pipeline de resumo acertou as quatro. O círculo vermelho foi movido duas vezes e voltou para a esquerda.

05:08 O retângulo preto foi o último e foi movido duas vezes. Quatro de quatro. O Delta Streamer disse que a caneca não foi movida nenhuma vez e que nenhum objeto foi movido por último, porque nenhum objeto foi movido. Ele disse que a caneca estava na posição inicial, o que é verdade, mas disse isso porque acreditava que a caneca nunca tinha sido movida: um de quatro. Aqui está o placar. Pergunta A: o resumo acertou três de três. O Delta Streamer não acertou nenhuma. Pergunta B: três de três contra um. Pergunta C: quatro de quatro contra um. Dez de dez contra

05:39 dois de dez. E é lento. A um frame por segundo, assistir aos primeiros 100 segundos levou 14 minutos na H100. 200 segundos levaram 28 minutos, e os 5 minutos completos levaram 41. Antes de concluir, aqui está o que não posso afirmar. Este é um único clipe com formas planas e uma execução por pergunta. A demo que pode ser deployada funciona com o rastreamento e o áudio desativados, e o readme diz que essas flags alteram o sistema que foi avaliado. O modelo foi executado com o thinking desativado, que é a configuração recomendada pelo próprio readme, e meus movimentos são deslizamentos lentos de 3 segundos. Então, cada etapa de 1 segundo representa uma

06:10 pequena mudança. Para ser justo, o exemplo na própria figura do artigo é a cor de um ônibus que passou: um detalhe que acaba ficando de fora e é recuperado ao reproduzir os frames. Esse é um teste diferente do meu. O meu pergunta o que se moveu e quando. O deles pergunta qual era a aparência de algo. Veja como estava a memória no final da pergunta C: 300 observações de trabalho, nove resumos de episódios e um fato fixado, que era a minha pergunta. Oito dos nove resumos mencionam um círculo rosa aparecendo ou desaparecendo. Só um menciona um objeto se movendo: o círculo verde.

06:42 Então, não estou dizendo que os números do artigo estão errados. Estou dizendo que, no log do delta, a mão aparece nos oito movimentos, e um objeto em movimento aparece uma vez: a planta verde, aos 3:26. E a resposta final ignorou até mesmo esse caso. Assim, a memória, o plano e a resposta herdaram a falha. Essa é a lição honesta sobre o design. Se a memória é construída com base no que o modelo percebeu, ela só pode ser tão boa quanto essa percepção. E uma etapa de reprodução não ajuda se nada na memória indicar que há algo a verificar.

07:13 Levou cerca de 4 horas e meia de uso de H100 para descobrir isso, aproximadamente US$ 12 pela tarifa anunciada, e passei a maior parte dessas horas corrigindo a configuração. O pipeline de resumo levou cerca de 50 segundos. Então, quem deveria usar isso? Se você pesquisa perguntas sobre vídeos em streaming, vale a pena ler o repo, e a ideia do delta é bem simples. Se você quer criar um produto, a licença é CC-BY-NC 4.0, ou seja, para uso não comercial. Não há releases, e o código de treinamento não está incluído. Se você só quer saber o que aconteceu na gravação, gere legendas a cada 10

07:43 segundos e faça um resumo. Neste teste, ele superou o Delta streamer por uma ampla margem e levou cerca de 50 segundos. Meu próximo teste é algo de verdade: 5 minutos filmados com um celular, objetos reais, mãos reais e movimentos mais rápidos, já que os meus foram movimentos lentos de câmera. Se quiser ver isso, me conte nos comentários. Se você está procurando GPUs baratas e confiáveis, eu uso RunPod, e o link está na descrição. Então, neste vídeo, vimos o que é o Delta streamer, como funciona e onde falhou no meu teste. Se quiser experimentar por conta própria, os links estão na descrição. Vejo você em outro vídeo. Confira o próximo

08:14 vídeo.

Transcrição original

[00:01] Same 5-minute video, same three questions. A plain text summary got 10 out of 10 details right. Delta Streamer, the model that is supposed to remember everything, got two, and its first answer was that nothing moved. Now, before you say I set it up wrong, I thought the same thing. So, I read the paper, I ran the real code on a rented H100, and I checked every single frame it looked at. All right, let’s go ahead and see what happened. So, what is Delta Streamer? This is the GitHub page. It is a research release from Nankai

[00:31] University by Dense AI Quest Research and the Chinese Academy of Sciences, and the paper went up on arXiv on the 14th of October. The repo is very new. When I recorded this, it had 71 stars, zero forks, no releases, and two contributors. The readme says the training code is not included, and a full GPU regression has not been completed. The pitch is on the project page. Video keeps changing, memory should keep up. So, instead of describing each frame and throwing the frame away, it writes down what changed between frames. And when you ask a

[01:01] question later, it can go back and look at the original frames again. On OVE O bench, the paper reports 66.07 overall. Gemini 3 Flash is at 64.02 on the same table, and humans are at 92.81. Mind you, those are the paper’s numbers. The repo says they are not from a new run of this release. Here’s how it works in four steps. One, it watches the video at one frame per second, and for every new frame, it writes a description plus a delta, which is just what changed since the last frame. Two, those go into a memory with three

[01:32] layers. Working observations, episode summaries, and pinned facts, and every one of them links back to the original frame. Three, it does not see your question while it watches. When the question finally arrives, it makes a plan. What evidence do I need to answer this? Four, if the text memory does not have the detail, it goes back and replays the actual frames. That is the part that is supposed to beat a text summary. Under the hood, it needs Qwen 3.6 27B plus SAM 2.1 for tracking and Whisper for audio. But, the demo you can deploy turns

[02:04] tracking and audio off, and I’ll come back to that. So, I wanted to test the one thing it promises. Remembering what happened earlier, I planned to film 5 minutes on my phone, but I wanted to know the exact answer to every question. So, I generated the clip with a script instead. It is a top-down desk with six objects: a red mug, a blue notebook, a yellow sticky note, a green plant, a black phone, and orange headphones. A hand moves one object at a time. Eight moves in 5 minutes with at least 25 seconds of nothing happening between moves, and there is a clock burned into

[02:34] the corner. I wrote down the answer key before I ran anything. First, I tried the hosted Hugging Face demo. It only streams the first 12 seconds of a video, and the free GPU quota ran out after one answer. My laptop has an 8GB RTX 4060, and the 27B model needs far more than that, so I rented an H100 on RunPod. It took me three tries to get the model server up. First, a clash in the CUDA library path, then a missing build tool called Ninja that made the model crash on its first real question. The readme does not warn

[03:05] you about either of those. The normal way to do this is a summary pipeline. Take a frame every 10 seconds, write a caption for each one, boil the captions down into a summary, and answer questions from that text only. I did exactly that with 31 frames. Claude captioned every frame without knowing the questions. And a second pass answered from the summary alone. Mind you, a strong captioner makes this baseline strong. So, this is a fair fight against a real workflow, not a weak one. Question A asked at 1 minute

[03:35] 40, “Which objects have been moved so far in order?” And when the right answer is three, the yellow sticky note at 35 seconds, the red mug at 60, and the black phone at 95. The summary pipeline said yellow rectangle first, then the red circle, then the black rectangle, each one within 10 seconds of the real time, three out of three. Delta Streamer said, and I’m reading it off the screen, “No objects have been moved.” And this is the part I checked. Look at the Delta log. At 35 seconds, it notices a pink circle, that is the hand.

[04:06] At 38 seconds, it notices the hand is gone. And for the 3 seconds in between, it writes that all the shapes remain in identical positions. The sticky note had just crossed the table. Question B, asked at 3:20, “Where was the blue notebook before it was moved? Where is it now? And when did it move?” The answer key says, “Center of the desk, now left of center, moved at about 2:50.” The Summary Pipeline said, “Center before, upper left middle now, and moved between 2:50 and 3:02, three out of three.” Delta Streamer said the

[04:36] notebook was at the center left and did not move at any point in the video. Its own log shows the hand arriving at 1:70 and leaving at 1:73, and nothing about the notebook in between, one out of three. And the one it got right is just where the notebook sits at the end. Question C, asked at the end, 5 minutes in, “How many times was the red mug moved? Is it back where it started? Which object was moved last? And how many times was that one moved?” The key says, “Twice, yes, the black phone, and twice.” The Summary Pipeline got all four. Red circle moved twice, back at the left.

[05:08] Black rectangle last, moved twice. Four out of four. Delta Streamer said the mug was moved zero times, and that no object was moved last because no objects were moved at all. It did say the mug is at its starting position, which is true, but it said that because it believed the mug never moved, one out of four. Here is the scoreboard. Question A, the Summary got three of three. Delta Streamer got zero. Question B, three of three against one. Question C, four of four against one. 10 out of 10 against

[05:39] two out of 10. And it is slow. At one frame per second, watching the first 100 seconds took 14 minutes on the H100. 200 seconds took 28, and a full 5 minutes took 41. Before we call it, here is what I cannot claim. This is one clip made of flat shapes and one run per question. The deployable demo runs with tracking and audio switched off, and the readme says those flags change the system that was evaluated. The model ran with thinking turned off, which is the readme’s own setting, and my moves are slow 3-second slides. So, every 1-second step is a

[06:10] small change. To be fair, the example in the paper’s own figure is the color of a bus that passed. A detail that gets left out recovered by replaying the frames. That is a different test from mine. Mine asks what moved and when. Theirs asks what something looked like. Here’s what its memory looked like at the end of question C, 300 working observations, nine episode summaries, and one pinned fact, which is my question. Eight of the nine summaries mention a pink circle appearing or disappearing. Only one mentions an object moving, the green

[06:42] circle. So, I’m not saying the paper’s numbers are wrong. I’m saying that in the delta log, the hand shows up at all eight moves, and an object moving shows up once, the green plant at 3:26. And the final answer ignored even that one. So, the memory, the plan, and the answer inherited the miss. That is the honest lesson of the design. If the memory is built from what the model noticed, the memory can only be as good as the noticing. And a replay step cannot help if nothing in memory says there is something to go back and check.

[07:13] It took about 4 and 1/2 hours of H100 time to find that out, roughly $12 at the listed rate, and most of those hours were me fixing the setup. The summary pipeline took about 50 seconds. So, who should use it? If you do research on streaming video questions, the repo is worth reading, and the delta idea is clean. If you want to build a product, the license is CC-BY-NC 4.0, which is non-commercial. There are no releases, and the training code is not included. If you just want to know what happened in recording, caption it every 10

[07:43] seconds and summarize it. On this test, it beat the Delta streamer by a wide margin, and it took about 50 seconds. My next test is a real thing. 5 minutes filmed on a phone, real objects, real hands, and faster moves since mine were slow slides. If you want to see that, let me know in the comments. If you’re looking for cheap and reliable GPUs, I use RunPod, and the link is in the description. So, in this video, we have seen what Delta streamer is, how it works, and where it missed in my test. If you want to try it yourself, the links are in the description. I’ll see you in another one. Check out the next

[08:14] video.