Elorian Glimpse: pensamento visual que se mantém fundamentado

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Elorian Glimpse: Visual Thinking That Stays Grounded · Canal: Fahd Mirza · 09:57 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Modelos multimodais

Resumo

O vídeo testa o modelo Glimpse, da Illorian, em tarefas de análise de vídeo e imagens, com foco em seu método de pensamento visual: examinar regiões, rever trechos e acompanhar elementos ao longo do tempo. Em um vídeo gerado por IA, o modelo identifica inconsistências físicas e sinais de geração artificial, embora também apresente erros e respostas longas. Em uma gravação real, descreve detalhes visuais com precisão e reconhece incertezas, mas não consegue confirmar o conteúdo falado por causa da qualidade do áudio. No teste final, compara cinco imagens geradas por IA de diferentes países e acerta vários detalhes visuais, mas comete contradições e demonstra incerteza sobre informações legais. O apresentador considera o desempenho visual promissor, especialmente diante do preço menor, mas ressalta que os resultados ainda têm limitações.

Pontos-chave

Glimpse usa uma abordagem chamada pensamento visual, na qual examina regiões, revê momentos curtos e acompanha características ao longo do tempo.
No vídeo de dois trens em movimento, o modelo conclui que eles não se movem em relação ao homem ou aos trilhos e aponta sinais de geração por IA.
O modelo identifica detalhes como a marca-d’água Happy Horse, mas também apresenta falhas, respostas extensas e algumas observações imprecisas.
Em um vídeo real, acompanha gestos, conta duas telas e um microfone e reconhece quando não consegue identificar um objeto.
Glimpse admite que não pode confirmar o que é dito no vídeo real porque o áudio não tem qualidade suficiente.
No teste com cinco imagens de diferentes países, o modelo relaciona detalhes visuais entre elas e sinaliza incerteza sobre aspectos legais.
O modelo pode se contradizer: no exemplo da Índia, identifica uma faixa na parte inferior do abdômen, mas também diz que a parte abdominal do cinto está ausente.
Segundo a tabela apresentada no vídeo, Glimpse não lidera todos os benchmarks, mas tem preço muito inferior ao de GPT-6 Astra e Claude Opus 5.5.

Capítulos

Início	Capítulo	Resumo
00:01	Primeiro teste: vídeo gerado por IA	O apresentador testa se Glimpse consegue analisar a física de um vídeo de um homem entre dois trens e explica a abordagem de pensamento visual.
02:06	Benchmarks, preço e análise do vídeo	O vídeo compara o desempenho e o preço de Glimpse com outros modelos e examina seus acertos e limitações no clipe gerado por IA.
04:45	Teste com uma gravação real	Glimpse identifica pessoas e objetos na gravação, acompanha movimentos e declara incerteza quando não consegue confirmar detalhes.
06:50	Comparação de cinco imagens	O modelo analisa imagens geradas por IA de cinco países para avaliar detalhes de cintos de segurança, raciocínio entre imagens e reconhecimento de incertezas legais.
08:56	Resultados e limitações do teste final	O apresentador destaca os detalhes visuais corretos e a cautela do modelo, mas também aponta contradições e erros em algumas informações.

Citações

A ideia é que ele não olha uma vez e responde. — 01:03

Você tem visão quase de ponta por uma fração do custo. — 02:38

Uma abordagem muito honesta, sem alucinações. — 06:20

Ele é bastante forte no aspecto visual, que é justamente seu verdadeiro diferencial. — 09:26

Conceitos e entidades

Glimpse (modelo): Modelo de análise visual avaliado no vídeo por meio de tarefas com vídeos e imagens.
Illorian (empresa): Empresa apresentada no vídeo como responsável pelo modelo Glimpse.
visual thinking (conceito): Abordagem descrita como o exame de regiões, a revisão de trechos curtos e o acompanhamento de elementos visuais ao longo do tempo.
GPT-6 Astra (modelo): Modelo comparado a Glimpse em benchmarks de visão e apresentado como líder em alguns testes.
Claude Opus 5.5 (modelo): Modelo citado na comparação de benchmarks, com vantagem em leitura de gráficos científicos.
Happy Horse (modelo): Nome associado à marca-d’água identificada por Glimpse no vídeo gerado por IA.
Hermes Agent (ferramenta): Agent usado para testar Glimpse com cinco imagens de diferentes países.

Tradução completa (pt-BR)

00:01 Assista a este vídeo primeiro. Este é um homem fazendo uma abertura espetacular entre dois trens em movimento. Um vídeo gerado por IA parece incrível, mas será que é fisicamente real? Vamos descobrir com este novo modelo, chamado Glimpse. Este é o ambiente de testes dele, um novo modelo de uma empresa chamada Illorian. Vou colar aqui um prompt difícil, como você

00:31 pode ver. Ele pede ao modelo que acompanhe o homem e os dois trens, compare as velocidades, verifique a física, preveja o que acontece se um dos trens frear e sinalize qualquer coisa que pareça gerada por IA, com marcações de tempo. Vou executar. Ele está processando, e vou reproduzir o vídeo novamente para vocês. Vou mostrar o raciocínio, porque eles disseram que é um pouco diferente. Em que sentido é diferente? Vamos conversar um pouco mais sobre isso.

01:03 Então, vejam. Agora estamos testando se ele descreve o vídeo ou não, porque o que eles dizem é que criaram uma nova estrutura chamada raciocínio visual, e este novo modelo Glimpse é um modelo de raciocínio visual. A ideia é que ele não olha uma vez e responde. Ele amplia regiões, revê momentos curtos com uma taxa de quadros mais alta e acompanha uma característica ao longo do tempo antes de responder.

01:34 Se vocês consultarem o relatório que eles compartilharam, há muitos exemplos, benchmarks e outras coisas. Por exemplo, vejam isto. O que dizem aqui é que ele foi desenvolvido por uma equipe pequena, usando algumas centenas de GPUs, passou por pós-treinamento com um modelo base de pesos abertos e custa muito menos que os maiores modelos de ponta. Mas essas são alegações deles, não um teste meu, e é exatamente isso que estou fazendo aqui. Ele ainda está processando, assistindo ao vídeo. Então vou esperar terminar. Enquanto isso, deixa eu

02:06 falar rapidamente sobre esta tabela de benchmark. O que esses dados mostram é que ele não vence em tudo. E é exatamente isso que o torna interessante. No modelo grande e caro, GPT-6 Astra ainda leva a melhor em vários testes, como quebra-cabeças visuais detalhados e legendagem de vídeos com muitas informações. Claude Opus 5.5 fica um pouco à frente na leitura de gráficos científicos, mas Glimpse vence ou empata no teste de robótica, na legendagem de vídeos curtos

02:38 e na contagem de objetos, além de ficar logo atrás nos demais. Acho que a principal mensagem que eles estão tentando transmitir é o preço. Glimpse custa cerca de 94% menos que GPT-6 Astra e 85% menos que Opus 5.5. Então, você tem visão quase no nível dos modelos de ponta por uma fração do custo, e essa é toda a premissa, que é bastante atraente. E é exatamente isso que estamos testando agora no ambiente de testes deles. Também vou deixar o link na

03:09 descrição do vídeo. E esta é a resposta do modelo, como vocês podem ver. Vou levá-los rapidamente ao final da resposta primeiro. Vejam só. Em vez de apenas descrever o vídeo, ele extraiu os quadros e citou as marcações de tempo. Agora, confiram a resposta desde o começo. Vejam só. A conclusão foi que os trens nunca se movem em relação ao homem ou aos trilhos, o que sugere que o clipe foi gerado por IA. Acertou em cheio. Ele também apontou a

03:42 marca-d’água Happy Horse, que é, claro, da Alibaba, e isso está certíssimo. Também houve pontos fracos, vários deles. Um pequeno erro vazou para o texto. A resposta foi longa. E acho que alguns pontos estão corretos. Em outros, acho que ele simplesmente se perde e fica divagando. Então, eu diria que foi meio a meio. Acho que foi muito bom em relação a algumas das limitações que ele mesmo já admitiu, como

04:13 esta, o que é muito bom. Depois, ele diz que há inconsistências ópticas. Esse é o principal: ele identificou todas as limitações e falhas no vídeo do Happy Horse, que foi gerado por IA. Isso é muito bom. Depois, fala daquela nuvem de poeira no horizonte à esquerda, o que é muito bom. E também identificou algumas manchas de névoa. No geral, acho que há um equilíbrio bastante razoável entre desempenho e preço. Agora vamos testar uma gravação real. Como

04:45 vocês podem ver aqui, não foi gerada por IA e não tem edição nenhuma. Então, vamos ver se ele consegue fazer o que prometeu, porque estou fazendo várias perguntas sobre quantos monitores há, para acompanhar a pessoa e descrever a iluminação e as persianas. Vou executar e ver o que ele apresenta. Também vou reproduzir um trecho para vocês. >> Olá, pessoal. Estou criando este breve vídeo de exemplo para esta demonstração do Deep Live Cam. E, mais uma vez, isto é apenas para fins educativos. E não julguem meu

05:17 Então, vocês veem que há alguns gestos com as mãos. A qualidade não é boa o bastante para avaliar a iluminação. Além disso, é um vídeo um pouco antigo, em que entra um pouco de luz pela persiana. Vamos ver o que o modelo responde. Enquanto isso, inscrevam-se nesta newsletter semanal gratuita sobre IA em fawadmirza.substack.com. Prometo que não vou ficar mandando spam. E, se quiserem ajudar o canal, tornem-se membros clicando neste

05:49 link ou no primeiro comentário fixado. E aqui está um resultado razoável. Na gravação real e nos clipes, a resposta foi muito detalhada, como vocês podem ver. Ele dividiu meus 29 segundos em detecções por intervalo de tempo, acompanhou apenas minha mão direita entrando e saindo do quadro, o que está correto. Contou duas telas e um microfone e mediu que as persianas permaneceram constantes, amostrando o brilho ao longo do clipe. Também sinalizou a própria incerteza sobre alguns itens, como

06:20 um pequeno dispositivo na mesa que não conseguiu identificar. E contestou a afirmação de que meu olhar se volta para a câmera no final. Também houve alguns pontos fracos, mas não muitos, sério. Porque ele analisou apenas os quadros, um a um. Mas disse que não podia confirmar o que eu estava falando porque a qualidade do áudio não era boa o bastante. Então, foi uma abordagem muito honesta, sem alucinações nem nada disso. Acho que se saiu muito bem, e vocês podem ver todos os quadros que ele

06:50 usou. Muito bom, como vocês podem ver. Este é o movimento da mão de que ele estava falando, quadro a quadro. Para o próximo teste, vou usar este harness de agentic com estas cinco imagens, cada uma de um país diferente. Esta é a Austrália, todas geradas por IA, aliás. Esta é o Canadá. E esta é a Alemanha. Esta é a Índia. E esta é a Nigéria. Estou tentando ser justo com cada

07:21 continente. O que estamos tentando testar aqui são três coisas: se um modelo consegue perceber pequenos detalhes, como exatamente o trajeto de cada cinto de segurança; se consegue raciocinar sobre várias imagens ao mesmo tempo; e se admite quando não sabe a lei de um país. Estas imagens foram geradas por IA e fotografadas de dentro do carro. Então, um bom modelo também deveria apontar que uma câmera de fiscalização real veria algo muito diferente. Então, o que

07:53 fiz foi anexar as imagens ao agent Hermès e também estou usando-o pela API deles, no Illodion Glimpse, como vocês podem ver. Vou colar o prompt. Este é um prompt em que testo aquilo que acabei de explicar. Vamos executar. Ele está analisando bem, de novo, quadro a quadro, e depois raciocina sobre as imagens. Também está tentando mapear todas elas, entender como cada uma se encaixa e como elas

08:26 se relacionam umas com as outras. E este prompt está realmente exigindo bastante do modelo. Ele fica confuso em alguns pontos, mas, se vocês olharem o raciocínio, ele está fazendo o melhor possível com cada país. Também está consultando os próprios dados para ver se encontra alguma coisa, mas está tendo dificuldade neste momento. Vamos ver o que ele produz. E aqui está. A resposta parece muito boa. Pelo que consigo ver, ele identificou corretamente as cinco imagens. A ausência do

08:56 faixão no suéter creme, o cinto por baixo do braço na blusa e tudo mais. Ele também foi honesto sobre a questão da câmera. Disse que são imagens feitas dentro do veículo e que o contraste, como o cabelo e o brilho, determinaria a detecção. Também classificou muitos detalhes legais como incertos. Então, parece que o conjunto de dados de treinamento não contém essas informações, o que não tem problema. Mas houve algumas coisas em que ele escorregou. Ele se contradiz em vários pontos. Por

09:26 Por exemplo, na Índia, a faixa está visível na parte baixa do abdômen, mas diz que a parte do colo está ausente. As multas e as implantações de câmeras não me parecem muito corretas, mas, no geral, eu diria que ele é bastante forte no aspecto visual, que, para ser justo, é justamente o verdadeiro diferencial do modelo. Ele raciocinou cuidadosamente sobre cinco imagens de uma só vez. Então, tratou a metade legal como um ponto de partida para verificar.

09:57 Mas, fora isso, ele identificou corretamente os detalhes visuais mais sutis, que era exatamente o que queríamos testar. Um lançamento muito bom, o primeiro lançamento com recursos limitados. Quero saber o que vocês acham. Obrigado por todo o apoio.

Transcrição original

[00:01] Watch this video first. This is a man doing the epic split across two moving trains. An AI-generated video looks cool, but is it physically real? Let’s find out with this new model, which is Glimpse. This is the playground for it, a new model from a company called as Illorian. I’m pasting a hard prompt here, as you

[00:31] can see. It asks the model to track the man and both trains, compare their speed, check the physics, predict what happens if one train breaks, and flag anything that looks AI-generated with timestamps. Let me run this. It is working through it, and I will play it again for you. So, I’ll just show you the reasoning because they have said it is bit different. How is it different? Let’s talk bit more around it.

[01:03] So, look. We are now testing that whether it describes the video or not, because what they say is that they have come up with a new framework called as visual thinking, and this new Glimpse model is a visual thinking model. The idea is that it does not look once and answers. It zooms into regions, rewatches short moments at a higher frame rate, and tracks one feature through time before it responds.

[01:34] If you go through this report which they have shared, and there are a lot of examples, benchmarks, and stuff. For example, look at this. What they are saying here is that it was built by a small team on a few hundred GPUs, post-trained on an open weights base model, and priced much lower than the bigger frontier models. But, these are their claims, not my test, and that is what exactly I am doing here. It is still working through it, watching the video. So, I will wait for it to finish. Meanwhile, let me

[02:06] quickly talk about this benchmark table. So, what this statistics show me is that it is not winning everywhere. And that is exactly what makes it interesting. On the big expensive model, GPT-6 Astra still takes the crown on several tests like fine-grained visual puzzles and dense video captioning. Claude Opus 5.5 edges ahead on reading scientific charts, but Glimpse wins or ties on the robotics test, short-form video

[02:38] captioning and counting objects, and it stays close behind on the rest. I think the main punchline which they are trying to convey is the price. Glimpse costs about 94% less than GPT-6 Astra and 85% less than Opus 5.5. So, you’re getting near frontier vision at a fraction of the cost, and that is the whole premise here, which is quite attractive. And that is what we are exactly testing right now on their playground, and I will drop the link in video’s

[03:09] description, too. And this is the response of the model, as you can see. I will quickly take you to the end of the response first. Look at this. Instead of just describing the video, it pulled out the frames and cited at timestamps. Now, check this response out from the start. Look at this. Its conclusion was that the trains never move relative to the man or the track, which suggests the clip is AI-generated. Totally spot-on. It also pointed to the

[03:42] happy horse watermark, which is of course from Alibaba, which is quite correct. There were weak spots, too, a lot of them. A small glitch leaked into its text. The answer was long. Um and I think some of them are correct. Some of them it is just I think slipping away and fluttering. So, I think so 50/50 I would say it is quite good that in terms of some of the um you know, limitations it has already admitted like

[04:13] this, which is quite good. And then it says that it is optically inconsistent. So, that is the main thing. That it is identifying all the limitations and flaws in Happy Horses video, which is AI generated. So, which is quite good. Then it talks about that dust plume at the left horizon, which is quite good. And then some of the haze patches it has identified. So, all in all I think it is quite a decent balance between performance and price. And now let’s try out a real footage. As

[04:45] you can see here, it’s not an AI generated, no editing whatsoever. So, let’s see if it is able to do um whatever claim it has made because I’m asking it lot of questions around how many monitors, track the person, and describe the lighting and the window blinds. I will run this and let’s see what it comes up with. Let me also play it a bit for you. >> Hello guys. I’m just creating this sample short video for this deep live cam demo. And again, this is just for educational

[05:17] purposes. And don’t judge my >> So, you see there are some hand gestures. The quality is not good enough around the lighting. Plus um it’s a bit of an older video where some light is coming through the blind. So, let’s see what the model comes back with. And meanwhile, please subscribe to this free weekly AI newsletter at fawadmirza.substack.com. I promise I’m not going to spam you with it. And if you want to help out the channel, please become a member by clicking on

[05:49] this link or in the first pinned comment. And here is a fair deal. On the real footage and clip clips was very detailed as you can see from this response. It broke my 29 seconds into time detections, tracked only my right hand entering and leaving the frame, which is correct. Counted two screens and one microphone and measured the blinds staying constant by sampling the brightness across the clip. It also flagged its own uncertainty on a few items like

[06:20] a small device on the desk it could not identify. And it pushed back on a claim that my gaze lifts to the camera at the end. Um, there were few weak spots too, but not many, seriously. Because it only worked from the frame to frame. And but it said that it could not confirm what I was saying because the audio was not good enough. So, very honest approach, no hallucination, flying um, nothing there. So, I think it has done fairly well and you can see these are all the frames it

[06:50] has gone with. Really good stuff, you see. This is a hand movement it was talking about frame by frame. For the next test I’m going to use this agentic harness with these five images, each from a different country. So, this is Australia, all AI generated by the way. This is Canada. And this is Germany. This is India. And this is Nigeria. So, I have I’m trying to be fair to each

[07:21] continent. Now, what we are trying to test here is that three things. Whether a model can see small details, like exactly how each seatbelt is routed. Can it reason across several images at once? And does it admit when it does not show a country’s law? These images AI generated and they’re photographed from inside the car. So, a good model should also point out that a real enforcement camera would see something very different. So, what I

[07:53] have done here, I have already attached the images in Hermès agent and I’m also using it through their API at um Illodion Glimpse, as you can see. Let me paste that prompt. So, this is a prompt where I’m testing what I what I just told you. So, let’s run this. It is thinking pretty nicely again, frame by frame, and then it’s reasoning across it. It is also trying to map all of these images as how it should go and how they

[08:26] relate to each other. And this prompt is really stretching the model. It is getting confused at some points, but if you look at the reasoning, it is trying its best across the countries. Also checking its own data to see if it is able to find anything, but uh having a hard time at the moment. Let’s see what it produces. And here you go. So, the response looks pretty good. It has matched all five images from what I can see. The missing

[08:56] sash on the cream sweater, the underarm belt on the uh blouse, and all that stuff. So, it stayed honest on the camera question, too, by the way. That these are interior shots and that contrast, like hair and glare, would decide detection. And it also marked many legal details as uncertain. So, the training data set doesn’t have them, it seems, which is fine. Um but there are few things where it slipped. It contra- dicts at several places itself. For

[09:26] example, on India, the strap is visible low across the abdomen, yet it says the lap portion is absent. The fines and camera rollouts are um doesn’t seem that correct to me, but overall I think what I would say in general that it is quite strong on the visual side, which is the model’s real selling point anyway in all fairness. It reasoned carefully across five images in one pass. So it treated the legal half as a starting point to check.

[09:57] So but other than that it has got the fine visual details accurately, which is exactly what we wanted to test. A pretty good release, the first release with limited resources. Let me know your thoughts. Thank you for all the support.