Qwen3.8 Omni Flash: testando imagens, vídeo e áudio de uma só vez

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Qwen3.8 Omni Flash: Fed It Images, Video, and Audio All at Once · Canal: Fahd Mirza · 09:51 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Modelos multimodais

Resumo

O vídeo testa o Qwen3.8 Omni Flash com imagens, vídeo, áudio em árabe e uma combinação de imagem e áudio. Nos testes, o modelo identifica detalhes visuais, transcreve e traduz fala e separa corretamente informações de modalidades diferentes. O apresentador destaca o raciocínio do modelo e sua capacidade de reconhecer limites, embora observe possíveis erros de tradução multilíngue. Ele também comenta os benchmarks oficiais, o custo de entrada de áudio e vídeo e a expectativa de que o modelo se torne open source.

Pontos-chave

O Qwen3.8 Omni Flash é apresentado como um modelo multimodal que processa texto, imagem, áudio e vídeo, com context window de 1 milhão de tokens.
No teste de imagem, o modelo avaliou o uso do cinto de segurança e descreveu a tatuagem, distinguindo especulação de fato.
O apresentador elogia o raciocínio visual do modelo, que examinou partes específicas da imagem e revisou suas conclusões.
No teste de vídeo, o modelo descreveu elementos visuais e reconheceu que recebeu amostras de frames, sem áudio real.
O teste de áudio em árabe mostrou identificação do idioma e tradução, mas o apresentador notou possíveis erros e uma queda na qualidade multilíngue em relação ao Qwen 3.7.
Em um teste combinado, o modelo descreveu uma imagem de química e transcreveu um áudio de baixa qualidade sem inventar uma relação entre os dois.
O apresentador destaca o baixo custo de entrada de áudio e vídeo em comparação com modelos citados no vídeo.
O vídeo afirma que o modelo deverá ser disponibilizado como open source em breve.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação e teste com imagem	O apresentador introduz o modelo, comenta os benchmarks e testa sua análise de uma imagem com uma pessoa usando cinto de segurança.
03:08	Compreensão de vídeo e áudio	O modelo analisa um vídeo gerado por IA, e o apresentador comenta sua arquitetura e a capacidade de reconhecer que não recebeu áudio real.
05:43	Teste multilíngue com áudio em árabe	O apresentador avalia a identificação e a tradução de um trecho em árabe e aponta possíveis erros em alguns idiomas.
07:47	Teste combinado de imagem e áudio	O modelo descreve uma imagem de química, transcreve um áudio de baixa qualidade e corretamente não força uma conexão entre as duas entradas.

Citações

Um resultado de nível mundial. Muito, muito correto. — 02:37

Ele leu corretamente o vídeo como uma amostra de frames, não como áudio real. — 04:41

A compreensão de áudio está perfeita. — 07:47

Ele disse honestamente que as duas coisas não tinham conexão, em vez de inventar uma ligação. — 09:18

Conceitos e entidades

Qwen3.8 Omni Flash (modelo): Modelo multimodal testado no vídeo para processar texto, imagens, áudio e vídeo.
Qwen (empresa): Organização associada ao modelo e aos benchmarks apresentados no vídeo.
Hermes Agent (ferramenta): Agent usado pelo apresentador para testar o modelo por meio de uma API.
Gemini 3.8 Flash (modelo): Modelo usado como referência na comparação de custos de entrada de áudio e vídeo.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável pelo canal.
Happy Horse (ferramenta): Ferramenta citada pelo apresentador como usada para gerar o vídeo analisado.

Tradução completa (pt-BR)

00:01 A Qwen atacou de novo, desta vez com o Qwen 3.8 Omni Flash, seu novo modelo Omniod nativo, que processa texto, imagem, áudio e vídeo de uma só vez, com uma context window de 1 milhão de tokens. Vamos parar de falar sobre ele e começar a testá-lo ao vivo com o agent Hermes, que já configurei com a API. A Qwen também vai torná-lo open source muito, muito em breve. No primeiro teste, vou dar a ele esta imagem

00:33 e perguntar ao modelo se esta mulher está usando cinto de segurança, certo? E não só isso, mas também o que esta tatuagem simboliza. Já anexei a imagem. E este é o meu prompt para ela. Então, o modelo está refletindo sobre isso. Enquanto isso acontece, vamos falar mais sobre esse modelo. A propósito, sou Fahad Miza e dou as boas-vindas a você ao canal. Recentemente, também comecei esta newsletter semanal gratuita sobre IA, à qual você

01:04 pode se inscrever em fadmiza.substack.com. Estes são os benchmarks oficiais da Qwen. Como você pode ver, é uma varredura, e o padrão é consistente. O Qwen 3.8 Omni fica no topo ou lidera a maioria dos gráficos de agentes e compreensão audiovisual, especialmente no teste de transcrição de reuniões com vários falantes, em que supera todos os concorrentes com folga. Para mim, acho que o ponto aqui é o gráfico de preços na parte inferior. Deixe-me ver se

01:35 consigo mostrar. Aí está. Olhe só. Ele é dramaticamente mais barato para entrada de áudio e vídeo do que o Gemini 3.8 Flash e seu antecessor, embora ainda vença em qualidade. O modelo já respondeu. Mas, antes mesmo de mostrar esse resultado, quero dizer algumas coisas sobre o raciocínio dele, porque acho que essa é a característica que diferencia esses modelos enormes e de grande escala hoje em dia. Então, veja esse raciocínio. Vou passar por ele. Ele não olhou apenas uma vez. Ele

02:06 ampliou separadamente o ombro, o peito e outras partes, além da fivela; conferiu sua própria lógica geométrica e percebeu quando tinha lido algo errado na primeira vez, antes de chegar a uma resposta. Portanto, o raciocínio não é apenas bastante abrangente, mas às vezes também bastante profundo, quando necessário — ao contrário de outros modelos anteriores da Qwen, que desperdiçavam muitos tokens. Acho que este é bastante eficiente nesse aspecto.

02:37 Agora, o resultado em si. Ele disse que o cinto estava tecnicamente afivelado, mas apontou problemas reais: a alça se desviava em direção ao pescoço, em vez de passar pelo ombro, e o cinto abdominal estava frouxo e alto demais. Também fez uma análise detalhada do estilo da tatuagem e identificou claramente como especulativo o simbolismo, em vez de apresentá-lo como fato. Uma resposta de nível mundial. Muito, muito correta. E acho que este modelo realmente se saiu muito bem,

03:08 especialmente no C1. A seguir, vamos fazer um teste de compreensão de vídeo, com alguma compreensão de áudio também. Deixe-me reproduzir este vídeo gerado por IA. [música] Há música, algumas pessoas dançando, algumas pessoas. Vou voltar ao meu código. Este é o código que estou usando para enviar o prompt ao modelo, e também

03:38 a chave de API que estou usando, obtida no site deles. Vou voltar e executar isso no terminal. O modelo está transmitindo toda a resposta aos poucos. Enquanto isso, vou explicar rapidamente a arquitetura, porque acho que é uma das coisas realmente boas que estão acontecendo aqui. Como você pode ver, há um codificador de visão e um módulo especial de áudio e texto que alimentam um agent principal, que planeja, chama ferramentas e

04:11 orquestra tudo, de comentários sobre filmes à geração de vídeos musicais. Não é simplesmente um modelo que entende áudio e vídeo. Ele foi desenvolvido para agir sobre eles: assistir a um filme e narrá-lo, traduzir um drama entre idiomas preservando a voz de cada personagem, ou pegar uma música bruta e transformá-la em um videoclipe totalmente editado, tudo com um único prompt. Por isso, não consigo realmente fazer jus a esse modelo em um único vídeo. Então,

04:41 haverá vários vídeos sobre cada recurso. Neste vídeo, só quero dar uma ideia do que esse modelo é capaz de fazer. Enfim, vamos voltar ao terminal. Aí está. Outra resposta sólida. Devo dizer que ele identificou corretamente o vídeo como uma amostra de quadros, sem áudio real. Portanto, foi bastante honesto. Ele reconheceu honestamente essa limitação em vez de fingir que ouvia a música e, ainda assim, acertou em cheio nos

05:11 detalhes culturais: as cores do sari, nomes de joias como mang tikka, gajra e bindi, a arquitetura mogol rajput de mármore e a sincronização das palmas com o tempo da postagem, de forma convincente, quadro a quadro. Ele até identificou por conta própria a marca-d’água do Happy Horse. Sim, isso está certo. Eu o gerei novamente com o Happy Horse da Qwen, e esse vídeo já está no canal. Portanto, deu bastante atenção aos detalhes. O único ponto negativo que eu diria — ou talvez seja um elogio, na verdade —

05:43 é que ele foi honesto quanto a não ouvir o áudio internamente, mas ainda assim escreveu a resposta final como se tivesse ouvido a música e a sincronizado com as palmas. Podemos argumentar que isso exagera a certeza na resposta polida em comparação com o próprio raciocínio, mas, no geral, devo dizer que é um resultado sólido. E agora vamos testar o multilinguismo e a compreensão de áudio ao mesmo tempo. Vou

06:14 dar a ele este áudio em árabe. Deixe-me reproduzi-lo. Estou pedindo ao modelo que me diga em que idioma está e depois traduza a frase para todos estes idiomas. Agora vou executá-lo no terminal, e ele está nos fornecendo a tradução. Vamos esperar. Você pode me ajudar conferindo o seu idioma e me

06:45 dizendo o que acha: está correto ou não? Também traduzi esse áudio em árabe. A tradução em inglês é: “A tempestade subtropical Cherry se formou hoje no Oceano Atlântico como a décima tempestade nomeada da temporada de furacões do Atlântico”. Se você olhar esta resposta, vai ver que a transcrição e a tradução do modelo estão corretas. Ele não só identificou o árabe, como também produziu a tradução.

07:16 Veja, ele até colocou a tradução aqui. Vou rolar a página. Confira o seu idioma e me diga o que acha. Acho que há alguns erros aqui. Por exemplo, no nome do oceano. Vou continuar rolando. Confira o seu idioma e me diga o que acha, porque temos pouco tempo. Não posso verificar todos os idiomas. Então, alguns deles

07:47 estão corretos, mas consigo notar alguns erros, e foi essa também a impressão que tive com os outros modelos Qwen 3.8: o desempenho multilíngue caiu um pouco. No 3.7, era até melhor. Enfim, este é um teste de multilinguismo e áudio. A compreensão de áudio está perfeita. E, neste teste final, vou combinar as modalidades. Vou dar a ele esta imagem de ciência e pedir que raciocine sobre ela para explicar exatamente o que é. Além disso, também vou dar a ele

08:18 um áudio em inglês, de qualidade muito baixa. Então, estou tentando ver se ele consegue não só combinar essas modalidades, mas também mantê-las separadas e extrair informações de um áudio de baixa qualidade. Vou reproduzir o áudio também. “No entanto, devido aos lentos canais de comunicação, os estilos no Ocidente poderiam ficar para trás de 25 a 30 anos.”

08:48 É de qualidade muito baixa. Vamos executar o script. Aí está. Como você pode ver, há uma descrição da imagem, uma transcrição e uma avaliação. Está certo. Eu queria três coisas. E, se estiver se perguntando, este é o script que estou usando, no qual os dois textos, a URL da imagem e o áudio de entrada — três modalidades — são combinados. Outra resposta sólida. Ele identificou corretamente a curva de titulação em seus

09:18 detalhes reais de química, descrevendo com precisão as regiões tampão, os pontos de equivalência e tudo mais. Além disso, a transcrição também está correta e corresponde ao clipe de áudio não relacionado. E então ele disse, honestamente, que as duas coisas não tinham relação, em vez de forçar uma conexão falsa entre elas. E esse foi um teste difícil. Vou rolar a página para que você também possa conferir. Veja, a imagem é de química. E olhe só: ele identificou que esses são canais de comunicação lentos.

09:51 Muito bom mesmo. E isto é uma transcrição. Aí está. E não há nenhuma conexão significativa entre essas duas coisas. Então, veja, acho que a Qwen fez isso de novo. Quero muito que isso seja disponibilizado como open source. Como eu disse, este não é o último vídeo desta série. Vamos falar mais sobre isso. Mas agora você já tem uma ideia do que é este modelo. Mais uma vez, se quiser ajudar o canal, torne-se membro. Obrigado por todo o apoio.

Transcrição original

[00:01] Quen has struck again, this time with Quen 3.8 Omni Flash, their new native Omniod model, handling text, image, audio, and video in one shot with a 1 million token context. Let’s stop talking about it and start testing it live with Hermes agent where I already have configured it with API. Quen is also going to open source it very very soon. In the first test, what I’m going to do, I’m going to give it this image

[00:33] where I’m going to ask the model if this lady is wearing seat belt, right? And not only that, but also what does this tattoo symbolizes? I already have attached the image. And this is my prompt for this image. So, the model is reflecting through. While that happens, let’s talk more about this model. By the way, this is Fahad Miza and I welcome you to the channel. Recently, I also have started this free weekly AI newsletter which you

[01:04] can subscribe at fadmiza.substack.com. And these are the official benchmarks from Quen. As you can see, it’s a sweep and the pattern is consistent. Quen 3.8 8 Omni tops or leads most of the audio visual agent and understanding charts, especially the multis speaker meeting transcription test where it blows past every competitor. For me, I think the point here is the price chart at the bottom. Let me see if

[01:35] I can show you. There you go. So, look at it. It’s dramatically cheaper on audio and video input than Gemini 3.8 flash and its own predecessor while still winning on quality. The model has come back with the response. But before even I show you this result, I just want to say a few things on its reasoning because I think that is the differentiator now between these huge large scale models. So look at this reasoning. I’m just going to go through it. It didn’t just look once. It

[02:06] zoomed into the shoulder, chest, other parts and buckle separately cross checked its own geometry logic and caught itself when I first read some um thing off around before settling on an answer. So not only quite broad but occasionally quite deep reasoning wherever it was needed unlike other previous models from coin where it really wasted lot of tokens but I think this one is quite efficient in that regard.

[02:37] Now the actual result. It called the belt technically buckled but flagged real faults strap drifting towards the turnum neck instead of the shoulder and a loose high riding lap belt while giving the tattoo a detailed style breakdown plus clearly labeled speculative symbolism instead of stating it as a fact. A world-class answer. Very very correct. And I think this one has really um passed it with flying color

[03:08] especially when it comes to C1. Next up, let’s do a video understanding text with some also audio understanding. Let me play this AI generated video. [music] So there is a music, there’s some dancing, there are some people. Let me take you back to my code. So this is the code which I’m using sending it the prompt the model and also

[03:38] um the API key which I’m using from their website. So let me take you back and run this from the terminal. The model is really streaming down the whole response. While it does that, let me quickly walk you through the architecture because I think that is one real good thing happening here. So you can see it’s a vision encoder and special audio text module feeding into a main agent that plans um calls tools and

[04:11] orchestrate everything from movie commentary to music video generation. It’s not really just a model that understands audio and video. It’s built to act on them, watch a film and narrate it, translate a drama across languages while preserving each speaker’s voice or take a raw song and turn it into a fully edited music video all from a single prompt. That is why I cannot really do justice to this model in one video. So

[04:41] we there will be multiple videos on every feature. So for this video, I just want to give you the flavor of what this model is capable of. Anyway, let’s go back to our terminal. So there you go. Another solid response. I must say it has correctly read the model as a frame sample video, not real audio. So it is quite honest. It reasoned honestly about that limit instead of pretending to hear the music and still really was spot on around

[05:11] cultural detail. uh sari colors, jewelry names like mang tikka, gajra, bindi and the marble mogul rajput architecture and sync the clapping to post timing convincingly frame by frame. It even got the happy horse generation watermark on its own. Yeah, that is correct. I generated it with happy horse again from Quen and that video is already on the channel. So solid attention to the detail. Um so only knock I would say that um or maybe it’s a praise really

[05:43] that it really it was honest about not hearing audio internally but still writes the final answer as if it heard the music sinking to claps which um we can argue that overstating certaintity in the [clears throat] sorry in the polished output versus its own reasoning but all in all I must say it’s a solid result. And now let’s do multilinguality and audio understanding in the same go. I’m

[06:14] going to give it this Arabic audio. Let me play it. And I’m asking the model to tell me which language is that and then translate the sentence to all of these languages. So let me now run this from my terminal and it is giving us the translation. Let’s wait and you have to help me out by checking your language and let me

[06:45] know what do you think if it is correct or not. And I have also just translated that Arabic um audio. And the translation in English is subtropical storm Cherry formed today in the Atlantic Ocean as the 10th named storm of the Atlantic hurricane season. If you look at this response, you know what models transcription and translation is correct. Not only it has identified the Arabic and then it has just gone in and

[07:16] given us the translation. You see it has even given it here. So I’m just going to scroll through. Please check your uh language and let me know what do you think. I think there are few mistakes here. For example in the naming of the ocean. So I’m just going to scroll through. Let me know check out your language because you know we have short time. I can’t do every language. So some of them

[07:47] are correct but there are few mistakes I can tell and that is what I also felt with the other qu 3.8 models that multilinguality has gone down a bit. It was even better in 3.7 anyway. So this is a multilinguality plus audio test. Audio understanding is spoton and in this final test I’m going to combine the modality. So I’m going to give it this science image and we’ll ask it to reason through it what exactly that is. Plus, I’m also going to give it

[08:18] an audio in English, a very um how I mean it’s a low quality audio. So, I’m just trying to see if not only it can combine that those modalities, but can it keep it them separate and can it really extract it through a lowquality audio? Let me also play the audio now. However, due to the slow communication channels, styles in the west could lag behind by 25 to 30 years.

[08:48] So, it’s a very low quality one. Let’s now run that script. So, there you go. So, you see description of image, transcription, and assessment. That’s correct. I want three things. And if you’re wondering, this is a script which I’m using where all of these two text and image URL and input audio three modalities are being merged together. Another solid answer. It has correctly read that titration curve in real

[09:18] chemistry detail, buffer regions, equivalence points and everything accurately um described. Plus the transcription is also accurate which is the unrelated audio clip. And then it honestly said that two had no connection instead of forcing a fake link between them. And that was a hard test. And I’ll just scroll through so that you can also check. You see the image is chemistry and this also look at this. It identified that these are slow communication channels.

[09:51] Really good stuff. And this is a transcription. There you go. And there is no meaningful connection between these two. So look, I think Quen has done it again. Really, really want this to get open sourced. As I said, this is not the last video in this series. We’ll be covering it more. But now you have got the flavor of this model. Again, if you want to help out the channel, please become a member. Thank you for all the support.