Qwen-Drive-1.0-4B: por que ainda não dá para confiar à IA a direção de carros autônomos — demonstração prática

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Qwen-Drive-1.0-4B: Why You Still Can’t Trust AI with Self-Driving Cars: Hands-on · Canal: Fahd Mirza · 08:46 · Assistir no YouTube

Tópicos: Engenharia de software com IA, Modelos multimodais, Robótica e sistemas autônomos, Segurança de IA

Resumo

O vídeo apresenta o Qwen-Drive-1.0-4B, um modelo que combina compreensão de imagens e texto com módulos para percepção e planejamento de direção. O apresentador destaca resultados em benchmarks e explica como o planejador prevê trajetórias e justifica suas decisões em linguagem natural. Na demonstração, o modelo descreve corretamente uma cena com a via molhada e o semáforo vermelho, mas depois planeja acelerar como se o sinal estivesse verde. A conclusão é que, apesar dos avanços, esses modelos ainda cometem erros e não são confiáveis o bastante para dirigir carros autônomos.

Pontos-chave

O projeto combina um modelo de visão e linguagem com módulos de percepção e planejamento, sem alterar a arquitetura original do modelo-base.
O módulo de percepção produz uma visão de cima da cena e identifica elementos como veículos, pedestres, ciclistas, cones e faixas.
O planejador prevê a trajetória do veículo para os próximos cinco segundos e pode explicar sua decisão em uma frase.
O vídeo relata bons resultados em benchmarks de compreensão de cenas, raciocínio de segurança e percepção espacial.
Em simulações de ciclo fechado, as decisões do modelo afetam o que acontece em seguida, exigindo ajustes em tempo real.
São apresentados dois planejadores: um treinado por imitação da direção humana e outro também otimizado com reinforcement learning.
O repositório reúne o modelo e os módulos em uma estrutura simples, com pesos e instruções para executar uma demonstração.
Na demonstração, o modelo descreve corretamente o semáforo vermelho, mas depois propõe acelerar como se estivesse verde, ilustrando os riscos de confiar nele.

Capítulos

Início	Capítulo	Resumo
00:01	O desafio da direção autônoma	O apresentador explica que detectar objetos não equivale a compreender uma cena ou justificar decisões de direção.
02:19	Percepção, planejamento e resultados	O vídeo descreve os módulos de percepção e planejamento do modelo e apresenta seus resultados em benchmarks e simulações.
05:33	Repositório e demonstração prática	O apresentador mostra a estrutura do projeto, carrega o modelo e executa uma demonstração com imagens de uma cena real de direção.
08:14	Um erro que expõe os limites do modelo	Embora descreva corretamente a cena, o modelo planeja acelerar diante de um sinal vermelho, reforçando que ainda não é confiável para dirigir.

Citações

Pergunte ao carro por que ele reduziu a velocidade, e ele não tem nada a dizer. — 00:37

Ele não apenas apresenta coordenadas. Primeiro, raciocina. — 02:53

O carro se explica em uma frase e depois age com base nela. — 03:24

Ele descreveu corretamente, mas planejou acelerar com o sinal vermelho. — 08:14

Você não pode realmente confiar à IA a direção de carros autônomos neste momento. — 08:14

Conceitos e entidades

Qwen-Drive-1.0-4B (modelo): Modelo apresentado para compreender cenas de direção, identificar elementos e planejar trajetórias.
Qwen (empresa): Equipe responsável pelo projeto Qwen-Drive, conforme descrito no vídeo.
Tesla (empresa): Fabricante de automóveis mencionada pelo apresentador ao discutir marketing e direção autônoma.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável pelo canal Fahd Mirza.
Hugging Face (empresa): Plataforma mencionada como local para encontrar o modelo e cenas de demonstração.
NAVSIM (benchmark): Benchmark de planejamento de direção citado na comparação de resultados do modelo.
perception head (conceito): Módulo que interpreta imagens das câmeras do veículo e estima a disposição dos elementos da cena.
planner (conceito): Módulo que prevê a trajetória do veículo e pode expressar em linguagem natural o motivo da decisão.
closed-loop simulation (conceito): Simulação em que as decisões do modelo alteram a situação de direção subsequente.
reinforcement learning (conceito): Método de treinamento mencionado para otimizar o planejador com recompensas relacionadas a preferências humanas e segurança.

Tradução completa (pt-BR)

00:01 Se você descontar o marketing ridículo de Elon Musk para a Tesla, há uma ironia estranha no cerne de todo projeto de carro autônomo. A câmera no teto do veículo consegue ver um pedestre, uma placa de pare, um cachorro atravessando a rua. Mas enxergar não é o mesmo que entender. Há anos e anos, o setor vem construindo esses carros com cérebros separados, encaixados uns nos outros. Um cérebro detecta objetos. Outro desenha um mapa. Um terceiro decide

00:37 o que fazer em seguida. E nenhum deles consegue explicar de fato o que acabou de observar ou por que tomou determinada decisão. Pergunte ao carro por que ele reduziu a velocidade e ele não tem nada a dizer. Apenas reduziu. Eu sou Fad Miraza e dou as boas-vindas ao canal. Este vídeo não é para atacar a Tesla nem nada do tipo. Na verdade, gosto bastante da Tesla. O que não gosto é de marketing sem cérebro, especialmente vindo do fundador. Enfim, estou me desviando do assunto. Olha, esse é o problema que este novo projeto está tentando

01:11 resolver. A Quen decidiu enfrentar isso com o Quen Drive 1.0 zero, e a resposta deles é quase enganosamente simples. E se o mesmo modelo que consegue olhar para uma foto e descrevê-la em inglês simples também fosse o modelo que dirige, em vez de um sistema separado, integrado depois? O mesmo cérebro fazendo as duas coisas. O ponto de partida é este Coin 3.54 billion, que, como vou mostrar, está disponível no Hugging Face neste

01:45 momento, o que é bem legal. Então, se você olhar para isso, é um modelo de visão e linguagem que já entende imagens e texto em conjunto. A equipe da Quen não mexeu na arquitetura. Não a reconstruiu, não treinou novamente seu núcleo nem acrescentou alguma estrutura exótica nova. Manteve tudo exatamente como estava e depois conectou dois novos módulos que compartilham sua compreensão do mundo. O primeiro módulo é um cabeçote de percepção. Ele recebe as imagens das câmeras em múltiplas vistas

02:19 do carro e produz uma vista aérea da cena. Detecta veículos, pedestres, ciclistas, cones e barreiras. Estima o que pode ser percorrido, o que é calçada e onde estão as linhas da faixa. Mas, na minha opinião, o que é realmente muito legal é que esse módulo foi mantido simples de propósito. A equipe da Quen não estava tentando criar o sistema de percepção mais avançado do planeta. Queria uma janela honesta para o que o próprio modelo de linguagem entendia sobre o espaço 3D,

02:53 uma forma de verificar seu trabalho. O segundo módulo é o planejador. E é aqui que as coisas ficam realmente interessantes. Como vocês podem ver, ele observa a estrada à frente e prevê a trajetória para os próximos 5 segundos, o caminho que o carro deve seguir. Mas não se limita a cuspir coordenadas. Primeiro, ele raciocina: desacelerar para dar passagem à raposa que está atravessando a estrada à frente. Como vocês podem ver na tela, deslocar-se um pouco para a esquerda para passar pelo caminhão de serviço parado, mantendo a velocidade.

03:24 O carro se explica em uma frase e depois age com base nela. Tomara que ele não comece mesmo a raciocinar como o When 3.8, senão, sabe, a raposa vai ser atropelada e já estaremos muito longe quando isso acontecer. Então, como ele se sai de verdade em benchmarks de perguntas e respostas específicos para direção? O Quen Drive 1 não apenas supera por pouco a concorrência. Ele se destaca em relação a ela quando comparado tanto a modelos de visão de uso geral quanto aos especializados em direção. Ele

03:56 tem a pontuação mais alta em quase todas as métricas de compreensão de cenas, raciocínio sobre segurança e percepção espacial. E vale destacar que esse salto não teve um custo. O modelo não esqueceu como fazer todo o resto que já fazia. Apresente a ele uma imagem totalmente sem relação, um diagrama de matemática, um gráfico, uma foto sem nenhum carro, e seu desempenho foi essencialmente o mesmo de antes de qualquer treinamento específico para direção, o que é bem interessante.

04:27 Depois, há a parte que, na verdade, achei bem relevante neste caso: o que acontece quando o carro precisa dirigir, em vez de apenas descrever, em uma simulação de circuito fechado, na qual as próprias decisões do modelo mudam o que acontece em seguida, momento a momento. O planejador precisa parar no sinal vermelho, acelerar no verde, dar passagem aos pedestres e ajustar seu trajeto em tempo real conforme o mundo reage a ele. Dá para ver isso nestes mapas de trajetória.

05:01 Vários caminhos possíveis são considerados, e o modelo escolhe aquele que realmente respeita as regras da estrada. Foram lançadas duas versões do planejador. Uma foi treinada por meio da imitação direta da direção humana. A outra foi além com aprendizado por reforço, recompensada especificamente por corresponder às preferências humanas e por se manter segura em simulações de circuito fechado. E é essa segunda versão que fica à frente em quase todos os benchmarks sérios de planejamento, do NAVSIM ao desafio VHO end to end

05:33 challenge. O que é revigorante aqui é o quanto o lançamento em si é despretensioso. É um único repo. Só isso. E eles também compartilharam um guia de início rápido, como vocês podem ver na tela. O modelo de linguagem principal fica na raiz. O especialista em planejamento e o cabeçote de percepção ficam, cada um, em sua própria pasta pequena, bem ao lado. Nada de ecossistema gigantesco, nem 15 repos diferentes para procurar. Você clona, baixa os pesos e, com poucas linhas de código,

06:03 já está carregando um modelo que consegue observar uma cena de direção, descrevê-la, detectar o que há nela ou decidir o que fazer. Que legal, né? Também vou fazer uma demonstração daqui a pouco, então não se preocupem. Este é um vídeo prático, mas eu queria mesmo explicar tudo isso para que vocês soubessem exatamente o que está acontecendo, porque essa é a história de verdade aqui. Então, deixa eu levá-los rapidamente ao meu terminal e mostrar. Estou baixando o modelo agora, como vocês podem ver: Coin Drive.

06:36 Deixa eu mostrar rapidinho. Desculpem. Pronto. O modelo foi baixado. Agora vou executar este script de demonstração, apontá-lo para uma cena de direção real e pedir que descreva o que está acontecendo e preveja para onde o carro deve ir. Esta é uma cena real, como vocês podem ver: 12 quadros de câmeras reais e de três ângulos diferentes ao redor do carro. Estou pulando, sabe, passando rapidamente por diferentes cenas que eles disponibilizaram no repo, que vocês também podem baixar

07:09 no Hugging Face. Vou deixar o link na descrição do vídeo. Isto foi capturado um pouco antes deste momento. E também há um arquivo que combina esses quadros com o ângulo da câmera e o arquivo JSONL do intervalo de tempo. Assim, o modelo sabe para onde está olhando e quando. Então, deixa eu executar isso rapidinho. Desculpem, vou executar isso rapidinho. Ele vai carregar o modelo e depois vamos conferir também o consumo de VRAM. Podem ignorar os avisos.

07:40 Os pesos foram carregados. Deixa eu mostrar o consumo de VRAM. Vai subir. Aí está. O modelo de 4 bilhões de parâmetros. E acho que chega a uns 12 GB ou algo assim. Pronto. Estabilizou. E o modelo ainda está rodando. Vamos esperar que ele termine. Este é o resultado do modelo. Quando pedi que apenas descrevesse a cena, ele acertou em cheio. Diz que a estrada está molhada, que o sinal está vermelho,

08:14 que é uma faixa apenas para conversão à direita, e identificou corretamente que o carro estava parado. Mas, quando pedi que planejasse uma trajetória, ele contradisse a própria resposta e disse para acelerar com o sinal verde, embora o sinal esteja vermelho. E os números confirmam isso. Então, no geral, é bom. Mas lembrem-se: esses modelos ainda podem cometer erros. E esse é justamente o meu ponto: não dá para confiar de verdade na IA com carros autônomos neste momento. Sei que não é uma opinião popular, mas estou eliminando o exagero, e é assim que as coisas

08:46 estão neste momento. É isso. Digam o que vocês acham. Mais uma vez, se quiserem ajudar o canal, basta se tornar membro. Obrigado a todos por

Transcrição original

[00:01] If you minus Elon Musk’s rubbish marketing of his Tesla, there’s a strange irony sitting at the heart of every self-driving car project. The camera on the roof of that vehicle can see a pedestrian, a stop sign, a dog running across the road. But looking isn’t the same as understanding. For years and years, the industry has built these cars out of separate brains bolted together. One brain detects objects. Another draws a map. A third one decides

[00:37] what to do next. And none of them can actually explain what they just watched or why they made a choice. Ask the car why it slowed down and it has nothing to say. It just slowed down. This is Fad Miraza and I welcome you to the channel. This video is not a bashing of Tesla or anything. I actually like Tesla a lot. What I don’t like is brainless marketing, especially from its founder. Anyway, I digress. So, look, this is the problem this new project is trying to

[01:11] solve. Quen decided to go after with Quen Drive 1.0 zero and their answer is almost deceptively simple. What if the same model that can look at a photo and describe it in plain English is also the model doing the driving not a separate system stitched on afterwards the same brain doing both the starting point is this coin 3.54 billion which let me show you is available on hugging face at the

[01:45] moment which is quite cool. So if you look at this, this is a vision language model that already understands images and text together. The Quen team didn’t touch its architecture. They didn’t rebuild it, retrain its core, or bolted on some exotic new structure. They kept it exactly as it was and then attached two new new modules to it that share its understanding of the world. The first module is a perception head. It takes the multi- view camera images

[02:19] from the car and produces a bird’s eye view of the scene. It detects vehicles, pedestrians, cyclists, cones, barriers. It estimates what’s drivable, what’s the sidewalk, where the lane lines are. But here, I think what really really is cool is that this module was deliberately kept simple. The Quen team wasn’t trying to build the most advanced perception system on the planet. They wanted an honest window into what the language model itself understood about 3D space,

[02:53] a way of checking its work. The second module is the planner. And this is where things get really interesting. As you can see, it looks at the road ahead and predicts the 5-second trajectory, the actual path the car should take. But it doesn’t just spit out coordinates. It reasons first decelerate to yield to the fox crossing the road ahead. As you can see on your screen, nudge left to pass the stopped utility truck while maintaining speed.

[03:24] The car explains itself in a sentence and then it acts on that sentence. Hopefully, it won’t really start reasoning like when 3.8 otherwise, you know, fox will be hit and we’ll be um long past anyway. So, how well does it actually work on driving specific question answering benchmarks? Quen drive 1 doesn’t just edge out the competition. It separates itself from it compared to general purpose vision models and specialized driving alike. It

[03:56] scores highest on almost every measure of scene understanding, safety reasoning, and spatial awareness. And what’s notable is that this jump didn’t come at a cost. The model didn’t forget how to do everything else it used to do. Feed it a totally unrelated image, a math diagram, a chart, a photo with no cars in it at all and it performed essentially the same as it did before any of this driving specific training happened which is quite interesting.

[04:27] Then there is the part that actually um I felt is quite um salient in this one which is what happens when the car has to drive not just described in closed loop simulation where the model’s own decision change you know decisions change what happens next moment by moment the planner has to stop at red lights accelerate through green ones yield to pedestrians and adjust its path in real time as the world reacts to it. You can see it in these trajectory maps.

[05:01] Multiple possible paths get considered and the model settles on the one that actually respects the rule of the road. Two versions of the planner were released. One trained through straightforward imitation of human driving. The other pushed further with reinforcement learning rewarded specifically for matching human preferences and for staying safe in closed loop simulation. And that second version is the one that pulls ahead on almost every serious planning benchmark from NAVSIM to the VHO end to end

[05:33] challenge. What’s refreshing here is how unpretentious the release itself is. It’s one repository. That’s it. And they also have shared a quick start as you can see on your screen. The core language model sits at the root. The planning expert and the perception head each live in their own small folder. right next to it. No sprawling ecosystem, no 15 different repos to hunt down. You clone it, you download the weights and within a few lines of code,

[06:03] you are loading a model that can watch a driving scene, either describe it, detect what’s in it, or decide what to do about it. How good is that? I’m also going to do a demo shortly, so don’t worry. This is a hands-on video but I really wanted to make this whole spiel so that you would know what exactly is happening um because this is the real story here. So let me quickly take you uh to my terminal and I will quickly show you. So I’m just downloading the model as you can see coin drive.

[06:36] Let me quickly show you. Sorry. There you go. The model is downloaded. Now I’m going to run this demo script pointing it at a real driving scene and ask it to describe what’s happening and predict where the car should go. This is actual scene as you can see um 12 real camera frames and from three different angles around the car. I’m just skipping you know skimming through different you know sort of scenes which they have provided in their repo which you can also download

[07:09] from hugging face. I will drop the link in video’s description. This is just captured before this moment. And also this is a file that stitches those frames together with their camera angle and time step JSON L file. So the model knows what it’s looking at and when. So let me quickly sorry let me quickly run this. It is going to load the model and then we will check out the VM consumption too. You can ignore the warnings.

[07:40] The weights have been loaded. Let me show you the VMA consumption. It is going to jump up. There you go. The 4 billion parameter model. And I think it just goes around 12 gig or something. There you go. So, it’s stabilized. And our model is still running. Let’s wait for it to come back. So, this is the output of the model. When I asked it to just describe the scene, it has really thrown it out of the park. It says wet road, red light,

[08:14] uh, right turn only lane and it correctly said the stopped. But when I asked it to actually plan a trajectory, it flipped its own answer and said accelerate through a green light even though the light is red. And the numbers back up back that up go to. So, all in all, good. But remember, these models can still make mistakes. And that is what my whole point is that you can’t really trust um AI with self-driving cars at the moment. I know this is not a popular opinion, but I’m just cutting out the hype and this is where the

[08:46] things stand at the moment. That’s it. Let me know what do you think. Again, if you want to help out the channel, just become a member. Thank you for all the