Qwen Intelligence chegou: agents de IA para dispositivos móveis

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Qwen Intelligence is Here: Mobile AI Agents · Canal: Fahd Mirza · 07:37 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Modelos de IA, Modelos locais e open source

Resumo

O vídeo apresenta o Qwen Intelligence, uma solução da Alibaba para dispositivos móveis com agents de planejamento, uso de aplicativos e criação de imagens. O apresentador testa o planner, que divide uma tarefa em etapas, mas não a executa sem ferramentas conectadas. Ele também comenta os benchmarks e exemplos divulgados pela Alibaba, além do ciclo de desenvolvimento descrito pela empresa. Por fim, destaca que a solução ainda não é open source e que os resultados apresentados são benchmarks da própria Alibaba.

Pontos-chave

O Qwen Intelligence inclui um planner, um use agent que opera aplicativos e um creative agent que gera imagens.
A solução é voltada a fabricantes de celulares, e a Honor é apresentada como a primeira parceira.
No teste, o planner organizou em etapas um pedido para definir um alarme e enviar uma mensagem, mas não executou as ações.
A Alibaba divulgou resultados de benchmarks próprios para o planner e para o agent de interface, que devem ser interpretados como números da empresa.
O repo do planner é descrito como um site com blog e relatório, sem pesos nem código disponíveis.
Os exemplos demonstrados incluem recuperação de erros, coordenação de subagents e execução guiada por skills.
A Alibaba descreve um ciclo de desenvolvimento que combina criação de dados, treinamento e adaptação às ferramentas e à memória.
A solução também é apresentada em cenários de criação de imagens, desenvolvimento de mini apps e execução de tarefas de longo prazo.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação do Qwen Intelligence	O vídeo introduz a solução da Alibaba, seus três agents e a parceria com a Honor.
01:06	Teste do planner e benchmarks	O apresentador configura uma tarefa para o planner, mostra o plano gerado e comenta os números divulgados pela Alibaba.
03:15	Exemplos e ciclo de desenvolvimento	São apresentados exemplos de recuperação de erros, coordenação de subagents e o ciclo de dados, treinamento e adaptação da Alibaba.
05:29	Qwen UI Agent e demonstrações	O vídeo aborda o agent que opera interfaces, seus benchmarks e uma demonstração de navegação para compras.
06:32	Capacidades e conclusão	O apresentador resume os cenários promocionais do Qwen Intelligence e observa que o planner planejou, mas não executou a tarefa.

Citações

Este vídeo não é patrocinado pela Alibaba nem por ninguém. — 01:06

Mas lembre-se: esses são números da própria Alibaba, não meus. — 02:44

A Alibaba chama isso de ciclo de IA para IA, com três etapas. — 04:53

Eu testei o planner ao vivo e, sem ferramentas, ele planejou, mas não executou. — 07:37

Conceitos e entidades

Qwen Intelligence (ferramenta): Solução da Alibaba para dispositivos móveis que reúne agents de planejamento, operação de aplicativos e criação de imagens.
Qwen Planner Agent (ferramenta): Agent que transforma um objetivo em um plano dividido em etapas.
Qwen UI Agent (ferramenta): Agent apresentado como capaz de operar interfaces em dispositivos móveis, computadores e na web.
Qwen3.8 (modelo): Modelo que, segundo o vídeo, foi usado pelo planner durante a demonstração.
Mobile PA-bench (conceito): Benchmark citado no vídeo para comparar o desempenho de agents voltados a dispositivos móveis.
Honor (empresa): Fabricante de celulares apresentada como a primeira parceira do Qwen Intelligence.
Alibaba (empresa): Empresa que desenvolveu o Qwen Intelligence e publicou os benchmarks e exemplos comentados no vídeo.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável pela demonstração do planner.

Tradução completa (pt-BR)

00:01 A Alibaba lançou o Guan Intelligence, que está competindo diretamente com o Apple Intelligence. Ele foi criado para fazer com que seu celular realmente realize tarefas para você. Ele vem com três agents: um planner que divide um objetivo em etapas, um use agent que opera aplicativos e um creative agent que gera imagens. Ele é voltado para fabricantes de celulares, e a Honor é a primeira parceira. Hoje, não vou apenas fazer um teste prático com um planner agent, mas também

00:32 explicar tudo isso, porque tenho quase certeza de que você verá essa tecnologia integrada ao seu celular, especialmente nos aparelhos Android, muito em breve. Eu sou Fahad Mirza e dou as boas-vindas a você ao canal. Então, o que exatamente é isso? Vou levar você direto ao console deles; deixarei o link na descrição do vídeo. De lá, você pode acessar o site chinês ou o site internacional. Mas o principal é que você precisa entrar no console, criar uma conta gratuita e, a partir daí, criar esse planner agent. E

01:06 a propósito, este vídeo não é patrocinado pela Alibaba nem por ninguém. Seria bom se eles tivessem disponibilizado o código como open source desde o início, mas ainda não fizeram isso. Como você pode ver, já criei um planner agent depois de clicar no sinal de mais. Depois que sua instância for criada, esta tela aparecerá, onde você poderá configurar seu agent. Como teste, no painel de depuração do planner, dei a ele uma função de uma linha, especificando apenas as instruções do sistema, e depois uma tarefa em duas partes

01:38 em que também vou pedir que ele configure um alarme para as 7h e mande uma mensagem para minha esposa dizendo que vou me atrasar. Não configurei nenhum número de telefone nem nada. Só estou clicando aqui e, com sorte, ele vai planejar algo para mim. Nos bastidores, ele usa o modelo Guan 3.8. Pronto. Como você pode ver, ele fez todo o planejamento. Vou mostrar rapidamente: esta é uma instrução clara, passo a passo, com o destinatário e o texto da mensagem, e estas são as etapas.

02:08 E esta é uma confirmação final. Você também pode usar o Google Assistant, a Siri ou qualquer outro assistente de voz, se quiser. E você pode ver que eles lançaram o repo do planner agent Gwen. Este gráfico é um benchmark próprio da Alibaba. No Mobile PA bench, o planner de 27 bilhões de parâmetros deles marcou 77,1 no total, logo atrás do GPT-6 Astra, com 76,8 na escala do gráfico, e à frente do Claude Opus 5 e do Claude Fable 5. Com um custo de geração muito, muito menor

02:44 — o que não é nenhuma surpresa. Mas lembre-se: esses números são da própria Alibaba, não meus. Uma coisa a observar é que esse repo contém apenas o site do blog e o relatório. Não foram disponibilizados pesos nem código, o que é uma pena. Acho que a Alibaba poderia ter feito melhor. Caso contrário, é igual ao Apple Intelligence, em que tudo é uma caixa-preta. Outra coisa é que eles compartilharam alguns exemplos na página, o que é bastante interessante. E é aí que você vê o verdadeiro

03:15 potencial dessa ferramenta. Como você pode ver, este é um planejamento guiado por memória. Nesse exemplo, foi pedido ao planner que executasse seu workflow de desenvolvimento salvo. O agent pesquisa a memória, recupera o procedimento, abre o editor, conecta a entrada compartilhada e, em seguida, ativa a depuração USB para se conectar ao seu celular. O segundo exemplo que eles compartilharam também é muito interessante. Um erro da ferramenta contradisse uma resposta anterior, e o agent confiou no resultado da ferramenta, interrompeu a tarefa em andamento e então

03:47 voltou a se conectar à cena do quarto. Depois, temos a coordenação entre subagents. Neste exemplo, ele espera a confirmação de que os downloads do WhatsApp foram concluídos e, em seguida, passa os nomes dos arquivos aceitos ao gerenciador de arquivos para organizá-los em pastas de matemática, ciências e inglês. Acho que este é um caso bastante específico: correção personalizada do estado, em que ele verifica itens como falar e responder, compara-os com a rotina salva do usuário e corrige apenas o que está diferente, sem mexer na fonte. Eles também têm esta skill de

04:22 execução guiada. Então, antes de desligar, ele confirma que a nota foi realmente salva. O desligamento aguarda essa confirmação. Isso pode ser um pouco complicado. E, por fim, temos a recuperação após erros: depois de duas falhas na conversão de unidades, ele muda para uma calculadora e ainda assim converte o peso para libras. Muito bom. Em seguida, outra coisa que eu queria mostrar é este ciclo de vida, que, na minha opinião, é o melhor slide de toda a apresentação.

04:53 Foi assim que eles o desenvolveram. A Alibaba chama isso de ciclo de IA para IA, com três etapas. Primeiro, IA para dados: os agents criam tarefas executáveis, coletam e verificam trajetórias e usam a análise de falhas para decidir quais dados criar em seguida. Segundo, IA para treinamento: um método chamado care ajusta as recompensas ao nível de habilidade do modelo, equilibrando a conclusão da tarefa com sua execução eficiente. Terceiro, IA para dificuldade: habilidades ajustadas às ferramentas disponíveis e uma memória que mantém as evidências da fonte e substitui fatos desatualizados. Depois, o feedback de dispositivos reais

05:29 alimenta novamente as três etapas. Agora, vou mostrar o agent de interface do usuário Gwen, que também é apresentado em uma publicação do blog deles. Não há muita coisa disponível no repo. Mais uma vez, é preciso comprar alguns tokens para fazê-lo funcionar, o que não é muito bom, mas enfim. Como você vê, ao lado do planner, há este agent de interface do usuário Coin, aquele que realmente opera a tela. Ele funciona em dispositivos móveis, computadores e na web. Nos

05:59 gráficos da própria Alibaba, ele lidera no Mobile World, com 82,1, e no Mobile World Real, com 92,2. E isso supera os concorrentes que eles escolheram. Mais uma vez, esses são os números deles. Então, confira o benchmark por conta própria. E estes são todos os benchmarks de que eu estava falando. Foram compartilhados muitos dados sobre os recursos. E estes são todos os demos, caso tenha interesse. Vou reproduzir um deles. É assim que funciona. Mais uma vez, é principalmente

06:32 voltado ao mercado chinês neste momento, ao que parece. Aqui você vê que ele está fazendo compras, navegando pelo site. Esse campo ainda está evoluindo. Então, acho que a Alibaba também está tentando conquistar a categoria de uso do computador e do navegador. Antes de encerrar o vídeo, veja o que o Coin Intelligence diz que consegue fazer. Ele tem quatro temas: criação sem esforço, em que um prompt

07:03 gera uma imagem finalizada. Depois, temos decisões autônomas, em que ele pensa primeiro e só age quando necessário. Em seguida, há o desenvolvimento de miniaplicativos, em que um prompt cria um aplicativo jogável. E a execução de tarefas de longo prazo, em que ele se lembra do contexto e mantém em andamento um pequeno objetivo que dura várias semanas. Esses são cenários demonstrativos da própria Alibaba. Acho que seria bom se eles disponibilizassem um repo open source com pesos abertos, para que pudéssemos testá-lo de verdade. Então, esse foi o resumo do Coin Intelligence: um planner que pensa, um use agent que

07:37 age e um creative agent que cria. Testei o planner ao vivo e, sem ferramentas, ele planejou — planejou, mas não executou. Se quiser que eu teste o restante, é só aguardar até que eles disponibilizem o código como open source e os pesos abertos; aí poderemos instalá-los e fazer uma demonstração prática. Recentemente, também comecei esta newsletter gratuita semanal sobre IA, na qual você pode se inscrever em farazmirza.substack.com. E, se quiser ajudar o canal, torne-se membro. Obrigado por todo o apoio.

Transcrição original

[00:01] Alibaba has launched Guan Intelligence and it is competing right with Apple Intelligence. This one is built to make your phone actually do things for you. It ships with three agents, a planner that breaks a goal into steps, a use agent that operates app, and a creative agent that generates images. It’s aimed at phone makers with Honor as the first partner. Today, I’m not only going to do a bit of hands-on with a planner agent, but also

[00:32] unpack all of these because I’m more than sure you are going to see this getting embedded in your phone, especially the Android ones, very, very soon. This is Fahad Mirza and I welcome you to the channel. So, what exactly is this thing? Let me take you straight to their console, which I will drop the link in video’s description. From there, either you can go to their Chinese site and there is also an international site, but the main thing is that you would need to log into their console, create a free account and from there, you can create this planner agent. And

[01:06] by the way, this video is not sponsored by Alibaba or anyone. Would be good if they would have open-sourced it right away, but not yet. So, you can see that I have already created a planner agent after clicking on plus. Once your instance is created, then you will be presented with this screen where you can configure your agent. So, you can see just as a test in this planner debug panel, I have given it one-line role, just specifying system instructions, and then a two-part task

[01:38] where I’m also going to ask it to set an alarm for 7:00 a.m. and text my wife I’ll be late. I haven’t set any phone number or anything. I’m just clicking here and hopefully it is going to plan something for me. It is using the Guan 3.8 model behind the scene. So, there you go. You can see that it has done all the planning. So, I’ll just quickly show you that this is a clear step-by-step instruction, recipient message text, and these are the steps.

[02:08] And then this is a final confirmation. And you can also use any Google Assistant, Siri, or any other voice assistant if you like. And you can see that they have released the Gwen planner agent repo, and this chart is Alibaba’s own benchmark. Mobile PA bench, their 27 billion planner scored 77.1 overall, just behind GPT-6 Astra at 76.8 on the chart scale, and ahead of uh Claude Opus 5 and Claude Fable 5. At a much, much lower output

[02:44] cost, which is no surprise at all. But remember, these are Alibaba’s own number, not mine. But one thing to note that this repo is only blog and report site. No weights or code are released, which is a bit of a shame. I think Alibaba could have done better. Otherwise, it is just like Apple Intelligence where everything is a black box. Now, um another thing is that they have shared some of the examples on their page, which is quite interesting. And this is where you see the real

[03:15] promise of this tool. So, you can see that this is a memory guide planning. In this one, the planner was told to run its saved dev workflow. The agent searches the memory, recovers procedure, then opens the editor, connects shared input, and then enable USB debugging in order as connected to your your phone. The second one they have shared is also very interesting. A tool error contradicted an earlier reply, and the agent trusted the tool result, stopped the active task, then

[03:47] reconnected to the bedroom scene. And then we have sub-agent coordination. This one waits until WhatsApp downloads are confirmed, then hands accept file names to file manager to sort into math, science, and English folder. This one I think uh is quite targeted one. Personalized state correction, where it checks like to speak and talk back, compares them to the user saved routine, and fixes only the mismatch without touching the font. Then they have also got this skill

[04:22] guided execution. So, before powering off, it confirms the note is actually saved. Shutdown waits for that confirmation. This might be a bit tricky. And then we have last error recovery after two unit conversion failures, it switches to a calculator, and then still takes the core converts the weight in pounds. So, pretty good. Next up, another thing I wanted to show you is this life cycle, which I believe is the best slide in this whole thing.

[04:53] This is how they built it. Alibaba calls it an AI for AI loop with three stages. First, AI for data, agents write executable tasks, collect and verify trajectories, and use failure analysis to decide what data to build next. Second, AI for training, a method called care adjust rewards to the model skill level, balancing finishing the task with doing it efficiently. Third, AI for hardness, skills matched to the available tools and memory that keeps its source evidence, and replaces outdated facts, and then real device

[05:29] feedback loops back into all three. Let me now show you this Gwen UI agent, which again comes up with their own blog post. Nothing much is available from their um repo. Again, you need to buy some tokens in order to get it working, which is again not really quite like, but anyway. So, you see that alongside the planner, there is this Coin UI agent, the one that actually operates screen. It works across mobile, desktop, and the web. On

[05:59] Alibaba’s own charts, it leads mobile world at 82.1 and mobile world real at 92.2. And this is ahead of the rivals they have picked. Again, there are These are their numbers. So, check the benchmark yourself. And these are all the benchmarks I was talking about. A lot of data has been shared around capabilities. And these are all the demos if you’re interested. I’ll just play one of them. So, this is how it works. Again, mainly

[06:32] focused and geared towards Chinese market at the moment, it seems. So, this is how you see it is doing some shopping, browsing through the website. This field is still evolving. So, I think Alibaba is also trying to capture this computer use and browser use category. So, before I wrap up this video, here is what Coin Intelligence says it can do. It has uh four themes, effortless creation where one prompt

[07:03] gives you a finished image. Then we have autonomous decisions where it thinks first and acts only when needed. Then they have mini app development where one prompt makes a playable app. And long-term task delivery where it remembers context and keeps a small multi-week goal moving. These are Alibaba’s own showcase scenarios. And um I think it would be good if they provide some open-source open weight repo where we could actually test it. So, that’s Coin Intelligence overview for you, a planner that thinks, a use agent that

[07:37] acts, and a creative agent that makes. I tried the planner live, and without tools it planned it planned but it did not execute. If you want me to test the red rest, just wait for it while they open source it and open wait it and we will get them installed and then do a hands-on demo. Recently, I also started this free weekly AI newsletter which you can subscribe at farazmirza.substack.com and if you want to help out the channel, please become a member. Thank you for all the support.