pplx-decider-v1.2 da Perplexity: vale a pena usar? Testamos ao vivo

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Perplexity’s pplx-decider-v1.2: Is It Worth Using? We Tested It Live · Canal: Fahd Mirza · 08:14 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Modelos de IA, Modelos multimodais

Resumo

O vídeo testa o pplx-decider-v1.2 da Perplexity em tarefas de classificação de mensagens, análise de imagens, leitura de documentos visuais e análise de sentimento. O modelo classifica corretamente uma solicitação de suporte e extrai informações de uma ficha técnica, mas falha em avaliar o uso do cinto de segurança em imagens e demonstra limitações com uma mensagem de sentimento ambíguo. O apresentador considera que os resultados não justificam usar o modelo em produção, especialmente diante de outras opções disponíveis.

Pontos-chave

O pplx-decider-v1.2 responde a várias perguntas sobre uma mesma mensagem em uma única passagem.
No exemplo de suporte, identificou corretamente a equipe responsável e que o cliente estava bloqueado.
Nas duas imagens de cinto de segurança, avaliou incorretamente que o cinto estava sendo usado corretamente.
O teste de leitura de uma ficha técnica visual foi bem-sucedido: o modelo identificou as opções de memória de 24 GB e 48 GB.
Em uma mensagem com negativas e uma expressão idiomática, classificou o cliente como insatisfeito, embora o apresentador esperasse um resultado mais próximo do meio.
O vídeo recomenda cautela ao usar o modelo em análise de sentimento e outras tarefas reais.
O apresentador não recomenda usar o modelo em produção, considerando que existem alternativas melhores para texto e visão.

Capítulos

Início	Capítulo	Resumo
00:01	Teste de classificação de uma mensagem de suporte	O modelo identifica a equipe de suporte, avalia se o cliente está bloqueado e estima seu nível de frustração.
01:08	Apresentação do modelo e testes com imagens	O apresentador descreve o pplx-decider-v1.2 e testa seu entendimento de imagens de cintos de segurança, com resultados considerados incorretos.
04:30	Leitura de ficha técnica visual	Após comentar os resultados do cartão do modelo, o apresentador testa a extração de informações de uma ficha técnica e obtém uma resposta correta.
06:05	Sentimento, idioma e avaliação final	O modelo é testado com uma mensagem ambígua e um parágrafo em alemão; o apresentador conclui que não o usaria em produção.

Citações

Isso é uma leitura razoável de um cliente educado, mas que está sem conseguir avançar. — 00:35

Eu realmente esperava mais de um modelo com 27 bilhões de parâmetros. — 03:55

Esse é um resultado claro na leitura de um documento visual. — 05:33

Esse fator surpresa simplesmente não está presente. — 07:09

Não vou usar esse modelo em produção, de jeito nenhum. — 07:09

Conceitos e entidades

pplx-decider-v1.2 (modelo): Modelo de decisão da Perplexity testado em tarefas de classificação de mensagens e interpretação de imagens.
Perplexity (empresa): Empresa responsável pelo modelo pplx-decider-v1.2.
decision model (conceito): Modelo voltado a tomar decisões ou classificar informações com base em perguntas e dados fornecidos.
VRAM (conceito): Memória de vídeo necessária para executar o modelo, estimada no vídeo em cerca de 28 a 29 GB.
análise de sentimento (conceito): Tarefa de avaliar o sentimento ou a satisfação expressos em uma mensagem.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável pelos testes demonstrados.

Tradução completa (pt-BR)

00:01 Queríamos ajuda para decidir como responder a uma mensagem real de um cliente. Então, entregamos a mensagem a um decision model de IA e fizemos três perguntas. Primeiro, qual equipe deveria cuidar dela? Segundo, o cliente está impedido de prosseguir neste momento? Terceiro, quão frustrado ele está, em uma escala de quatro níveis? A mensagem em si é muito simples: a integração está falhando com um erro 401 desde que a equipe trocou a API key, e o cliente está pedindo ajuda. Se você olhar a resposta, verá que modelo respondeu

00:35 que o suporte tem 99,8% de probabilidade, o que indica a equipe certa para um erro técnico de integração. Também disse que o cliente está impedido de prosseguir, com 98,4% de probabilidade, o que condiz com uma integração quebrada. Para a frustração, retornou 1,28 de três, o que fica entre levemente irritado e frustrado. Essa é uma interpretação razoável de um cliente educado, mas que não consegue avançar, e é uma pontuação que você pode ordenar e usar para tomar providências. E este é um script completo que ele

01:08 gerou. O modelo que usei nos bastidores é o novo Decider da Perplexity, a nova versão V1.2. Esse modelo é um decision model baseado no Qwen 3.8 de 27 bilhões de parâmetros. As informações sobre o modelo deixam bem claro o que mudou em relação à V1.1. O modelo lê toda a solicitação de uma só vez, então várias perguntas sobre a mesma mensagem são respondidas em conjunto. Agora, ele também processa imagens de até 1,6 megapixels, além de

01:42 texto, e vamos testar isso daqui a pouco. É um modelo de 27 bilhões de parâmetros, que exigiria cerca de 28 a 29 GB de VRAM. A Perplexity também afirma que parte dos ganhos veio do treinamento com divisões oficiais de benchmark. Agora, vamos testá-lo com uma imagem. A propósito, este é Fahad Mirza, e dou as boas-vindas a você ao canal. Inscreva-se também nesta newsletter semanal gratuita sobre IA, em fahadmirza.substack.com.

02:14 E agora vamos fazer um teste de visão com este Decider. Vou usar esta imagem gerada por IA, em que enviamos ao modelo PPLX Decider a foto do cinto de segurança de um passageiro em um carro e fazemos esta pergunta. Apenas um sim ou não: o cinto de segurança está sendo usado corretamente? Isso verifica se o modelo consegue interpretar uma imagem do mundo real, e não apenas texto. E esta é a resposta. Ele diz, com 65,9% de probabilidade, que o cinto está sendo usado corretamente, o que pende para o sim, mas não é uma resposta definitiva

02:47 de que sim. Então, dá para ver que o modelo escorregou nessa, porque de jeito nenhum se pode dizer que o cinto está correto. Pelo menos aqui na Austrália. Então, não acho que essa seja uma resposta correta. Certo, agora vou tentar exigir um pouco mais do modelo. O mesmo tipo de foto, de um passageiro em um carro, mas agora com uma pergunta que depende da legislação indiana de segurança rodoviária. Estamos verificando se o modelo consegue aplicar uma regra legal

03:21 ao que vê, e não apenas reconhecer um cinto de segurança. E você pode ver a resposta. Mais uma vez, olhe para esta imagem gerada por IA, em que dá para perceber claramente que o cinto não está sendo usado corretamente. Então, o modelo diz, com 89,2% de probabilidade, que o cinto está sendo usado corretamente. O cinto passa pelo peito e pelo colo, então a posição visível está certa, mas o modelo nunca demonstrou que sabe o que a legislação indiana realmente exige. Além disso, o cinto deveria passar por cima do ombro, não por baixo dele. Então,

03:55 essa é uma interpretação visual totalmente errada do modelo. Um decision model de 27 bilhões de parâmetros deveria ter conseguido explicar isso, mas essa pontuação não mostra que ele tenha conseguido. Então, eu realmente esperava mais de um modelo de 27 bilhões de parâmetros. E já testamos muitos desses decision models, como você pode imaginar. Também os comparamos aqui no canal. Então, se você pesquisar por “decision” ou “decision comparison”, vai ver que já falamos bastante sobre eles. E até modelos menores, com menos de um bilhão de parâmetros, tiveram

04:30 um desempenho razoavelmente bom. Também mostramos alguns modelos de visão que se destacaram bastante. Até mesmo se você olhar alguns dos números que eles compartilharam no model card, em que compararam o modelo antigo com o novo, o novo sai na frente no geral. E, de acordo com esse card, os maiores ganhos estão nas tarefas de linguagem e conhecimento, que vou testar em seguida. A única área em que ele não vence claramente é a de ferramentas, em que as duas formas de enviar perguntas têm pontuações muito próximas. E isso é bastante importante,

05:02 porque decisões sobre o uso de ferramentas são comuns em aplicações do mundo real. Em imagens, este modelo fica à frente da versão anterior, mas você acabou de ver que ele não foi muito bem. E agora vamos explorar os pontos fortes do modelo. Dei a ele uma ficha técnica real de GPU, uma imagem com as especificações escritas, e perguntei quais capacidades de memória estão disponíveis para a placa. Havia quatro opções, incluindo uma resposta errada, como você pode ver à esquerda. Então, este teste

05:33 verifica se o modelo consegue ler um dado diretamente da página, e não apenas reconhecer uma placa de vídeo. Como você pode ver nesta resposta, ele escolheu 24 GB e 48 GB, com 99,7% de probabilidade, o que corresponde exatamente à ficha técnica. Atribuiu peso quase nulo às outras três opções. Então, passou com clareza no teste de leitura de um documento visual. É o primeiro resultado neste vídeo em que a resposta pode ser conferida linha por linha com a imagem original, e ele se saiu muito bem. Agora, deixe-me testar outro de seus

06:05 pontos fortes. O que estamos testando aqui é uma mensagem de cliente cheia de negativas e com uma expressão idiomática, como você pode ver na tela. Algo como “não posso dizer que não estou decepcionado”, esse tipo de coisa. Então, perguntamos ao modelo se, no geral, o cliente está satisfeito. A resposta sincera é que os sentimentos são mistos. Na minha opinião, a pontuação deveria ficar perto do meio. Mas você pode ver que o resultado é 11,2%, o que pende claramente para “insatisfeito”. O cliente realmente pareceu decepcionado, então talvez o modelo tenha dado mais peso às palavras negativas do que ao tom geral

06:37 da mensagem. É aí que precisamos ter cuidado com a IA, e são situações como essa que mostram que, se você estiver fazendo análise de sentimento, precisa conferir e depois conferir de novo. Não tenho certeza se este é um modelo multilíngue, embora seja baseado no Qwen. Mas, de qualquer forma, você pode ver que estou mostrando na tela um parágrafo em alemão sobre felicidade e contentamento. Fiz ao modelo uma pergunta de sim ou não: este texto está escrito em alemão? É uma verificação muito simples, que o modelo deveria conseguir fazer para

07:09 reconhecer um idioma a partir de uma imagem. E você pode ver que ele reconheceu o idioma, mas não acho que tenha compreendido o parágrafo, porque não disse isso. Então, acho que a resposta é aceitável, mas eu realmente esperava que ele fosse além do esperado e surpreendesse. Esse efeito de surpresa simplesmente não aparece. Então, se você me perguntar, não vou usar esse modelo em produção de jeito nenhum.

07:42 Porque há muitas opções melhores disponíveis, não só para texto, mas também para a modalidade de visão. Mas, de qualquer forma, me conte o que você acha. O que pensa sobre este modelo? E estou especialmente curioso para saber, porque já falamos de tantos modelos. Se você escolheu algum modelo para um caso de uso no mundo real, compartilhe sua experiência e diga qual modelo está usando. É isso. Quero saber o que você pensa. E, se quiser ajudar o canal, torne-se membro pelo primeiro comentário fixado ou pela

08:14 página inicial. Obrigado por todo o apoio.

Transcrição original

[00:01] We wanted help deciding how to answer a real customer message. So, we handed it to an AI decision model and asked three questions. First, which team should take it? Second, is the customer blocked right now? Third, how frustrated are they on a four-step scale? The message itself is very simple and integration has been failing with a 401 error since the team rotated their API key and they’re asking for help. If you look at the answer what model has

[00:35] replied, it says that support at 99.8% which is the right team for a technical integration error. It also said the customer is blocked at 98.4% which fits a broken integration. For frustration, it returned 1.28 out of three which lands between mildly annoyed and frustrated. That is a reasonable read of a polite but stuck customer and it is a score you can rank and act on and this is a whole script which it has

[01:08] generated. The model which I have have used behind the scene is this new Perplexity’s Decider, the new version V1.2. This model is a decision model on the Gwen 3.8 27 billion backbone. The model information is quite clear about what changed from V1.1. The model reads the whole request in one pass so several questions about the same message are answered together and it now handles images up to 1.6 megapixels as well as

[01:42] well as text and we are going to test that out shortly. It is a 27 billion parameter model that would require around 28 to 29 GB of VRAM. Perplexity also states that some of its gain came from training on official benchmark splits. Now, let’s test it out with an image. By the way, this is Fahad Mirza and I welcome you to the channel. Please also subscribe to this free weekly AI newsletter at fahadmirza.substack.com.

[02:14] And now let’s do a vision test with this Decider. I’m going to use this AI generated image where we are sending the seatbelt photo of a passenger in a car to this you know, PPLX Decider model and asking it this question. Just one yes or no. Is the seatbelt worn correctly? This checks whether the model can read a real-world image and not just text. And this is the answer. It says the seatbelt is worn correctly at 65.9% which is a lean towards a yes rather

[02:47] than a firm call. So, you can see the model has slipped there because um by no stretch of imagination, you can call it a correct seatbelt. At least here in Australia. Um so, I don’t think so that is a correct answer. Okay, next uh I’m just going to try to stretch the model a bit more. The same kind of photo, a passenger in a car, but now with a question that depends on Indian road safety law. We are checking whether the model can apply a legal rule

[03:21] to what it sees, not just recognize a seatbelt and you can see the answer. Again, look at this AI generated image where you can very clearly tell the seatbelt is not worn correctly. So, model says the seatbelt is worn correctly at 89.2%. The belt does sit across the um chest and lap, so the visible position is right, but the model never showed it knows what Indian law actually requires. Plus, the seatbelt should have been over the shoulder, not under the shoulder. So,

[03:55] which is a totally wrong um vision from the model. So, a 27 billion decision model should have been able to explain that, and this score doesn’t show it. So, I really expected more from a 27 billion parameter model. And we have checked heaps of these decision models, as you can imagine. We have compared them too on the channel. So, if you just go and search with decision or decision comparison, you would see we have been covering them a lot. And even a smaller under sub billion models have performed

[04:30] fairly well, and we have also covered some of the vision ones where they have really excelled. Even if you look at some of the numbers which they have shared on their model card, where they have compared their older model with their new model, the new model comes out ahead overall, and the biggest gains as per this card is uh on the language and knowledge task, which I’m going to do next. The one area where it does not clearly win is tools, where the two ways of sending questions score very close. Um because, and this is quite important,

[05:02] because tool use decisions are a common real-world use. On image, this one leads its older version, uh but you just saw that it was not doing very well. And now, let’s play to model’s strengths. So, I have given this model a real GPU data sheet, an image with the specs written in it, and asked which memory sizes the card comes in. Four options were on the table, including one wrong answer, as you can see on the left. So, this is

[05:33] checking whether the model can read a fact straight off the page, not just recognize a graphics card. So, you can see in this answer, it has picked 24 gig and 48 gig at 99.7, which matches the data sheet exactly. It put almost no weight on the other three options. So, that’s a clean pass on reading a visual document and it is a first result in this video where the answer can be checked against the source image line by line and it has done quite well. And now let me check one of its another

[06:05] strength. What we are testing here is a customer message full of negatives and an idiom as you can see on your screen. Like I I can’t say I’m not disappointed, that sort of stuff. So, we asked the model whether the customer is satisfied overall. The honest answer is mixed. So, the score should sit near the middle in my opinion. But you can see that the result is 11.2% which leans clearly towards not satisfied. The customer did sound disappointed, so the model may have read the negative words more than the overall

[06:37] tone. So, that is where we need to be careful with AI and these are the occasions where if you are doing sentiment analysis, you have to make sure you check and then double-check. I’m not entirely sure if it is a multilingual model or not though it is based on Gwen. But anyway, you can see that I’m giving it a German paragraph on screen about happiness and contentment. I asked the model one yes or no question. Is this text written in German? It’s a very simple check that the model should be

[07:09] able to recognize a language from an image and you can see that it has recognized the language, but I don’t think so. Um it has understood the paragraph because it didn’t say it. So, I think it is an okay answer, but I was really expecting it to go beyond our expectation and do a wow factor there. That wow factor is simply not there. So, if you ask me, I’m not going to use this model in production whatsoever.

[07:42] Because there are a lot of better options available, not only in the text, but also in the vision modality. But anyway, let me know your thoughts. What do you think about this model? And especially I’m very keen to know because we have covered so many of them. Uh if you have selected any model for your real-world use case, if yes, please share your experience and which model are you using. That’s it. Let me know your thoughts. And if you want to help out the channel, please become a member from the first pinned comment or the

[08:14] homepage. Thank you for all the support.