onPanda com Qwen: clique em um token e mude a resposta do modelo

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: onPanda with Qwen: Click a Token, Change the Model’s Answer · Canal: Fahd Mirza · 06:20 · Assistir no YouTube

Tópicos: Modelos de IA, Modelos locais e open source, Open source e ecossistemas de software, Segurança de IA

Resumo

O vídeo apresenta o onPanda, uma ferramenta open source para inspecionar e corrigir respostas de LLMs token por token. O apresentador instala a ferramenta localmente e a conecta a um modelo Qwen servido com vLLM. A interface mostra a probabilidade de cada token e permite escolher uma alternativa para que o modelo continue a geração a partir dessa correção. O vídeo também demonstra a versão hospedada, que funciona no celular.

Pontos-chave

O onPanda permite corrigir uma resposta escolhendo outro token entre as alternativas consideradas pelo modelo.
A interface exibe a probabilidade de cada token, usando cores para indicar o nível de confiança.
Após a escolha de um token alternativo, o modelo continua a geração a partir dessa escolha.
A ferramenta pode ser conectada a um modelo servido localmente e configurada por meio de um arquivo JSON de preset.
A instalação apresentada requer Node.js e npm e inicia o onPanda na porta 8080.
O apresentador demonstra o uso com um modelo Qwen de aproximadamente 4 bilhões de parâmetros.
O onPanda também oferece uma versão hospedada, acessível pelo celular.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação do onPanda	O apresentador explica como a ferramenta permite corrigir respostas token por token e inspecionar as probabilidades.
01:38	Configuração e instalação local	O vídeo mostra a criação do preset JSON, os requisitos de instalação e a execução do onPanda na porta 8080.
03:11	Geração e visualização dos tokens	O apresentador envia um prompt e demonstra a visualização da resposta, dos tokens e de suas probabilidades.
04:46	Correção de tokens e continuação da geração	O apresentador escolhe tokens alternativos e mostra como a resposta e o processo de geração mudam.
05:49	Versão hospedada e encerramento	O vídeo demonstra a versão hospedada do onPanda em um celular e encerra com um convite para conhecer a ferramenta.

Citações

Encontre o primeiro token errado, clique em um melhor entre os candidatos principais do modelo e ele continuará a partir da sua correção. — 00:35

O texto bruto gerado pelo modelo aparece à esquerda, token por token; a cor sob cada token indica sua probabilidade. — 03:11

As palavras estruturais são, em sua maioria, verdes; as partes criativas ficam mais vermelhas. — 04:15

O padrão de geração muda e o modelo continua a partir da minha escolha. — 04:46

Conceitos e entidades

onPanda (ferramenta): Ferramenta open source para visualizar e corrigir saídas de LLMs token por token.
Qwen (modelo): Família de modelos usada na demonstração local do onPanda.
vLLM (ferramenta): Servidor usado pelo apresentador para disponibilizar localmente o modelo Qwen.
Step One (empresa): Organização que, segundo o vídeo, criou o onPanda e o disponibilizou como open source.
correção em nível de token (conceito): Método de edição que substitui um token da resposta e permite que o modelo continue a geração a partir dessa escolha.
probabilidade de token (conceito): Valor exibido na interface para indicar a probabilidade associada a cada token gerado.

Tradução completa (pt-BR)

00:01 Há muita coisa para abordar em IA. Quando é uma semana mais lenta em lançamentos de modelos, dá para conhecer ferramentas que estão surgindo de todos os lados. Esta semana, uma das melhores ferramentas que vi até agora — e também muito útil — é da step one, que a disponibilizou como open source depois de dois anos de muito trabalho. E, de verdade, tiro o chapéu para eles por isso. Neste vídeo, vou mostrar o onPanda, disponibilizado como open source pela step one: a ferramenta que eles usam internamente para anotar dados de LLM. Este é o caso de uso. Normalmente

00:35 quando um modelo dá uma resposta ruim, você reescreve tudo. Aqui, você encontra o primeiro token incorreto, clica em uma opção melhor entre as principais candidatas do modelo, e o modelo continua a partir da sua correção. Você também pode ver a probabilidade de cada token. Então, a ferramenta também serve para observar o funcionamento interno do modelo. Ela lida com imagens, áudio, vídeo e chamadas de ferramentas de agent. Tem licença MIT e já está sendo usada em grande escala, em produção, na step one. Vamos instalá-la. E, como você

01:07 pode ver no meu terminal, estou usando Ubuntu com uma GPU. Já selecionei este modelo Qwen de 4 bilhões só para demonstrar. E, em um ambiente UV, estou servindo o modelo com VLM. Se você não sabe o que é VLM nem como instalá-lo, confira meu canal sobre isso. Vou mostrar o consumo de VRAM na minha GPU com 48 GB de VRAM. Se você quiser alugar uma GPU por um preço muito bom, encontrará o link da Mass Compute na descrição do vídeo.

01:38 Recentemente, também comecei esta newsletter gratuita semanal sobre IA, para recapitular todas essas ferramentas e modelos que não consigo abordar no canal, além do que já apresento por aqui. Então, assine, por favor. Agora, a primeira coisa que precisamos fazer para instalar isso é criar este arquivo JSON de predefinição, que basicamente informa à ferramenta onPanda, quando a instalarmos, que ela deve apontar para nosso servidor VLM local com o modelo. E, claro, você pode substituí-lo

02:08 pelo seu, se quiser. Pronto. Como você pode ver, é necessário ter node e npm. Esta é a minha versão. Mais uma vez, é um comando de uma linha para instalar. Depois, basta executar o onPanda na porta 8080 com a configuração que acabei de criar. E agora você pode ver que o onPanda está rodando localmente na porta 8080. Vou abri-lo. E este é o onPanda rodando na minha própria

02:38 máquina. O modelo por trás dele tem 3,4 bilhões de parâmetros e é servido localmente com VLM. Se você estiver usando outro modelo — porque normalmente, ao iniciar, ele usa o modelo padrão dele —, mas eu vou usar o meu. Então, basta selecionar esta opção nos parâmetros de controle, na parte inferior, e definir alguns hiperparâmetros. Pronto. Agora vamos dar uma olhada. Vou inserir um prompt do usuário: escreva um poema de duas linhas sobre o

03:11 oceano. Agora vamos clicar em enviar e conferir a resposta. E pronto, aí está. À esquerda, você vê o texto bruto gerado pelo modelo, token por token. A cor sob cada token indica a probabilidade dele. Verde significa que o modelo estava confiante; vermelho, que estava inseguro. À direita, está o Markdown renderizado. A linha no alto mostra o nome do modelo e o número de tokens. Como você vê, ele ainda está pensando, continua pensando. Vamos

03:44 esperar. É assim que ele pensa. O que isso significa, na verdade, é que ele está tentando pensar e, depois, tenta nos dar a resposta correta. Vou deixar terminar e explicar o resultado. Acho que assim vai fazer mais sentido. No contexto desta ferramenta, é isso que significa. Todo esse resultado representa a ideia principal do onPanda. Normalmente, você só vê o texto finalizado. Aqui, vê cada token escolhido pelo modelo, com uma

04:15 cor que mostra o nível de confiança. Como eu disse antes, verde significa que ele estava seguro; vermelho, que estava hesitando. E observe que as palavras estruturais são, em sua maioria, verdes. Agora, veja as partes criativas, como as opções do poema: elas estão mais vermelhas, porque é aí que o modelo estava escolhendo entre várias possibilidades. Esses pontos vermelhos são onde posso intervir. Por exemplo, você vê estes pontos vermelhos e estas são as probabilidades. Se eu passar o cursor sobre este token, veja o que mais o

04:46 modelo considerou e escolha uma opção diferente. Por exemplo, vou escolher “stick”, e ele deve seguir essa opção, de acordo com a probabilidade. Você vê que mudou, e todo o resultado começou a ser gerado de novo. Todo o padrão de pensamento vai mudar, e o modelo continuará a partir da minha escolha. É assim que você anota o resultado e o modelo aprende. Certo? Espero que tenha entendido a ideia. Para explicar melhor, vou mostrar este diagrama, que mais uma vez

05:16 mostra a mesma coisa: uma interface de correção no nível do token do onPanda. Eles também publicaram este ótimo artigo, cujo link vou deixar na descrição do vídeo. E, se não quiser instalar localmente, mas só quiser experimentar, acho que eles também têm uma versão hospedada aqui. Então, experimente online. Ela funciona até no celular, como você pode ver. Aí está. Viu? E, se eu clicar na palavra, basta trocá-la por, digamos,

05:49 algo como “breakdown”. Isso vai mudar todo o processo de pensamento, e a resposta será gerada. Por exemplo, vou dizer: certo, escolha “confused”. Ele mudou. E estes são os tokens verdes. Você também pode alterá-los, se quiser. Aí está. Está vendo? Essa é a ideia toda por trás desta ferramenta. É isso. Me diga o que acha desta ferramenta. Vou deixar o link na descrição do vídeo. Mais uma vez, se quiser ajudar o canal, torne-se membro

06:20 e assine esta newsletter, por favor. Obrigado por todo o apoio.

Transcrição original

[00:01] There is so much to cover in AI. When it’s a slow week in model releases, you get to see tools running from everywhere. This week, one of the best tools I have seen so far and useful too is from step one which they have opensourced after 2 years of hard work and really hats off to them for that. I’m showing you in this video on Panda which is open sourced by step one the tool they use internally to annotate LLM data. So here is the use case. Normally

[00:35] when a model gives you a bad answer, you rewrite the whole thing. Here you find the first wrong token, click a better one from the model’s top candidates and the model continues from your fix. You can also see the probability of every token. So it doubles as a way to look inside the model. It handles images, audio, video, and agent tools calls to. It’s MIT licensed and it’s already running at scale in production at step one. Let’s get it installed. And as you

[01:07] can see on my terminal, I’m using Ubuntu with one GPU card. I already have picked up this Quen model in 4 billion just to showcase this demo. And in UV environment, I’m serving it with VLM. If you don’t know what VLM is, how to get it installed, just check my uh channel for that. Let me show you the VRAM consumption on my 48 GB VRAMm GPU. If you’re looking to rent a GPU on very good price, you can find the link to mass compute in video description.

[01:38] Recently, I also have started this free weekly AI newsletter to recap all these tools and models which I’m unable to cover on the channel in addition to what I cover on the channel. So please subscribe to it. Now first thing we need to do in order to get this thing installed is to create this preset JSON file which primarily is telling the on Panda tool when we will install it to point to our local VLM server with the model and of course you can replace it

[02:08] with your own if you like. Now that’s done. As you can see one thing you must have is node and npm. This is my version. Again, it’s a oneliner command to install. And then you can simply go ahead and run on panda on port 8080 with the config I just created. And you can see that now on panda is running on my local host at port 8080. Let me open that. And this is on panda running on my own

[02:38] machine. The model behind it is 3.4 billion served locally with vlm. if you’re using any other model because normally at the start it just goes with its own default model but I’m going to just use my own. So just make sure that in control parameters towards the bottom you select this and then you can send uh set some of the hyperparameters. That’s done. Now let’s uh try to check it out. I’m going to give a user prompt here that write a two-line poem about the

[03:11] ocean. Now let’s click on send and check out the response and just okay there you go. So you see on the left hand side is the raw text the model generated token by token the color under each token is its probability. Green means the model was confident and red means it was unsure. The right side is the rendered markdown. The line at the top shows the model name and the number of token. So you see it is still thinking going going and let’s

[03:44] wait for it. So this is how it thinks. Now what this means actually is that it is trying to think and then it is trying to give us the correct answer. Let it finish and I will explain the output. I think it will make more sense then. So in the context of this tool, this is what it means. This whole result and that is a key idea of on panda. Normally you only see the finished text. Here you see every token the model choose with a

[04:15] color showing its confidence. As I said earlier, green means it was sure, red means it was hesitating. And look at the structure words mostly green. Now look at the creative parts like the poem options more red because that is where the model was selecting between many possibilities. Those red spots are where I can uh step in and for example you you see these are the red spots and these are the probabilities. So if I hover over this token see um what else the

[04:46] model considered and pick a different one. For example, I’ll just say let’s go with stick and it should just go with that probability. You see it changed and the whole output has started running again. The whole thinking pattern will change and the model then continues from my choice. So that is how you annotate the output and the model learns. Right? So I hope that you got the idea. In order to further expand on this, let me show you this diagram which is again

[05:16] telling you the same thing which is a token level correction interface of on panda. They have also released this very good paper which I will drop the link in video’s description. And if you don’t want to get it installed locally, if you just want to play around with it, they also have a hosted version I believe on um from here. So just try it online. It even works on mobile as you can see. There you go. See? And if I just go on the word, you just change it to let’s say

[05:49] something like breakdown. It will just change the whole thinking process and the answer will be done. For example, I just say okay, just go with confused. It has changed it. So, and then these are the green ones. You can also change them if you like. There you go. You see? So this is the whole idea behind this tool. That’s it. Let me know what do you think about this tool. I’m going to drop the link to it in video description. Again, if you want to help out the channel, please become a member

[06:20] and uh please subscribe to this newsletter. Thank you for all the support.