D3 é um novo modelo do Ollama que toma decisões (500 mensagens em 23 segundos!) — D3 em uma GPU de laptop

Ver no idioma original →

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: d3 is a new Ollama model that Makes DECISIONS (500 Messages in 23 Seconds!) - d3 on a Laptop GPU · Canal: Prompt Engineer 48 · 03:06 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Inferência e otimização de modelos, Modelos de IA, Modelos locais e open source

Resumo

O vídeo compara o D3, um modelo que classifica opções sem gerar respostas em texto, com modelos Qwen em tarefas de roteamento de mensagens e classificação de imagens. Em 500 mensagens sintéticas, o D3 2B acertou 95,8% e processou 23 mensagens por segundo, enquanto o Qwen 34B instruct acertou 95,6% e processou 19 por segundo. O apresentador também mostra como usar a pontuação de confiança para encaminhar respostas seguras e enviar casos incertos para revisão humana. Em imagens sintéticas, os dois modelos acertaram 30 de 30, mas o D3 2B foi muito mais rápido. A conclusão é que o D3 serve para tarefas de classificação e triagem, enquanto modelos de chat são mais adequados quando é preciso gerar explicações ou texto livre.

Pontos-chave

• O D3 retorna pontuações e probabilidades para opções fornecidas, sem gerar uma resposta conversacional.
• O D3 está disponível no Ollama e tem versões de 2, 4, 9 e 27 bilhões de parâmetros.
• O teste com 500 mensagens sintéticas resultou em 95,8% de acerto para o D3 2B e 95,6% para o Qwen 34B instruct.
• O D3 2B processou 23 mensagens por segundo, contra 19 do Qwen 34B instruct.
• Entre as 406 respostas em que o D3 indicou confiança de pelo menos 90%, todas estavam corretas; as outras 94 tiveram 78% de acerto.
• Em 30 capturas de tela sintéticas, os dois modelos acertaram todas, mas o D3 2B levou 8,6 segundos e o Qwen 3VL, 58 segundos.
• Os testes usaram dados sintéticos, portanto não demonstram desempenho em tickets ou aplicativos reais e desorganizados.
• O apresentador recomenda o D3 para roteamento, triagem e verificações de sim/não, e modelos de chat para explicações ou texto livre.

Capítulos

Início	Capítulo	Resumo
00:00	O desafio de classificar mensagens	O apresentador introduz o teste de roteamento de tickets e mostra as limitações de um modelo de chat ao tentar responder com uma única categoria.
00:30	Como o D3 funciona	O vídeo apresenta o D3 no Ollama e demonstra que ele pontua opções fornecidas sem gerar texto.
01:31	Comparação em 500 mensagens	O D3 2B e o Qwen 34B instruct obtêm resultados de acurácia semelhantes, e o apresentador analisa o uso das pontuações de confiança.
02:34	Teste com imagens e conclusão	Os modelos acertam todas as capturas de tela sintéticas, mas o D3 é mais rápido; o apresentador recomenda seu uso para triagem e roteamento.

Citações

O D3 foi feito para pular tudo isso. — 00:30

Ele pontuou as opções, e esse detalhe é o motivo de ser tão rápido. — 01:01

Em acurácia, é um empate, e não vou fingir o contrário. — 02:02

Se você precisa de explicações ou texto livre, use um modelo de chat. — 03:06

Conceitos e entidades

• D3 (modelo): Modelo que atribui pontuações e probabilidades a opções fornecidas, sem gerar texto conversacional.
• Ollama (ferramenta): Ferramenta na qual o vídeo demonstra a execução do D3 localmente.
• vLLM Semantic Router (repo): Projeto de onde, segundo o vídeo, vem o D3.
• Qwen (modelo): Família de modelos usada na comparação de classificação de mensagens.
• Qwen3-VL (modelo): Modelo comparado ao D3 em uma tarefa de classificação de capturas de tela.
• RunPod (empresa): Serviço de GPU mencionado pelo apresentador como opção de baixo custo.
• Pontuação de confiança (conceito): Valor associado à resposta do modelo que pode ajudar a decidir quais casos encaminhar para revisão humana.
• Roteamento de mensagens (conceito): Classificação de mensagens em categorias para encaminhá-las à equipe apropriada.

Tradução completa (pt-BR)

00:00 500 mensagens de clientes, 23 segundos, 95,8% de acerto em um laptop com 8 GB de memória de vídeo. E o modelo que fez isso não escreveu uma única palavra. Vou mostrar cada etapa na minha própria tela e comparar com um modelo QN normal, porque essa é a única maneira de saber se isso é real. >> [música] >> Este é o problema de hoje. Você quer classificar tickets de suporte. Então, pede uma palavra a um modelo de chat. Veja o que obtive do QN 34B padrão na minha primeira tentativa. Ele começou a raciocinar em voz alta, ficou sem

00:30 tokens e nunca me deu uma categoria. Também transferiu parte do trabalho para a CPU porque o context window padrão dele é enorme. Aí você acaba escrevendo parsers, novas tentativas e proteções. O D3 foi criado para evitar tudo isso. O D3 vem do projeto semantic router da VLLM e agora está no Ollama. A página diz isso bem aqui. Você fornece texto, dados estruturados ou uma imagem, e ele retorna pontuações e probabilidades para as opções que você fornecer. Ele não escreve uma resposta conversacional. Há quatro tamanhos: 2, 4, 9 e 27 bilhões. O pacote de 2B tem cerca de 3 GB, então cabe na minha placa com bastante espaço de sobra. Você precisa do Ollama

01:01 0.40.9 ou mais recente. Estou usando a versão 40.11. Vamos executar. Você faz uma pergunta, dá opções, e pronto. Cobrança: 99%. Uma tela rachada vai para devoluções. Um aplicativo que trava vai para suporte técnico. Agora, a API. A mesma ideia, mas veja a resposta. Uma probabilidade para cada opção, um número de confiança e zero tokens de saída. Ele nunca gerou texto. Apenas pontuou suas opções, e esse detalhe é o motivo de ser tão rápido. O teste. 500 mensagens, cinco equipes: cobrança, devoluções, suporte técnico, entregas e contas. Sei qual é a resposta certa para

01:31 cada mensagem. As mesmas cinco descrições de categorias são enviadas aos dois modelos. O QN é a versão instruct 34B, que não pensa em voz alta e tem o context window limitado a 4.000 tokens, então permanece na GPU. Uma ressalva honesta: gerei essas mensagens usando modelos prontos, então esse conjunto é mais fácil do que tickets reais. Tenha isso em mente. Resultados. Execuções limpas, sem mais nada aberto. D3 2B: 95,8%, 23 mensagens por segundo, 40 milissegundos cada. QN 34B instruct: 95,6%, 19 mensagens por segundo, 49 milissegundos.

02:02 Então, em precisão, houve empate, e não vou fingir o contrário. O D3 é um pouco mais rápido, e os dois deram respostas idênticas na segunda execução. O D3 4B chega a 98,4%, mas é mais lento: seis mensagens por segundo, porque é o pacote maior. Veja o que o Qwen pode oferecer. Cada resposta do D3 vem com uma confiança. Fique apenas com as respostas em que ele tem 90% de certeza, e são 406 mensagens. As 406 estavam certas. As outras 94, aquelas sobre as quais havia dúvida, estavam certas em apenas 78% dos casos. Assim, você pode encaminhar automaticamente as respostas confiáveis e enviar o restante para uma pessoa. A página diz: “Essas pontuações são resultados do modelo, não garantias, então teste

02:34 com seus próprios dados.” Segundo experimento: 30 capturas de tela que gerei, 10 telas de erro, 10 telas de login e 10 telas de sucesso. Os dois modelos acertaram 30 de 30. A diferença está no tempo. O D3 2B terminou em 8,6 segundos. O Qwen 3VL levou 58 segundos porque primeiro raciocina por cerca de 70 tokens antes de responder. São telas sintéticas e sem problemas, então isso mostra que ele consegue realizar a tarefa, não que seja perfeito em aplicativos reais e bagunçados. Então, o veredito. Se sua tarefa é encaminhamento, triagem ou verificações de sim/não, o D3 2B é uma

03:06 ótima opção. É pequeno, rápido, não exige parsing e oferece uma pontuação de confiança que você pode usar para tomar decisões. Se precisar de explicações ou de texto livre, use um modelo de chat. Se quiser mais precisão em decisões difíceis, o D3 chega a 27 bilhões. Se estiver procurando GPUs baratas e confiáveis, eu uso a RunPod, e o link está na descrição. Conte nos comentários: o que você encaminharia primeiro com um modelo como este?

Transcrição original

[00:00] 500 customer messages, 23 seconds, 95.8% right on a laptop with 8 gigs of video memory. And the model that did it never wrote a single word. I’m going to show every step on my own screen and I’m going to race it against a normal QN model because that’s the only way to know if this is real. >> [music] >> Here’s the problem today. You want to sort support tickets. So you ask a chat model for one word. Look at what I got from the stock QN 34B on my very first try. It started reasoning out loud, ran

[00:30] out of tokens, and never gave me a category. It also spilled onto the CPU because its default context window is huge. So you end up writing parsers, retries, and guardrails. D3 is built to skip all of that. D3 comes from the VLLM semantic router project and it’s on Ollama now. The page says it right here. You give it text, structured data, or an image and it returns scores and probabilities for the options you provide. It does not write a conversational answer. There are four sizes, 2, 4, 9, and 27 billion. The 2B package is about 3 GB, so it fits my card with room to spare. You need Ollama

[01:01] 0.40.9 or newer. I’m on 40.11. Let’s run it. You ask a question, you give it choices, and that’s all. Billing 99%. A cracked screen goes to returns. An app crash goes to technical. Now the API. Same idea, but look at the response. A probability for every choice, one confidence number, and output tokens zero. It never generated text. It scored your options and that one detail is why it’s so fast. The test. 500 messages, five teams, billing, returns, technical, shipping, and account. I know the right answer for

[01:31] every message. The same five category descriptions go to both models. The QN is the 34B instruct version, which doesn’t think out loud with its context capped at 4,000 tokens, so it stays on the GPU. One honest caveat, I generated these messages from templates, so this set is easier than real tickets. Keep that in mind. Results. Clean runs, nothing else open. D3 2B, 95.8% 23 messages a second, 40 milliseconds each. QN 34B instruct, 95.6% 19 messages a second, 49 milliseconds.

[02:02] So, on accuracy, it’s a tie and I’m not going to pretend otherwise. D3 is a bit faster and both gave identical answers on the second run. The D34B reaches 98.4% but it’s slower, six messages a second because it’s the bigger package. Here’s what Qwen can give you. Every D3 answer comes with a confidence. Keep only the answers where it’s 90% sure and that’s 406 messages. All 406 were right. The other 94, the unsure ones, were only 78% right. So, you can auto route the confident ones and send the rest to a human. The page says, “These scores are model outputs, not guarantees, so test

[02:34] it on your own data.” Second experiment, 30 screenshots I generated, 10 error screens, 10 login screens, 10 success screens. Both models got 30 out of 30. The difference is time. D32B finished in 8.6 seconds. Qwen 3VL took 58 because it reasons first about 70 tokens before it answers. These are clean, synthetic screens, so this shows it can do the job, not that it’s perfect on messy, real apps. So, verdict. If your job is routing, triage, or yes/no checks, D32B is a

[03:06] great fit. Small, fast, no parsing, and a confidence score you can act on. If you need explanations or free text, use a chat model. If you want more accuracy on harder decisions, D3 goes up to 27 billion. If you’re looking for cheap and reliable GPUs, I use RunPod and the link is in the description. Tell me in the comments, what would you route first with a model like this?