Decision 2.0 Nox 4B localmente: segurança alimentar, empréstimos e testes de segurança

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Decision 2.0 Nox 4B Locally: Food Safety, Loans and Security Tests · Canal: Fahd Mirza · 10:01 · Assistir no YouTube

Tópicos: Automação de tarefas e workflows, Avaliação e benchmarks de IA, Modelos de IA, Modelos locais e open source, Segurança de IA

Resumo

O vídeo testa o modelo de decisão Nox 4B, da família Decision 2, executado localmente e capaz de responder a perguntas estruturadas sem gerar texto. Nos testes, ele encaminha corretamente um caso de atendimento ao cliente, identifica violações graves em um restaurante e avalia um pedido de empréstimo, mas falha ao detectar uma tentativa de engenharia social. O apresentador também comenta benchmarks que posicionam o modelo de forma competitiva para seu porte e destaca que ele consome menos de 10 GB de VRAM. A conclusão é que resultados de modelos de decisão podem variar conforme o prompt, por isso é essencial validá-los antes de usar em produção.

Pontos-chave

A família Decision 2 oferece seis modelos, de 6 a 27 bilhões de parâmetros, com uma interface unificada e licença Apache 2.0.
O Nox 4B é apresentado como uma opção intermediária, com latência mediana de 12,9 ms em uma única GPU.
Modelos de decisão retornam probabilidades para respostas predefinidas, sem precisar gerar texto.
No caso de cobrança duplicada, o Nox 4B classificou corretamente a solicitação como urgente e a encaminhou para cobrança.
O modelo falhou no teste de engenharia social e recomendou conceder acesso ao banco de dados.
Na inspeção sanitária, reprovou corretamente o restaurante, classificou o risco como alto e recomendou suspender as operações.
No pedido de empréstimo, recomendou a recusa e apontou pagamentos atrasados como o maior sinal de alerta, mas indicou que a decisão era limítrofe.
O apresentador recomenda validar as respostas com testes antes de integrar qualquer modelo a um pipeline de produção.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação da família Decision 2	O apresentador explica a variedade de tamanhos da família e introduz o Nox 4B como modelo intermediário para os testes.
02:06	Como funcionam os modelos de decisão e primeiros testes	O vídeo explica respostas estruturadas e testa o encaminhamento de atendimento e a detecção de uma tentativa de engenharia social.
05:47	Inspeção sanitária e benchmarks	O Nox 4B avalia um restaurante com violações graves, e o apresentador comenta resultados comparativos da família Decision 2.
08:25	Avaliação de crédito e conclusão	O modelo analisa um pedido de empréstimo e o apresentador recomenda validar os resultados antes de usar modelos em produção.

Citações

Modelos de decisão são feitos para uma coisa: tomar decisões estruturadas com rapidez, sem gerar texto. — 02:06

Você precisa de menos de 10 GB de VRAM para executar este modelo de 4 bilhões de parâmetros. — 05:15

É um caso realmente limítrofe, em que um analista de crédito humano deveria tomar a decisão final. — 08:57

Não instale qualquer coisa às cegas e simplesmente a coloque no seu pipeline de produção. — 09:28

Conceitos e entidades

Decision 2 (modelo): Família de modelos de decisão que responde a perguntas estruturadas com probabilidades, sem gerar texto.
Nox 4B (modelo): Modelo de decisão da família Decision 2 testado no vídeo em cenários de atendimento, segurança, inspeção sanitária e crédito.
vLLM Semantic Router (repo): Projeto cuja equipe é apresentada como responsável pela família de modelos Decision 2.
Fahd Mirza (pessoa): Apresentador do canal que conduz os testes do Nox 4B.
engenharia social (conceito): Manipulação que explora urgência ou confiança para induzir alguém a conceder acesso ou realizar uma ação.
VRAM (conceito): Memória de vídeo da GPU; o apresentador observa que o modelo exige menos de 10 GB para executar o teste.
Match Compute (empresa): Serviço mencionado pelo apresentador como opção para alugar uma GPU.

Tradução completa (pt-BR)

00:00 Mais um dia, mais um decision model. Decision 2 é uma família inteira de decision models da equipe do roteador semântico V LLM, que vai de 6 bilhões a 27 bilhões de parâmetros: seis modelos, uma interface unificada, todos Apache 2. A ideia é escolher o tamanho que se encaixa no seu orçamento de latência e precisão. Precisa de algo que rode em menos de cinco milissegundos? Pegue o Kai de 6 bilhões.

00:33 Precisa de precisão máxima? Escolha o VA de 27 bilhões. O mesmo código, as mesmas perguntas e o mesmo formato de saída em todos eles. Eu sou Fad Miraa, e dou as boas-vindas a você ao canal. Acompanhamos esses decision models desde o primeiro dia. Também fizemos uma comparação abrangente. Se quiser saber mais sobre eles, confira o canal. Além disso, recentemente começamos esta newsletter semanal gratuita de IA, na qual também compartilho muitas informações sobre esses decision

01:04 models, uma vez por semana. Se quiser ajudar o canal, torne-se membro. Para este vídeo, vou fazer testes práticos com este NOX de 4 bilhões, que é o meio-termo recomendado da família. Na minha opinião, ele está no topo da arena Jeff na sua classe de tamanho, roda com latência mediana de 12,9 milissegundos em uma única GPU e é instalado literalmente com duas linhas. Este modelo é construído sobre 3,54

01:35 bilhões, é Apache 2 e usa exatamente as mesmas interfaces de estado e perguntas que vocês já me viram usando em todos os vídeos desta semana e da semana passada. Vamos instalá-lo. Vou usar este sistema Ubuntu. Tenho uma placa de GPU. Como eu disse antes, se você quiser alugar uma GPU por um preço muito bom, encontrará o link para a Match Compute na descrição do vídeo. Este é o código que vou usar para executar o modelo. Então, veja:

02:06 primeiro, mais uma recapitulação. O que são decision models? Decision models são feitos para uma coisa: tomar decisões estruturadas rapidamente, sem gerar texto. Então, em vez de pedir a um LLM para escrever uma resposta e depois analisá-la, você fornece a um decision model uma situação e perguntas tipadas com respostas possíveis, e ele retorna probabilidades para cada opção em milissegundos.

02:37 Isso é bastante perfeito para encaminhar tickets de suporte ao cliente, detectar fraudes, sinalizar ameaças de segurança ou qualquer workflow em que você precise de uma resposta rápida e confiável em escala. E é exatamente isso que estamos testando aqui, no script que vocês veem na tela, com um cenário de cliente irritado. Se olharem para este estado e estas perguntas, nosso cenário é de um cliente que recebeu uma cobrança duplicada na fatura

03:08 e não consegue falar com ninguém por telefone. Estamos fazendo três perguntas ao modelo de uma vez. É urgente? Deve ir para o setor de cobrança ou para o suporte técnico? E quão frustrado está esse cliente? As três respostas são geradas simultaneamente em uma única passagem forward. Vou voltar aqui e executar este script. Vou limpar a tela e então executá-lo. Na primeira vez que eu o executar, ele vai baixar o modelo.

03:41 E, se olharem o resultado, cobrança com 89,4%, urgente com 77,8%, e a resposta sobre a frustração aponta para muito irritado. Resposta correta. Confiança sólida. O mesmo resultado que temos visto a semana toda com o modelo bom. Muito bom. Vamos fazer outro teste. O próximo teste é ainda mais difícil. É uma armadilha de engenharia social. Um funcionário alega que há uma emergência e pede acesso ao banco de dados, citando um gerente impossível de verificar e uma tática de pressão de 50 mil dólares por

04:11 hora. Três modelos identificaram a armadilha da última vez. Se forem ao vídeo que mencionei antes, verão que três caíram nela. É bem difícil. Como podem ver, há este estado e alguns níveis de risco. Isto é engenharia social, e estas são as ações. Vou voltar e executar este código. Enquanto ele roda e carrega o modelo, vou mostrar o consumo de VRAM.

04:43 Esperem o consumo subir enquanto o carregamento do modelo termina, e depois vamos conferir. Vou deixá-lo rodando para podermos acompanhar em tempo real. Ainda está rodando. Também suspeito que talvez esteja rodando só na CPU. Enfim, não. Vou conferir. Desculpem a demora, mas, por algum motivo, acho que está um pouco

05:15 lento para carregar. Certo. O interessante é que o consumo da GPU ainda não tinha subido, mas agora, felizmente, subiu. Como podem ver, são necessários menos de 10 GB de VRAM para executar este modelo de 4 bilhões de parâmetros. E este é o resultado: vejam só, o modelo caiu na armadilha. Reprovou no teste: 85,2% para conceder acesso, apenas 22,1% para detectar engenharia social

05:47 e até recomendou conceder acesso, com 58,2% de confiança. Decision 2 Nox se junta a Kev Lia e Open Jeff do lado errado deste teste, confirmando que detectar manipulações motivadas por urgência ainda é um problema difícil para a maioria dos modelos desta categoria. Em seguida, dei ao modelo este relatório de inspeção de restaurante, com cinco violações graves. Temperatura incorreta do peixe,

06:18 frango cru armazenado acima das saladas, funcionários que não lavam as mãos, nenhuma limpeza profunda em três semanas e uma barata perto da área de preparo dos alimentos. Pedi que decidisse se o restaurante passava ou não, avaliasse o nível de risco, recomendasse uma ação e identificasse a pior violação. E esta foi a resposta. Ele reprovou corretamente o restaurante, com 96,9%, classificou-o como de alto risco e recomendou suspender as operações. A única resposta fraca é a da maior violação: ele escolheu o armazenamento, com apenas 5,4% de confiança,

06:50 o que significa que estava realmente incerto entre as quatro violações, o que, na verdade, é a intuição certa, porque todas são bastante graves. Certo, antes de fazer o teste final mais interessante, vamos dar uma olhada rápida em alguns benchmarks e outras informações que eles compartilharam. Nesta imagem, vocês podem ver que o Decision 2 de 4 bilhões está no topo da sua classe de tamanho, com uma pontuação de 63,6, à frente de todos os outros modelos de 4 bilhões nesta arena. Pensem nisso como o

07:22 placar dos decision models do mesmo tamanho. E este aqui… Bem, sabem de uma coisa? Nunca ouvi falar do Jet e do Decider. Talvez possamos dar uma olhada neles, mas há tantos modelos por aí neste momento. É só virar uma pedra e aparece um decision model. Enfim, olhem só. Isto detalha em quais áreas o Decision 2 realmente se destaca. Ele domina em perguntas de sim ou não, com 88%, e em pontuação, com 66%, que são os dois tipos de decisão mais difíceis. O único tipo em que fica atrás é o das perguntas de escolha, em que o Decider de 4

07:55 bilhões fica um pouco à frente. E todas as categorias melhoraram da versão 1 para a 2. Eles também têm a versão 2. Nunca ouvi falar do Decision 1, enfim. Então, a compreensão de linguagem subiu cerca de 12 pontos, e as artes subiram 11. Certo, isso é interessante. E esta é a visão geral da fronteira de Pareto. O Decision 2 está exatamente na fronteira de eficiência. Isso significa que, para o tamanho que tem, oferece o melhor desempenho possível

08:25 Todo ponto abaixo da linha azul representa um modelo que é maior ou pior. Decision 2 Nox não é nenhum dos dois. Certo. Então, vou mostrar o teste final. Este é o caso de uma enfermeira que ganha 72 mil dólares por ano e está solicitando um empréstimo imobiliário de 280 mil, com pontuação de crédito de 580, três pagamentos atrasados nos últimos 12 meses e 18 mil dólares em dívidas existentes. Pedi ao modelo que aprovasse ou recusasse o empréstimo, avaliasse o risco, recomendasse uma ação e

08:57 identificasse o maior sinal de alerta, como podem ver aqui. Vou mostrar a página da newsletter para vocês se lembrarem, e este é o resultado. O modelo recusou corretamente, com probabilidade de 80,6%, e classificou o caso como de alto risco. Também identificou corretamente os pagamentos atrasados como a principal preocupação. A baixa confiança na decisão final — 13,3% para a recusa — mostra que este é um caso realmente limítrofe, em que um agente de crédito humano

09:28 deveria tomar a decisão final, o que é exatamente a intuição certa. Então, vejam: segurança alimentar, solicitação de empréstimo, ameaças de segurança e encaminhamento de clientes: o Decision 2 Nox lidou com tudo isso em milissegundos, sem geração de texto, mas houve algumas falhas. Portanto, se estiverem construindo qualquer tipo de pipeline de decisão automatizada, sugiro que primeiro o testem para ver se a resposta está correta. Não instalem nada às cegas.

10:01 e então colocá-lo no seu pipeline de produção. Como você pode ver, esses resultados variam bastante dependendo do prompt. É isso. Me diga o que você acha. Mais uma vez, apoie o canal tornando-se membro, e obrigado por todo o

Transcrição original

[00:00] Another day, another decision model. Decision 2 is a whole family of decision models from the V LLM semantic router team ranging from6 billion all the way up to 27 billion parameter, six models, one unified interface, all Apache 2. The idea is you pick the size that fits your latency and accuracy budget. Need something that runs in under five millisecond? Grab the 6 billion kai.

[00:33] Need maximum accuracy? Go for the 27 billion VA. Same code, same questions, same output format across all of them. This is Fad Miraa and I welcome you to the channel. We have been covering these decision models since day one. We also have done a comprehensive comparison. If you want to learn more about them, just check out the channel. Also, recently we have started this free weekly AI newsletter where I’m also putting in lot of information around these decision

[01:04] models only once a week. If you want to help out the channel, please become a member. For the purpose of this video, I’m going to go with hands-on with this 4 billion NOX, which is the recommended middle ground of the family. In my opinion, it sits at the top of the Jeff arena for its size class, runs at 12.9 millisecond median latency on a single GPU, and it installs in literally two lines. This model is built on 3.54

[01:35] billion Apache 2 and it uses the exact same state and question interfaces you have already seen me using in every video this and last week. Let’s get it installed. I’m going to use this Ubuntu system. I have one GPU card. As I said earlier, if you’re looking to rent a GPU on very good price, you can find the link to match compute in videos description. The code which I’m going to use in order to do this model is this one. So look,

[02:06] first again a refresher. What are decision models? Decision models are built for one thing, making fast structured decisions without generating any text. So instead of asking a large language model to write a response and then parsing it, you give a decision model a situation and typed questions with possible answers and it returns probabilities for every option in milliseconds.

[02:37] This is quite uh perfect. for routing customer support tickets, detecting fraud, flagging security threats or any workflow where you need a fast reliable answer at scale and that is exactly what we are testing here in uh the script which you can see on your screen with one angry customer scenario. So if you look at this state and questions, our scenario is a customer who got charged twice on their invoice

[03:08] and cannot reach anyone on the phone. We are asking the model three questions at once. Is this urgent? Should it go to billing or technical? And how frustrated is this customer? All three answered simultaneously in one forward pass. Let me go back here and run this script. Let me clear the screen and then I’m just going to run. And first time when I’m when I’ll run it, it is going to download the model.

[03:41] And if you look at the result, billing at 89.4%, urgent at 77.8% frustrated leaning towards very angry. Correct answer. Solid confidence. Same result we have been seeing all week from the good model. So, pretty good. Let’s do another test. Next test is even harder. It’s a social engineering trap. Employee claiming emergency database access with an unverifiable manager and $50,000 per

[04:11] hour pressure tactic. Three models caught it last time. If uh you go to the video which I told you about this earlier, but then three fell for it. It is quite a hard one. So you can see that there is this state and then there are few risk level. This is social engineering and these are the actions. Let me take you back and we are going to run this code. While it runs and loads the model I’m going to show you the VRAM consumption.

[04:43] Wait for it to jump up as it finishes loading the model and then we will check it out. I will let it run so that we could check it out in real time as it runs. It is still running. I have also a suspicion that it it is even just running on CPU I guess. Anyway, no. So, I’ll just check it out. I’m sorry it is taking bit of a time but for some reason I think um it is bit

[05:15] slow to load. Okay. So the interesting bit is that this GPU consumption didn’t jump up so far but now it is thankfully. So just uh you can see under 10 gig of V RAM you would need to run this 4 billion parameter model and this is the result and lo and behold this model fell for it. Failed the test 85.2% 2% grant access only 22.1% social engineing

[05:47] detection and it even recommended granting access at 58.2% confidence decision to Nox joins Kev Lia and open Jeff on the wrong side of this test confirming that catching urgencydriven manipulation is still a hard problem for most models in this category. Next up, I gave the model this restaurant inspection report with five serious violations. Wrong fish

[06:18] temperature, raw chicken stored above salads, staff not washing hands, no deep clean in 3 weeks, and a cockroach near food prep. I asked it to decide pass or fail risk level, what action to take and which violation is the worst. And then this is a response. It correctly failed the restaurant restaurant at 96.9% flagged it as high risk and recommended suspension of operations. The only weak answer is biggest violation where it picked storage at just 5.4% confidence

[06:50] meaning it was genuinely uncertain between all four violations which is actually the right instinct because every single one of them is quite serious. Okay, before I do the most interesting final test, let’s have a very quick look at few of the benchmarking and other information they have shared. So on this image, you can see decision 2 4 billion sits at the top of its size class with a score of 63.6, which is ahead of every other 4 billion model in this arena. Think of it as the

[07:22] leaderboard for decision models of the same size. And this one, well, you know what? I haven’t even heard of the jet and decider. We we might have a look at them but there are so many out there at this point in time. You you know you unturn a stone and decision model comes out. Anyway, look at this. This breaks down where decision to actually wins. It dominates on yes no question at 88% and scoring at 66% which are two hardest decision types. The only place it trails is choice questions where decider 4

[07:55] billion edges ahead and this is where every category improved from version 1 to two. Even they have even version two. I’ve never heard of you know decision one anyway. So you know language understanding has jumped you know around 12 points and arts jumping 11. Okay that is interesting. And this is the Perto frontier uh big picture view. Decision 2 sits right on the efficiency frontier. Meaning for its size, it gives you the best possible

[08:25] performance. Every dot below the blue line is a model that is either bigger or worse. Decision to Nox is neither. Okay. So, let me show you the final test. So, this is where a nurse earning $72,000 a year applying for a 280,000 home loan with a credit score of 580, three missed payments in the last 12 months, and $18,000 in existing debt. So, he asked the model to approve or decline, rate the risk, to recommend an action, and

[08:57] identify the biggest red flag as you can see here. So I’ll just show you the newsletter page so that you would remember and this is the result. So the model correctly declined at 80.6% probability and flagged it as high risk. Correctly identifying missed payments as the biggest concern. The low confidence on the final decisions at 13.3% for decline tells you this is a genuinely borderline case where a human credit

[09:28] officer should be making the final call which is exactly the right instinct. So look I think um what should I say here? Food safety loan application security threats customer routing decision to Nox um handled all of it in millisecond with no text generation but there were few misses. So if you are building any kind of automated decision pipeline, I would suggest that you first test it out to see if the answer is correct or not. Don’t blindly just install anything

[10:01] and then put it in your production pipeline. As you can see, these results vary a lot with the prompt. That’s it. Let me know what do you think. Again, please support the channel by becoming a member and thank you for all the