Jev: o modelo que resolve os problemas que LLMs não foram feitos para resolver

Author: Rafael Quintanilha – QuantBrasil · Watch on YouTube

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: Jev: o modelo que resolve os problemas que LLMs não foram feitos para resolver · Channel: Rafael Quintanilha – QuantBrasil · 41:34 · Watch on YouTube

Topics: AI agents, Task and workflow automation, Software engineering with AI, AI models

Summary

O vídeo apresenta Jev, primeiro modelo da classe System One, voltada a decisões rápidas, estruturadas e tipadas, em vez de conversas ou geração de texto. O apresentador explica como o modelo usa primitivas de choice, score e no para classificar informações com probabilidades e confiança calibrada, e demonstra seu uso em triagem de suporte e análise financeira. Em testes comparativos, Jev aparece como mais rápido e barato que LLMs em tarefas de classificação, mas pode falhar quando a tarefa exige mais inteligência ou contexto. A conclusão é que o modelo pode ser útil em automações, desde que o sistema seja projetado para lidar com a incerteza e encaminhar casos de risco ou baixa confiança para revisão humana.

Key points

Jev é apresentado como o primeiro modelo da classe System One, projetada para decisões rápidas, não para conversas longas.
Ao contrário de LLMs que geram texto, Jev retorna decisões estruturadas e tipadas, com probabilidades e estimativas de confiança.
As primitivas demonstradas são choice, para selecionar uma opção; score, para atribuir uma nota; e no, para uma resposta booleana.
A confiança do modelo permite que o software escolha entre automatizar, pedir confirmação ou encaminhar a decisão para uma pessoa.
O vídeo demonstra o uso de Jev para classificar mensagens de suporte por departamento, pedido de reembolso e nível de frustração.
Em testes de análise de sentimento, Jev teve menor latência e custo que o modelo comparado pelo apresentador.
Jev pode falhar em tarefas que exigem interpretar contexto ou distinguir entidades ambíguas; uma etapa de pré-filtragem pode melhorar o resultado.
A escolha entre Jev e um LLM deve considerar a tarefa, o custo, a velocidade, a confiança necessária e o risco da decisão.

Chapters

Start	Chapter	Summary
00:00	Apresentação de Jev e da classe System One	O apresentador introduz Jev e explica por que o modelo chamou a atenção como uma alternativa aos LLMs tradicionais.
04:54	A proposta de decisões estruturadas	O vídeo relaciona o nome System One a decisões rápidas e apresenta RLCD, confiança calibrada e respostas tipadas.
09:44	O manifesto: inteligência composable	O apresentador discute a proposta de compor sistemas de IA em camadas auditáveis e orientadas a máquinas.
13:33	Como Jev funciona e quais são suas primitivas	A documentação é usada para explicar as primitivas choice, score e no e a diferença entre decisões estruturadas e geração de texto.
20:02	Demonstração de triagem de mensagens	Uma mensagem de suporte é classificada por departamento, pedido de reembolso e nível de frustração.
24:55	Comparação com LLMs em aplicações reais	O apresentador compara Jev e LLMs em análise de sentimento e identificação de empresas em notícias financeiras.
29:46	Custos, latência e limites dos testes	São apresentados preços e resultados de velocidade e custo, além das limitações de usar Jev com listas extensas de ações.
34:03	Um caso de ticker ambíguo	O exemplo de MS mostra que um LLM pode interpretar contexto melhor, enquanto Jev depende de uma etapa adequada de pré-filtragem.
37:49	Como usar a confiança para controlar o risco	O vídeo explica que os limites de confiança devem variar conforme o impacto da ação e demonstra quando automatizar ou pedir revisão.
40:32	Conclusão e chamada para participação	O apresentador reforça que Jev não substitui LLMs em qualquer situação e convida o público a compartilhar casos de uso.

Quotes

“LLM retorna texto, retorna string. No caso do Jev, ele vai retornar decisões.” — 06:33

“O seu software pode ser responsável pela incerteza.” — 08:40

“O Jev é apenas um structured output glorified? Mas não é verdade.” — 14:38

“Não significa que você tem que largar o seu LLM e sair correndo pro Jev.” — 40:32

Concepts and entities

Jev, System 1, RLCD, RLHF, TypeSafe, choice, score, no, OpenRouter, DeepSeek V4 Flash

Full transcript (original language)

00:00 Eis que a nossa bolha de inteligência artificial foi tomada de surpresa pelo lançamento do JV, o primeiro de uma nova classe de modelos de inteligência artificial chamada Systen One e que é diferente dos LLMs tradicionais. Mas por que que o Jeff chamou tanto a atenção da comunidade? Por que que ele gerou tanta comoção? Será que muda alguma coisa para você? É justamente isso que eu quero te contar no vídeo de hoje, onde eu vou te apresentar tudo sobre o JV, essa nova classe de modelos, quando você deveria utilizá-la, quais são casos práticos e

00:35 reais que faria sentido para você. Eu vou, claro, te mostrar um exemplo real na minha própria aplicação e responder a pergunta: será que o Jev é só mais um hype da internet ou chegou para ficar? Pessoal, eu entendo que quem acompanha esse mundo da IA às vezes fica um pouco sobrecarregado de informações novas. E de fato, né, a gente tem mudanças que são muito incrementais. Então, tem o Depsic V4 e sai o V4.1. Tem o GLM 5.2 e sai o 5.3, Fable 5,

01:08 Fable 5.1, etc, etc. São mudanças pequenas, por mais que a gente consiga perceber alguns saltos, elas são mudanças pequenas no grande esquema das coisas. Porém, o anúncio do Jeev foi algo que realmente abalou um pouco as estruturas de como nós construímos apps com inteligência artificial, porque ele vem com uma proposta diferente daquilo que a gente tá acostumado dos LLMs tradicionais, tá? Então, se você não sabe do que eu tô falando, o JEV é o primeiro modelo de uma nova classe chamada System One. Quando a gente tá

01:41 falando de modelo, nós estamos falando então daqueles modelos GPT6 Astra, Fable, aquilo que a gente tá acostumado a utilizar no dia a dia, tá? Esses modelos são basicamente treinados com uma técnica chamada RLHF, né, que é reinforcement learning from human feedback, ou seja, aprendizado, né, reforçado, né, através de um feedback humano, tá? E esses modelos, eles tradicionalmente são feitos para serem utilizados numa interface de chat. Não à toa que quando, né, teve o boom do GPT, ele veio atrás do chat GPT. você

02:13 interage ali via uma interface conversacional. Também é assim com os agentes de A hoje, tá? Só que o JV e ele sendo de uma nova classe, ele não é feito para ser um chat, tá? Tanto que eles até apresentam o Jev dizendo que ele é inteligência além do chat, além de uma conversa, tá? e o Jav. Então, dá para Iar, dá pra inteligência artificial as propriedades de código. Que que são as propriedades de um código, pessoal? Um código é algo previsível, o código é

02:49 determinístico, o código é estruturado. E nós vamos ver algumas dessas questões aqui. O Jeff, tá bom? Eh, eles seguem dizendo que eles tomaram a direção contrária do que estava sendo feito na academia, na pesquisa, tá? Então a gente tem aqui, como eu disse, os RLHFs, né, que levaram aos LLMs e são otimizados para a preferência humano, por isso que é human feedback, o feedback do humano é o que vai condicionando o treinamento. Inclusive, no meu curso de fundamentos

03:20 da engenharia de A, que está na wait aí, né, trilha do engenheiro de A, nesse curso eu falo mais sobre etapa de treinamento. Então você faz um treinamento de modelo condicionado a um que o humano acha que aquilo é adequado, tá? Então eles seguem dizendo que isso levou, né, esse essa arquitetura levou os modelos que são super humanos em seguir instruções, né, e no que a gente agora chama de chat, né, uma conversa. Só que e essa arquitetura do RLHF cria

03:52 problemas inerentes como confiança exacerbada, uma falta de confiabilidade. E o fato é, pessoal, que os LLMs ficaram tão bons e tão inteligentes que eles cresceram além do seu escopo original, do que eles foram inicialmente projetados para fazer. E aí você vai falar assim: “Ah, vel, por que quem disse isso?” Bom, o criador aqui, um dos fundadores do Type Safe, dessa empresa que gerou, né, o Jev, ele tem propriedade para falar, né, o CEO do TypeSfe aqui chamado Diogo Almeida. Inclusive, parece até o nome de

04:23 brasileiro, né? Não sei nem se ele é brasileiro, mas o Diogo Almeida, ele coinventou esse princípio, esse esse método do RLHF e também o Instruct GPT, que foram métodos que levaram depois a criação do chat GPT. Então é um cara que vem da academia, que vem do estudo e que participou do desenvolvimento desse tipo de sistema, dos LLMs. Então não é como se o pessoal do Typeesfe Ll, tem nada a ver. Só que eles estão resolvendo um outro tipo de problema com uma outra abordagem. Então o que que foi que eles construíram? Eles construíram uma nova

04:54 classe de modelos que eles estão chamando de system one. Parêntese. Por que que eles chamam de Systen One? Vocês talvez conheçam o livro Fast and Slow, né, do Daniel Canneman. Beleza? Esse livro aqui do Daniel Ceman é um livro muito famoso. Daniel Canan ganhou o Nobel de Economia, tá? E nesse livro o Daniel Caneman, ele apresenta o conceito de sistema um e sistema dois, né? Eu sei, não é um nome muito muito criativo, mas basicamente o sistema um seria o

05:25 sistema que reage rápido e o sistema dois é o sistema que você, né, pensa, você demora mais para tomar as decisões, né? Então eles estão chamando isso aqui de system one porque ele faz parte desse tipo da sua área do cérebro que toma decisões rápidas, que infere algo rápido, tá? Então eles estão construindo modelos para esse tipo de tarefa. E aqui você já entende que ele não é feito para long task, ele não é feito para ficar fazendo código, ele não é feito para pensar na morte da bezerra, ele é feito para identificar uma coisa e dar uma

05:58 resposta. E a gente já vai ver como tá? Então isso foi feito com uma nova arquitetura que ele chama de Reinforcement Learning for calibrated decisions, né? Então RLCD em contraste com o RLHF, tá? Isso aqui tá fora do corpo desse vídeo, mas para você entender que existe uma pesquisa por trás dessa nova classe de modelos chamada System One, do qual o JV é o primeiro modelo. Bom, então vamos seguir vendo aqui o que tem de relevante no lançamento do Jev. E eles dizem, né, são decisões, não strings. Llo,

06:33 linguagem, retorna texto, retorna string. No caso do JV e dos modelos do tipo system one, eles vão retornar decisões, vão retornar algo que é tipado, tá? Ou seja, que tem tipo, pessoal. Tipo é algo que software adora. Nós gostamos de previsibilidade em código. Nós não gostamos de dado não estruturado. A gente usa LLMs para tentar estruturar um dado de uma forma meio que na marra, mas o JV foi criado para fazer isso nativamente. Ele também

07:04 vem com uma confiança calibrada, então você já tem ali por padrão a probabilidade, a estimativa de que aquela classificação foi feita da forma adequada. E claro, ele é mais como um código, né? Então ele é confiável, rápido e type safe. Então eles batem muito na tecla aqui de que ele é rápido e barato. E de fato, eu fiz uns testes que ainda vou mostrar no final desse vídeo, onde de fato ele é bem mais rápido e barato do que um modelo que já é rápido e barato, tá? A gente já vai ver isso com mais detalhes, né? E eu gostei muito disso aqui, tá? Essa parte aqui talvez foi a que mais me pegou no

07:36 sentido, né, desse lançamento e que eu acho que talvez seja o mais importante pra maior parte das pessoas aqui, tá? O JV ele é feito para automações, pessoal. Isso é fundamental para quem tá criando um sistema de A, para quem tá criando um sistema mais complexo e colocando IA como parte da do decision making, da tomada de decisão. Quando a gente usa um LLM, essa tomada de decisão, ela é arbitrária e depende ali do reasoning arbitrário e estocástico que nós temos

08:08 de um modelo. Só que quando você pede para um modelo, tipo um LLM, te dá um intervalo de confiança, aquilo ali não é necessariamente matemático, né? Aquilo ali é meio que inferido pelo próprio modelo, tá? aqui não. Aqui no caso do Jeff, ele de fato vai ter uma distribuição de probabilidades que você vai conseguir ter uma confiança muito mais assertiva ou melhor, uma confiança muito mais próxima do que nós entendemos por confiança. E quando a gente tá construindo um sistema, é importante que a gente entenda o grau de confiança,

08:40 onde que a gente deve colocar um humanop, onde que a gente consegue fazer ele 100% automatizado, tá? Então isso nos ajuda muito, beleza? Então o JEV retorna decisões tipadas com probabilidades que sejam calibradas, de modo que o seu software possa ser responsável pela incerteza. É uma coisa, se eu sei que o meu código tem uma certeza de 90%, é outra coisa se eu sei que ele tem uma certeza de 30%. Eu, como o decisor, como o engenheiro por trás

09:11 desse sistema de a, eu posso decidir que etapa fazer em seguida, tá? Então você pode configurar os seus thrashs, né, já, já que ele dá um intervalo de confiança, você é responsável por dar o thrash adequado. Cara, eu quero, eu sou o máximo de confiança aqui. Eu vou dar um thrash de 95%, por exemplo. Não, eu tolero aqui um pouco de erro, não tenho problema com falso positivo. Vamos botar aqui um thrash de 60%, vai depender de você, repito, como engenheiro por trás desses sistemas, tá? Então você consegue combinar essas decisões no código para

09:44 construir workflows maiores, com muito mais controle em cima da inteligência que é utilizada. E antes de partir um pouco mais pra parte técnica do JV, eu queria ler esse manifesto que eu achei muito revelador sobre o que que eles querem construir, tá? Eu não vou ler tudo aqui, mas vou pegar algumas partes principais. Então eles começam dizendo que a missão deles é pavimentar o menor caminho possível para uma revolução econômica baseada na inteligência artificial através de tornar a inteligência composable, ou seja, que

10:18 você consiga compor uma em cima da outra, que é como o software funciona. Se você for parar para pensar, nós quando desenvolvemos software, a gente vai construindo em cima de diferentes conceitos. Então você começa lá escrevendo uma linguagem de máquina e você cria uma linguagem de baixo nível, aí você vai lá e cria uma linguagem de programação, sei lá, tipo um Java e aí dali vira um Python e dali você cria um framework, tipo fast API, e aí você vai aumentando o nível. Só que por que que a gente consegue trabalhar em níveis mais

10:48 altos, com abstrações, né, mais altas? Porque a gente tá sustentado em níveis que nós já estudamos, já estruturamos e que a gente tem confiança naquilo. Então, se você conseguir usar a inteligência artificial para criar esses sustentáculos que vão permitir que nós criemos sistemas cada vez mais robustos, a gente pode ter uma aceleração econômica, né? Essa essa, digamos assim, é a big picture deles, tá? Mas o importante para mim aqui é essa parte de making intelligence composable. Isso aqui eu gosto bastante, tem muito a ver

11:22 com que nós falamos de automação ali antes, tá bom? Eles dizem que a IA tradicional, né, a IA atual, ela é treinada para ser um assistente articulado e e que seja útil, né, e agradável. E beleza, né? É objetivos razoáveis. Se você assumir que é um humano que tá do outro lado do modelo. Então, se eu tô interagindo via chat, é OK que o meu assistente seja helpful pleasant assistant, certo? Mas se for uma máquina que tá do outro lado. E se

11:54 eu quiser compor um sistema IA falando com IA, eu não preciso que eles sejam helpful assistant, eu preciso que ele funcione mais como código, tá? Então, o fato de que a IA foi treinada para falar com humanos, né, gera a consequência natural de que a IA vai acabar requerendo humanos no looping, né, human vezes, ao invés de simplesmente conseguir ser autônoma e rodar em background, tá? Então, software no geral nunca funcionou dessa forma com Human em Delope, né? mesmo. O código mais complexo é construído em cima de lógicas

12:27 simples e abstrações que vão sendo colocadas uma em cima da outra, como eu disse para vocês, com a particularidade de que a cada novo layer, a cada novo grau de abstração que você vai colocando, né, nesse bolo, que é a engenharia de software, você tem uma possibilidade de auditar. Eu sei, opa, o problema tá aqui, ó. Tá nessa camada dois. Quando a gente tem um LLM resolvendo tudo, a gente não consegue auditar. A gente passa pro LLM e se vira aí, faz a resposta e ele te dá um retorno que você fala: “Cara, mas por

12:58 que que você retornou isso e você não retornou aquilo?“, né? E a gente tem todo aquele trabalho de fazer o harness engineering, né? que também tá lá no meu curso, na minha trilha do engenheiro de, cujas inscrições vão abrir no dia 30 com condições especiais e o link vai tá na descrição e no comentário fixado. E você acaba tendo que fazer todo esse trabalho de harness engineering, que claro, vai continuar sendo útil, a gente vai continuar fazendo, mas a gente perde muito da tomada de decisão determinística ali que acontece. Então eu gosto muito dessa proposta deles, né, basicamente de você ter uma AI, né, uma

13:33 IA que seja composable, seja composta e seja machine native, seja nativa, orientada para as máquinas. Maravilha. Agora que a gente já falou dos princípios por trás dessa nova classe de modelos, vamos ver como que o JV funciona na prática, tá? Então tô aqui na documentação deles, aqui na introdução e vamos ver aqui como que você trabalha com o Jeff, tá? Então, para começo de conversa, aquela mesma história que a gente já sabe, né? Os Laruas de Modas, os LLMs são projetados para produzir texto e para humanos

14:06 lerem, certo? Quando você quer que um modelo faça um julgamento que o seu código vai consumir, isso cria, né, um mismatch, uma confusão ali. Você tá forçando um sistema que gera texto para retornar decisões estruturadas e aí você parceia esses resultados de volta no seu código. Isso aqui é muito importante porque a gente pode cair na tentação de achar que o JEV é apenas um structured output glorified, né? Glorificado, né? Cheio ali de pompas. Mas não é verdade,

14:38 pessoal. Sim, de fato, ele vai te gerar ali um structured output. Se você não sabe o que é isso, é quando a gente força um modelo de A retornar, por exemplo, um JSON num formato seguindo um determinado esquema, tá claro, né? Nós podemos forçar o Ll fazer isso, mas de novo, você tá aqui, ó, cocing, você tá coagindo um sistema de geração de texto a fazer algo que ele não foi projetado para fazer. Por mais que a gente faça ali treinamento pós-treinamento, para que os modelos consigam, né, respeitar bem ali o output estruturado, não foi

15:13 para isso que eles foram desenvolvidos. Inclusive, se você trabalha com IA mais tempo, você provavelmente passou por uma fase onde isso era difícil. os modelos lá no início, quando a gente começou a usar o Ll para fazer código, a gente tentava fazer ali eh outputs estruturados que ele retornasse ali um esquema bonitinho num formato de Jason, e muitas vezes ele errava, ele não respeitava aquilo. E aí os modelos foram ficando melhores em fazer isso e a gente tinha que colocar umas validações para garantir que ele realmente saia no formato. era realmente uma uma dor de cabeça que no final das contas foi meio

15:45 que resolvida, mas que nunca foi resolvida na base, na forma como o modelo é treinado para retornar esses resultados, tá? Então o JV é basicamente construído para fazer essas decisões rápidas e estruturadas que nós tipicamente utilizamos num sistema de software, tá? Então mais concretamente o que que acontece? O JEV calcula perguntas contra um estado e retorna resultado estruturado. Não tem geração de texto, você não precisa parciar nada,

16:16 você pega valores tipados e distribuição de probabilidades que o seu código pode ali, né, seguir de acordo com as probabilidades, tá? Então isso é muito importante. Você vai passar um estado com a informação, pensa que é como se fosse o contexto do que um LLM recebe e você vai falar: “Ó, eu quero que você retorne, por exemplo, nesse e nesse e nesse tipo”. E aí eu peço para que ele retorne um desses três tipos, pessoal, uma choice, uma um score ou um no, tá? Isso aqui são os primitivos, são as primitivas do type safe, tá? Então,

16:49 similar as primitivas de software, as primitivas do type safe, né? As primitivas de a são modulares, compos estruturadas, confiáveis e rápidas, tá? O que que cada uma dessas primitivas se presta a fazer? Bom, vamos analisar primeiro o choice. O objetivo aqui, então, quando você dá uma pergunta do tipo choice, é que você escolha uma opção de uma lista, tá? Então aqui ele vai retornar à escolha que ele fez, né? a probabilidade de cada escolha e a confiança que ele tem no resultado. Rafael, me dá um exemplo de choice. Ora,

17:21 imagina que você quer fazer uma classificação de sentimento, uma análise de sentimento de uma ação. Você quer pegar ali uma notícia, pegar ali ação e falar assim, ó, me interpreta aqui dentro desse texto se a bção feita a essa ação é positiva, negativa ou neutra. É uma escolha. O modelo tem que pegar, selecionar uma dessas, tá? Um outro exemplo de choice, de escolha, você recebeu ali uma mensagem do seu suporte e aí você quer saber para quem que eu tenho que mandar essa mensagem. Será que é do time do financeiro? Será

17:53 que é do time de desenvolvedores? Será que é o time legal? Para quem que eu tenho que mandar essa mensagem, né? Baseado no contexto da mensagem que eu recebi aqui. Qual que é o departamento que tem que lidar com isso aqui? é uma escolha, é uma choice, você pode utilizar o JV para isso. O segundo tipo de pergunta aqui é o score. Então, o score basicamente é uma nota baseada numa rúbrica, né, num gabarito. E ali você vai receber o score, também as probabilidades e também a confiança. Exemplo de score. Tudo que você possa

18:24 querer ter uma distribuição numérica é passível de você utilizar o score, tá? Eles dão esses exemplos aqui, ó. Quão severo é esse bug que tá sendo reportado. Se for zero, né, você vai falar, não vai ter impacto na funcionalidade. Um, tá quebrado ou dois é um issue blocking, né, assim, tem que consertar instantaneamente. E aí o modelo vai te dar um score, por exemplo, ele pode te retornar aqui 0.8, o que significa que ele tá aqui entre cosmetic e broken, tá mais perto de de broken do que de do que de blocking, por exemplo. Ou ele pode retornar aqui, sei lá, 1.9. Caramba, 1.9 é que tá realmente tá tá

18:58 mais pro lado aqui de ser blocking, né? Então você analisa de acordo com isso. Outro exemplo é qual quão formal é esse é essa roupa aqui, né? Baseada na descrição. E aí você dá os scores aqui e ele vai te dar a nota entre eles. Quão relevante é a experiência do candidato, né, em relação à vaga que foi postada. E aí, ó, pô, 0 1 2 3 indo graus de relevância aqui, né, de acordo com o que a pessoa tem na experiência dela. Então, se a pessoa tiver, sei lá, 2.5, ela tá

19:30 algo entre ter uma experiência direta e uma uma boa experiência. Então você você consegue, vamos dizer assim, ordenar os candidatos por aqueles mais relevantes, por exemplo. Então isso é muito muito interessante, tá? E nós temos também esse tipo de chamado no, que até agora eu não entendi porque que eles chamam de no, que é basicamente um bulean, tá? Alguém, se alguém souber porque que eles deram esse nome em particular aqui, me conta aqui nos comentários que eu realmente não entendi. Mas é basicamente um buleano. Você basicamente vai fazer uma pergunta se aquilo é verdade ou não e ele vai retornar um número entre zero

20:02 e um. Quanto mais próximo de um, mais próximo do true, tá? Sei lá, ah, o cliente está irritado, zero ou um, tá? E aí, quanto mais próximo você sabe, né, se o cara tá irritado ou não. Beleza? Isso aqui é bem bem interessante também, tá? Maravilha, pessoal. Vamos ver o Jev funcionando na prática. Então, eu consegui acesso a ele, tá? Ele tá no momento em wait, você pode tentar se inscrever no Jav, né? Demorou mais ou menos um dia para eles me liberarem. Então, basicamente ele já tem um playground aqui que você pode fazer teste, tá? Então, vou colocar aqui um exemplo de uma mensagem que você poderia

20:34 receber, tá? Então, recebi essa mensagem aqui. Esse é o meu estado e eu preciso fazer perguntas em relação àquele estado que eu recebi, aquele, entre aspas contexto, tá? E eu vou fazer cada pergunta de acordo com as primitivas que nós acabamos de ver. Um no, um score ou uma choice, tá? Então você pode fazer direto aqui, né, pelo playground. Eu já deixei algumas separadas que eu vou colar aqui, tá? Então, basicamente vamos ler isso aqui junto, tá? Imagina que eu criei um classificador que faz uma triagem de mensagens de suporte, tá? E

21:07 aí a pessoa mandou uma mensagem assim: “Eu comprei o seu curso de Python ontem, mas cada aula diz access den acesso em vários”. Eu já tentei sair, fazer o logout, resetar minha minha senha, eu tinha deixado de lado esse fim de semana para estudar e agora eu tô desperdiçando meu fim de semana. Por favor, corrija o meu acesso. Eu não quero um refund, eu quero assistir o curso, tá? Então imagina que recebeu com certeza não seria dos nossos sistemas lá do programa aí, mas imagina que você recebeu essa mensagem, tá? E aí você criou um sistema, você quer criar um sistema automático de triagem e aí da desse

21:40 sistema automático de triagem você determina ali três perguntas, beleza? E aí botei uma pergunta para cada primitivo aqui. Pergunta número um, qual que é o departamento que eu tenho que rotear essa mensagem? Quem que quem que tem que tomar conta disso aqui, tá? É uma choice, é uma escolha. Pode ser technical support, billing, teaching ou other order. Beleza? Imagina que a gente tem esses critérios aqui. Nós determinamos quais são as instruções e a gente dá aqui o critério. Como que ele vai dizer se é do technical support? Como que ele vai dizer se é o billing, como que ele vai dizer que é o teaching.

22:10 A gente passa ali quais são os critérios que vão ser utilizados, tá? Nós também temos um outro tipo de pergunta, request refund. Será que essa pessoa está pedindo um refund? E aí aqui é um no, né? É um buleando. Esse cliente está pedindo para receber o dinheiro de volta. Por quê? Porque eu posso querer, se a pessoa pedir um refund, eu jogar ela num fluxo determinístico para que ela vá lá e e consiga o reembolso dela. Ou eu roteio, eh, urgentemente para algum vendedor que possa entrar em contato, tentar renegociar com a pessoa. Pode ser feito também. E o terceiro exemplo aqui, então, seria um score,

22:43 seria uma nota, né? Quão frustrado esse cliente está, como ele tá se expressando, né? Então, pensa no score, que é tudo que você possa dizer, ah, de zero a 10, como você tá se sentindo? Tudo isso pode ser um score, tá? E também a gente tem critérios, ó. O zero seria neutro ou amigável. Um é ah, tá um pouquinho com tá expressando aqui o inconveniência, tá desapontado. O dois seria uma grande frustração. E o três é o cara tá tipo sendo abusivo, né? Então com esse estado e essa pergunta eu poderia fazer um request aqui. E cara,

23:17 olha quão rápido foi isso aqui, pessoal. Isso aqui basicamente durou 104 msundos para fazer a interação, tá? Para fazer a inferência. Beleza? 104 ms e demorou mais 314 ms que é o da internet, né? O round trip aqui. E ele vai te retornar alguma coisa assim, ó. Lembra? Era primeiro, a primeira pergunta era o departamento, era uma escolha. Ele foi lá, ó, e escolheu technical support com 100%, porque ficou claro aqui na mensagem, né? Depois pro request refund. Ora, isso aqui era para ser um buleano e ele me deu aqui, ó, 97% de chance de ser

23:52 falso. Por qu ficou claro? O cliente falou: “I don’t wan refund”. E a frustração, a frustração ele acabou aqui caindo no ponto número dois, ó. Expressa uma frustração forte sobre tempo de e tempo desperdiçado e tudo mais, né? Então ficou claro aqui que o cliente estava nessa categoria. Agora vamos fazer uns testes aqui. Deixa eu tirar essa parte final onde ele diz que não quer pedir um refund. E vamos regenerar aí. Olha só, aumentou um pouquinho a probabilidade de que o cara tá querendo um reembolso, tá? Eh, ele não disse

24:25 necessariamente, o modelo continua ali confiante. O cara não pediu, não tem nada indicando aqui que ele quer, né, um refund. E se eu trocar e botar alguma coisa do tipo, “Please fix my access as”, né? Você entendeu essa palavra aqui, esse xingamento em inglês, você vai ver que aqui, ó, provavelmente a gente vai cair agora nesse nível de frustração aqui, né? Olha lá, caímos aqui no nível quatro de frustração. Por quê? Porque agora ele usou insulto, né? Ele insultou a pessoa. Isso é muito legal, muito legal. Imagina isso aqui como moderação, pessoal. Muito fácil você fazer

24:55 moderação aqui, né? Muito, muito fácil mesmo. Então, bem legal isso. Beleza, pessoal. Então, espero que tenha ficado claro que o JEV ele funciona muito bem como um classificador, só que ele é um classificador construído para ser um classificador. E você pode pensar assim: “Ah, Rafael, mas beleza, qual o problema de usar um LLM? Os llms não resolvem esse problema?” E sim, em muitos casos, mas a gente tem uma um pênalti de custo, um pênalti de velocidade e um pênalti de confiança também no sistema. De novo, ele não foi construído para ser feito

25:30 daquela forma. Quem trabalha com engenharia, quem desenvolve sistemas, tem sempre que estar pensando na melhor ferramenta para tarefa à mão, tá? E o JV me parece excelente para isso, para quem quer construir sistemas. E a grande verdade é que muito possivelmente se você está desenvolvendo um sistema com IA, se você tá colocando IA de alguma forma na sua empresa, você provavelmente está automatizando algum processo, você tá criando algum workflow, você tá pegando dados não estruturados de diferentes fontes e tomando uma decisão

26:04 baseado naquilo. Só que agora você consegue fazer essa decisão de uma forma muito mais interessante, com intervalos de confiança, com probabilidade de forma mais rápida e usando uma tecnologia que de fato foi feito para aquilo, tá? Então, para responder essa pergunta de forma mais concreta, se nós, né, se vale a pena você trocar o LLM pelo Jev, eu quero mostrar para vocês aqui um exemplo real e concreto lá no Quant Brasil. No Quant Brasil, que é o meu site de finanças quantitativas, nós fazemos o que nós chamamos de análise de

26:35 sentimentos, tá? Então, deixa eu passar aqui, por exemplo, para o cloud e eu vou usar o a CLI do Po Brasil para falar algo do tipo: “Please analyze the sentiment of the latest vale 3 news,” tá? Então, as últimas notícias de Vale, eu quero saber o que que o mercado tá achando, que que que o que que as notícias estão dizendo, tá? É aqui eu tô usando a CLI do Conte Brasil, que eu vou deixar o link na descrição. Você pode instalar e testar de forma gratuita, tá? E aí com a SLI do C Brasil, ele é capaz de puxar essas notícias, ó. A gente tá

27:07 vendo aqui, ó, as notícias sendo chamadas, né, ali na séri. Tô usando dentro aqui do cloud code. Ele faz a análise de sentimento e ele vai me dizer, ó, para tal e tal notícia, eu tive esse sentimento positivo, negativo ou neutro, certo? E tá aqui o resultado, ó. Nos últimos s dias, nós tivemos aqui, ó, 10. Ele pegou aqui as últimas 10 notícias, quatro negativas, três positivas, algumas são neutras, tá? Ele diz algumas em particular, ó, MPF assinou válido. Claro que isso aqui é negativo. E você vê que tem aqui, ó,

27:38 negativo e um intervalo de confiança, 0.72. Isso aqui já está sendo feito, já está em produção no Quant Brasil. E isso é feito utilizando um LLM. Eu tô utilizando o DeepSic V4 Flash para analisar as notícias e retornar o resultado do sentimento, a confiança e a razão do porque ele escolheu aquilo, né, num formatinho que eu posso depois salvar no banco e mostrar ali pros usuários, tá? Então isso é feito utilizando o Dipsic V4 flash, que é um modelo muito baratinho e rápido. E aí você poderia pensar, bom, esse aqui é o

28:11 caso clássico para você usar um classificador como o Jav. Beleza? Eu quero passar para vocês aqui alguns experimentos. que eu fiz tanto em relação a preço, quanto onde que faz sentido usar o JV, onde que não faz, onde que o LLM vai ser mais prático, vai ser mais fácil. Beleza? Então, prestem atenção aqui que aqui tem bastante informação interessante, tá? Eu testei isso aqui, pessoal, em duas tarefas diferentes, tá? A primeira tarefa é a análise de sentimento, que foi essa que eu mostrei para vocês, né? Então, receber uma notícia, ela é positiva, negativa ou neutra para uma determinada

28:42 empresa. E a segunda tarefa aqui é fazer um company matching, ou seja, receber uma notícia, tá? Tem uma notícia aqui, eh, MPF entra com um pedido contra Vale, tá? Quais empresas foram mencionadas aqui? Você entende que nem sempre é claro pra gente entender quais são as empresas que estão ali na notícia? Porque normalmente, tipicamente, né, nós podemos fazer isso de algumas formas, né? A forma mais eh bruta seria eu ver se tem o nome da empresa na notícia. Só que na na no mercado financeiro às vezes você não usa ali o nome da empresa, mas

29:15 você vai usar ali o ticker, né? Sei lá, vale é vale três. Só que o ticker nem sempre ele vai resolver. Por quê? Porque dependendo do mercado que você tá analisando, o ticker pode ser um falso positivo. No SP500 tem uma empresa cujo ticker é A. Então obviamente essa empresa sempre vai aparecer ali, né? Muito bem. Então eu posso usar o JEV para ver, será que essa essa empresa foi de fato mencionada nesse artigo? Sim ou não? Tá? Então são duas tarefas que nós poderíamos usar o JEV aqui como substituto do LLE. Vamos começar então

29:46 analisando o custo, tá? Quais são os preços base dele? Bom, o Jev ele custa 0.042 por milhão de de input tokens e o output dele é gratuito, tá? Inclusive, se você entrar no open router agora, open router, você tem aqui, ó, Javus, tá aqui, ó, 0.042 e 0 milhão de output tokens. Então, então você nem precisa ter acesso lá na weight list, você pode testar aqui pelo próprio Open router e lá no Versel também tá de graça por tempo limitado, tá? Então você já vê aqui a diferença dele de preço em relação ao deepsic, né? Ele é três vezes mais barato no input e, né,

30:19 infinitamente mais barato no output. E olha só a diferença em relação com GPT6 ATA, por exemplo, aqui, né? É ridiculamente barato. A gente tá falando aqui de 20, né? 200 vezes mais barato do que o GPT 6 ATA, que é o último modelo da Open A. Então vamos aqui pra parte de análise de sentimento. Então o teste que eu fiz aqui com o Coldex foi pegar seis artigos, tá? Com os stickers que foram mencionados ali, né? Com as ações que foram mencionados ali, rodar el esse essa análise duas vezes. Então a gente tem 12 chamados pro Dipsic e 12 chamados para o Jack. Qual que foi a latência média do deepic? A latência média para

30:54 eu ter a resposta foi 2.6 segundos. No JV foi 0.4 segundos, tá? Então a gente tá falando aqui que o JV é entre seis e sete vezes mais rápido, tá, Rafael? Mas você usou o DeepS é através do Open Code Go, que é um provedor baratinho, mais lento? Sim, é verdade. Muito possivelmente você consegue diminuir esse valor, mas você sempre vai ter um provedor roteando ali para você e pela inerência do LLM, ele vai ser mais lento mesmo, tá? Então, se você precisa fazer uma classificação num tempo mais crítico em um sistema de tempo real, isso aqui é

31:24 bem interessante, tá? A gente consegue reduzir significativamente o tempo. Bom, o custo de 12 classificações, nem dá para falar esse número aqui, ó. Se a gente for pensar no custo projetado por 1000 classificações, a gente tem aqui, ó, 0.14 comic, 0.02 com o Jev. Então, o JV aqui também sendo ali cerca de sete vezes mais barato, estamos falando aqui dele ser 80% mais barato, tá? 80% de de redução de custo é muita redução de custo, pessoal. Aí eu fiz um outro experimento aqui, tá? Pegue um artigo, um artigo qualquer e pegue todas as

31:55 ações que eu estou traqueando e para cada ação pergunta: “Essa ação tá mencionada? Essa ação tá mencionada? Essa ação tá mencionada?” Então, no caso aqui, eu tinha 1667, né, ações ali no universo e eu fiz esse workflow com o Jev e com o GPT6 Astra, tá? Eu já vou dizer porquê. Eu fiz isso usando primeiro todo o universo e depois eu fiz isso utilizando só uma short list. O que que seria a short list? Seria primeiro você pega a a notícia, você filtra apenas aqueles que os stickers foram mencionados e aí ele vai ter falsos positivos, como eu falei para vocês. Mas tudo bem, vamos usar então o

32:27 classificador para eliminar os falsos positivos, tá? Então eu fiz esses dois exercícios aqui no universo completo, com todas as 1700 ações, você vê que nem teve tanta diferença de tempo aqui entre o Jeev e o GPT6, tá? Só que claro, o tempo, o preço foi muito mais barato, ó. Se a gente pegar aqui o custo projetado para 1000 artigos, né, a gente teria de custo aqui no Jeev e 507 no GPTC. Então, obviamente, isso aqui é só para mostrar para vocês que essa aqui é uma abordagem que não dá certo, né? Não vai escalar, tá? Tem um detalhe aqui também que a gente vai ver que o JEV ele erra bastante dessa forma, tá? O GPT6 por ser

33:00 inteligente, ele acerta muito bem, mas olha a diferença de custo, né? É, é impraticável, não dá para fazer dessa forma. Quando a gente passa pela short list, aí o JV já começa a ficar mais rápido e aí a diferença de preço já é muito mais palatáquip, por mais que o GPT6 aqui já fiquem, né, seja teoricamente já poderia pagar, olha a diferença de preço aqui, né? A gente tá falando de algo cerca de 200 vezes mais barato, pessoal, com o fato de que aqui o JEV e o GPT6 tiveram o mesmo resultado. Ah, Fel, mas por que que você usou o GPT6? não precisava usar ele. Só tô dando como exemplo, eh, onde você

33:31 usaria o máximo de poder do LLM. Aqui, tanto o JEV quanto o GPT6 teriam o mesmo resultado. E a gente tá tendo aqui o JEV sendo 200 vezes mais barato. No exemplo de PSIC, ele foi 80 80% mais barato também, tá? E na prática, tecnicamente, como que funciona essas requisições, tá? Então, pensa que a gente tem o Jason dessa forma aqui, ó. O source name é o nome de quem, né, do artigo, o título, né, Trump proíbe CNN, MS MSAL e político de entrar na Casa Branca, né, por cobertura tendenciosa. Tá aqui o summary, né, o summary é o texto aqui,

34:03 tudo mais, é a URL e o published. Por que que esse exemplo é interessante? Porque MS é o ticker, é o símbolo do Morgan Stanley, que é um banco listado na bolsa. E MS Now é um jornal, né? é o que antigamente era MSNBC, né? Então é uma empresa de mídia, então não é uma ação isso aqui, certo? Então se você pegar e passar ticker aqui, o short list, ele vai falar: “Opa, tá falando do Morgan Stanley nesse artigo e não tem nada a ver, tá falando de uma outra coisa, tá? Então a gente vai ver como que a gente faz a requisição na prática. Com o Dipsic V4 flash eu passo um system prompt desse tipo, ó, você é um analista

34:38 financeiro do mercado brasileiro, responda somente com objeto Jason válido e aderente ao esquema solicitado. Tá vendo isso aqui, pessoal? Tá vendo como a gente precisa explicitar contextualmente pro modelo? Faça isso dessa forma. Isso aqui, pessoal, é muito mais frágil. Aí a gente passa esse prompt aqui, ó. Analise o sentimento dessa notícia, use apenas essas informações, é, classifica o impacto positivo, negativo e neutro. Aí use o neutro quando for dessa forma. Isso aqui é a mesma coisa que a gente dá ali mais ou menos no JV, né? Explicando o motivo, tá aqui, né? os dados e aí retorne

35:11 exatamente esse formato e tá aqui a descrição do Jon, tá? E quando a gente roda ali com Deipsic, ele vai me retornar aqui, ó. Neutro, confiança 0.9, notícia sobre proibição de veículos de mídia sem relação direta com o ativo MS Morgan Start. Veja, pessoal, aqui é o LLM sendo inteligente, tá? Ele tá sendo inteligente. Ele recebeu aqui ó, ticker MS. Ele entendeu que o MS é o Morgan Stanley e ele falou: “Não, isso aqui não tem nada a ver com o banco”. E aí o LLM foi lá e retornou o resultado correto? Sentimento neutro, não tem nada a ver.

35:42 Mas como que seria a mesma requisição só que agora com o Jeff? Tá? Então, basicamente, passando o mesmo artigo com os mesmos dados. Aqui a gente vai fazer uma pergunta para determinar o sentimento, que vai ser do tipo choice. E aí os critérios vão ser positivo, negativo e neutro, de novo, indicando quando é cada coisa, tá? E a resposta vem uma coisa nesse sentido aqui, ó. A escolha é negativa, a confiança 0.25, baixa aqui as probabilidades, etc. Mas por que que isso aconteceu? Isso aqui aconteceu porque ele basicamente recebeu

36:13 aqui o tick, né, MS e ele falou: “Cara, tá lá, tá lá o MS, ele não é tão inteligente assim”. Então ele achou que a escolha era negativa, tipo, Trump tá proibindo, tá? Então aqui você já vê uma limitação desse tipo de modelo. Ele não é tão inteligente quanto o LLM. Ele não foi feito para isso. Ele não foi capaz de identificar aqui que o MS mencionado no artigo não era o ticker. Então ele retornou que não é esse sentimento aqui é negativo. Só que aí quando a gente faz, né, a análise da short list, ou seja, filtra apenas as ações que foram

36:43 mencionadas e aí usa o JV para identificar se aquela menção de fato existe. Então é justamente essa a próxima instrução. Identifique cada empresa ou fundo diretamente referenciado no artigo, né? Seja no título ou no conteúdo, tá? E aí a gente passa aqui o artigo, a gente passa as regras como definidas e aqui a instrução passa a ser o seguinte, ó. Tá referenciando o MS Morgan Stanley, tá referenciando esse now, que também é uma outra, é o ticker de uma empresa chamada Service Now. E quando a gente faz dessa

37:15 forma, passando como um no, ou seja, um buleando, está referenciando sim ou não? Aqui ele acerta. Olha lá, ele tá dizendo, ó, no 0.09, ou seja, baixo, né, mais próximo do false, 0.12, mais próximo do false. Então aqui eu consegui fazer com que o JV acertasse. Por quê? Porque eu projetei o meu sistema da forma adequada. Eu precisei fazer uma etapa anterior antes de passar pro JEV. No Llm, eu não preciso, eu confio na inteligência daquele LLM. Só que essa inteligência vem a um custo, seja de tempo, seja de preço. Rafael, mas como

37:49 que você sabe que é falso? Você precisa determinar qual é o seu thold aqui. Claro, aqui no caso a gente pode determinar o thrash como 0.5 e abaixo disso é falso, acima disso é true. Podemos fazer dessa forma, tá? E nesse caso, obviamente, ele vai ter acertado. E vale a pena você entender mais sobre a parte de confiança, tá? Tem um artigo bem legal aqui na documentação deles, onde eles falam que a confiança ela é derivada das probabilidades e que muitas vezes você dizer eu não sei é um sinal útil, né? Você fala: “Cara, eu não sei o que fazer nesse caso, tá?” E é responsabilidade do desenvolvedor saber

38:23 o que que ele vai fazer para cada confiança que ele recebe. Então você poderia desenvolver um sistema onde se a confiança é alta, você vai lá e age automaticamente. O modelo entendeu perfeitamente o que fazer. Você não precisa de nenhum humano, tá? Se a confiança é média, você vai proceder com cautela, ou seja, você só vai automatizar dependendo do risco do que aquela ação pode tomar para você, tá? Então você pode pedir pro usuário confirmar, você pode flaguear para alguém fazer um review ou até pedir mais

38:54 informação antes de continuar. E se a confiança é baixa, aí você não faz nada, manda diretamente para um humano, tá? E eu gostei muito desse exemplo que eles dão aqui, ó, porque o thrash não existe um thrashhold universal. O threshold vai ser ajustado de acordo com o risco do que aquela classificação pode impactar. Então, sei lá, imagine aqui que a gente tem um sistema tentando entender o que que o usuário está tentando fazer, né, na sua na sua conta. Então, tem aqui a pergunta, que que o usuário tá tentando fazer? E tem o critério, ele tá querendo

39:24 ver o saldo, ele tá querendo aprovar uma transferência ou ele tá querendo o suporte, né? Imagina que isso é um roteador, é um classificador dentro de um sistema bancário. Ora, se a confiança for abaixo de 0.5, em qualquer dos casos você vai lá e manda direto pro humano. Se não é abaixo de 0.5, beleza? Vamos ver então o que que ele tentou fazer. Ah, ele tentou verificar o saldo dele. Beleza, mostra o saldo. Não tem muito risco aqui, né? Eu tenho uma confiança média ou alta, o impacto da ação é baixo. Eu posso deixar ele ver o saldo. Agora, imagina que a ação seja aprovar transferência. Nesse caso, eu só vou

39:59 aprovar diretamente se a confiança for alta. Então, dependendo da ação, você vai ajustar a confiança. Isso é muito importante. No caso, se for acima de 90%, aí você confirma automaticamente. Se for abaixo disso, né, mas acima de 0.5, aí você pede pro usuário confirmar, você envia um e-mail, você, sei lá, envia um código, você faz alguma coisa para garantir que de fato é o usuário, tá? Então, muito interessante você construir sistemas baseados na confiança do resultado. Mas agora eu quero saber de você, o que que você achou do Jeff?

40:32 Faz sentido no seu caso de uso? Para que você usaria ele? Me conta aqui nos comentários. Vamos criar aqui uma discussão aqui nos comentários, onde a gente possa ver casos de uso passíveis para usar o JV. Não significa que você tem que largar o seu LLM e sair correndo pro JV. Não é para aplicar o JV em qualquer circunstância de forma, né, destemperada, não é? Para entender o sistema que você tá controlando e colocar ali a ferramenta adequada. Beleza? Se você gostou desse vídeo, eu já te peço, por gentileza, curte esse

41:02 vídeo, compartilha com seu amigo e sua amiga que gosta de programar com a, que gosta de criar sistemas com, tenho certeza que vai ser muito útil. Não deixa também de se inscrever no canal. Se você tá no celular, aproveita e dá o hype, beleza? Se o que você gosta é construir sistemas com IA, eu repito o convite para que você se inscreva na lista de lançamento da trilha do engenheiro de ar que eu vou lançar no dia 30 de setembro às 19 horas, tá pessoal? Lá vão ser os meus três cursos fundamentais, o fundamento da engenharia

41:34 da IA, programação agêntica e o Harness engineer. Eu quero dar uma formação completa para que você consiga entender, aplicar e projetar os seus próprios sistemas de ar. Não deixa de se inscrever na lista de lançamento. Vamos ter condições exclusivas pra turma fundadora. Então espero você lá no dia 30 de setembro. Enquanto isso, repito, se inscreve aqui também no canal para você receber os próximos conteúdos até lá. Agradeço imensamente a você por estar comigo até agora e até a próxima.