Comparei o JEV com dois LLMs e descobri sua limitação

Autoria: Cortes do Rafael Quintanilha · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: português

Vídeo original: Comparei o JEV com dois LLMs e descobri sua limitação · Canal: Cortes do Rafael Quintanilha · 11:54 · Assistir no YouTube

Tópicos: Inferência e otimização de modelos, Modelos de IA, Segurança de IA

Resumo

O vídeo compara o Jev com LLMs em tarefas de análise de sentimento e identificação de empresas mencionadas em notícias, considerando custo, velocidade e precisão. O Jev é apresentado como muito mais barato e rápido, mas pode errar quando precisa interpretar o contexto, como distinguir o ticker de uma empresa de uma referência a outra organização. Uma abordagem eficaz é usar uma shortlist para filtrar candidatos antes de pedir ao Jev uma classificação mais simples. Por fim, o vídeo destaca que a confiança do resultado e o risco da ação devem orientar a automação ou o encaminhamento para revisão humana.

Pontos-chave

O teste compara o Jev e LLMs em análise de sentimento e company matching de notícias.
Nos experimentos apresentados, o Jev teve menor latência e custo do que os LLMs usados como comparação.
Aplicar o classificador a todo um universo de empresas pode gerar muitos erros; filtrar os candidatos por ticker antes reduz esse problema.
O Jev pode confundir uma menção textual com um ticker quando a tarefa exige interpretação contextual.
Um LLM mais capaz pode resolver ambiguidades sem uma etapa prévia, mas isso tem custo maior.
A confiança do resultado pode ser usada para decidir entre automação, confirmação do usuário e revisão humana.
Não há um threshold universal: ele deve ser ajustado conforme o risco da ação classificada.
Ações de baixo risco, como consultar saldo, podem exigir menos confiança do que aprovar uma transferência.

Capítulos

Início	Capítulo	Resumo
00:00	Tarefas e comparação de custos	O apresentador introduz os testes de análise de sentimento e company matching e compara os preços do Jev com os de outros modelos.
02:33	Latência e experimentos de classificação	O vídeo compara velocidade e custo em análises de sentimento e em buscas por empresas, tanto no universo completo quanto com uma shortlist.
05:42	Ambiguidade de tickers e limite contextual	Um exemplo com MS mostra como um LLM interpreta o contexto, enquanto o Jev pode confundir uma menção no texto com o ticker de uma empresa.
08:19	Shortlist e interpretação da confiança	O apresentador mostra como uma etapa prévia de filtragem ajuda o Jev e explica que a confiança pode orientar o tratamento do resultado.
10:22	Thresholds conforme o risco	O vídeo recomenda ajustar o nível de confiança necessário à gravidade da ação, automatizando decisões de baixo risco e encaminhando outras para confirmação ou revisão.

Citações

Se você precisa fazer uma classificação em um tempo mais crítico, num sistema de tempo real, isso aqui é bem interessante. — 03:05

Essa aqui é uma abordagem que não dá certo, não vai escalar. — 04:40

Ele não é tão inteligente quanto o LLM, ele não foi feito para isso. — 08:19

É responsabilidade do desenvolvedor saber o que fazer para cada confiança que recebe. — 09:52

O threshold vai ser ajustado de acordo com o risco do que aquela classificação pode impactar. — 10:52

Conceitos e entidades

Jev (modelo): Classificador comparado com LLMs em tarefas de análise de sentimento e identificação de empresas mencionadas.
DeepSeek (modelo): Modelo usado como comparação de custo, latência e desempenho em tarefas com notícias.
GPT-6 (modelo): Modelo usado no experimento de company matching, inclusive como exemplo de maior capacidade e custo.
Codex (ferramenta): Ferramenta mencionada na execução do teste de análise de sentimento.
OpenRouter (ferramenta): Serviço citado como uma forma de testar o Jev.
Vercel (empresa): Empresa mencionada como outro local onde o Jev estava disponível gratuitamente por tempo limitado.
Morgan Stanley (empresa): Empresa cujo ticker MS é usado para ilustrar uma ambiguidade entre uma ação e uma referência a uma organização de mídia.
ServiceNow (empresa): Empresa mencionada ao explicar como verificar se uma referência no artigo corresponde de fato a um ticker.
Rafael Quintanilha (pessoa): Apresentador citado no título do canal e na transcrição do vídeo.

Tradução completa (pt-BR)

00:00 E aí você poderia pensar: “Bom, esse aqui é o caso clássico para você usar um classificador como o Jev, beleza?” Eu quero mostrar para vocês aqui alguns experimentos que fiz, tanto em relação ao preço quanto a onde faz sentido usar o Jev, onde não faz, onde o LLM vai ser mais prático, mais fácil, beleza? Então, prestem atenção, porque tem bastante informação interessante aqui, tá? Testei isso aqui, pessoal, em duas tarefas diferentes, tá? A primeira tarefa é análise de sentimento, que foi essa que mostrei para vocês, né? Então, receber uma notícia e determinar se ela é positiva,

00:31 negativa ou neutra para uma determinada empresa. E a segunda tarefa aqui é fazer correspondência de empresas, ou seja, receber uma notícia, tá? Tem uma notícia aqui: “MPF entra com pedido contra Vale”, tá? Quais empresas foram mencionadas aqui? Vocês percebem que nem sempre é claro para a gente entender quais são as empresas que aparecem na notícia? Porque, normalmente, podemos fazer isso de algumas formas, né? A forma mais bruta seria verificar se o nome da empresa aparece na notícia. Só que, na

01:01 na verdade, no mercado financeiro, às vezes você não usa o nome da empresa, mas o ticker, né? Sei lá, Vale é VALE3. Só que o ticker nem sempre vai resolver. Por quê? Porque, dependendo do mercado que você está analisando, o ticker pode gerar um falso positivo. No S&P 500 tem uma empresa cujo ticker é A. Então, obviamente, essa empresa vai aparecer ali o tempo todo, né? Muito bem, então posso usar o Jev para ver se essa empresa foi de fato mencionada nesse artigo. Sim ou não, tá? Então, são duas

01:32 tarefas em que poderemos usar o Jev como substituto do LLM. Vamos começar analisando o custo, tá? Quais são os preços-base dele? Bom, o Jev custa 0,042 dólar por milhão de input tokens, e o output é gratuito, tá? Inclusive, se você entrar agora no OpenRouter, você tem aqui, ó, Jev Latency: está aqui, ó, 0,042 e 0 por milhão de output tokens. Então, você nem precisa ter acesso à waitlist; pode testar aqui pelo próprio OpenRouter, e lá no Vercel também

02:03 está de graça por tempo limitado, tá? Então, você já vê aqui a diferença de preço em relação ao Deep Seek, né? Ele é três vezes mais barato no input e infinitamente mais barato no output. E olha só a diferença em relação ao GPT-6 Astra, por exemplo, aqui, né? É ridiculamente barato. Estamos falando aqui de 200 vezes mais barato que o GPT-6 Astra, que é o modelo mais recente da OpenAI. Então, vamos para a parte de análise de sentimento. O teste que fiz aqui com o Codex foi pegar seis artigos, tá, com os tickers que foram mencionados ali, né, com as ações que

02:33 foram mencionadas ali, e rodar essa análise duas vezes. Então, temos 12 chamadas para o Deep Seek e 12 chamadas para o Jev. Qual foi a latência média do Deep Seek? A latência média para eu receber a resposta foi de 2,6 segundos. No Jev, foi de 0,4 segundo, tá? Então, estamos falando que o Jev é entre seis e sete vezes mais rápido. “Ah, Rafael, mas você usou o Deep Seek através do Open Code Go, que é um provedor baratinho e mais lento.” Sim, é verdade. Muito provavelmente você consegue diminuir esse valor, mas sempre vai ter um provedor fazendo o roteamento para você e, pela própria natureza do LLM, ele vai ser mais lento mesmo, tá? Então, se você precisa fazer uma classificação em um sistema de tempo real, com prazo mais crítico, isso aqui é bem interessante, tá? A gente consegue reduzir significativamente o tempo. Bom, nem dá para falar do custo de 12 classificações; vamos olhar o custo projetado por 1.000 classificações: temos aqui, ó, 0,14 com o Deep Seek e 0,02 com o Jev. Então, o Jev também é cerca de sete vezes mais barato. Estamos falando que ele é 80% mais barato, tá? 80%

03:05 Para você e pela inerência do LLM, ele vai ser mais lento mesmo, tá? Então, se você precisa fazer uma classificação em um tempo mais crítico, em um sistema de tempo real, isso aqui é bem interessante, tá? A gente consegue reduzir significativamente o tempo. Bom, nem dá para falar o custo de 12 classificações. Se a gente pensar no custo projetado por 1.000 classificações, a gente tem aqui, ó, 0.14 com o Deep Seek, 0.02 com o Jev. Então, o Jev também é cerca de sete vezes mais barato. Vamos falando aqui que ele é 80% mais barato, tá? 80%

03:37 de redução de custo é muita redução de custo, pessoal. Aí fiz outro experimento aqui, tá? Peguei um artigo qualquer e todas as ações que estou monitorando e, para cada ação, perguntei: “Essa ação foi mencionada? Essa ação foi mencionada? Essa ação foi mencionada?” Então, neste caso, eu tinha 1.667 ações no universo e fiz esse workflow com o Jev e com o GPT-6 Einstein, tá? Já vou dizer por quê. Primeiro, fiz isso usando o universo inteiro e, depois, só uma short list. O que seria a short list? Primeiro, você pega as

04:09 as notícias, filtra apenas aquelas cujos tickers foram mencionados e, aí, vão aparecer falsos positivos, como falei para vocês. Mas tudo bem, vamos usar o classificador para eliminar os falsos positivos, tá? Então, fiz esses dois exercícios aqui. No universo completo, com todas as 1.700 ações, vocês veem que não teve tanta diferença de tempo entre o Jev e o GPT-6, tá? Só que, claro, o preço foi muito mais barato, ó. Se vocês olharem o custo projetado para 1.000 artigos, teríamos 2 dólares de custo aqui com o Jev e 507 dólares com o

04:40 GPT-6. Então, obviamente, isso aqui é só para mostrar para vocês que essa abordagem não dá certo, né? Não vai escalar, tá? Tem um detalhe aqui também: vamos ver que o Jev erra bastante dessa forma, tá? O GPT-6, por ser inteligente, acerta muito bem, mas olha a diferença de custo, né? É impraticável, não dá para fazer dessa forma. Quando passamos pela short list, aí o Jev começa a ficar mais rápido, e a diferença de preço fica muito mais palatável. Embora o GPT-6 já fique num preço que, teoricamente, daria para pagar, olha a diferença de preço aqui, né? Estamos falando de algo

05:10 cerca de 200 vezes mais barato, pessoal, e o Jev e o GPT-6 tiveram o mesmo resultado. “Ah, Fábio, mas por que você usou o GPT-6? Não precisava usar.” Estou dando como exemplo onde você usaria o máximo de poder do LLM. Aqui, tanto o Jev quanto o GPT-6 teriam o mesmo resultado, e o Jev é 200 vezes mais barato. No exemplo de sentimento, ele também foi 80% mais barato, tá? E, na prática, tecnicamente, como funcionam essas requisições? Então, pensem que temos um JSON desta forma aqui: o source name é o nome de quem publicou o artigo; o título, né: “Trump proíbe CNN, MSN e políticos de entrar na Casa Branca por cobertura tendenciosa”. Está aqui o summary, né? O summary é o texto aqui e tudo mais. Aí está a URL e o published. Por que esse exemplo é interessante? Porque MS é o ticker, o símbolo do Morgan Stanley, que é um banco listado na bolsa. E MS Now é um jornal, né, o que antigamente era MSNBC. Então, é uma empresa de mídia. Isso não é uma ação, certo?

05:42 Então, se você pegar e passar o ticker para a short list, ele vai dizer: “Opa, o artigo está falando do Morgan Stanley”. Não tem nada a ver; está falando de outra coisa, tá? Então, vamos ver como fazemos a requisição na prática. Com o DeepSeek v4 flash, passo um system prompt deste tipo, ó: “Você é um analista financeiro do mercado brasileiro. Responda somente com um objeto JSON válido e de acordo com o esquema solicitado”. Estão vendo isso aqui, pessoal? Estão vendo como precisamos explicitar contextualmente para o modelo: “Faça isso desta forma”? Isso aqui, pessoal, é muito mais frágil. Aí

06:13 passamos este prompt aqui, ó: “Analise o sentimento desta notícia. Use apenas estas informações. Classifique o impacto como positivo, negativo ou neutro. Use neutro quando for o caso”. Isso aqui é mais ou menos a mesma coisa que a gente dá para o Jev, né? “Explicando o motivo”. Estão aqui os dados e, então, retorne exatamente neste formato. E aqui está a descrição do JSON, tá? E, quando executamos isso com o DeepSeek, ele retorna aqui, ó: “Neutro, confiança 0,9, notícia sobre proibição de veículos de mídia sem relação direta com o ativo

06:45 Passa esse prompt aqui, ó: “Analise o sentimento dessa notícia, use apenas essas informações, classifique o impacto positivo, negativo e neutro. Aí use o neutro quando for dessa forma”. Isso aqui é mais ou menos a mesma coisa que a gente dá ali no Jeff, né? “Explicando o motivo”. Estão aqui, né, os dados, e aí retorne exatamente esse formato. E está aqui a descrição do JSON, tá? E, quando a gente roda ali com o DeepSeek, ele vai me retornar aqui, ó: “Neutro, confiança 0.9, notícia sobre proibição de veículos de mídia sem relação direta com o ativo

07:15 MS Morgan Stanley. Veja, pessoal, aqui é o LLM sendo inteligente, tá? Ele está sendo inteligente. Ele recebeu aqui, ó, o ticker MS, entendeu que MS é Morgan Stanley e falou: “Não, isso aqui não tem nada a ver com o banco”. E aí o LLM foi lá e retornou o resultado correto: sentimento neutro, não tem nada a ver. Mas como seria a mesma requisição, só que agora com o Jev, tá? Então, basicamente, passando o mesmo artigo com os mesmos dados aqui, a gente vai fazer uma pergunta para determinar o sentimento, que vai ser do tipo choice. E aí os critérios vão ser positivo, negativo e neutro, de novo,

07:47 indicando quando é cada coisa, tá? E a resposta vem mais ou menos nesse sentido aqui, ó. A escolha é negativa, a confiança é 0,25, baixa; aqui estão as probabilidades, etc. Mas por que isso aconteceu? Isso aconteceu porque ele basicamente recebeu aqui o ticker, né, MS, e falou: “Cara, está lá, está lá o MS”. Ele não é tão inteligente assim. Então, achou que a escolha era negativa, tipo, o Trump está proibindo, tá? Então, aqui vocês já veem uma limitação desse tipo de modelo. Ele não é tão inteligente quanto o LLM, não foi feito para

08:19 isso. Ele não foi capaz de identificar aqui que o MS mencionado no artigo não era o ticker. Então, retornou que não, ó, esse sentimento aqui é negativo. Só que aí, quando você faz a análise da shortlist, ou seja, filtra apenas as ações que foram mencionadas e usa o Jev para identificar se aquela menção de fato existe, essa é justamente a próxima instrução: “Identifique cada empresa ou fundo diretamente referenciado no artigo, seja no título ou no conteúdo, tá?” E aí a gente

08:50 passa aqui o artigo, passa as regras como foram definidas, e a instrução passa a ser a seguinte, ó: está referenciando MS, Morgan Stanley? Está referenciando NOW, que também é o ticker de uma empresa chamada ServiceNow? E, quando a gente faz dessa forma, passando como um no, ou seja, um booleano — está referenciando? Sim ou não? —, ele acerta. Olha lá, ele está dizendo, ó: “No, 0,09”, ou seja, baixo, né, mais próximo do falso; 0,12, mais próximo do falso. Então, aqui eu consegui

09:20 fazer com que o Jev acertasse. Por quê? Porque projetei o meu sistema da forma adequada. Precisei fazer uma etapa anterior antes de passar para o Jev. Com o LLM, não preciso; confio na inteligência daquele LLM. Só que essa inteligência tem um custo, seja de tempo, seja de preço. Rafael, mas como você sabe que é falso? Você precisa determinar qual é o seu limite aqui. Claro, neste caso, a gente pode determinar o limite como 0,5: abaixo disso é falso, acima disso é verdadeiro. Podemos fazer dessa forma, tá? E

09:52 nesse caso, obviamente, ele vai ter acertado. E vale a pena você entender mais sobre a parte de confiança, tá? Tem um artigo bem legal aqui na documentação deles, em que explicam que a confiança é derivada das probabilidades e que, muitas vezes, dizer “eu não sei” é um sinal útil, né? Você fala: “Cara, eu não sei o que fazer neste caso”, tá? E é responsabilidade do desenvolvedor saber o que vai fazer para cada nível de confiança que recebe. Então, você poderia desenvolver um sistema em que, se a confiança for alta, você

10:22 vai lá e age automaticamente. O modelo entendeu perfeitamente o que fazer; você não precisa de nenhum humano, tá? Se a confiança for média, você vai proceder com cautela, ou seja, só vai automatizar dependendo do risco que aquela ação pode representar para você, tá? Então, você pode pedir para o usuário confirmar, pode sinalizar para alguém fazer uma revisão ou até pedir mais informações antes de continuar. E, se a confiança for baixa, aí você não faz nada; manda diretamente para um humano, tá? Gostei muito deste exemplo que

10:52 eles dão aqui, ó. O limite não é universal. Ele vai ser ajustado de acordo com o risco do impacto daquela classificação. Então, sei lá, imagine que a gente tenha aqui um sistema tentando entender o que o usuário está tentando fazer na conta dele, né? Então, tem aqui a pergunta: “O que o usuário está tentando fazer?”, e os critérios. Ele está querendo ver o saldo, aprovar uma transferência ou pedir suporte, né? Imagine que isso seja um roteador, um classificador dentro de um

11:22 sistema bancário. Ora, se a confiança for abaixo de 0,5 em qualquer um dos casos, você vai lá e manda direto para um humano. Se não for abaixo de 0,5, beleza, vamos ver então o que ele tentou fazer. Ah, ele tentou verificar o saldo dele; beleza, mostra o saldo. Não tem muito risco aqui, né? Tenho uma confiança média ou alta, o impacto da ação é baixo, então posso deixar ele ver o saldo. Agora, imagine que a ação seja aprovar uma transferência. Nesse caso, só vou aprovar diretamente se a confiança for alta. Então, dependendo da ação,

11:54 você vai ajustar a confiança; isso é muito importante. No caso, se for acima de 90%, aí você confirma automaticamente. Se for abaixo disso, mas acima de 0,5, aí pede para o usuário confirmar, envia um e-mail, sei lá, envia um código, faz alguma coisa para garantir que de fato é o usuário, tá? Então, é muito interessante construir sistemas baseados na confiança do resultado.

Transcrição original

[00:00] E aí você poderia pensar: “Bom, esse aqui é o caso clássico para você usar um classificador como o Jev, beleza?” Eu quero passar para vocês aqui alguns experimentos que eu fiz, tanto em relação a preço, quanto onde que faz sentido usar o Jev, onde que não faz, onde que o LLM vai ser mais prático, vai ser mais fácil, beleza? Então, preste atenção aqui que aqui tem bastante informação interessante, tá? Eu testei isso aqui, pessoal, em duas tarefas diferentes, tá? A primeira tarefa é análise de sentimento, que foi essa que eu mostrei para vocês, né? Então, receber uma notícia, ela é positiva,

[00:31] negativa ou neutra para uma determinada empresa. E a segunda tarefa aqui é fazer um company matching, ou seja, receber uma notícia, tá? Tem uma notícia aqui, eh MPF entra com pedido contra Vale, tá? Quais empresas foram mencionadas aqui? Você entende que nem sempre é claro para a gente entender quais são as empresas que estão ali na notícia? Porque normalmente, tipicamente, eh nós podemos fazer isso de algumas formas, né? A forma mais eh bruta seria eu ver se tem o nome da empresa na notícia. Só que na

[01:01] na na no mercado financeiro, às vezes você não usa ali o nome da empresa, mas você vai usar ali o ticker, né? Sei lá, Vale é Vale 3. Só que o ticker nem sempre ele vai resolver. Por quê? Porque dependendo do mercado que você está analisando, o ticker pode ser um um falso positivo. No S&P 500 tem uma empresa cujo ticker é A. Então, obviamente, essa empresa sempre vai vai aparecer ali, né? Muito bem, então eu posso usar o Jev para ver, será que essa empresa foi de fato mencionada nesse artigo? Sim ou não, tá? Então, são duas

[01:32] tarefas que nós poderemos usar o Jev aqui como substituto do LLM. Vamos começar então analisando o custo, tá? Quais são os preços base dele? Bom, o Jev, ele custa 0.042 dólares por milhão de de de input tokens e o output dele é gratuito, tá? Inclusive, se você entrar no Open Router agora, Open Router, você tem aqui, ó, Jev Latency, tá aqui, ó, 0.042 e 0 milhão de output tokens. Então, então você nem precisa ter acesso lá na waitlist, você pode testar aqui pelo próprio OpenRouter e lá no Vercel também

[02:03] tá de graça por tempo limitado, tá? Então você já vê aqui a diferença dele de preço em relação ao Deep Seek, né? Ele é três vezes mais barato no input e, né, infinitamente mais barato no output. E olha só a diferença em relação com o GPT-6 Astra, por exemplo, aqui, né? É ridiculamente barato. A gente tá falando aqui de 20, né, 200 vezes mais barato do que o GPT-6 Astra, que é o último modelo da OpenAI. Então vamos aqui pra parte de análise de sentimento. Então o teste que eu fiz aqui com o Codex foi pegar seis artigos, tá, com os stickers que foram mencionados ali, né, com as ações que

[02:33] foram mencionadas ali, rodar ela esse essa análise duas vezes. Então a gente tem 12 chamadas pro Deep Seek e 12 chamadas para o Jev. Qual que foi a latência média do Deep Seek? A latência média para eu ter a resposta foi 2.6 segundos. No Jev foi 0.4 segundos, tá? Então a gente tá falando aqui que o Jev é entre seis e sete vezes mais rápido. Ah, Rafael, mas você usou Deep Seek é através do Open Code Go, que é um provedor baratinho, mais lento. Sim, é verdade. Muito possivelmente você consegue diminuir esse valor, mas você sempre vai ter um provedor roteando ali

[03:05] pra você e pela inerência do LLM, ele vai ser mais lento mesmo, tá? Então se você precisa fazer uma classificação num tempo mais crítico, num sistema de tempo real, isso aqui é bem interessante, tá? A gente consegue reduzir significativamente o tempo. Bom, o custo de 12 classificações nem dá pra falar esse número aqui, ó, se a gente for pensar no custo projetado por 1.000 classificações, a gente tem aqui, ó, 0.14 com o Deep Seek, 0.02 com o Jev. Então o Jev aqui também sendo ele cerca de sete vezes mais barato. Vamos falando aqui dele ser 80% mais barato, tá? 80%

[03:37] de redução de custo é muita redução de custo, pessoal. Aí eu fiz um outro experimento aqui, tá? Pegue um artigo, um artigo qualquer, e pegue todas as ações que eu estou traqueando e para cada ação pergunta: “Essa ação tá mencionada? Essa ação tá mencionada? Essa ação tá mencionada? Então no caso aqui eu tinha 1.667, né, ações ali no universo e eu fiz esse workflow com o Jev e com o GPT-6 Einstein, tá? Eu já vou dizer por quê. Eu fiz isso usando primeiro todo o universo e depois eu fiz isso utilizando só uma short list. O que que seria a short list? Seria primeiro você pegar as

[04:09] a a notícia, você filtra apenas aqueles que os tickers foram mencionados e aí ele vai ter falsos positivos, como eu falei para vocês, mas tudo bem, vamos usar então o classificador para ele eliminar os falsos positivos, tá? Então eu fiz esses dois exercícios aqui. No universo completo, com todas as 1.700 ações, você vê que nem teve tanta diferença de tempo aqui entre o Jev e o GPT-6, tá? Só que, claro, o tempo o preço foi muito mais barato, ó. Se vocês pegar aqui o custo projetado para 1.000 artigos, né, a gente teria dois dólares de custo aqui no Jev e 507 dólares no

[04:40] GPT-6. Então, obviamente, isso aqui é só para mostrar para vocês que essa aqui é uma abordagem que não dá certo, né, não vai escalar, tá? Tem um detalhe aqui também que a gente vai ver que o Jev ele erra bastante dessa forma, tá? O GPT-6, por ser inteligente, ele acerta muito bem, mas olha a diferença de custo, né? É é impraticável, não dá para fazer dessa forma. Quando a gente passa pela short list, aí o Jev já começa a ficar mais rápido e aí a diferença de preço já é muito mais palatável. Por mais que o GPT-6 aqui já fique, né, você já teoricamente já poderia pagar, olha a diferença de preço aqui, né? A gente tá falando de algo

[05:10] cerca de 200 vezes mais barato, pessoal, com o fato de que aqui o Jev e o GPT-6 tiveram o mesmo resultado. Ah, Fábio, mas por que que você usou o GPT-6? Não precisava usar ele. Estou dando como exemplo, é, onde você usaria o máximo de poder do LLM. Aqui tanto o Jev quanto o GPT-6 teriam o mesmo resultado e a gente tá tendo aqui o Jev sendo 200 vezes mais barato, no exemplo de psique ele foi 80 por 80% mais barato também, tá? E na prática, tecnicamente, como que funciona essas requisições, tá? Então pensa que a gente tem um JSON dessa forma aqui, o source name é o nome de quem, né, do

[05:42] artigo, o título, né, Trump proíbe CNN, MSN e políticos de entrar na Casa Branca, né, por cobertura tendenciosa. Tá aqui o summary, né, o summary é o texto aqui, tudo mais. É a URL e o published. Por que que esse exemplo é interessante? Porque MS é o ticker, é o símbolo do Morgan Stanley, que é um banco listado na bolsa. E MS Now é um jornal, né, é o que antigamente era MSNBC, né. Então é uma empresa de mídia. Então não é uma ação, isso aqui, certo?

[06:13] Então se você pegar e passar ticker aqui o short list, ele vai falar: “Opa, tá falando do Morgan Stanley nesse artigo”. Não tem nada a ver, tá falando de uma outra coisa, tá? Então a gente vai ver como que a gente faz a requisição na prática. Com o DeepSeek v4 flash, eu passo um system prompt desse tipo, ó: “Você é um analista financeiro do mercado brasileiro, responda somente com objeto JSON válido e aderente ao esquema solicitado”. Tá vendo isso aqui, pessoal? Tá vendo como a gente precisa explicitar contextualmente pro modelo: “Faça isso dessa forma”. Isso aqui, pessoal, é muito mais frágil. Aí a gente

[06:45] passa esse prompt aqui, ó: “Analise o sentimento dessa notícia, use apenas essas informações, classifique o impacto positivo, negativo e neutro. Aí use o neutro quando for dessa forma”. Isso aqui é a mesma coisa que a gente dá ali mais ou menos no Jeff, né? “Explicando o motivo”. Tá aqui, né, os dados e aí retorne exatamente esse formato. E tá aqui a descrição do JSON, tá? E quando a gente roda ali com o DeepSeek, ele vai me retornar aqui, ó: “Neutro, confiança 0.9, notícia sobre proibição de veículos de mídia sem relação direta com o ativo

[07:15] MS Morgan Stanley”. Veja, pessoal, aqui é o LLM sendo inteligente, tá? Ele tá sendo inteligente. Ele recebeu aqui, ó, o ticker MS, ele entendeu que o MS é o Morgan Stanley, ele falou: “Não, isso aqui não tem nada a ver com com o banco”. E aí o LLM foi lá e retornou o resultado correto, sentimento neutro, não tem nada a ver. Mas como que seria a mesma requisição só que agora com o Jeff, tá? Então basicamente passando o mesmo artigo com os mesmos dados aqui, a gente vai fazer uma pergunta pra determinar o sentimento, que vai ser do tipo choice. E aí os critérios vão ser positivo, negativo e neutro, de novo,

[07:47] indicando quando é cada coisa, tá? E a resposta vem uma coisa nesse sentido aqui, ó. A escolha é negativa, a confiança 0.25 baixa, tá aqui as probabilidades, etc. Mas por que que isso aconteceu? Isso aqui aconteceu porque ele basicamente recebeu aqui o ticker, né, MS, e ele falou: “Cara, tá lá, tá lá o MS”. Ele não é tão inteligente assim. Então ele achou que a escolha era negativa, tipo, o Trump tá proibindo, tá? Então aqui vocês já veem uma limitação desse tipo de modelo. Ele não é tão inteligente quanto o LLM, ele não foi feito para

[08:19] isso. Ele não foi capaz de identificar aqui que o MS mencionado no artigo não era o ticker. Então ele retornou que não, ó, é, esse sentimento aqui é negativo. Só que aí quando ele te faz, né, a análise da short list, ou seja, filtra apenas as ações que foram mencionadas, e aí usa o Jev para identificar se aquela menção de fato existe, então é justamente essa a próxima instrução: “Identifique cada empresa ou fundo diretamente referenciado no artigo, né, seja no título ou no conteúdo, tá?” E aí a gente

[08:50] passa aqui o artigo, a gente passa as regras como definidas, e aqui a instrução passa a ser o seguinte, ó. Tá referenciando o MS, Morgan Stanley? Tá referenciando esse Now, que também é uma outra, é o ticker de uma empresa chamada ServiceNow. E quando a gente faz dessa forma, passando como um no, ou seja, um booleano, está referenciando? Sim ou não? Aquele acerta. Olha lá, ele tá dizendo, ó: “No, 0.09”, ou seja, baixo, né, mais próximo do falso, 0.12, mais próximo do falso. Então aqui eu consegui

[09:20] fazer com que o Jev acertasse. Por quê? Porque eu projetei o meu sistema da forma adequada. Eu precisei fazer uma etapa anterior antes de passar para o Jev. No LLM eu não preciso, eu confio na inteligência daquele LLM. Só que essa inteligência vem a um custo, seja de tempo, seja de preço. Rafael, mas como que você sabe que é falso? Você precisa determinar qual é o seu seu threshold aqui. Claro, aqui no caso a gente pode determinar o threshold como 0.5 e abaixo disso é falso, acima disso é true. Podemos fazer dessa forma, tá? E

[09:52] nesse caso, obviamente, ele vai ter acertado. E vale a pena você entender mais sobre a parte de confiança, tá? Tem um artigo bem legal aqui na documentação deles, onde eles falam que a confiança ela é derivada das probabilidades e que muitas vezes você dizer “eu não sei” é um sinal útil, né? Você fala “cara, eu não sei o que fazer nesse caso”, tá? E é responsabilidade do desenvolvedor saber o que que ele vai fazer para cada confiança que ele recebe. Então, você poderia desenvolver um sistema onde se a confiança é alta, você

[10:22] vai lá e age automaticamente. O modelo entendeu perfeitamente o que fazer, você não precisa de nenhum humano, tá? Se a confiança é média, você vai proceder com cautela, ou seja, você só vai automatizar dependendo do risco do que aquela ação pode pode tomar para você, tá? Então, você pode pedir para o usuário confirmar, você pode flaggear para alguém fazer um review ou até pedir mais informação antes de continuar. E se a confiança é baixa, aí você não faz nada, manda diretamente para o humano, tá? Eu gostei muito desse exemplo que

[10:52] eles dão aqui, ó. O que o threshold não não existe um threshold universal. O threshold vai ser ajustado de acordo com o risco do que aquela classificação pode impactar. Então, sei lá, imagine aqui que a gente tem um sistema tentando entender o que que o usuário está tentando fazer, né, na sua na sua conta. Então, tem aqui a pergunta, que que o usuário está tentando fazer, e tem o critério. Ele tá querendo ver o saldo, ele tá querendo aprovar uma transferência ou ele tá querendo suporte, né? Imagina que isso é um roteador, um classificador dentro de um

[11:22] sistema bancário. Ora, se a confiança for abaixo de 0.5 em qualquer dos casos, você vai lá e manda direto para o humano. Se não é abaixo de 0.5, beleza, vamos ver então o que que ele tentou fazer. Ah, ele tentou verificar o saldo dele, beleza, mostra o saldo, não tem muito risco aqui, né? Eu tenho uma confiança média ou alta, o impacto da ação é baixo, eu posso deixar ele ver o saldo. Agora, imagina que a ação seja aprovar transferência. Nesse caso, eu só vou aprovar diretamente se a confiança for alta. Então, dependendo da ação,

[11:54] você vai ajustar a confiança, isso é muito importante. No caso se for acima de 90%, aí você a você confirma automaticamente. Se for abaixo disso, é mais acima de 0.5, aí você pede para o usuário confirmar, você envia um e-mail, você, sei lá, envia um código, você faz alguma coisa para garantir que de fato é o usuário, tá? Então, muito interessante você construir sistemas baseados na confiança do resultado.