Comparei o JEV com dois LLMs e descobri sua limitação

Author: Cortes do Rafael Quintanilha · Watch on YouTube

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: Comparei o JEV com dois LLMs e descobri sua limitação · Channel: Cortes do Rafael Quintanilha · 11:54 · Watch on YouTube

Topics: Model inference and optimization, AI models, AI safety

Summary

O vídeo compara o Jev com LLMs em tarefas de análise de sentimento e identificação de empresas mencionadas em notícias, considerando custo, velocidade e precisão. O Jev é apresentado como muito mais barato e rápido, mas pode errar quando precisa interpretar o contexto, como distinguir o ticker de uma empresa de uma referência a outra organização. Uma abordagem eficaz é usar uma shortlist para filtrar candidatos antes de pedir ao Jev uma classificação mais simples. Por fim, o vídeo destaca que a confiança do resultado e o risco da ação devem orientar a automação ou o encaminhamento para revisão humana.

Key points

O teste compara o Jev e LLMs em análise de sentimento e company matching de notícias.
Nos experimentos apresentados, o Jev teve menor latência e custo do que os LLMs usados como comparação.
Aplicar o classificador a todo um universo de empresas pode gerar muitos erros; filtrar os candidatos por ticker antes reduz esse problema.
O Jev pode confundir uma menção textual com um ticker quando a tarefa exige interpretação contextual.
Um LLM mais capaz pode resolver ambiguidades sem uma etapa prévia, mas isso tem custo maior.
A confiança do resultado pode ser usada para decidir entre automação, confirmação do usuário e revisão humana.
Não há um threshold universal: ele deve ser ajustado conforme o risco da ação classificada.
Ações de baixo risco, como consultar saldo, podem exigir menos confiança do que aprovar uma transferência.

Chapters

Start	Chapter	Summary
00:00	Tarefas e comparação de custos	O apresentador introduz os testes de análise de sentimento e company matching e compara os preços do Jev com os de outros modelos.
02:33	Latência e experimentos de classificação	O vídeo compara velocidade e custo em análises de sentimento e em buscas por empresas, tanto no universo completo quanto com uma shortlist.
05:42	Ambiguidade de tickers e limite contextual	Um exemplo com MS mostra como um LLM interpreta o contexto, enquanto o Jev pode confundir uma menção no texto com o ticker de uma empresa.
08:19	Shortlist e interpretação da confiança	O apresentador mostra como uma etapa prévia de filtragem ajuda o Jev e explica que a confiança pode orientar o tratamento do resultado.
10:22	Thresholds conforme o risco	O vídeo recomenda ajustar o nível de confiança necessário à gravidade da ação, automatizando decisões de baixo risco e encaminhando outras para confirmação ou revisão.

Quotes

Se você precisa fazer uma classificação em um tempo mais crítico, num sistema de tempo real, isso aqui é bem interessante. — 03:05

Essa aqui é uma abordagem que não dá certo, não vai escalar. — 04:40

Ele não é tão inteligente quanto o LLM, ele não foi feito para isso. — 08:19

É responsabilidade do desenvolvedor saber o que fazer para cada confiança que recebe. — 09:52

O threshold vai ser ajustado de acordo com o risco do que aquela classificação pode impactar. — 10:52

Concepts and entities

Jev, DeepSeek, GPT-6, Codex, OpenRouter, Vercel, Morgan Stanley, ServiceNow, Rafael Quintanilha

Full transcript (original language)

00:00 E aí você poderia pensar: “Bom, esse aqui é o caso clássico para você usar um classificador como o Jev, beleza?” Eu quero passar para vocês aqui alguns experimentos que eu fiz, tanto em relação a preço, quanto onde que faz sentido usar o Jev, onde que não faz, onde que o LLM vai ser mais prático, vai ser mais fácil, beleza? Então, preste atenção aqui que aqui tem bastante informação interessante, tá? Eu testei isso aqui, pessoal, em duas tarefas diferentes, tá? A primeira tarefa é análise de sentimento, que foi essa que eu mostrei para vocês, né? Então, receber uma notícia, ela é positiva,

00:31 negativa ou neutra para uma determinada empresa. E a segunda tarefa aqui é fazer um company matching, ou seja, receber uma notícia, tá? Tem uma notícia aqui, eh MPF entra com pedido contra Vale, tá? Quais empresas foram mencionadas aqui? Você entende que nem sempre é claro para a gente entender quais são as empresas que estão ali na notícia? Porque normalmente, tipicamente, eh nós podemos fazer isso de algumas formas, né? A forma mais eh bruta seria eu ver se tem o nome da empresa na notícia. Só que na

01:01 na na no mercado financeiro, às vezes você não usa ali o nome da empresa, mas você vai usar ali o ticker, né? Sei lá, Vale é Vale 3. Só que o ticker nem sempre ele vai resolver. Por quê? Porque dependendo do mercado que você está analisando, o ticker pode ser um um falso positivo. No S&P 500 tem uma empresa cujo ticker é A. Então, obviamente, essa empresa sempre vai vai aparecer ali, né? Muito bem, então eu posso usar o Jev para ver, será que essa empresa foi de fato mencionada nesse artigo? Sim ou não, tá? Então, são duas

01:32 tarefas que nós poderemos usar o Jev aqui como substituto do LLM. Vamos começar então analisando o custo, tá? Quais são os preços base dele? Bom, o Jev, ele custa 0.042 dólares por milhão de de de input tokens e o output dele é gratuito, tá? Inclusive, se você entrar no Open Router agora, Open Router, você tem aqui, ó, Jev Latency, tá aqui, ó, 0.042 e 0 milhão de output tokens. Então, então você nem precisa ter acesso lá na waitlist, você pode testar aqui pelo próprio OpenRouter e lá no Vercel também

02:03 tá de graça por tempo limitado, tá? Então você já vê aqui a diferença dele de preço em relação ao Deep Seek, né? Ele é três vezes mais barato no input e, né, infinitamente mais barato no output. E olha só a diferença em relação com o GPT-6 Astra, por exemplo, aqui, né? É ridiculamente barato. A gente tá falando aqui de 20, né, 200 vezes mais barato do que o GPT-6 Astra, que é o último modelo da OpenAI. Então vamos aqui pra parte de análise de sentimento. Então o teste que eu fiz aqui com o Codex foi pegar seis artigos, tá, com os stickers que foram mencionados ali, né, com as ações que

02:33 foram mencionadas ali, rodar ela esse essa análise duas vezes. Então a gente tem 12 chamadas pro Deep Seek e 12 chamadas para o Jev. Qual que foi a latência média do Deep Seek? A latência média para eu ter a resposta foi 2.6 segundos. No Jev foi 0.4 segundos, tá? Então a gente tá falando aqui que o Jev é entre seis e sete vezes mais rápido. Ah, Rafael, mas você usou Deep Seek é através do Open Code Go, que é um provedor baratinho, mais lento. Sim, é verdade. Muito possivelmente você consegue diminuir esse valor, mas você sempre vai ter um provedor roteando ali

03:05 pra você e pela inerência do LLM, ele vai ser mais lento mesmo, tá? Então se você precisa fazer uma classificação num tempo mais crítico, num sistema de tempo real, isso aqui é bem interessante, tá? A gente consegue reduzir significativamente o tempo. Bom, o custo de 12 classificações nem dá pra falar esse número aqui, ó, se a gente for pensar no custo projetado por 1.000 classificações, a gente tem aqui, ó, 0.14 com o Deep Seek, 0.02 com o Jev. Então o Jev aqui também sendo ele cerca de sete vezes mais barato. Vamos falando aqui dele ser 80% mais barato, tá? 80%

03:37 de redução de custo é muita redução de custo, pessoal. Aí eu fiz um outro experimento aqui, tá? Pegue um artigo, um artigo qualquer, e pegue todas as ações que eu estou traqueando e para cada ação pergunta: “Essa ação tá mencionada? Essa ação tá mencionada? Essa ação tá mencionada? Então no caso aqui eu tinha 1.667, né, ações ali no universo e eu fiz esse workflow com o Jev e com o GPT-6 Einstein, tá? Eu já vou dizer por quê. Eu fiz isso usando primeiro todo o universo e depois eu fiz isso utilizando só uma short list. O que que seria a short list? Seria primeiro você pegar as

04:09 a a notícia, você filtra apenas aqueles que os tickers foram mencionados e aí ele vai ter falsos positivos, como eu falei para vocês, mas tudo bem, vamos usar então o classificador para ele eliminar os falsos positivos, tá? Então eu fiz esses dois exercícios aqui. No universo completo, com todas as 1.700 ações, você vê que nem teve tanta diferença de tempo aqui entre o Jev e o GPT-6, tá? Só que, claro, o tempo o preço foi muito mais barato, ó. Se vocês pegar aqui o custo projetado para 1.000 artigos, né, a gente teria dois dólares de custo aqui no Jev e 507 dólares no

04:40 GPT-6. Então, obviamente, isso aqui é só para mostrar para vocês que essa aqui é uma abordagem que não dá certo, né, não vai escalar, tá? Tem um detalhe aqui também que a gente vai ver que o Jev ele erra bastante dessa forma, tá? O GPT-6, por ser inteligente, ele acerta muito bem, mas olha a diferença de custo, né? É é impraticável, não dá para fazer dessa forma. Quando a gente passa pela short list, aí o Jev já começa a ficar mais rápido e aí a diferença de preço já é muito mais palatável. Por mais que o GPT-6 aqui já fique, né, você já teoricamente já poderia pagar, olha a diferença de preço aqui, né? A gente tá falando de algo

05:10 cerca de 200 vezes mais barato, pessoal, com o fato de que aqui o Jev e o GPT-6 tiveram o mesmo resultado. Ah, Fábio, mas por que que você usou o GPT-6? Não precisava usar ele. Estou dando como exemplo, é, onde você usaria o máximo de poder do LLM. Aqui tanto o Jev quanto o GPT-6 teriam o mesmo resultado e a gente tá tendo aqui o Jev sendo 200 vezes mais barato, no exemplo de psique ele foi 80 por 80% mais barato também, tá? E na prática, tecnicamente, como que funciona essas requisições, tá? Então pensa que a gente tem um JSON dessa forma aqui, o source name é o nome de quem, né, do

05:42 artigo, o título, né, Trump proíbe CNN, MSN e políticos de entrar na Casa Branca, né, por cobertura tendenciosa. Tá aqui o summary, né, o summary é o texto aqui, tudo mais. É a URL e o published. Por que que esse exemplo é interessante? Porque MS é o ticker, é o símbolo do Morgan Stanley, que é um banco listado na bolsa. E MS Now é um jornal, né, é o que antigamente era MSNBC, né. Então é uma empresa de mídia. Então não é uma ação, isso aqui, certo?

06:13 Então se você pegar e passar ticker aqui o short list, ele vai falar: “Opa, tá falando do Morgan Stanley nesse artigo”. Não tem nada a ver, tá falando de uma outra coisa, tá? Então a gente vai ver como que a gente faz a requisição na prática. Com o DeepSeek v4 flash, eu passo um system prompt desse tipo, ó: “Você é um analista financeiro do mercado brasileiro, responda somente com objeto JSON válido e aderente ao esquema solicitado”. Tá vendo isso aqui, pessoal? Tá vendo como a gente precisa explicitar contextualmente pro modelo: “Faça isso dessa forma”. Isso aqui, pessoal, é muito mais frágil. Aí a gente

06:45 passa esse prompt aqui, ó: “Analise o sentimento dessa notícia, use apenas essas informações, classifique o impacto positivo, negativo e neutro. Aí use o neutro quando for dessa forma”. Isso aqui é a mesma coisa que a gente dá ali mais ou menos no Jeff, né? “Explicando o motivo”. Tá aqui, né, os dados e aí retorne exatamente esse formato. E tá aqui a descrição do JSON, tá? E quando a gente roda ali com o DeepSeek, ele vai me retornar aqui, ó: “Neutro, confiança 0.9, notícia sobre proibição de veículos de mídia sem relação direta com o ativo

07:15 MS Morgan Stanley”. Veja, pessoal, aqui é o LLM sendo inteligente, tá? Ele tá sendo inteligente. Ele recebeu aqui, ó, o ticker MS, ele entendeu que o MS é o Morgan Stanley, ele falou: “Não, isso aqui não tem nada a ver com com o banco”. E aí o LLM foi lá e retornou o resultado correto, sentimento neutro, não tem nada a ver. Mas como que seria a mesma requisição só que agora com o Jeff, tá? Então basicamente passando o mesmo artigo com os mesmos dados aqui, a gente vai fazer uma pergunta pra determinar o sentimento, que vai ser do tipo choice. E aí os critérios vão ser positivo, negativo e neutro, de novo,

07:47 indicando quando é cada coisa, tá? E a resposta vem uma coisa nesse sentido aqui, ó. A escolha é negativa, a confiança 0.25 baixa, tá aqui as probabilidades, etc. Mas por que que isso aconteceu? Isso aqui aconteceu porque ele basicamente recebeu aqui o ticker, né, MS, e ele falou: “Cara, tá lá, tá lá o MS”. Ele não é tão inteligente assim. Então ele achou que a escolha era negativa, tipo, o Trump tá proibindo, tá? Então aqui vocês já veem uma limitação desse tipo de modelo. Ele não é tão inteligente quanto o LLM, ele não foi feito para

08:19 isso. Ele não foi capaz de identificar aqui que o MS mencionado no artigo não era o ticker. Então ele retornou que não, ó, é, esse sentimento aqui é negativo. Só que aí quando ele te faz, né, a análise da short list, ou seja, filtra apenas as ações que foram mencionadas, e aí usa o Jev para identificar se aquela menção de fato existe, então é justamente essa a próxima instrução: “Identifique cada empresa ou fundo diretamente referenciado no artigo, né, seja no título ou no conteúdo, tá?” E aí a gente

08:50 passa aqui o artigo, a gente passa as regras como definidas, e aqui a instrução passa a ser o seguinte, ó. Tá referenciando o MS, Morgan Stanley? Tá referenciando esse Now, que também é uma outra, é o ticker de uma empresa chamada ServiceNow. E quando a gente faz dessa forma, passando como um no, ou seja, um booleano, está referenciando? Sim ou não? Aquele acerta. Olha lá, ele tá dizendo, ó: “No, 0.09”, ou seja, baixo, né, mais próximo do falso, 0.12, mais próximo do falso. Então aqui eu consegui

09:20 fazer com que o Jev acertasse. Por quê? Porque eu projetei o meu sistema da forma adequada. Eu precisei fazer uma etapa anterior antes de passar para o Jev. No LLM eu não preciso, eu confio na inteligência daquele LLM. Só que essa inteligência vem a um custo, seja de tempo, seja de preço. Rafael, mas como que você sabe que é falso? Você precisa determinar qual é o seu seu threshold aqui. Claro, aqui no caso a gente pode determinar o threshold como 0.5 e abaixo disso é falso, acima disso é true. Podemos fazer dessa forma, tá? E

09:52 nesse caso, obviamente, ele vai ter acertado. E vale a pena você entender mais sobre a parte de confiança, tá? Tem um artigo bem legal aqui na documentação deles, onde eles falam que a confiança ela é derivada das probabilidades e que muitas vezes você dizer “eu não sei” é um sinal útil, né? Você fala “cara, eu não sei o que fazer nesse caso”, tá? E é responsabilidade do desenvolvedor saber o que que ele vai fazer para cada confiança que ele recebe. Então, você poderia desenvolver um sistema onde se a confiança é alta, você

10:22 vai lá e age automaticamente. O modelo entendeu perfeitamente o que fazer, você não precisa de nenhum humano, tá? Se a confiança é média, você vai proceder com cautela, ou seja, você só vai automatizar dependendo do risco do que aquela ação pode pode tomar para você, tá? Então, você pode pedir para o usuário confirmar, você pode flaggear para alguém fazer um review ou até pedir mais informação antes de continuar. E se a confiança é baixa, aí você não faz nada, manda diretamente para o humano, tá? Eu gostei muito desse exemplo que

10:52 eles dão aqui, ó. O que o threshold não não existe um threshold universal. O threshold vai ser ajustado de acordo com o risco do que aquela classificação pode impactar. Então, sei lá, imagine aqui que a gente tem um sistema tentando entender o que que o usuário está tentando fazer, né, na sua na sua conta. Então, tem aqui a pergunta, que que o usuário está tentando fazer, e tem o critério. Ele tá querendo ver o saldo, ele tá querendo aprovar uma transferência ou ele tá querendo suporte, né? Imagina que isso é um roteador, um classificador dentro de um

11:22 sistema bancário. Ora, se a confiança for abaixo de 0.5 em qualquer dos casos, você vai lá e manda direto para o humano. Se não é abaixo de 0.5, beleza, vamos ver então o que que ele tentou fazer. Ah, ele tentou verificar o saldo dele, beleza, mostra o saldo, não tem muito risco aqui, né? Eu tenho uma confiança média ou alta, o impacto da ação é baixo, eu posso deixar ele ver o saldo. Agora, imagina que a ação seja aprovar transferência. Nesse caso, eu só vou aprovar diretamente se a confiança for alta. Então, dependendo da ação,

11:54 você vai ajustar a confiança, isso é muito importante. No caso se for acima de 90%, aí você a você confirma automaticamente. Se for abaixo disso, é mais acima de 0.5, aí você pede para o usuário confirmar, você envia um e-mail, você, sei lá, envia um código, você faz alguma coisa para garantir que de fato é o usuário, tá? Então, muito interessante você construir sistemas baseados na confiança do resultado.