JEV com imagens: o que dá para fazer com um modelo de decisão?

Ver no idioma original →

Autoria: Cortes do Rafael Quintanilha · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: português

Vídeo original: JEV com imagens: o que dá para fazer com um modelo de decisão? · Canal: Cortes do Rafael Quintanilha · 07:48 · Assistir no YouTube

Tópicos: Agentes de IA, Aplicações empresariais de IA, Avaliação e benchmarks de IA, Modelos de IA, Modelos multimodais

Resumo

O JEV Model passou a aceitar imagens na versão 1.14, além de oferecer melhor suporte a português e um formato de saída chamado box para localizar elementos em fotos. A conversa apresenta exemplos de classificação e verificação de imagens e comenta como o modelo pode ser usado em workflows agênticos, moderação e outros tipos de classificação. Os participantes avaliam positivamente o desempenho do JEV, embora ressaltem o papel dos benchmarks na escolha de ferramentas. No fim, mostram uma ideia de projeto no Replit que usa o modelo para classificar imagens e estimar o nível de calvície.

Pontos-chave

• A versão 1.14 do JEV Model adiciona suporte a input de imagem.
• O modelo também teria melhorado a compreensão de português.
• O formato box permite localizar elementos específicos em imagens.
• Um exemplo usa uma foto de maçãs e peras para localizar uma maçã no canto superior esquerdo.
• O recurso photo check verifica se uma descrição corresponde ao conteúdo de uma imagem.
• O JEV pode ser usado em workflows agênticos para classificação de texto e imagens, moderação e outros casos.
• Os participantes consideram o JEV uma alternativa competitiva, mas observam que benchmarks ajudam a orientar escolhas.
• Um projeto feito no Replit integra o JEV para classificar o nível de calvície em fotos.

Capítulos

Início	Capítulo	Resumo
00:00	Novidades do JEV Model	Os participantes apresentam o suporte a imagens na versão 1.14 e comentam as melhorias de compreensão de português.
02:06	Localização e verificação de imagens	São demonstrados os formatos box e photo check para localizar elementos e conferir informações em fotos.
04:11	Desempenho e casos de uso	A conversa aborda benchmarks, compara o desempenho do JEV com alternativas e cita moderação e classificação como aplicações.
05:44	Projeto de classificação de calvície	Os participantes descrevem um projeto no Replit que usa o JEV para avaliar o nível de calvície em diferentes imagens.

Citações

O box serve para você localizar elementos. — 02:06

Você pode trocar o reasoning que está usando hoje com o LLM pelo JEV. — 03:08

A gente acaba tendo que usar o benchmark para nos guiar. — 04:42

Vamos ajudar as pessoas que são calvas a descobrirem que são calvas? — 06:15

Conceitos e entidades

• JEV Model (modelo): Modelo de decisão apresentado no vídeo, que passou a aceitar imagens na versão 1.14.
• TypeSafe (empresa): Empresa associada a Diogo, apresentado como fundador do JEV.
• Diogo (pessoa): Fundador da Type Safe, citado ao explicar a chegada do suporte a imagens.
• OpenRouter (ferramenta): Plataforma mencionada como local onde é possível ver exemplos de uso do JEV.
• box (conceito): Formato de saída usado para indicar a localização de elementos em uma imagem.
• photo check (conceito): Tipo de verificação que compara uma afirmação ou descrição com o conteúdo de uma foto.
• workflow agêntico (conceito): Fluxo de trabalho com agentes no qual o JEV pode ser usado para classificar texto e imagens.
• Replit (ferramenta): Plataforma usada para criar um projeto integrado ao JEV.
• Calvo Bent (conceito): Projeto apresentado como uma brincadeira que usa o JEV para classificar o nível de calvície em fotos.

Tradução completa (pt-BR)

00:00 Este é um corte do podcast Limite Semanal, que acontece toda segunda-feira, às 7 da noite, comigo e com o Vini, lá da AI Coders. Se você quer ficar por dentro de tudo o que acontece de relevante no mundo da IA, considere se inscrever no canal pelo link que está tanto na descrição quanto no comentário fixado. >> Estou falando do Jev, do Jev. >> Ah, sim, é do Jev. >> Esse Jev Model, que foi… É, na semana passada eles anunciaram o Jev Model do Jev, agora também com suporte a input de imagem. Ele, na teoria, segundo disse

00:33 lá o Diogo, o founder do Jev, né, da Type Safe, já tinha imagem como parte da multimodalidade, mas eles resolveram esperar para ver como seria a adoção e o uso desse modelo e entender algumas outras camadas. Então, o Jev agora chega ao mercado também na versão 1.14, com suporte a imagens. E isso fica bem interessante, Rafa, porque agora você pode usá-lo tanto como classificador de texto quanto também

01:03 como classificador de imagem. Por exemplo, lá no Open Router, se você abrir… Deixa eu compartilhar minha tela aqui rapidinho. Olha, Open Router, Jev. Já vou abrir aqui para vocês verem, para quem não viu, tá? E você observa… Calma aí, estou só fechando as coisas que não é para ficarem abertas. Aí. Olha. Pronto. Maravilha. Lá no Open Router tem um exemplo bem legal, cara, das maçãs e das… Meu Deus, gente, cadê meu negócio? Ah, aí achei. E das peras.

01:34 Como se fala pera em inglês, Rafa? Você que é bom de inglês. >> Pear. >> É isso mesmo? >> É. >> Olha aí, Rafa, é fácil para caramba. Eu estava me esforçando para descobrir o nome desse negócio mais cedo hoje. Mas aqui tem um exemplo das maçãs e da pera. E aqui, o que é legal? Além dessa novidade de ter input de imagem agora, ele também vem com o multilinguismo bem melhor, então vai entender melhor o português, e vem com um novo tipo de formatação no output, né? O novo tipo de dado,

02:06 que é o box. Então, o box serve para localizar elementos. Por exemplo, neste caso, ele tem uma foto com maçãs e peras e pede para localizar a maçã que está no top left, ou seja, no canto superior esquerdo. Quando você executa aqui para buscar uma decisão, em menos de um segundo ele já localiza e seleciona com o box, olha, para determinar qual é a maçã naquele canto superior esquerdo. Também tem o photo check, que é do tipo nulo neste caso.

02:36 Então, esse tipo já existia, mas agora está sendo aplicado a fotos. E ele está perguntando, né, se, de acordo com o estado, com o marketplace listando o título “organic honeycrisp apples six count”, isso é verdadeiro e o que está sendo dito aqui em cima. Logicamente, não é verdade, porque ele tem seis maçãs e seis peras. Aí, quando executamos, ele responde aqui: “Não, não é verdade que tem seis maçãs; na verdade, só tem seis peras”. Então, dependendo do que você estiver

03:08 fazendo, dependendo muito do workflow agêntico, isso também se encaixa muito bem em workflow agêntico, Rafa. Você pode trocar o reasoning que está usando hoje com o LLM pelo Jeff, que trabalha com classificação de imagens e classificação de texto também. Isso vai trazer mais velocidade para o seu workflow e, dependendo do que você estiver fazendo, pode reduzir também a quantidade de tokens. O que você achou disso, Rafa? >> Cara, achei bem legal, né? Eles disseram no anúncio que

03:41 o Jeff sempre foi multimodal, né, e que, de propósito, não liberaram o recurso multimodal porque o desempenho era um pouquinho inferior. Aí vimos surgir competidores do Jeff que estavam usando isso como diferencial, né? Por exemplo, o Clef, que trouxemos aqui lá no Cloud Funnels. >> Exato. >> E aí eles rapidamente disseram: “Não, pessoal, olha lá, estávamos brincando, né? Também sabemos fazer isso.” >> Doidão. >> Foi mal, estávamos doidão. Também sabemos fazer isso.

04:11 É, e de fato, Vini, até agora, tudo o que testei e vi, o Jeff me parece bem superior às alternativas, tá? Inclusive… >> Correto. >> Até o Diogo, o CEO, falou: “Ah, não acreditem muito em benchmark”, mas aí vai lá e coloca o benchmark no lançamento dele, né? Então, querendo ou não… >> Exato. >> O que temos é o benchmark, né? Pelo menos para tomar uma decisão. Não dá para ficar testando

04:42 10 ferramentas ao mesmo tempo em um app de produção, por exemplo. Então, acabamos tendo que usar o benchmark para nos guiar sobre o que vamos querer usar ou não, né? E, de fato, o Jeff parece ser muito bom. Nos meus testes, foi realmente excelente. E agora, com a possibilidade de fazer análise diretamente na imagem, ele ganha mais um caso de uso, né? Principalmente para moderação, qualquer tipo de classificação, como gateway, ele é bem legal. E, cara, estou ansioso. Fiquei até sabendo, Vini, que você

05:13 criou um benchmark para mim. >> Pois é, cara, estou… Acabei de abrir o celular, neste momento, para entrar em contato com o suporte. Porque está fora do ar, cara. >> Aí, olha só, olha só… >> Fizemos uma brincadeira na semana passada. Olha, está dizendo aqui: “Pronto, o suporte até respondeu”. >> Olha, o Codec está dizendo aqui: “Mostra para o Rafa o que você fez na quinta”. Fiquei sabendo que você queria que eu executasse o classificador em mim aqui. >> [risadas] >> Tá, se você quiser testar ao vivo aqui… Me dá um segundo, estou falando com quem manda aqui.

05:44 E aí a gente já vai ter nosso acesso restaurado aqui. Houve um detalhezinho técnico. Deixa eu puxar aqui. Beleza. Olha, fiz lá no Replit, Rafa. E, cara, fiz de bobeira e ficou bom para caramba. >> É. >> E aí… >> E aí você fez a integração com o Jeff direto do Replit. >> Exato. Qual é o projeto ali, né? O Calvo Bent. A ideia é: sabe aquele seu amigo, Rafa, que é o cara que todo mundo sabe que é calvo, sabe? Tipo assim.

06:15 Ele aparece ali nas fotos; todo mundo olha para trás, aqui, e vê que está calvo, vê que está ali na piscininha, né? No fundo da piscina, mas ele ainda não acredita. Na verdade, ele ainda insiste que tem cabelo, mas não tem. Todo mundo sabe. Aí eu falei: cara, por que não usar o Jeff para uma coisa útil? Vamos ajudar as pessoas calvas a descobrirem que são calvas? Mas não vai ser você falando com elas de um jeito deselegante, né? Imagina, Rafa, que deselegante eu falar para você: “Pô, Rafa, tem uma entrada aí que dá para ver lá da Lua”. Não é legal falar isso.

06:46 É melhor entregar isso para uma inteligência artificial, para ser uma coisa íntima entre a pessoa e o Jeff. E o Jeff vai classificar o nível de calvície. E aí você ainda pode até usar isso. É igual, cara, é a tecnologia. É igual quando tem gol no futebol e o cara fala: “Não, mas foi o VAR que falou”. Ah, tá, então não tem que discutir, né? Então, aqui é a mesma coisa: estamos usando a tecnologia para isso. Eventualmente, você pode dizer que ele alucinou, que você não está calvo coisa nenhuma. Também pode usar essa desculpa. Mas aí, na teoria, o Jeff não alucina, né? Aí com eles lá.

07:18 Há controvérsias. Mas essa foi a proposta, e tá bem legal, porque, assim, o Jeff tá conseguindo classificar diferentes ângulos de imagem, né? Algumas, eu percebi, no meu caso, por exemplo, ele falou que eu tô com um grau avançadíssimo de calvície. Eu falei: “Não é bem assim”. >> [risadas] >> Óbvio que ele tá errado, mas eu fiquei até chateado na hora, quando falei: “Pô, eu achei que eu tava calvo, não achei que eu tava tão calvo”. Mas aparentemente deu, deu, né? >> Cara, foi muito caro. Eu fiquei um pouco frustrado na hora que

07:48 >> [risadas] >> eu falei: “Quê? Não, não é possível”. E foi exatamente isso que aconteceu. Daqui a pouco, quando voltar, eu compartilho com a galera aqui. Não vai rolar agora, não. A não ser que eu… Vamos ver, acho que não vai rolar agora, não. Eu vou… descobriremos em breve. Mas é isso, Rafa.

Transcrição original

[00:00] Esse é um corte do podcast limite semanal que acontece toda segunda-feira às 7:00 da noite comigo e com o Vini lá da AI Coders. Se você quer ficar por dentro de tudo que acontece de relevante no mundo da IA, considere se inscrever no canal através do link que está tanto na descrição quanto no comentário fixado. >> Eu tô falando do Jev, do Jev. >> Ah, sim, é do Jev. >> Esse Jev Model, que foi, é, na semana passada eles anunciaram o Jev Model do Jev agora com suporte também com input de imagem. Ele, na teoria, segundo disse

[00:33] lá o Diogo, o founder do do Jev, né, da Type Safe, ele já tinha imagem como parte da multimodalidade, mas eles resolveram esperar pra ver como é que seria ali a a adoção e o uso desse modelo e entender algumas outras camadas. Então, o Jev agora, ele chega no mercado também na versão 1.14 com o uso de e com o suporte a imagens. E que fica bem interessante isso, Rafa, porque agora você pode usar ele tanto quanto o classificador de texto quanto também

[01:03] classificador de imagem. Por exemplo, lá no Open Router, se você abrir lá, deixa eu compartilhar minha tela aqui rapidão, ó, Open Router, Jev, já vou abrir aqui pra vocês verem, aqui pra quem não viu, tá? É e você observa, calma aí, eu tô só fechando os negócios que não é pra ficar aberto. Aí. Ó. Pronto. Maravilha, ó. Lá no Open Router tem um exemplo bem legal, cara, das maçãs e do Meu Deus, gente, cadê meu negócio? Ah, aí achei. E das peras.

[01:34] Como é que fala pera em inglês, Rafa? Você que é um cara bom de inglês. >> Pear. >> É isso mesmo? >> É. >> Olha aí, Rafa, é fácil pra caramba. Eu ia pelejando pra descobrir o nome desse negócio mais cedo hoje. Mas aqui tem um exemplo das maçãs e da pera. E aqui que que é legal? Além de ele ter vindo com essa novidade de ter input de modalidade agora de imagem, ele também vem com o o multilingua dele bem melhor, então ele vai entender melhor português e ele vem com um novo tipo de formatação no output aqui, né? O novo tipo de dado,

[02:06] que é o box. Então o box ele serve para você localizar elementos. Por exemplo, nesse caso aqui, ele tem uma foto que tem maçãs e peras e ele pede para localizar a maçã que tá no top left, então no no canto superior esquerdo. Quando você roda ele aqui para buscar decisão, menos de um segundo ele já localizou e deu uma selecionada com o box aqui, ó, para determinar qual é a maçã lá nesse canto superior esquerdo. Também tem o photo check, que é o do tipo nulo aqui nesse caso.

[02:36] Então esse tipo já existia, mas agora sendo aplicado para foto e ele tá perguntando, né, é de acordo com o estado, tendo aqui é o marketplace listando o título organic honeycrisp apples six count, ele pede para verificar se é se é verdadeiro e o que tá sendo dito aqui em cima. Logicamente não é verdadeiro porque ele tem seis maçãs e seis peras. Daí quando a gente roda, ele traz aqui, ó, não, não é verdade que tem seis é maçãs, na verdade tem só seis peras. Então dependendo do do do que você tiver

[03:08] trabalhando, dependendo muito do workflow agêntico, isso aqui é um caso que cabe para caramba também, Rafa, em workflow agêntico, você pode trocar o reasoning que você tá usando hoje com o LLM para o Jeff, né, que parte de classificação de imagens e classificação de texto também. Vai trazer mais velocidade para o seu é workflow, dependendo do que ele você tiver trabalhando pode reduzir também a quantidade de tokens. Que que você achou desse negócio, Rafa? >> Cara, eu achei bem legal, né? É é eles disseram ali no no anúncio que

[03:41] que o Jeff sempre foi multimodal, né, e eles de propósito não não liberaram o multimodal porque o desempenho era um pouquinho inferior. Aí a gente viu surgir, né, competidores do Jeff que estavam usando isso como um diferencial, né? Por exemplo, o Clef, que a gente trouxe aqui lá no Cloud Funnels. >> Exato. >> E aí eles rapidamente então falaram: “Não, pessoal, olha lá, tava tava brincando, né? Também tem também sabemos fazer >> doidão. >> Foi mal, tava doidão, também sabemos fazer isso.

[04:11] É, e e de fato, assim, Vini, até agora, né, tudo que eu testei e vi assim, o Jeff me parece bem superior às alternativas, tá? Inclusive >> Correto. >> é, até o o Diogo, né, o o CEO falou: “Ah, não acreditem muito em benchmark”, mas aí ele vai lá e coloca o benchmark no lançamento dele, né? Então, assim, >> Exato. >> querendo ou não, o que a gente tem o benchmark, né? É, pelo menos para tomar uma decisão ali, não a gente não consegue ficar testando

[04:42] 10 ferramentas ao mesmo tempo num num app de produção, por exemplo. Então, a gente acaba tendo que que usar o benchmark para nos guiar ali, né, o que que a gente vai querer utilizar ou não. E de fato, o Jeff parece ser muito bom, né? É, nos meus testes foi realmente é excelente. E agora com a possibilidade de fazer análise direto na imagem, ele ganha mais um caso de uso, né? Principalmente para moderação, né? É, qualquer tipo de classificação assim, gateway, ele é bem legal. E cara, eu tô ansioso. Eu fiquei até sabendo, Vini, que você

[05:13] criou aí um benchmark para mim. >> Pois é, cara, eu tô eu tô Eu abri aqui o celular agora, nesse momento, para entrar em contato contato com o suporte. Porque tá fora do ar, cara. >> Aí, ó, aí, ó, a >> A gente fez uma brincadeira aí na na semana passada, ó, tá falando aqui, ó, pronto, o suporte até respondendo. >> É, ó, o Codec tá falando aqui, ó, mostra para o Rafa o que que você fez na quinta. Ó, eu fiquei eu fiquei eu fiquei sabendo que queria que você rodasse o classificador em mim aqui. >> [risadas] >> Tá, se você quiser testar ao vivo aqui, ó, não Me dá um segundo que eu tô conversando com quem manda aqui.

[05:44] E aí a gente a gente já vai ter acesso o nosso acesso restaurado aqui. Teve um detalhezinho técnico. Deixa eu puxar aqui, ó, beleza. Ó. Eu fiz lá no Replit, ô, ô, ô, ô Rafa. E aí, cara, de bobeira assim, ficou bom para caramba, cara. >> É. >> E aí >> E aí você fez a integração com o Jeff direto do Replit lá. >> Exato. Qual que é o projeto ali, né? O Calvo Bent. A ideia é, sabe aquele amigo seu, Rafa, que é o cara que ele, ele, todo mundo sabe que, sabe que ele é calvo, sabe? Tipo assim.

[06:15] Ele tá ali nas fotos, todo mundo olha para aqui, atrás, aqui, vê que tá calvo, vê que tá ali piscininha, né? Fundo de piscina, mas ele não acredita ainda. Ele, ele ainda, na verdade, ele tenta insistir que ele tem cabelo, mas ele não tem, todo mundo sabe. Daí eu falei, cara, por que tal a gente pegar o Jeff para uma coisa útil, né? Vamos ajudar as pessoas que são calvas a descobrirem que eles são calvos? Mas não vai ser você falando com ele, sendo deselegante, né? Imagina, Rafa. Que deselegante eu falar para você, “Pô, Rafa, tem uma entrada aí que dá para ver lá da, lá da lua”. Não, não é legal falar isso.

[06:46] É melhor você entregar para uma inteligência artificial que vai ser uma coisa íntima ali entre a pessoa e o Jeff. E o Jeff vai tá classificando o nível de calvície. E aí você ainda pode até usar isso. É igual cara, aí é a tecnologia, é igual quando, é igual quando tem gol no futebol, o cara fala, “Não, mas foi o VAR que falou”. Ah, tá, então não tem que discutir, né? Então aqui é a mesma coisa, estamos usando a tecnologia para isso. Eventualmente você pode falar que aí alucinou, que você não tá calvo nada também, você pode usar essa desculpa. Mas aí o Jeff, na teoria, não alucina, né? Aí com eles lá.

[07:18] Há controvérsias. Mas essa foi a, a proposta e tá bem legal, porque assim, o Jeff, ele tá conseguindo classificar, é, diferentes ângulos de imagem, né? Algumas eu percebi, no meu caso, por exemplo, ele falou que eu tô com um grau avançadíssimo de calvície, eu falei, “Não é bem assim”. >> [risadas] >> Óbvio que ele tá errado, mas eu fiquei até chateado na hora que eu falei, “Pô, eu achei que eu tava calvo, não achei que eu tava tão calvo”. Mas aparentemente deu, deu, né? >> Cara, foi muito cara. Eu fiquei, fiquei um pouco frustrado na hora que

[07:48] >> [risadas] >> eu falei: “Que? Não, não é possível”. E foi, foi exatamente isso que aconteceu. Daqui a pouco quando voltar eu compartilho com a galera aqui, não vai rolar agora não. A não ser que eu, é, vamos ver, acho que não vai rolar agora não. Eu vou, descobriremos em breve. Mas é isso Rafa.