Jev agora enxerga. Superou GPT-6.1: 9× mais rápido e 20× mais barato em 1.000 fotos

Ver no idioma original →

Autoria: Hyperautomation Labs · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Jev Just Got Eyes. It Beat GPT-6.1: 9× Faster, 20× Cheaper (1,000 Photos) · Canal: Hyperautomation Labs · 10:57 · Assistir no YouTube

Tópicos: Agentes de IA, Automação de tarefas e workflows, Avaliação e benchmarks de IA, Engenharia de prompts e contexto, Modelos multimodais

Resumo

O vídeo apresenta a capacidade visual do Jev, um sistema que responde com probabilidades ou escolhas em vez de texto livre, e testa a ferramenta em tarefas com fotos. Nos testes, Jev identificou evidências para reembolsos, recibos e correspondência entre imagens, mas também mostrou limitações importantes ao localizar objetos e detectar itens ausentes. Em uma comparação com 1.000 fotos, concluiu a tarefa em 15 segundos por 4 centavos, enquanto GPT-6.1 Soul levou mais de 2 minutos e custou 86 centavos. A demonstração destaca que a confiança do sistema pode ajudar a identificar quando uma pessoa deve revisar o resultado, mas recomenda validar a ferramenta antes de usá-la em decisões importantes.

Pontos-chave

• Jev responde a perguntas sobre imagens com probabilidades, escolhas entre opções ou pontuações, em vez de gerar texto livre.
• Ao enviar uma imagem pela Vercel AI Gateway, é preciso usar a versão mais recente do AI SDK e enviá-la como arquivo; uma contagem de tokens que quase não muda pode indicar que a imagem não foi processada.
• No teste de reembolsos, Jev acertou 23 de 24 casos e concluiu a tarefa por uma fração de centavo.
• A localização por grade sempre escolhe algum quadrado, mesmo quando o objeto perguntado não aparece; por isso, é importante confirmar primeiro se o objeto está na foto.
• Para imagens movimentadas ou com objetos pequenos, dividir a foto em partes e avaliar cada uma separadamente melhorou a localização dos ciclistas sem capacete.
• Jev identificou recibos em 50 de 50 imagens e rejeitou 15 de 15 imagens falsas, mas não consegue ler o valor apontado.
• Em um teste de correspondência visual entre raças de cães, Jev acertou 30 de 30 tentativas, com confiança média de 97%.
• Na tarefa com 1.000 fotos, Jev acertou 994, levou 15 segundos e custou 4 centavos; GPT-6.1 Soul levou mais de 2 minutos e custou 86 centavos.
• A maioria dos erros de Jev ocorreu nas imagens em que o sistema estava menos confiante, o que pode servir de alerta para revisão humana.
• A ferramenta aceita fotos PNG ou JPEG, não vídeo, e exige que cada lado da imagem tenha entre 280 e aproximadamente 1.500 pixels.

Capítulos

Início	Capítulo	Resumo
00:00	Jev começa a enxergar	O vídeo apresenta a capacidade visual do Jev e mostra que uma configuração de envio pode descartar a imagem sem avisar.
02:05	Testes com reembolsos e objetos ausentes	A demonstração explica como Jev analisa imagens e revela tanto bons resultados em reclamações quanto o problema de sempre apontar uma localização.
04:11	Localização em fotos movimentadas e análise de recibos	O apresentador testa a localização de objetos, melhora os resultados dividindo as imagens e usa Jev para identificar recibos.
06:48	Correspondência visual e teste com mil fotos	Jev compara imagens de referência e é avaliado em mil fotos, com comparação de velocidade, custo e confiança com GPT-6.1 Soul.
08:21	Aplicações, limites e recomendações	O vídeo propõe usos práticos, descreve os requisitos das imagens e recomenda validar Jev antes de confiar nele em tarefas importantes.

Citações

Se a contagem de tokens quase não mudar quando você adiciona uma foto, sua IA está cega. — 02:05

Antes de perguntar onde, pergunte se está lá. — 04:41

Você não precisa de uma IA perfeita. Precisa de uma que saiba quando pedir sua ajuda. — 08:52

Nunca confie no onde sem perguntar primeiro se está lá. — 10:27

Conceitos e entidades

• Jev (modelo): Sistema visual apresentado no vídeo que responde a perguntas sobre imagens com probabilidades, escolhas ou pontuações.
• GPT-6.1 Soul (modelo): Chatbot usado como comparação com Jev na tarefa de classificar 1.000 fotos.
• Vercel AI Gateway (ferramenta): Gateway usado no vídeo para chamar Jev, cuja configuração inicial descartava silenciosamente a imagem enviada.
• AI SDK (ferramenta): SDK cuja versão mais recente é recomendada no vídeo para enviar imagens a Jev pela Vercel AI Gateway.
• TypeSafe (empresa): Empresa cujos recursos e documentação são mencionados na demonstração do novo tipo de resposta box.
• box (conceito): Tipo de resposta experimental que desenha um retângulo ao redor do item descrito, segundo o vídeo.
• grade 3×3 (conceito): Método de dividir uma imagem em nove quadrados para pedir a Jev que indique em qual deles está um objeto.
• Hyperautomation Labs (empresa): Canal responsável pelo vídeo que apresenta e testa a capacidade visual do Jev.

Tradução completa (pt-BR)

00:00 Um cliente diz que o milk-shake derramou por toda a sacola. Ele envia uma foto. E, antes mesmo de você abri-la, uma IA já a analisou e decidiu: “Esta foto confirma o relato.” E esta outra, para a mesma reclamação, não confirma. Dois anos atrás, criar algo assim exigia uma equipe de engenheiros e milhares de fotos rotuladas. Agora, basta uma frase, e custa uma fração de centavo.

00:31 E a parte mais estranha é que a IA que faz isso não consegue escrever uma única palavra. Ela se chama Jev. Se você assistiu ao nosso primeiro vídeo, sabe que ela só responde com probabilidades. Sim ou não. Isto ou aquilo. É por isso que é tão barata. Esta semana, ela aprendeu a enxergar. Então, dei a ela seis casos e a fiz brincar de detetive com mais de mil fotos reais. Ela resolveu um dos casos perfeitamente. 30 de 30.

01:02 E, em outro, apontou para algo que não estava lá 20 vezes seguidas. Se você construir algo com isso, esse erro pode custar dinheiro de verdade. Então, fique até o caso dois. Mas meu primeiro teste deu errado da forma mais interessante. Enviei uma captura de tela para Jev e fiz duas perguntas: há uma tela nesta foto? E há um gato? Ela respondeu às duas em um terço de segundo. 38% e 24%.

01:34 Ambas as respostas foram baixas e vagas. Isso não é uma avaliação. É um dar de ombros. Então, olhei a conta. 303 tokens. Uma foto desse tamanho deveria custar cerca de quatro vezes isso. Jev nunca chegou a vê-la. A rota que usei descartou a imagem silenciosamente e ainda assim retornou uma resposta. Sem erro, sem aviso. Então, aqui vai a dica número um, antes de qualquer outra coisa. Se você chamar Jev pela AI Gateway da Vercel,

02:05 atualize para a versão mais recente do AI SDK e envie a foto como um arquivo. Depois, confira a contagem de tokens. A mesma foto, enviada do jeito novo. Quase 1.300 tokens. E agora a tela recebe 97%, e o gato, 5%. Se a contagem de tokens mal aumenta quando você adiciona uma foto, sua IA está cega. Veja como funciona. Você entrega uma foto a Jev como evidência. Faz uma pergunta

02:36 e dá a ela as respostas possíveis. Ela pode dizer sim ou não com uma porcentagem. Escolher uma opção de uma lista ou dar uma nota. TypeSafe também lançou um tipo de resposta totalmente novo chamado box, que desenha um retângulo em volta do que você descrever. Ele está marcado como experimental e ainda não está disponível no gateway que estou usando. Então, para cada pergunta do tipo “onde está?”, fiz a melhor coisa possível. Dividi cada foto em uma grade 3x3 e pedi a Jev que escolhesse um quadrado. Caso um: o

03:07 reembolso. Escrevi 24 reclamações de reembolso e criei uma foto de teste para cada uma. Algumas fotos confirmam o relato. Outras mostram uma refeição perfeitamente boa, e algumas são de algo completamente diferente, como uma planta de casa no lugar de uma caixa de macarrão amassada. Para cada uma, Jev responde a três perguntas. A foto confirma a reclamação? Qual é a gravidade do dano? E onde está o problema? Ela acertou 23 de 24. Conferiu todas as 24 em menos de 4 segundos, por

03:40 uma fração de centavo. E, na única que errou, respondeu 54%. Cara ou coroa. Guarde isso. Vai ser importante no final. Se você tem uma loja online, uma cozinha fantasma ou qualquer negócio que lide com reembolsos, esse é seu primeiro filtro. Ele não substitui você. Apenas encaminha para você as reclamações que realmente precisam ser analisadas e pede uma foto melhor às demais pessoas. Caso dois: o fantasma. Este é o que prometi. Peguei 20 fotos reais sem nenhum gato.

04:11 Uma pista de esqui, uma rua movimentada, um relógio, uma pizza sobre uma mesa. E fiz uma única pergunta: onde está o gato? Ela nunca disse que não havia nenhum. 20 fotos, 20 respostas, sempre um quadrado. E isso não acontece só com a minha grade. A própria documentação da TypeSafe diz que o novo tipo de resposta box faz a mesma coisa. Uma resposta box é sempre um quadrado. Não existe a opção “não encontrado”. Agora imagine isso

04:41 em uma reclamação de seguro ou em uma câmera de segurança. Confiante e errada. A solução é fazer mais uma pergunta. Antes de perguntar onde, pergunte se existe. Há um gato nesta foto? Nas 20 fotos sem gato, Jev respondeu “não” todas as vezes. E, nas 20 fotos que realmente tinham um gato, respondeu “sim” em 20 de 30. Então, a regra é simples. Se a confiança vier baixa, descarte a resposta sobre onde.

05:12 Faça uma captura de tela desta parte. E, se isso acabou de evitar um bug desagradável, curta o vídeo para que mais desenvolvedores vejam. Caso três: a patrulha dos capacetes. Cem fotos reais de rua, com pessoas em bicicletas e patinetes. Uma pergunta: todos os condutores estão usando capacete? Ela acertou 90 de 100. E, quando alguém estava sem capacete, acertou 40 de 41. Mas aí perguntei: qual condutor? Usando a grade, ela escolheu o quadrado certo apenas 11 vezes em 41.

05:45 As cabeças são pequenas, e as fotos, cheias de elementos. Então, fiz o que um detetive faria. Aproximei a imagem. Dividi cada foto em quatro partes e perguntei a Jev sobre cada parte separadamente: há aqui um condutor sem capacete? Depois, escolhi a parte sobre a qual ela tinha mais certeza. Perguntando sobre a foto inteira, ela encontrou a parte certa 28 vezes em 41. Perguntando sobre cada parte separadamente, 32. Melhor, mas não perfeito. E cinco perguntas pequenas ainda custam

06:16 uma fração de centavo. O mesmo truque funciona com prateleiras, multidões, estacionamentos, qualquer coisa grande e cheia de elementos. Caso quatro: o recibo suspeito. Se você declara despesas ou aprova declarações de despesas, este caso é para você. Dei a ela 50 recibos reais e 15 fotos que não eram recibos. Um laptop, um bolo, um telefone. Isto é um recibo real? 50 de 50: sim. As 15 falsificações foram rejeitadas. Então,

06:48 onde está o total? Ela encontrou o quadrado certo em 38 de 47 casos. Há um porém. Ela aponta, mas não digita. Pode mostrar onde está o total, mas não consegue ler o número para você. Então, combine-a com qualquer IA comum para ler o que está dentro daquele quadrado. Caso cinco: o que me fez prestar atenção. Desta vez, as respostas não são palavras. São imagens. Mostrei a Jev quatro fotos de quatro raças diferentes, sem nome nenhum.

07:19 Apenas A, B, C e D. Depois, mostrei uma foto nova de uma delas. Qual corresponde? Fiz o teste 30 vezes, sempre com raças diferentes. 30 de 30. Confiança média: 97%. E funciona com qualquer coisa que você possa fotografar. Este é o mesmo produto do nosso catálogo? Esta é a encomenda certa? Você mostra a ela como é o item correto, e ela faz a comparação. Um caso é uma demonstração. Mil são um trabalho.

07:49 Então, dei a ela o turno da noite. 1.000 fotos reais, uma pergunta simples: há um animal nesta foto? Ela processou todas as 1.000 em 15 segundos. 994 respostas certas. Custo total: 4 centavos. Depois, passei as mesmas mil fotos pelo GPT-6.1 Soul, um dos principais chatbots. Levou mais de 2 minutos e custou 86 centavos. Quase nove vezes mais lento e 20

08:21 vezes mais caro. E, na maioria dos erros, contou pessoas como animais, o que, para sermos justos, nós somos. Mas a velocidade não é a parte inteligente. Lembra da cara ou coroa do caso um? Ela indica o quanto a IA tem certeza. Então, dividi as mil fotos em dois grupos. Quando tinha certeza — o que aconteceu em 973 fotos —, acertou todas menos uma. E, nas 27 fotos em que não tinha certeza, estavam escondidos cinco dos seis erros.

08:52 A própria dúvida dela era o sinal de alerta. Você não precisa de uma IA perfeita. Precisa de uma que saiba quando pedir sua ajuda. Então, o que você realmente criaria com isso? Aqui vão seis ideias, cada uma com algumas linhas de código. Primeiro, um verificador de reembolsos para qualquer loja online. Segundo, comprovante de entrega. Assim, você sabe que a encomenda está na porta e que é a encomenda certa. Terceiro, um filtro de anúncios que rejeita

09:23 fotos de produtos borradas ou falsas antes de serem publicadas. Quarto, um organizador de despesas. Quinto, uma segunda opinião para câmeras de segurança. Assim, um segurança só verifica os alertas reais. E sexto, um organizador de fotos que classifica 10.000 imagens durante a noite por alguns centavos. Uma observação rápida: por enquanto, só aceita fotos. PNG ou JPEG. Sem vídeo. Cada lado precisa ter entre 280 e cerca de 1.500 pixels; caso contrário, a imagem é rejeitada.

09:55 Gire as fotos do celular antes de enviá-las, porque a etiqueta de rotação é ignorada. E o próprio Type Safe diz que isso é experimental. Então, teste nas suas próprias fotos antes de confiar nele com dinheiro. Falando sério: 90% de vocês que estão assistindo ainda não se inscreveram. No Facebook, o botão de inscrição é o botão de apoiador. É isso que mantém as luzes acesas por aqui. No YouTube, é grátis e diz ao algoritmo para enviar mais conteúdo para você. Inscreva-se para nos apoiar. Então, a IA que

10:27 não conseguia falar agora consegue enxergar. É rápida, quase de graça e sabe quando está em dúvida. Só nunca confie na previsão do tempo sem perguntar se… Reuni as seis receitas de compilação, a correção do fantasma e os limites de tamanho em um kit inicial gratuito. Comente a palavra “testemunha” e eu envio para você. E quero que o caso sete seja seu. Conte nos comentários que foto você faria com que ela julgasse. Vou testar a melhor em um vídeo futuro. Se você conhece alguém que lida com reembolsos

10:57 ou recibos o dia todo, envie este vídeo para essa pessoa. Acompanhe no Instagram e no Facebook para ver conteúdo de IA em pequenas doses. E os aprofundamentos ficam aqui no YouTube.

Transcrição original

[00:00] A customer says their milkshake spilled all over the bag. They send a photo. And before you’ve even opened it, an AI has already looked at it and decided, “This photo backs up the story.” And this one, for the exact same complaint, it doesn’t. Two years ago, building that took a team of engineers and thousands of labeled photos. Now, it takes one sentence and costs a fraction of a cent.

[00:31] And the strangest part, the AI doing it can’t write a single word. It’s called Jev. If you watched our first video, you know it only ever answers with odds. Yes or no. This or that. That’s why it’s so cheap. This week, it learned to see. So, I gave it six cases and made it play detective with over a thousand real photos. It solved one case perfectly. 30 out of 30.

[01:02] And in another one, it pointed at something that wasn’t there 20 times in a row. If you ever build with this, that mistake could cost you real money. So, stay for case two. But my very first test went wrong in the most interesting way. I sent Jev a screenshot and asked two questions. Is there a screen in this photo? And is there a cat? It answered both in a third of a second. 38% and 24%.

[01:34] Both low, both vague. That’s not a judgment. That’s a shrug. Then I looked at the bill. 303 tokens. A photo that size should cost about four times that. Jev never saw it. The route I used quietly dropped the image and still sent back an answer. No error, no warning. So, here’s tip number one before anything else. If you call Jev through Vercel’s AI

[02:05] Gateway, update to the newest AI SDK and send the photo as a file. Then check your token count. Same photo, sent the new way. Nearly 1,300 tokens. And now the screen comes back at 97% and the cat at five. If your token count barely moves when you add a photo, your AI is blind. Here’s how it works. You hand Jev a photo as the evidence. You ask a question

[02:36] and you give it the possible answers. It can say yes or no with a percentage. Pick one option from a list or give a score. TypeSafe also launched a brand new answer type called box where it draws a rectangle around whatever you describe. It’s labeled experimental and it isn’t on the gateway I’m using yet. So, for every where is it question, I did the next best thing. I cut each photo into a 3x3 grid and made Jev pick a square. Case one, the

[03:07] refund. I wrote 24 refund claims and made a test photo for each one. Some photos back up the story. Some show a perfectly fine meal and a few are from something else entirely like a house plant for a crushed noodle box. For each one, Jev answers three things. Does the photo back up the claim? How bad is the damage? And where is the problem? It got 23 out of 24 right. All 24 checked in under 4 seconds for a

[03:40] third of a cent. And the one it missed, it said 54%. A coin flip. Hold on to that. It matters at the end. If you run an online shop, a cloud kitchen, or anything with refunds, that’s your first pass checker. It doesn’t replace you. It just hands you the claims that actually need your eyes and asks everyone else for a better photo. Case two, the ghost. This is the one I promised you. I took 20 real photos with no cat anywhere.

[04:11] A ski slope, a busy street, a clock, a pizza on a table. And I asked it one question. Where’s the cat? It never said there isn’t one. 20 photos, 20 answers, a square every single time. And this isn’t just my grid. Type safe’s own docs say the new box answer does the same thing. A box answer is always a box. There is no not found. Now picture that

[04:41] on an insurance claim or a security camera. Confident and wrong. The fix is one extra question. Before you ask where, ask whether. Is there a cat in this photo? On all 20 empty photos, Jeff said no, every time. And on 20 photos that really did have a cat, it said yes, 20 out of 30. So the rule is simple. If the weather comes back low, throw the where away.

[05:12] Screenshot this part. And if it just saved you from a nasty bug, hit like so more builders see it. Case three, the helmet patrol. A hundred real street photos of people on bikes and scooters. One question. Is every rider wearing a helmet? It got 90 out of a hundred right. And when someone wasn’t wearing one, it got 40 out of 41. But then I asked, which rider? And using the grid, it picked the right square only 11 times out of 41.

[05:45] The heads are small and the photos are busy. So, I did what a detective does. I zoomed in. I cut every photo into four quarters and asked Jev about each quarter on its own. Is there a rider here without a helmet? Then, I picked the quarter it was most sure about. Asking about the whole photo, it found the right quarter 28 times out of 41. Asking each quarter on its own, 32. Better, not perfect. And five small questions still cost a

[06:16] fraction of a cent. Same trick works on shelves, crowds, parking lots, anything big and busy. Case four, the suspicious receipt. If you file expenses or you’re the person approving them, this one’s for you. I gave it 50 real receipts and 15 photos that aren’t receipts at all. A laptop, a cake, a phone. Is this a real receipt? 50 out of 50, yes. 15 out of 15 fakes, rejected. Then,

[06:48] where’s the total? It found the right square on 38 out of 47. One catch. It points, it doesn’t type. It can show you where the total is, but it can’t read the number back to you. So, pair it with any regular AI to read what’s inside that square. Case five, the one that made me sit up. This time, the answers aren’t words. They’re pictures. I showed Jev four photos of four different breeds with no names at all.

[07:19] Just A, B, C, and D. Then, a brand new photo of one of them. Which one matches? I ran it 30 times with different breeds every time. 30 out of 30. Average confidence, 97%. And it works for anything you can photograph. Is this the same product as our catalog? Is this the right parcel? You show it what right looks like and it compares. One case is a demo. A thousand is a job.

[07:49] So, I gave it the night shift. 1,000 real photos one simple question. Is there an animal in this photo? It finished all 1,000 in 15 seconds. 994 right. Total cost 4 cents. Then I ran the same thousand photos through GPT-6.1 Soul, one of the top chatbots. It took over 2 minutes and cost 86 cents. That’s nearly nine times slower and 20

[08:21] times the price. And most of its misses, it counted people as animals, which to be fair we are. But speed isn’t the clever part. Remember that coin flip from case one? It tells you how sure it is. So, I split the thousand into two piles. When it was sure, which was 973 photos, it got all but one right. And the 27 photos where it was unsure, that’s where five of its six mistakes

[08:52] were hiding. Its own doubt was the warning sign. You don’t need a perfect AI. You need one that knows when to ask you. So, what would you actually build with this? Here are six ideas and each one is a few lines of code. First, a refund checker for any online shop. Second, delivery proof. So, you know the parcel is at the door and it’s the right parcel. Third, a listing cleaner that rejects

[09:23] blurry or fake product photos before they go live. Fourth, an expense sorter. Fifth, a second opinion for security cameras. So, a guard only checks the real alerts. And sixth, a photo library tagger that sorts 10,000 pictures overnight for pennies. Quick fine print. Photos only for now. PNG or JPEG. No video. Each side has to be between 280 and about 1,500 pixels or it gets rejected.

[09:55] Rotate phone photos before you send them because the rotation tag gets ignored. And Type Safe itself calls this experimental. So, test it on your own photos before you trust it with money. Real talk. 90% of you watching haven’t subscribed. On Facebook, subscribe is the supporter button. That is what keeps the lights on here. On YouTube, it’s free and it tells the algorithm to send you more. Subscribe to support us. So, the AI that

[10:27] couldn’t talk can now see. It’s fast, it’s almost free, and it knows when it’s unsure. Just never trust the weather without asking whether. I put all six build recipes, the ghost fix, and the size limits into a free starter kit. Comment the word witness and I’ll send it to you. And I want case seven to be yours. Tell me in the comments what photo would you make it judge? I’ll test the best one in a future video. If you know someone who handles refunds

[10:57] or receipts all day, send them this. Follow along on Instagram and Facebook for bite-size AI. And the deep dives live here on YouTube.