Clef 27B local: decision model multimodal para texto, imagens e vídeo

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Clef 27B Locally: Multimodal Decision-Maker From Text, Images and Video · Canal: Fahd Mirza · 09:30 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Modelos de IA, Modelos locais e open source, Modelos multimodais, Segurança de IA

Resumo

O vídeo apresenta o Clef, um decision model multimodal de 27 bilhões de parâmetros da Cloudflare que recebe texto, imagens, vídeo ou JSON e retorna probabilidades para opções predefinidas, sem gerar texto. O apresentador demonstra testes de segurança contra engenharia social, interpretação de imagens e vídeos, compreensão de uma notícia em uzbeque e leitura de um gráfico de química. Ele também compara o desempenho do modelo com outros modelos em diferentes benchmarks e observa que um deles ainda se destaca na decisão de quando encaminhar casos para uma pessoa. O vídeo conclui que o Clef demonstra uma ampla capacidade de tomar decisões a partir de diferentes modalidades.

Pontos-chave

O Clef é apresentado como um decision model multimodal de 27 bilhões de parâmetros, e não como um chatbot.
O modelo aceita entradas em texto, imagem, vídeo ou JSON e responde a perguntas com probabilidades calibradas para opções predefinidas.
Segundo a demonstração, várias perguntas podem ser respondidas em paralelo em uma única passagem do modelo.
Em um teste de engenharia social, o modelo identificou a tentativa de obter acesso emergencial sem aprovação verificável e recomendou escalonamento para a equipe de segurança.
Em testes com imagem e vídeo, o apresentador avaliou a interpretação de emoções, intenções e possíveis desfechos.
O vídeo mostra o modelo identificando o idioma e o tema de uma notícia em uzbeque a partir de uma captura de tela.
Em um gráfico de titulação química, o modelo identificou o tipo de gráfico, o ácido, os pontos de equivalência e o pH final.
Na comparação de benchmarks apresentada, o Clef lidera várias tarefas, enquanto outro modelo se destaca em decidir quando encaminhar um caso para uma pessoa.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação do Clef e de suas capacidades	O apresentador introduz o Clef como um decision model multimodal de 27 bilhões de parâmetros que responde a perguntas com probabilidades.
03:08	Decisões paralelas e testes com imagem e vídeo	O vídeo explica como o modelo responde a perguntas simultâneas e demonstra testes de interpretação de uma imagem e de um vídeo.
06:51	Comparação de benchmarks e leitura de notícia em uzbeque	O apresentador compara resultados de benchmark e testa a identificação do idioma e do conteúdo de uma notícia.
08:28	Interpretação de um gráfico de química e conclusão	O modelo analisa um gráfico de titulação e o apresentador conclui que os testes demonstram capacidades multimodais variadas.

Citações

Isto não é um chatbot. Ele não escreve um único token. — 00:32

Sem geração, sem espera, apenas decisões paralelas instantâneas. — 03:39

Para um clipe de 8 segundos sem diálogo nem contexto, é uma interpretação notavelmente poética e precisa. — 06:20

É assim que se parece um decision model verdadeiramente multimodal nesta fase da IA. — 09:30

Conceitos e entidades

Clef (modelo): Modelo multimodal de 27 bilhões de parâmetros apresentado no vídeo como um decision model que classifica opções sem gerar texto.
Cloudflare (empresa): Empresa que, segundo o vídeo, desenvolveu o decision model Clef.
decision model (conceito): Modelo que avalia uma situação e retorna probabilidades para opções de resposta predefinidas, em vez de gerar uma resposta em texto livre.
multimodalidade (conceito): Capacidade de processar modalidades como texto, imagens e vídeo.
engenharia social (conceito): Tentativa de manipular alguém para obter acesso, ilustrada no vídeo por um pedido de acesso emergencial sem aprovação verificável.
Mast Compute (empresa): Empresa agradecida pelo apresentador por fornecer uma GPU para executar o modelo.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável pelas demonstrações do modelo.

Tradução completa (pt-BR)

00:01 Modelos de decisão estão por toda parte. Levante uma pedra e você encontrará um modelo de decisão. Até a Cloudflare criou seu próprio modelo de decisão, chamado CLF. Antes de contar tudo sobre esse modelo de decisão, que é um pouco diferente dos demais, veja estes dois vídeos, nos quais não só abordamos esses modelos separadamente, como também fiz uma comparação abrangente entre Jev, Kev, Open e vários outros. Então,

00:32 se você está interessado no que estou falando exatamente, pesquise e assista a esses vídeos. Então, o que aconteceu com este aqui? Olha, a Cloudflare criou este modelo de decisão multimodal de 27 bilhões de parâmetros. Certo? Este não é pequeno, como os outros que vimos. Não é um chatbot. Ele não escreve um único token. Você fornece uma situação em texto, imagem, vídeo ou JSON, faz perguntas digitadas e ele retorna probabilidades calibradas

01:05 para cada opção em uma única passagem forward. Então, você pode considerar tudo o que testamos com CLM, LIA, Jeff e Julia, mas agora com olhos. Ele vê imagens. Processa quadros de vídeo e ainda responde da mesma forma. Decisões estruturadas rápidas, sem sobrecarga de geração. Apache 2, totalmente open source. Vamos testar. Eu sou Fhat Miraza e dou as boas-vindas a vocês ao canal. Quero muito agradecer

01:35 à Mast Compute, que está me fornecendo esta GPU para fazer o teste. Agradeço muito a eles. Se você está procurando alugar uma GPU por um preço muito bom, com um cupom de desconto, confira a descrição do vídeo. E sabe de uma coisa? Comecei esta newsletter semanal gratuita sobre IA, na qual você precisa se inscrever, por favor. Você pode acessá-la em faja.substack.com. Agora, deixe-me mostrar rapidamente a saída de um teste que fiz com este modelo Clef. E este é o código.

02:06 Desculpe, onde está o código? Aqui está o código. Agora estamos executando a mesma armadilha de engenharia social que usamos nos últimos dois ou três vídeos. É o mesmo funcionário. Como podem ver, esse funcionário diz que o empregador precisa de acesso emergencial falso, de uma aprovação de gerente impossível de verificar, e há algumas opções que apresentamos ao modelo para ver se ele consegue detectar isso ou não.

02:38 Se você se lembra dos nossos outros vídeos, CLM e Jev perceberam a armadilha, mas outros, como Kev, Lia e OpenJ, caíram nela. Se olhar este resultado, verá que KF percebeu. Há 5,9% de chance de conceder acesso, 76% de probabilidade de engenharia social e a recomendação de encaminhar para a equipe de segurança. Isso o coloca firmemente no mesmo grupo que CLM e Jev. O modelo maior tem um instinto de segurança melhor. Mas, sabe,

03:08 na minha opinião, esse não é o diferencial. O diferencial é outra coisa: a multimodalidade. Antes de fazer o teste multimodal, veja este diagrama. À esquerda está a entrada: um chamado real de suporte dizendo que a API está fora do ar e os pedidos estão bloqueados. Abaixo, você define sua pergunta com as respostas possíveis. Qual equipe deve cuidar disso? É urgente? As duas perguntas são enviadas juntas ao modelo de decisão. À direita, as respostas chegam em paralelo. A resposta é “técnica” com

03:39 100% de certeza, e “sim” para urgência, também com 100% de certeza. Duas perguntas completamente diferentes, respondidas ao mesmo tempo em uma única passagem forward. É isso que diferencia essa categoria de um chatbot. Sem geração, sem espera, apenas decisões paralelas instantâneas. Agora, vou mostrar um teste multimodal. Certo, para testar a multimodalidade, vamos fazer este teste situacional. Temos uma mulher na Leonyi Partners entre dois homens. Como podem ver nestas

04:12 imagens, o chefe mais velho, que está apaixonado por ela, só quer se divertir sem compromisso, enquanto um colega mais jovem, por quem ela tem sentimentos, está interessado apenas nos ganhos para a própria carreira. Neste script e prompt, pedimos ao CLF que leia a imagem, entenda a dinâmica emocional e nos diga quem ama quem, quem está fingindo e como tudo isso termina para ela. Então, vou mostrar o terminal. Vou executar o programa. Ele vai

04:43 carregar o modelo. Enquanto carrega, também vou mostrar o consumo de VRAM. Como podem ver, está consumindo esta quantidade de VRAM com o KV cache e outras coisas. O valor vai variar um pouco enquanto o modelo de 27 bilhões de parâmetros é carregado por completo. Como podem ver, está usando menos de 54 GB de memória virtual. E esta é a resposta do KF. Já dá para perceber que KF concluiu que ela está 94,5%

05:15 estressada com o trabalho, não com os homens, e que nenhum dos dois tem a atenção genuína dela, com 71,9% de probabilidade. O chefe provavelmente não está apaixonado — 92,7% — e só está usando-a. Matio, o subordinado, tem apenas 47,7% de probabilidade de ser motivado por dinheiro, o que é surpreendentemente generoso, eu diria. E o desfecho é complicado, mas ela sobrevive. Sinceramente, não é uma leitura ruim para um modelo que analisa apenas uma imagem, em uma única tentativa.

05:48 Certo, agora vou fazer este teste com vídeo. Este é um vídeo gerado por IA. A propósito, gerei com IA todas as imagens e os vídeos que estou usando. Se olhar, verá que é um vídeo de 8 segundos de um homem barbudo sozinho em uma floresta congelada, segurando uma vela acesa ao anoitecer. Vou pedir ao Clev que assista e nos diga o que ele está sentindo, se está em perigo, o que a vela significa e como a história termina. E esta é a resposta do KF. Você pode

06:20 ver que KFF interpretou a cena como um ritual, com 72,2% de confiança; a vela, como uma vela em homenagem aos mortos, com 60,2%; e estimou apenas 16% de chance de perigo. O desfecho é que ele sobrevive sozinho. Acho que, para um clipe de 8 segundos, sem diálogo nem contexto, essa é uma interpretação notavelmente poética e precisa. Se der uma olhada rápida neste benchmark, verá que Clef domina quase todos os benchmarks aqui, e na maioria dos casos os resultados nem chegam perto.

06:51 No total — ou, melhor, nas tarefas de recuperação de ferramentas, API, serviços bancários e classificação clínica —, Clef lidera em todas, inclusive contra Jeff, que era o padrão-ouro até agora. O único ponto em que Jeff ainda vence é decidir quando encaminhar algo a uma pessoa, o que é interessante porque essa é, sem dúvida, a tarefa da lista que mais depende do julgamento humano. Lia fica na última posição em todas as categorias, o que confirma o que vimos na nossa disputa. É ótimo para o tamanho que tem, mas está em uma categoria de peso completamente diferente. Certo,

07:24 vamos fazer outro teste. O próximo teste vem do Usbakistan. Este é o Kund, um dos maiores sites de notícias do Usbakistan, inteiramente em Usbuk. Neste prompt, pedimos ao KF que encontre esta menção ao conflito na Ucrânia, com cerca de 97,8% de certeza. Ele faz isso. Mas, primeiro, identifica o idioma, entende a manchete e nos diz quais assuntos estão

07:55 sendo abordados, sem nenhuma tradução. Esta é a imagem. Fiz uma captura de tela desse site de notícias. Agradeço a eles por me deixarem usá-la. Este é o resultado. Olhem só: Cle identificou o USB com 95,9% de confiança. A capacidade multilíngue é impressionante. Como eu disse antes, encontrou a menção ao conflito na Ucrânia com 97,8%, que aparece ali mesmo na faixa de notícias. Identificou corretamente o tom como neutro, com 93,1% de confiança, e apontou política como o tema principal. A menção à ONU teve uma pontuação baixa, de

08:28 39,6%, o único erro, já que BMT em USB significa Nações Unidas. Mas, se você for do Usbekistan, por favor, me corrija também. No geral, foi uma ótima interpretação de um idioma no qual a maioria dos modelos falharia completamente. E, para o teste final, vou usar esta curva de titulação química, que mostra um ácido diprótico sendo neutralizado com NaOH. Vou pedir ao CLF que identifique o tipo de diagrama, o ácido, o número de

08:59 pontos de equivalência e leia diretamente do gráfico o valor final do pH. E esta é a resposta. Acertou em todas as categorias. Curva de titulação: 99,1%; ácido diprótico: 97,8%; dois pontos de equivalência: 96,7%. Muito, muito bom. Então, KF interpretou um diagrama de química de nível universitário com precisão quase perfeita. Texto, imagem, vídeo, jornal em língua estrangeira, drama de relacionamentos, ameaças à segurança e diagrama de química: Clef deu conta de tudo. É assim que se parece um modelo de decisão verdadeiramente multimodal neste estágio da IA. Contem o que acharam. Se quiserem ajudar o canal, tornem-se membros. Basta acessar a página inicial do canal e escolher este link, ou clicar no primeiro comentário fixado. E não se esqueçam de assinar esta newsletter.

09:30 Lidou com tudo. É assim que se parece um verdadeiro decision model multimodal nesta fase da IA. Me diga o que você acha. Se quiser ajudar o canal, torne-se membro. Basta acessar a página inicial do canal e escolher este link, ou usar o primeiro comentário fixado. E não se esqueça de assinar este boletim informativo.

Transcrição original

[00:01] Decision models are everywhere. You lift a stone and you will find a decision model. Even Cloudflare has come up with their own decision model which is CLF. Before I tell you all about this decision model which is bit different than the rest of the lot look at these two videos where not only we have covered um these models separately also I have done a comprehensive comparison of Jev Kev open and heaps of others. So

[00:32] if you’re interested in what exactly I’m talking about go search and watch these videos. So what has happened with this one? So look, Cloudflare has come up with this 27 billion parameter multimodel decision model. Correct? This is not a small one as we have been looking at others. This is not a chatbot. It does not write a single token. You give it a situation as text or image or video or JSON. Ask it typed questions and it returns calibrated

[01:05] probabilities for every option in one single forward pass. So you can just consider everything we have tested with CLM, LIA, Jeff and Julia, but now with eyes. It sees images. It processes video frames and it still answers the same way. Fast structured decisions with no generation overhead. Apache 2 fully open source. Let’s run it. This is Fhat Miraza and I welcome you to the channel. I really want to give a huge shout out

[01:35] to Mast Compute who are giving me this GPU to run this. So really thank you to them. If you’re looking to rent a GPU on very good price with a discount coupon, just check the video’s description. And you know what I have started this free weekly AI newsletter which you have to subscribe please. You can access it at faja.substack.com. Now let me quickly show this is the output of a test which I have done with this cleft model and this is the code.

[02:06] So sorry where is the code? This is a code. Now we are running the same social engineering trap we used in our last two or three videos. Same employee as you can see that employee is saying that employer needs um emergency fake access unverifiable manager approval and then there are few options which we are giving to the model to see if model is able to detect it or not.

[02:38] If you remember in our other videos, CLM and Jev caught it, but others like Kev, Lia, OpenJ fell for it. If you look at this result here, you see that KF caught it. 5.9% chance of granting access, 76% social engineering probability escalate to security. That puts it firmly in the same camp as CLM Jev. The bigger model, better security instinct. But you know

[03:08] this is not the differentiator in my opinion. Differentiator is something else which is multimodality. Before I do the multimodal test, look at this diagram. On the left is your input a real support ticket saying the API is down and orders are blocked. Below that you define your question with their possible answers. Which team and is it urgent? Both go into the decision model together. On the right, the answer fire back in parallel. Technical wins at

[03:39] 100%, urgency is yes at 100%, two completely different questions, one single forward pass answered at the same time. That is what makes this category different from a chatbot. No generation, no waiting, just instant parallel decision. Now let me show you a multimodal test. Okay, so for the multimodality, let’s go with this situational test. We have a woman at Leonyi partners caught between two men. As you can see in these

[04:12] pictures, her older boss who is infatuated with her, just wants to have fun casually and a younger colleague she has feelings for who is purely after her career gains. And in this script and prompt, we are asking CLF to read the image. understand the emotional dynamics and tell us who loves who, who is faking it, and how this whole thing ends for her. So, let me take you to the terminal. I’m going to run it. It is

[04:43] going to load the model. While it loads, let me also show you the VRAMm consumption. So, you can see it is consuming this much VRAM with KV cache and stuff. So it is going to jump around this 27 billion parameter model fully loaded. So you see under 54 gig of VM and this is the answer returned by KF and you can already tell that KF has decided that she is 94.5%

[05:15] stressed about work not the men and that neither man has her genuine attention at 71.9%. The boss is 92.7% not in love just using her. Uh, Matio, the subordinate, is only 47.7% money motivated, which is surprisingly generous, I would say. And the outcome is messy, but she survives. Honestly, not a bad read for a model looking at just one image in one shot.

[05:48] Okay, next up, I’m going to do this video test. So, this is an AI generated video. By the way, all the images and videos I’m using, I generated it myself with AI. Now, if you look at it, this is an 8-second video of a bearded man alone in a frozen forest holding a lit candle at dusk. I’m going to ask Clev to watch it and tell us his emotion, whether he’s in danger, what the candle means, and how this story ends. And this is the response of KF. You can

[06:20] see that KFF read it as a ritual at 72.2% confidence, memorial candle at 60.2% 2% and only 16% chance of danger. And the outcome is that he survives alone. I think for an 8-second clip with no dialogue and no context, that is a remarkably poetic and accurate read. If you have a quick look at this benchmark, you can see that cleft dominates almost every benchmark here and the numbers are not even close in most cases.

[06:51] total uh or sorry tool retrieval, API banking, clinical classification, cleft leads them all, including Jeff, which has been the gold standard until now. The one place Jeff still win is when to call when where knowing when to escalate to a human matters most, which is interesting because that is arguably the most human judgment dependent task in the list. Lia is at the bottom across the board, which confirms what we saw in our showdown. Great for its size but a different weight class entirely. Okay,

[07:24] let’s do another test. Next test is coming from Usbakistan. This is Kund. One of Usbakistan’s biggest news sites entirely in Usbuk ser. We asked KF in this uh prompt to go and pick up this you know Ukraine conflict mentioned at 97.8 8 something like that. It will do that. But first identify the language, understand the headline and tells us what topic are

[07:55] being covered without any translation. This is image. I just screenshotted that news site. Full credit to them um for letting me use this. So this is the result by the way. So look at this. Cle identified USB at 95.9% confidence. So multilinguality is awesome. Picked up the Ukraine conflict as I said earlier 97.8%. 8% which is right there in the ticker correctly called the tone neutral at 93.1% and got the main topic as politics. The UN mentioned scored low at

[08:28] 39.6% which is a one miss since BMT in USB means United Nations but if you are from US Pakistan please also correct me. Overall a strong read of a language most models would completely fail on. And for the final test, I’m going to go with this chemistry titration curve showing a diaprotic acid being neutralized with NaOH. So I’m asking CLF to identify the diagram type the acid the count the

[08:59] equivalence points and read the final pH value directly of the graph. And this is the answer. Perfect score across the board. Uh titration curve at 99.1% droic acid at 97.8 rate two equivalence point at 96.7 really really good so KF read a university level chemistry diagram with near perfect accuracy so text image video foreign language newspaper relationship drama security threats and chemistry diagram cleft

[09:30] handled all of it is what a truly multimodal decision model looks like at this stage in AI let me know your thoughts if you want to help out the channel please become a member Just go to the homepage of channel and then choose this link or in the first pin comment and don’t forget to subscribe to this newsletter.