MiniCPM-V 4.7 1B: instale com Ollama e llama.cpp e teste seus limites

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: MiniCPM-V 4.7 1B: Install with Ollama and llama.cpp, Then Push It to the Limit · Canal: Fahd Mirza · 09:24 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Modelos locais e open source, Modelos multimodais, RAG, busca e recuperação de informação

Resumo

O vídeo mostra como instalar o MiniCPM-V 4.7 1B com Ollama ou llama.cpp e avalia seu desempenho em tarefas com imagens. O modelo consome pouco mais de 5 GB de VRAM no teste e se sai bem ao interpretar um relógio, criar uma simulação visual e resolver uma questão de matemática. Em contrapartida, falha na leitura de caligrafia e na tradução para muitos idiomas, além de não cumprir todas as instruções de uma tarefa criativa. O apresentador o considera uma opção para tarefas leves em dispositivos locais, mas não para raciocínio complexo ou instruções longas com várias etapas.

Pontos-chave

O MiniCPM-V 4.7 1B pode ser instalado usando Ollama ou llama.cpp; o apresentador recomenda llama.cpp.
No teste, o modelo utilizou pouco mais de 5 GB de VRAM, consumo que pode ser reduzido ajustando a parcela do KV cache.
O modelo identificou corretamente os ponteiros de um relógio analógico e criou uma simulação a partir de uma imagem.
Diante de uma imagem ambígua, o modelo reconheceu que não havia contexto suficiente, em vez de inventar uma resposta.
A leitura de uma linha manuscrita e a tradução para vários idiomas falharam: o modelo misturou linhas e reproduziu frases em inglês.
O modelo resolveu corretamente uma questão matemática em uma imagem, embora tenha cometido um pequeno deslize na explicação.
Na tarefa criativa, respondeu apenas parte do que foi pedido e interpretou alguns detalhes da cena incorretamente.
O apresentador recomenda o modelo para legendas simples de imagens, OCR básico e tarefas leves de programação local ou offline.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação e instalação	O apresentador introduz o MiniCPM-V 4.7 1B e mostra como baixá-lo com Ollama ou llama.cpp.
02:08	Capacidades, consumo e primeiros testes visuais	O vídeo descreve o foco do modelo em tarefas visuais e testa seu desempenho com um relógio, código e imagens ambíguas.
05:16	Caligrafia, tradução e benchmarks	O modelo falha ao extrair uma linha manuscrita e traduzi-la para muitos idiomas, apesar dos resultados competitivos em algumas tarefas visuais.
07:21	Matemática, criatividade e conclusão	O modelo resolve uma questão matemática, mas cumpre apenas parte de uma tarefa criativa, levando o apresentador a recomendar usos mais simples.

Citações

Este modelo está sendo desenvolvido para ser pequeno sem parecer pequeno. — 02:08

A resposta está absolutamente correta, e dá para ver a rapidez deste modelo. — 03:43

O modelo de 1 bilhão não consegue ler esta caligrafia com confiabilidade nem traduzir além de alguns idiomas importantes. — 06:50

Pode ser uma boa opção para tarefas leves, mas não para raciocínio complexo ou instruções longas com várias etapas. — 09:24

Conceitos e entidades

MiniCPM-V 4.7 1B (modelo): Modelo de visão e linguagem com 1 bilhão de parâmetros testado no vídeo.
MiniCPM-V 4.7 35B A3B (modelo): Versão maior da família MiniCPM-V mencionada como comparação.
Ollama (ferramenta): Ferramenta apresentada como uma das opções para instalar e executar o modelo.
llama.cpp (ferramenta): Ferramenta recomendada pelo apresentador para executar o modelo.
GGUF (conceito): Formato do modelo que o vídeo instala usando Ollama e llama.cpp.
VRAM (conceito): Memória da GPU cujo consumo é medido durante a execução do modelo.
KV cache (conceito): Cache cuja parcela pode ser reduzida para diminuir o consumo de VRAM.
OpenBMB (empresa): Organização associada ao modelo MiniCPM-V, citada na comparação com outros modelos.
Fahd Mirza (pessoa): Apresentador do vídeo e autor dos testes do modelo.

Tradução completa (pt-BR)

00:01 A OpenBMB está na estrada. Ontem, testamos o grande MiniCPM V4.7, a versão A3B de 35 bilhões. Hoje, vamos analisar seu irmão menor, a versão de 1 bilhão, um modelo minúsculo que lê imagens, várias imagens e vídeos. Vamos instalar o GGUF tanto com Ollama quanto com llama.cpp e depois testá-lo. Aqui é Fahad Mirza, e dou as boas-vindas a você ao canal. Vou direto

00:31 para o meu terminal, onde estou com este Ubuntu e esta placa de GPU com 48 GB de VRAM. Você não precisa de tanta GPU assim, e vou mostrar o consumo de VRAM. Se quiser usar o Ollama, basta executar este comando. Você também pode usar o irmão maior com ele. Dá para ver como este modelo é pequeno. Então, este é um modelo baseado no Ollama. Se quiser fazer isso pelo llama.cpp, o que eu recomendo bastante, tudo o que você precisa fazer é usar este comando.

01:04 E ele vai baixar este modelo. Aliás, se você está procurando alugar uma GPU ou uma VM por um preço muito bom, pode encontrar o link para a Mass Compute na descrição do vídeo. E inscreva-se nesta newsletter semanal gratuita sobre IA em fahadmirza.substack.com. Enquanto ele é carregado, algumas informações sobre este modelo. Esta versão de 1 bilhão foi criada para ser pequena sem parecer pequena. Como você pode ver neste gráfico, que vem do blog deles, quanto mais perto

01:35 um modelo estiver do canto superior esquerdo, melhor. Aliás, a estrela grande, de 35 bilhões, fica bem acima das concorrentes atuais, com uma pontuação maior e sendo executada mais rápido. Para a versão de 1 bilhão, a estrela fica perto do canto superior esquerdo, bem à frente do modelo de 0,8 bilhão da Qwen, que é mais lento e tem uma pontuação menor. E ela acompanha o modelo de 2 bilhões da Qwen no modo instruct em uma fração do tempo. Como eu disse no meu último vídeo, parece que a OpenBMB está tentando ser a próxima Qwen.

02:08 O quanto ela conseguiu ou está conseguindo, deixo para você avaliar. Mas acho que, se continuar fazendo o que está fazendo, talvez não esteja tão longe, especialmente depois que você conferir este outro modelo de 35 bilhões de parâmetros. Então, como eu disse, este modelo está sendo desenvolvido para ser pequeno sem parecer pequeno. Ele entende imagens únicas e até várias imagens, e captura detalhes visuais logo no início, dentro do encoder de visão. Assim, analisar uma imagem custa bem menos

02:40 computação. Você pode até alternar entre um modo visual grosseiro e um detalhado, dependendo se prioriza velocidade ou detalhe. Então, também vou testá-lo em breve nos modos grosseiro e detalhado. Ele foi projetado para dispositivos de borda, celulares, laptops e chips. E há várias versões quantizadas, caso você queira usar uma precisão ainda maior. Enquanto isso, nosso modelo está sendo carregado, e este é o consumo de VRAM. Apenas

03:11 um pouco mais de 5 GB de VRAM. Você pode reduzir a parcela do cache KV para diminuir ainda mais esse consumo de VRAM. Certo, no primeiro teste, vamos mostrar a ele esta imagem de um relógio, e estou testando se este modelo de 1 bilhão de parâmetros consegue ler um relógio analógico, ou seja, distinguir os ponteiros das horas, dos minutos e dos segundos. Ele já… Certo, então ele diz que consegue ver que o relógio marca aproximadamente 10h10 e, em seguida, explica os detalhes. Está vendo? Esta é

03:43 a resposta. Está absolutamente correta, e dá para ver como este modelo é rápido. Em seguida, vamos passar para uma tarefa de programação. Estou pedindo que ele observe esta imagem e depois simule um relógio funcionando. Vamos ver se consegue fazer isso. E podemos simplesmente continuar por aqui. E pronto. Foi isso que um modelo de 1 bilhão em formato quantizado

04:14 criou. Isso é muito impressionante. E esta era a imagem, caso você queira comparar as semelhanças. A combinação de visão e programação é bastante impressionante. Certo, vamos conferir mais um exemplo. Esta é uma imagem gerada por IA. E estou perguntando ao modelo de que país este soldado poderia ser. Vamos ver se ele consegue deduzir isso. E pronto. Acho que esta é uma resposta muito boa, porque o modelo não conseguiu

04:45 determinar isso. É bastante razoável. Mas, em vez de alucinar e nos dar uma resposta errada, ele admite que não conseguiu fazer isso porque precisaria de contexto adicional. Vamos fazer mais um. Neste, estou perguntando qual poderia ser a origem deste vestido e da garota. Vamos ver, porque eles parecem ser de duas regiões diferentes. E foi aí que ele identificou que

05:16 poderia ser uma lehenga de estilo indiano ou um traje tradicional indiano, o que está correto. Aliás, também poderia ser do Paquistão. O bordado é bastante elaborado. Mas, quanto à garota, não acho que essa identificação esteja correta. Como você pode ver. Mas você também pode avaliar. Acho que ele acertou a primeira parte. Agora, neste próximo teste, estou dando ao modelo uma foto de uma anotação manuscrita e pedindo que leia uma linha específica, a

05:49 penúltima, que diz “writers in love”. E também há algumas palavras riscadas. O prompt é bem difícil. Você pode ver que estou pedindo que ele não apenas identifique a penúltima linha, mas também a traduza para quase 80 idiomas. Vamos ver o que o modelo faz. Enquanto isso, vamos dar uma olhada rápida nesta tabela de benchmark, que compara este modelo com seu antecessor e outros modelos pequenos de visão. Ele lidera em

06:20 visão geral, leitura de texto e imagens, raciocínio com gráficos e testes com várias imagens, e supera os modelos menores da Qwen e os modelos LLM na maioria das linhas. Fica atrás em matemática e em alguns testes de documentos, e o modo mais barato, de 16x, fica muito próximo do modo mais detalhado, de 4x. E pronto. Neste teste de multilinguismo, ele acabou fracassando completamente. Dá para ver que leu a linha de forma errada,

06:50 juntando várias linhas da anotação em uma frase sem sentido, em vez de traduzir uma única linha. Esse é o primeiro erro. E a maioria dos idiomas são apenas frases em inglês copiadas ou levemente alteradas, incluindo idiomas com poucos e muitos recursos. Portanto, o modelo de 1 bilhão não consegue ler essa caligrafia de forma confiável nem traduzir para além de alguns idiomas principais. E sabe de uma coisa? O multilinguismo também não foi tão bom no irmão maior.

07:21 Então, vamos tentar mais um. Você pode ver que vou mostrar a foto de uma prova de matemática escolar e pedir que ele encontre e resolva uma questão específica, o que testa a leitura de notação matemática e o raciocínio passo a passo. Então, vou inserir rapidamente esse prompt e vamos ver se ele consegue resolver ou não. Pronto, ele me deu a resposta. E, apesar do que diz o benchmark, acertou em cheio. Ele usou a

07:51 fórmula do vértice e depois escolheu a opção B, evitando a pegadinha do 41 16. Então, há um pequeno deslize ali em torno da opção C, mas acho que isso não afetou a resposta. Portanto, passou no teste. Por fim, vamos usar esta imagem para testar a criatividade do modelo e ver se ele consegue compreender o aspecto visual, especialmente no que diz respeito às expressões. Esta também é uma imagem gerada por IA, e estou pedindo ao modelo que, em duas

08:23 frases, descreva o que está acontecendo. Invente algo engraçado que aconteceu um minuto antes desse momento. Dê a cada uma das quatro pessoas um balão de pensamento de uma linha que combine com a linguagem corporal delas. Escreva uma manchete engraçada de jornal para a cena. Vamos ver como o modelo lida com isso. E o modelo parece estar com pressa. Ele só respondeu à primeira das quatro tarefas, dando o contexto, os balões de pensamento

08:54 e a manchete. Também interpretou a cena de forma errada, dizendo que todos observavam atentamente, embora o homem estivesse olhando para baixo, e não percebeu o laptop. Então, olha, acho que houve também uma grande perda de desempenho, especialmente quando se trata de criatividade. Em programação e matemática, ele não é nada ruim. Então, acho que pode ser uma boa opção para tarefas mais leves, como legendas rápidas para imagens, talvez um OCR simples e programação simples no dispositivo ou offline, mas não para

09:24 raciocínio complexo, nem mesmo para um raciocínio minimamente razoável ou instruções longas com várias etapas. É isso. Conte o que você achou deste modelo. Se quiser ajudar o canal, torne-se membro. Obrigado por todo o apoio.

Transcrição original

[00:01] Open BMB is on the road. Yesterday, we tested the big mini CPM V4.7, the 35 billion A3B version. Today, we look at its little sibling, the 1 billion version, a tiny model that reads images, multiple images, and video. We are going to install the GGUF with both Ollama and llama.cpp, then test it. This is Fahad Mirza, and I welcome you to the channel. Let me take you straight

[00:31] to my terminal where I have this Ubuntu with this 48GB of VRAM GPU card. You don’t really need that much GPU, and I will show you the VRAM consumption. If you want to use Ollama, simply run this command. You can also use the bigger sibling with it, too. You can see how small this model is. So, this is Ollama-based model. If you want to do it through llama.cpp, which I would highly recommend, all you need to do is to use this command.

[01:04] And it is going to download this model. By the way, if you’re looking to rent a GPU or VM on very good price, you can find the link to Mass Compute in video’s description. And please subscribe to this free weekly AI newsletter at fahadmirza.substack.com. While it serves, a few lines about this model. This 1 billion version is built to be small without feeling small. As you can see on this chart, which is from their own blog, the closer

[01:35] a model sits to the top left, the better. By the way, the big 35 billion star sits well above its current rivals, scoring higher while finishing faster. For the 1 billion, the star sits near the top left, well ahead of the Quen’s 0.8 billion model, which are slower and score lower. And it keeps pace with Quen’s 2 billion model in instruct mode at the fraction of the time. As I said in my last video, it feels that Open BNB is trying to be next Quen.

[02:08] How much they have succeeded or succeeding, I will let you be the judge. But I think if they keep doing what they are doing, they might not be that far, especially after you check out this other 35 billion parameter model. So, as I said, this model is being built to be small without feeling small. It understands single images, even multiple images, and it squeezes visual detail early inside the vision encoder. So, reading a picture car costs far less

[02:40] compute. You can even switch between a course and a fine visual mode depending on whether you want speed or detail. So, I’m going to also test it out on both course and fine shortly. It is designed for edge devices, phones, laptops, and chips. And there are various quantized versions if you want to go even with higher precision. Meanwhile, our model is being served, and this is the VRAM consumption. Just

[03:11] touch over 5 gig of VRAM. You can reduce the KV cache share in order to even bring that VRAM consumption lower. Okay, for the first test, we are going to give it this clock image, and I’m testing if this 1 billion parameter model can read an analog clock, which means telling the hour, minute, and second hands apart. It has already Okay, so it says that I can see the clock shows approximately 10:10, and then it is breaking it down. You see? This is

[03:43] the answer. Which is absolutely correct, and you can see that how fast this model is. Next, let’s proceed with a coding task. I’m asking it to look at this image and then simulate this a working clock. Let’s see if it is able to do that. And we can just continue here. And there you go. This is what a 1 billion model in quantized format has

[04:14] created. This is very impressive. And this was the image if you’re looking for the similarities. The vision plus coding is quite impressive. Okay, let’s check out another one. This is an AI-generated image. And I am asking the model which country this soldier could be from. Let’s see if it is able to deduce that or not. And there you go. I think this is quite a good response because model was unable

[04:45] to determine that. It is quite a fair. But instead of hallucinating and giving us a wrong answer, it is admitting that it was not able to do so because it would need additional context. Let’s do another one. In this one, I’m asking it what would be the origin of this dress and the girl. Let’s see because they seems to be from two different regions. And this is where it has identified that

[05:16] this could be the Indian style lehenga or traditional Indian ensemble, which is correct. It could be from Pakistan, too, by the way. It is quite rich embroidered. But for the girl, I don’t think so this one is correct. As you can see. But you can be the judge, too. I think the first part it got it right. Now, in this next test, I’m giving this model a photo of a handwritten note and ask it to read one specific line, the

[05:49] second to last, which is writers in love. And then there are some crossed out words, too. And the prompt is quite hard. You can see that I’m asking it to not only pick up that second last line, but also translate it into these almost 80 plus languages. Let’s see what model does. Meanwhile, let’s have a quick look at this benchmark table, which puts this model up against its predecessor and other small vision models. It leads on

[06:20] general vision, reading text and images, chart reasoning, and multi-image test, and beats the smaller coin and LLM models in most rows. It trails on math and a few document test, and the cheaper 16x time mode stays very close to the finer 4x mode. And there you go. For this multilinguality test, it has just um fell flat on its face. You can see it misread the line,

[06:50] merging several lines of the note into one garbled sentence, instead of single line. That is the first failure. And then most of the languages are just English sentences copied or lightly mangled, including various low-resource, high-resource languages. So, the 1 billion cannot read this handwriting reliably or translate beyond a few major languages. And you know what? Even the multilinguality was not that good in its larger sibling.

[07:21] So, let’s try to do another one. You can see that I’m going to give a photo of a school math paper and ask it to find and solve one specific question, which tests reading math notation plus step-by-step reasoning. So, let me quickly give that prompt, and let’s see if it is able to solve it or not. There you go, it has given me the answer. And despite of what Benchmark says, it has got it perfectly right. It used the

[07:51] vertex formula and then picked the option B avoiding the 41 16 trap. So, there is one small slip there around option C, but I think that didn’t affect the answer. So, this is a full pass. Finally, let’s use this image to check out model’s creativity and see if it can do the visual understanding specially around expressions. So, this is again again an AI generated image and I’m asking the model that in two

[08:23] sentences describe what is happening. Invent the funny thing that happened 1 minute before this moment. Give each of the four people a one-line thought bubble that matches their body language. Write a funny newspaper headline for the scene. Let’s see how model deals with this one. And the model seems in a hurry. It only answered the first of the four tasks giving the backstory, thought bubbles,

[08:54] and headline. It also misread the scene saying everyone watched intently when the man was looking down and it missed the laptop. So, look, I think there’s a severe loss loss of performance too, especially when it comes to creativity. With coding and math, it is not bad at all. So, I think for lighter jobs like quick image captions, maybe simple OCR, and um simple coding on device or offline, this could be a good choice, but not for

[09:24] complex reasoning or even a decent enough reasoning or long multi-step instructions. That’s it. Let me know your thoughts about this model. If you want to help out the channel, please become a member. Thank you for all the support.