MiniCPM-V 4.7 35B-A3B testado localmente: OCR, SQL, física e programação

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: MiniCPM-V 4.7 35B-A3B Tested Locally: OCR, SQL, Physics and Coding · Canal: Fahd Mirza · 09:22 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Modelos de IA, Modelos locais e open source, Modelos multimodais

Resumo

O vídeo testa localmente o MiniCPM-V 4.7, um modelo multimodal com visão, em uma GPU H100 com 80 GB de VRAM. Nos testes, o modelo gera uma animação simples em HTML, corrige uma consulta SQL e interpreta imagens manuscritas com resultados variados em OCR e física. Também é avaliado na tradução de uma manchete para 80 idiomas: acerta a extração do texto, mas comete muitos erros em idiomas menos comuns. A conclusão é que ele é competente para leitura de imagens, raciocínio, SQL e física, mas tem limitações na geração visual por código e em idiomas de poucos recursos.

Pontos-chave

O MiniCPM-V 4.7 é apresentado como um modelo multimodal sob licença Apache 2.0, disponível na variante 35B-A3B e também em uma variante de 1 bilhão de parâmetros.
O modelo pode processar imagens, documentos e vídeos, com opções de compressão de tokens visuais para equilibrar detalhe e custo.
Na máquina do teste, consumiu cerca de 68 GB de VRAM em uma H100 de 80 GB; há versões quantizadas para uso com menos VRAM.
A animação em HTML do bolo de chaminé húngaro incluiu elementos como rotação, brilho e brasas, mas apresentou formas pixeladas e uma representação fraca do fogo.
Na consulta SQL, encontrou o erro que multiplicava os valores das linhas e propôs corrigi-lo com uma verificação EXISTS, sem alterar o restante da consulta.
Na leitura de caligrafia multilíngue, reconheceu bem inglês e indonésio, mas deixou de transcrever uma linha em urdu e interpretou incorretamente palavras riscadas.
No teste de física, transcreveu cinco equações e acertou dois cálculos, mas omitiu algumas áreas da folha e arredondou alguns valores de forma incorreta.
Na tradução de uma manchete para 80 idiomas, extraiu o texto corretamente, mas produziu erros, sobretudo em idiomas menos comuns.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação do MiniCPM-V 4.7	O apresentador descreve as variantes, capacidades visuais, desempenho alegado e requisitos de hardware do modelo.
02:05	Teste de programação e benchmarks	O modelo cria uma animação em HTML de um bolo húngaro, cujo resultado tem detalhes visuais interessantes, mas também imperfeições.
04:09	Correção de SQL e leitura de caligrafia	O modelo corrige uma consulta SQL com um bug plantado e, em seguida, tenta reconhecer texto manuscrito em vários idiomas.
06:13	Raciocínio em física	O teste com equações manuscritas mostra cálculos corretos, mas também omissões e arredondamentos imprecisos.
07:50	Tradução para 80 idiomas e conclusão	O modelo extrai uma manchete de uma página de notícias em português brasileiro e a traduz para 80 idiomas, com erros especialmente nos menos comuns.

Citações

Os desenvolvedores podem trocar detalhe visual por custo. — 00:32

Encontrou o bug plantado e corrigiu a consulta exatamente como eu esperava. — 04:41

Transcreveu cinco equações corretamente e acertou os dois cálculos. — 06:46

É forte em leitura de imagens e raciocínio, bom em SQL e física, mas mais fraco em código visual sofisticado e idiomas de poucos recursos. — 09:22

Conceitos e entidades

MiniCPM-V 4.7 (modelo): Modelo multimodal com visão testado em tarefas de programação, SQL, leitura de imagens, física e tradução.
H100 (ferramenta): GPU com 80 GB de VRAM usada para executar o modelo no teste.
Apache License 2.0 (conceito): Licença sob a qual, segundo o vídeo, o modelo foi lançado.
SQL Server (ferramenta): Sistema de banco de dados cuja consulta SQL foi usada no teste de correção de erro.
OCR (conceito): Reconhecimento óptico de caracteres, capacidade avaliada por meio de imagens manuscritas.
Qwen (modelo): Família de modelos citada na comparação de variantes e resultados de benchmark.
Gemma (modelo): Família de modelos mencionada como destaque em programação e seguimento de instruções.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável pelos testes.

Tradução completa (pt-BR)

00:01 O modelo que estou baixando no momento é o MiniCPM-V 4.7. Este modelo foi lançado sob a licença Apache 2. Ele vem em uma variante A3B de 35 bilhões de parâmetros, que é bastante popular desde que a Qwen lançou um modelo semelhante há pouco tempo. Este é o primeiro modelo de mistura de especialistas de toda a série MiniCPM de visão. Eles também lançaram uma variante de 1 bilhão de parâmetros, que vou abordar em seguida.

00:32 Este modelo lida com entendimento de imagens únicas, múltiplas imagens, documentos e vídeos, com compressão de tokens visuais de quatro ou seis vezes, o que significa que os desenvolvedores podem trocar detalhes visuais por custo. O destaque deste modelo é bem interessante. Ele funciona perfeitamente no dispositivo sem perder desempenho, chegando a mais de 13 tokens por segundo em um iPhone, por exemplo. Mas

01:02 é claro que você precisaria usar uma versão quantizada. Eles também relataram que, no modo de instruções, ele chegou a pontuar mais alto que a variante Qwen 3.6 do mesmo tamanho, de 35 bilhões de parâmetros A3B. Esses resultados e números de velocidade são deles. Vamos testá-lo depois que a instalação terminar. Você pode ver que já estou servindo o modelo com o Transformers. Vamos para a próxima etapa. E, a propósito, sou Fad Miraza e dou as boas-vindas ao canal. Inscreva-se também

01:33 nesta newsletter semanal gratuita sobre IA, que você pode assinar em fadmmitza.substack.com. Quanto à GPU e às especificações da minha máquina, deixe-me mostrar rapidamente. No momento, quando executo o NVTop, você pode ver que o modelo está usando cerca de 68 GB de VRAM na minha H100, que tem 80 GB de VRAM. Se você não tiver tanta VRAM, não se preocupe: eles também têm versões quantizadas que você pode instalar com menos VRAM. Se estiver procurando alugar uma GPU ou

02:05 uma máquina virtual por um preço muito bom, você encontra o link para a Mass Compute na descrição do vídeo. Para o primeiro teste de programação, vamos à Hungria. Neste prompt, peço ao modelo que crie um único arquivo HTML para simular um kürtőskalács húngaro girando sobre brasas incandescentes, com o açúcar caramelizando enquanto ele gira. Já enviei esse prompt ao modelo por meio deste script que está em execução. Então, vamos esperar a resposta e

02:36 ver que tipo de habilidades de programação este modelo tem. Enquanto isso, deixe-me falar um pouco sobre esses benchmarks. Os números são bastante claros. Esta versão do MiniCPM não está tentando vencer em tudo. Ela lidera na área de conhecimento chinês e em tarefas de uso de ferramentas por agentes. Fica próxima dos demais em conhecimento geral e supera seu modelo irmão de mesmo tamanho em seguimento de instruções e programação. A Gemma 4 lidera em programação, a propósito, e

03:07 em seguimento de instruções, o que é bastante surpreendente. E o modelo Coin de 27 bilhões de parâmetros se destaca em matemática e em outras coisas, como tool calling. Os números dos benchmarks parecem bastante realistas. Então, vamos ver como o modelo se sai. O arquivo está aqui. Vou abri-lo no navegador para vocês. Vou simplesmente arrastar e soltar. E pronto. Temos uma comida húngara aqui. Está com uma aparência bem boa. O rolo gira com uma ranhura em espiral na

03:39 massa. O sombreamento dourado na direção do lado quente também é um detalhe muito bom. Brasas incandescentes e faíscas subindo. Algumas coisas ainda não estão lá. A massa parece um bloco retangular achatado, sabe? Há muitas faixas de pixels visíveis, o que talvez seja aceitável para um modelo que não gera imagens, mas o verdadeiro problema está no fogo. Eu diria que essas grandes manchas brilhantes

04:09 não parecem realmente um leito de carvão, embora o modelo tenha tentado. Certo, digam o que acham deste resultado e, se vocês forem da Hungria, estou muito interessado em saber a opinião de vocês. No próximo teste, vou fornecer ao modelo uma consulta T-SQL do SQL Server com um bug escondido e pedir que encontre o bug e devolva uma consulta corrigida. Desta vez, não há harness envolvido. Vejam o resultado que o modelo produziu. Depois de pensar por algum tempo, ele

04:41 encontrou o bug inserido, que é o join com a tabela de pagamentos, que multiplica os valores das linhas para pedidos com vários pagamentos liquidados. E aqui está a consulta corrigida, com uma verificação de EXISTS, exatamente como eu esperava. Então, ele passou neste teste com louvor e não alterou o restante da consulta. O seguimento de instruções é muito bom, como eles também mencionaram no model card. Um resultado muito bom. Agora, vamos fazer um teste de visão. Para o teste de visão,

05:12 vou fornecer esta imagem manuscrita, na qual vocês podem ver que escrevi em vários idiomas: um pouco de urdu, árabe, inglês, indonésio e pronto. Também há algumas palavras riscadas. Vamos ver se o modelo consegue identificar os idiomas e extrair estas linhas. Não é um modelo de OCR, mas, ainda assim. Certo. Então, este foi o prompt, esta foi a imagem e este é o

05:43 resultado. Também vou tentar mostrar o resultado — desculpem, a imagem — aqui por um instante. Agora, vejam o resultado. O fato é que ele leu corretamente a escrita em inglês e indonésio. Além disso, identificou esses idiomas e deu um resumo de uma linha, o que parece muito bom. Mas ignorou completamente a linha em urdu e escreveu apenas um marcador entre árabe e urdu, além de ler as palavras rabiscadas antes de “copy” como “D”. Então, há vários erros,

06:13 mas o esforço parece bom. Mas sabem de uma coisa? De um modelo de mistura de especialistas com 35 bilhões de parâmetros, em precisão total, eu esperaria algo melhor, especialmente se eles o estão comparando com o 3.6 anterior na mesma categoria de mistura de especialistas. Vamos fazer outro teste. Certo, vamos tentar outro difícil. Esta é outra equação de física escrita à mão, e estou pedindo ao modelo que a leia. Depois, que resolva três tarefas de raciocínio e cálculo usando o que está nesta folha. Mais uma vez,

06:46 isso vai testar o raciocínio científico e as capacidades matemáticas. Este é o prompt que estou enviando ao modelo, e este é o resultado, que é muito bom. Ele transcreveu corretamente cinco equações e acertou os dois cálculos. Cerca de 500 nanômetros para o pico de VN e também 1 eV para o fotoelétron, com uma derivação clara de E = PC e as constantes indicadas. O que não está certo é que ele identificou apenas

07:18 três áreas gerais e não percebeu as equações de espalhamento Compton e de efeito Doppler relativístico na folha; além disso, arredondou alguns valores incorretamente. Então, este é um teste bastante difícil, e até modelos maiores, de nível avançado, falharam em respondê-lo por completo. Eu diria que a resposta é razoável a boa, mas não a melhor de todas. E aqui está o teste final. Este é sobre multilinguismo. Vou fornecer

07:50 ao modelo uma captura de tela de uma página de notícias em português brasileiro e pedir que encontre uma manchete e a traduza para 80 idiomas. Como vocês podem ver neste prompt, há idiomas que vão do inglês ao gut e ao jargão sem sentido, além de vários outros de todo o mundo. O teste avalia leitura visual e alcance multilíngue, especialmente nos idiomas menos comuns. Também quero agradecer muito a este jornal, de onde obtive este trecho e que estou usando aqui. Vocês podem ver a página inicial na tela. Então, por favor,

08:21 visitem o site. Eles nem sabem disso. Mas agradeço muito por me permitirem usar isto. Já executei o prompt e vocês podem ver o resultado. Ele encontrou e transcreveu a manchete correta e depois apresentou as 80 linhas na ordem, em uma única execução. Então, confiram o idioma de vocês e me digam o que acham da tradução. A estrutura das frases parece boa nos idiomas mais falados, mas há

08:51 vários erros também, com palavras trocadas até em alguns dos idiomas mais falados, e quase todas as traduções para os idiomas menos comuns estão incompreensíveis. Por exemplo, o tailandês voltou em árabe. Caracteres chineses apareceram nas linhas em coreano e grego. Embora seja um modelo chinês, muitas traduções mantêm a palavra inglesa “arbitration”, e algumas línguas acabam sendo cópias de línguas vizinhas, como “fairways” e islandês, que parecem bastante semelhantes. Mas, enfim, me contem a

09:22 opiniões nos comentários. Então, olha, acho que o MiniCPM Vision 4.7 é um bom leitor de imagens e raciocinador em uma única GPU, bom em SQL e física, mas mais fraco em código visual sofisticado e idiomas de poucos recursos. Confira. Me diga o que você acha. Mais uma vez, se quiser ajudar o canal, torne-se membro pelo primeiro comentário fixado ou pela página inicial do canal. Obrigado por todo o

Transcrição original

[00:01] The model which I’m downloading at the moment is mini CPM 4.7 with vision. This model is released under Apache 2. It comes in a 35 billion A3B variant which is quite popular since Quen has released a similar model a little while ago. This one is a first mixture of expert model in this whole mini CBM vision series. They also have released a 1 billion variant which I’m going to cover next.

[00:32] This one handles single image multi-image document and video understanding with mixed four times or six times visual token compression which means that developers can trade visual detail against cost. The headline is quite interesting from this model. This runs smoothly on device without losing performance reaching 13 plus token per second on iPhone for example. But of

[01:02] course you would need to use a quantized version. They have also reported that in the instruct mode it has even scored higher than the quen 3.6 variant in same size of 35 billion A3B. Those performances and speed figures are from them. We are going to test it out after this gets installed. You can see that I’m already serving it with transformer. Let’s proceed to the next step. And by the way, this is Fad Miraza and I welcome you to the channel. Please also

[01:33] subscribe to this free weekly AI newsletter which you can subscribe at fadmmitza.substack.com. For the GPU and my machine specs, let me quickly show you. So at the moment when I run NV top you can see that it is consuming around 68 gig of VRAM on my H100 with 80 GB of VRAM. If you don’t have that much VRAM don’t worry they also have quantized versions you can install it with lesser VRAM. If you’re looking to rent a GPU or

[02:05] VM on very good price you can find the link to mass compute in video description. For the first coding test, let’s go to Hungary. In this prompt, I am asking this model to create me a single HTML file to simulate a Hungarian chimney cake turning over glowing charcoal with the sugar caramelizing as it rotates. I have already sent this prompt to the model through this script which is running. So, let’s wait for it to come

[02:36] back and we will see what sort of coding skills this model has got. While that happens, let me talk a bit around these benchmarks. The numbers are quite clear. This minium version is not trying to win everything. It leads the field on Chinese knowledge and on agentic tool use tasks. Stays close to the pack on general knowledge and beats its same size sibling on instruction falling and coding. Gemma for leads on coding by the way and

[03:07] instruction falling, which is quite surprising. And the 27 billion coin model take math and few other stuff like tool calling. The benchmark numbers looks quite realistic. So let’s see how model performs. So the file is here. Let me open it in front of you in the browser. I’m just going to drag and drop. And there you go. We have some Hungarian food here. Looks quite good. The roller rotates with a spiral groove on the

[03:39] dough. Golden shading towards the hot side which is also quite a good touch. Glowing coals and the rising sparks. Few things are also not there yet. The dough looks like a flat blocky rectangle with you know there are lot of visible pixel bands which may be okay for a non-image generation model but the real problem is around the fire. I would say because these big glowing blobs uh are

[04:09] not really a charcoal bed model has tried though. Okay, so let me know what do you think about this result and if you are from Hungary really keen to know your thoughts for the next one. I am giving this model a TSQL query from SQL server with one hidden bug and ask it to find the bug and return a corrected query. No harness is involved this time and look at the result which the model has produced. After thinking for some time, it has

[04:41] found the planted bug which is the payment join that multiplies lines amounts for orders with several settled payments. And then this is a fixed query with an exist check exactly as I was expecting. So it has really passed this test with flying color and it hasn’t changed the rest of the query. So instruction following is really good which they also mentioned in their model card. So really good result. Now let me do a vision test. For the vision test

[05:12] I’m going to give it this handwritten image where you can see that I have various languages from bit of an udu, Arabic, English, Indonesian and uh that’s it. So and then there are some crossed out words too. So let’s see if the model is able to pick the languages and can extract these lines. It’s not an OCR model but still. Okay. So again this was the prompt and this was the image and this is the

[05:43] result. I’ll also try to display the result sorry the image here for a bit. Now look at the result. The thing is that it has read the English and Indonesian handwriting accurately. Not only that, it has named those languages and gave the oneline summary as as which looks pretty good. But it totally skipped udu line and wrote only a placeholder hashed between Arabic and Uru and read the scribbled words before copy as D. So there are various mistakes

[06:13] but the effort looks good. But you know what from a 35 billion parameter mixture of expert model in full precision I would expect better especially if they are comparing it with the older 3.6 in the same uh mixture of expert category. Let’s do another test. Okay, let’s do another hard one. This is another handwritten physics equation and I’m asking the model to read it. Then solve three reasoning and calculation task using what is on this sheet. Again,

[06:46] this is going to test the scientific reasoning plus math capabilities. This is the prompt which I am handing over to the model and this is the result which is quite good. It transcribed five equations correctly and got both calculations right. About 500 nanometer for the VN peak and also one EV for the photoeleron with a clean E is equal to PC derivation and the constants stated. What is not right is that it named only

[07:18] three broad areas and missed the Compton scattering and relativistic Doppler equations on the sheet and it rounded few figures wrongly. So that is it is quite a hard one and even larger hu fable you know grade models have uh failed to answer it fully. So I would say that it is fair to good answer if not the greatest of all time. And the final test is here. This is all about multilinguality. I’m going to give

[07:50] the model a screenshot of a Brazilian Portuguese news page and ask it to find one headline and translate into 80 languages. As you can see in this prompt from English to gut and gibberish and various others from across the globe. It tests vision reading plus multilingual range especially the rarer languages. Also a big big thank you to this newspaper where I have gotten this clip and this is what I’m using. You can see their homepage on the screen. So please

[08:21] do visit them. They don’t even know about this. So but thank you so much for letting me use this. Now I already have run this prompt and you can see the result. It has found and transcribed the right headline then delivered all 80 lines in order in one pass. So please check your language and let me know what do you think about the translation. So the sentence structure um looks okay in major languages but it you know there

[08:51] are various mistakes there too where it has mixed up the words even in some of the major languages and the rare languages have almost all of them are broken down. For example, Thai came back in Arabic. Chinese characters leaked into the Korean and Greek lines. Though it’s a Chinese models, many index indices keep the English word arbitration and some languages are copies of their neighbors such as fairways and Icelandic seems quite similar. But anyway, let me know your

[09:22] thoughts in the comments. So look, I think Min CPM uh Vision 4.7 is a strong image reader and reasoner on a single GPU, good at SQL and physics, but weaker at fancy visual code and low resource languages. Check it out. Let me know what do you think. Again, if you want to help out the channel, please become a member from the first pinned comment or from the homepage of channel. Thank you for all the