Um modelo de IA de 1B consegue realmente enxergar? Testei 29 tarefas

Autoria: Zero to MVP · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Can a 1B AI Model Actually See? I Tested 29 Task · Canal: Zero to MVP · 05:59 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Modelos locais e open source, Modelos multimodais

Resumo

O vídeo testa o MiniCPM V4.7, comparando as versões de 1 bilhão e 35 bilhões de parâmetros em 29 tarefas de visão. O modelo menor se saiu bem na leitura de textos e no reconhecimento de objetos, mas teve dificuldades com comparação de imagens, gráficos e algumas tarefas de raciocínio. Ele surpreendeu ao acompanhar eventos em vídeo e conseguiu completar 9 de 12 tarefas no navegador. No balanço final, passou consistentemente em 14 tarefas, contra 25 do modelo maior, e pode ser útil para tarefas visuais locais menos exigentes.

Pontos-chave

O MiniCPM V4.7 de 1 bilhão de parâmetros foi testado em 29 tarefas, divididas em seis níveis de dificuldade e repetidas três vezes.
O modelo menor leu textos, números em capturas de tela, escrita manual e tabelas; também converteu uma tabela para CSV sem errar os números.
Ele reconheceu objetos individuais, mas teve dificuldade para comparar imagens e identificar corretamente qual objeto havia sido removido.
Em gráficos e diagramas, o modelo menor cometeu erros, enquanto a versão de 35 bilhões de parâmetros resolveu essas tarefas.
Os dois modelos acompanharam corretamente a sequência de eventos em um vídeo e perceberam o desaparecimento de um isqueiro.
O modelo menor completou 9 de 12 tarefas no navegador; a versão maior completou todas as 12.
Em 10 tarefas desafiadoras, a versão 4.6 não passou em nenhuma, enquanto a 4.7 passou em cinco.
O modelo de 1 bilhão de parâmetros passou consistentemente em 14 das 29 tarefas; o de 35 bilhões passou em 25.
A compressão de informações visuais em até 16 vezes pode reduzir o uso de recursos com uma perda relativamente pequena de precisão.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do teste e leitura de textos	O vídeo apresenta o MiniCPM V4.7 e mostra que o modelo pequeno lê vários tipos de texto, mas tem dificuldade para localizar informações específicas.
01:34	Reconhecimento de objetos	O modelo identifica objetos em imagens, mas erra ao comparar cenas e determinar qual objeto foi removido.
02:42	Raciocínio e compreensão de vídeo	O modelo tem dificuldades com algumas perguntas sobre dados, mas surpreende ao acompanhar a sequência de eventos em vídeo.
03:51	Ações no navegador e comparação de versões	O modelo pequeno completa parte das tarefas no navegador, e o vídeo destaca a compressão visual e os avanços da versão 4.7 sobre a 4.6.
04:55	Resultados finais e usos recomendados	O apresentador compara o desempenho total das duas versões e aponta tarefas locais para as quais o modelo de 1 bilhão de parâmetros pode ser útil.

Citações

O modelo pequeno consegue ler texto, mas encontrar o texto certo é outra história. — 01:03

Até o modelo pequeno identificou corretamente a sequência e percebeu quando o isqueiro desapareceu. — 03:15

Para minha surpresa, ele consegue enxergar mais do que eu esperava. — 04:55

Um bilhão de parâmetros já pode ser bastante útil. — 05:26

Conceitos e entidades

MiniCPM-V 4.7 (modelo): Modelo de visão avaliado no vídeo em versões de 1 bilhão e 35 bilhões de parâmetros.
MiniCPM V4.6 (modelo): Versão anterior comparada à 4.7 em 10 tarefas desafiadoras.
OpenBMB (empresa): Organização associada ao MiniCPM V4.7, escolhido para os testes.
Raspberry Pi (ferramenta): Computador compacto citado como possível dispositivo para executar um modelo pequeno.
CSV (conceito): Formato para o qual o modelo converteu uma tabela durante os testes.
Compressão de informações visuais (conceito): Técnica que, segundo o vídeo, permite comprimir informações visuais em até 16 vezes com pouca perda de precisão.

Tradução completa (pt-BR)

00:00 Este modelo de IA é tão pequeno que pode rodar em um celular ou até mesmo em um Raspberry Pi. Mas será que ele realmente entende o que vê? Nos meus testes, ele entendeu o que estava acontecendo em um vídeo e até controlou um navegador. Mas, quando um par de óculos desapareceu de uma mesa, ele não percebeu. Então, testei o MiniCPM V4.7 com 29 tarefas para descobrir o que um modelo de 1 bilhão de parâmetros realmente consegue fazer. E alguns resultados me surpreenderam. Para os testes, eu

00:30 escolhi o novo MiniCPM V4.7 da OpenBMB. Vou comparar duas versões: uma pequena, com 1 bilhão de parâmetros, e uma maior, com 35 bilhões. Todas as tarefas estão divididas em seis níveis de dificuldade, e executo cada uma três vezes. Vamos começar com tarefas simples e terminar com aquelas que até modelos grandes podem ter dificuldade para realizar. Então, nível um. Aqui, estou testando o quanto o modelo consegue ler textos, números em uma captura de tela do GitHub, minha caligrafia e tabelas de um artigo de pesquisa

01:03 científica. E o modelo pequeno lê tudo isso com confiança. Ele até converteu uma tabela em CSV sem errar nenhum número. [limpa a garganta] Mas, quando pedi que encontrasse uma tabela específica entre várias semelhantes, o modelo simplesmente transcreveu metade da página. Nenhum dos modelos conseguiu ler corretamente o texto minúsculo em um SSD. Então, quais são as conclusões após o primeiro grupo de testes relacionados à leitura? Minha conclusão é a seguinte: o modelo pequeno consegue ler textos, mas encontrar o texto certo é outra história.

01:34 Certo, vamos ao nível dois. Aqui, estou testando o quanto o modelo consegue identificar objetos com precisão. Ele contou corretamente oito objetos sobre a mesa. Também encontrou o botão em forma de estrela em uma captura de tela. Mas, quando tirei os óculos da mesa, o modelo decidiu que o pente tinha desaparecido. Já o modelo grande realizou a tarefa sem problemas. E chamou de cinza uma barra de espaço amarelo-vivo no teclado. Mais uma vez, o modelo maior não teve problemas com isso. E é aqui que as coisas ficam interessantes. O modelo consegue

02:07 reconhecer objetos individualmente, mas comparar imagens é muito mais difícil para ele. Agora, nível três: compreensão de gráficos e diagramas. Quando um valor está identificado diretamente acima de uma barra, o modelo o lê corretamente. Mas, quando precisa determinar um número com base na posição dele em um gráfico, começam os problemas. Dos 32 valores em um gráfico diário, identificou apenas 13 corretamente. Em um mapa de calor, respondeu 26 em vez de 89 nas três tentativas. E errou o diagrama Mermaid. O modelo maior, com 35 bilhões de parâmetros,

02:42 realizou todas essas tarefas. Certo, vamos em frente. Nível quatro: raciocínio. O modelo pequeno consegue calcular a diferença entre dois números em uma tabela, mas, quando pedi que identificasse os dias com menos visualizações, obtive três respostas diferentes nas três execuções. E a tarefa de determinar quantas horas tiveram zero visitantes acabou sendo difícil demais para os dois modelos. Agora, vamos à parte mais interessante e desafiadora: vídeo. Gravei um vídeo em que coloquei objetos sobre uma mesa e depois tirei um

03:15 isqueiro. O modelo precisa não só reconhecer os objetos, mas também reconstruir a sequência de acontecimentos. E era aqui que eu esperava que ele falhasse, mas os dois modelos foram bem-sucedidos. Até o modelo pequeno identificou corretamente a sequência e percebeu quando o isqueiro desapareceu. No entanto, nenhum dos modelos conseguiu identificar corretamente o estojo dos AirPods, embora ambos tenham conseguido acompanhar o objeto em si. Aliás, o teste com vídeo me surpreendeu de forma positiva, e os resultados foram inesperados. Para um modelo com 1 bilhão de parâmetros, esse é um resultado impressionante e inesperado. E, por fim, nível seis. Aqui, os modelos

03:51 precisam executar uma ação específica. Agora, vamos testar se o modelo consegue fazer mais do que apenas olhar para as coisas e realmente tomar uma ação. O modelo pequeno gerou uma chamada de função quase correta com base em uma captura de tela, mas deixou de fora o proprietário do repo, então a chamada não funcionaria. No entanto, no navegador, conseguiu abrir as seções, notas e projetos corretos em nove de 12 tarefas. Todos os erros estavam relacionados a rolar a página para baixo e encontrar um link. O modelo maior concluiu as 12 tarefas com sucesso.

04:25 Aliás, o MiniCPM-V permite comprimir informações visuais em até 16 vezes, economizando recursos com uma perda de precisão relativamente pequena. Não é uma troca ruim para hardware de baixo consumo. Também comparei a nova versão 4.7 com a versão anterior, 4.6. Em 10 tarefas desafiadoras envolvendo gráficos, diagramas e um agent de IA, a versão antiga não passou em nenhuma, mas a nova passou em cinco. É uma grande melhoria. Certo, acho que

04:55 está na hora de concluir. Então, quanto um modelo de 1 bilhão de parâmetros realmente consegue ver? Para minha surpresa, mais do que eu esperava. Das 29 tarefas, o modelo pequeno passou consistentemente em 14, e o modelo maior, com 35 bilhões de parâmetros, passou em quase todas: 25 de 29. E minha principal conclusão deste teste é a seguinte: se você precisa ler documentos localmente, reconhecer objetos, analisar capturas de tela simples ou acompanhar o que está acontecendo em um vídeo, 1 bilhão de

05:26 parâmetros já pode ser bastante útil, e você pode fazer tudo isso diretamente no seu dispositivo, sem enviar suas imagens para a nuvem. Mas, se você precisa de alta precisão, especialmente ao analisar gráficos, documentos ou trabalhar com um agent de IA, 1 bilhão de parâmetros ainda não é suficiente. Nesses casos, faz sentido recorrer a um modelo maior. Vou deixar na descrição os links oficiais dos dois modelos MiniCPM v2.7. Experimente-os, explore o repo e veja como se saem nas suas próprias tarefas. E, se você gosta de testes de modelos de IA no mundo real

05:59 como este, inscreva-se no canal e na minha newsletter semanal. Até breve. Fique bem.

Transcrição original

[00:00] This AI model is so small that it can potentially run on a phone or even a Raspberry Pi. But can it actually understand what it sees? In my tests, it understood what was happening in a video and even controlled a browser. But when a pair of glasses disappeared from a table, it failed to notice. So, I put MiniCPM V4.7 to the test with 29 tasks to find out what a 1 billion parameter model can really do. And some of the results surprised me. For testing, I

[00:30] chose the new MiniCPM V4.7 from OpenBMB. I will compare two versions, a small one with 1 billion parameters and a larger one with 35 billion. All tasks are divided into six difficulty levels and I run each task three times. We will start with simple tasks and finish with the ones that even large models might struggle with. So, level one. Here, I am testing how well the model can read text, numbers in a GitHub screenshot, my handwriting, tables from a research

[01:03] paper. And the small model reads all of them confidently. It even converted a table to CSV without making any mistakes in the numbers. [clears throat] But when I asked it to find a specific table among several similar ones, the model simply transcribed half the page. Neither model could correctly read the tiny text on an SSD. So, what are the conclusions after the first group of reading related tests? My conclusion is as follows. The small model can read text, but finding the right text is a different story.

[01:34] Okay, moving on to level two. Here, I am testing how accurately the model can identify objects. It correctly counted eight objects on the table. It also found the star button in a screenshot. But when I removed the glasses from the table, the model decided that the comb had disappeared. However, the large model handled the task with no problem. And it called a bright yellow space bar on the keyboard gray. And again, no issues with this for the larger model. And this is where things get interesting. The model can

[02:07] recognize individual objects, but comparing images is much harder for it. Now, level three, understanding charts and diagrams. If a value is labeled directly above a bar, the model read it correctly. But when it has to determine a number from its position on a chart, problems start. Out of 32 values on a daily chart, it identified only 13 correctly. On a heat map, it answered 26 instead of 89 all three times. And it got the mermaid diagram wrong. The larger 35 billion parameter model

[02:42] handled all of these tasks. Okay, moving on. Level four, reasoning. The small model can calculate the difference between two numbers in a table, but when I asked it to identify the days with the fewest views, I got three different answers across three runs. And the task of determining how many hours had zero visitors turned out to be too difficult for both models. Now, we are moving on to the most interesting and challenging part, video. I recorded a video where I placed objects on a table and then removed a

[03:15] lighter. The model needs to not only recognize the objects, but also reconstruct the sequence of events. And this is where I expected it to fail, but both models succeeded. Even the small model correctly identified the sequence and noticed when the lighter disappeared. However, neither model could correctly identify the AirPods case, although both managed to track the object itself. By the way, the video test pleasantly surprised me and were unexpected. For a model with 1 billion parameters, that is an unexpectedly impressive result. And finally, level six. Here, the models

[03:51] need to perform a specific action. Now, we will test whether the model can do more than just look at things and actually take action. The small model generated an almost correct function call based on a screenshot, but it left out the repository owner, so the call would not work. However, in the browser, it managed to open the correct sections, notes, and projects in nine out of 12 tasks. All the mistakes were related to scrolling down the page and finding a link. The larger model successfully completed all 12 tasks.

[04:25] By the way, MiniCPM-V supports compressing visual information by up to 16 times, which saves resources with relatively little loss in accuracy. Not a bad trade-off for low-powered hardware. I also compared the new version 4.7 with the previous 4.6. Across 10 challenging tasks involving charts, diagrams, and an AI agent, the older version did not pass a single one, but the new version passed five. That is a major improvement. All right, I think

[04:55] it’s time to wrap things up. So, how much can a 1 billion parameter model actually see? To my surprise, more than I expected. Out of 29 tasks, the small model consistently passed 14, and the larger 35 billion parameter model passed it almost all of them, 25 out of 29. And my main takeaway from this testing is this. If you need to read documents locally, recognize objects, analyze simple screenshots, or track what is happening in a video, 1 billion

[05:26] parameters can already be quite useful, and you can do all of this directly on your device without sending your images to the cloud. But if you need high accuracy, especially when analyzing charts, documents, or working with an AI agent, 1 billion parameters is not enough yet. That is where it makes sense to to a larger model. I’ll leave the official links to both MiniCPM v2.7 models in the description. Try them yourself, explore the repository, and see how they perform on your own tasks. And if you enjoy real-world tests of AI

[05:59] models like this, subscribe to the channel and my weekly newsletter. See you soon. Take care.