Amos 1 Small: 69,5% de precisão, zero tokens e 5 GB de VRAM

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Amos 1 Small: 69.5% Accurate, Zero Tokens, 5 GB VRAM · Canal: Prompt Engineer 48 · 08:16 · Assistir no YouTube

Tópicos: Agentes de IA, Automação de tarefas e workflows, Avaliação e benchmarks de IA, Modelos locais e open source, Modelos multimodais

Resumo

O vídeo testa o Amos 1 Small, um modelo de pesos abertos que responde a perguntas estruturadas com probabilidades, sem gerar texto. O apresentador avalia as alegações do cartão do modelo e mede o uso de memória e a latência ao executá-lo localmente em um laptop com RTX 4060 e 8 GB de VRAM. Nos testes, o modelo identifica evidências em solicitações de seguro, sinaliza uma ação destrutiva de um agent, analisa uma imagem e encaminha chamados de suporte. O apresentador destaca que avaliações com notas e localização precisa em imagens são limitações, e recomenda encaminhar respostas de baixa confiança a uma pessoa.

Pontos-chave

O Amos 1 Small responde a perguntas tipadas — como sim ou não, escolha entre opções, pontuação, citação e localização em imagem — com probabilidades para as respostas permitidas.
Segundo o cartão do modelo, o Amos 1 Small obteve 69,5% em 2.000 decisões de quatro workflows que não fizeram parte do treinamento.
O modelo ocupa 4,24 GB para download e usa pouco mais de 5 GB de VRAM no laptop testado, que tem 8 GB.
Em 30 solicitações locais, a latência mediana foi de 187 ms; a alegação de 48 ms refere-se a uma medição do lado do servidor.
Em um teste de encaminhamento de chamados, nove de dez foram direcionados corretamente; o apresentador ressalta que a amostra é pequena.
Uma resposta com baixa confiança pode ser encaminhada a uma pessoa, em vez de o sistema tomar uma decisão incerta.
O modelo teve desempenho fraco na avaliação de severidade e produziu uma caixa imprecisa ao localizar um controle remoto na imagem.
Os testes em espanhol e hindi foram limitados a uma única solicitação simples e não comprovam desempenho geral nesses idiomas.

Capítulos

Início	Capítulo	Resumo
00:00	Como o Amos 1 responde sem gerar texto	O apresentador explica o formato de perguntas tipadas e probabilidades do modelo e apresenta os tamanhos disponíveis.
01:01	Alegações e limitações do cartão do modelo	O vídeo examina os resultados publicados, compara modelos e destaca limitações, licença e alegações de velocidade.
02:02	Playground e execução local	O apresentador demonstra como a evidência altera uma resposta e configura o Amos 1 Small no laptop para medir memória e latência.
04:06	Testes com evidências, imagens e chamados	O modelo é avaliado em um caso de seguro, uma ação destrutiva de um agent, uma imagem e dez chamados de suporte.
07:13	Teste multilíngue e casos de uso	O apresentador testa uma solicitação simples em outros idiomas e resume para quem o modelo pode ser útil e quais são suas limitações.

Citações

Ele não escreveu uma única palavra. — 00:00

A resposta é um número, e o número reage às evidências. — 02:32

Para níveis de severidade, eu não o deixaria decidir sozinho. — 05:10

Defina um limite, por exemplo 0,8, e este caso vai para uma pessoa. — 06:43

Conceitos e entidades

Amos 1 Small (modelo): Modelo de pesos abertos testado no vídeo para responder a perguntas estruturadas com probabilidades.
Amos 1 (modelo): Família de modelos apresentada como alternativa a modelos de chat, com respostas em formatos tipados.
Decision Index (conceito): Avaliação citada no vídeo cuja parte pública atribui ao Amos 1 Small a pontuação de 31,92.
Apache License 2.0 (conceito): Licença indicada no cartão do Amos 1 Small.
RTX 4060 (modelo): GPU do laptop usado para executar o modelo localmente.
Python (ferramenta): Linguagem usada para criar o ambiente de execução local do modelo.
UV (ferramenta): Ferramenta usada no vídeo para configurar um ambiente Python.
PyTorch (ferramenta): Biblioteca instalada para executar o modelo com suporte a CUDA.
NVIDIA-SMI (ferramenta): Utilitário usado para observar o uso de memória da GPU durante a execução.
RunPod (empresa): Serviço mencionado pelo apresentador em uma observação patrocinada sobre GPUs.

Tradução completa (pt-BR)

00:00 Um agent de IA acabou de excluir um banco de dados de produção. Este modelo leu toda a execução e codificou o comando exato que fez isso. Confiança: 0,9997. E veja aqui a linha de uso: zero tokens de saída. Ele não escreveu uma única palavra. Respondeu em 380 milissegundos neste laptop. Oi, sou engenheiro de prompts. Vamos ver como um modelo responde sem falar. Este é o Imos 1, de imos.zero.ai. É uma família de modelos de pesos abertos, e a ideia é um pouco diferente da de um modelo de conversa. Você fornece um caso, que pode ser texto, JSON ou uma

00:30 foto, e uma lista de perguntas tipadas. Cada pergunta pode ser de sim ou não, escolher uma opção, escolher várias opções, dar uma nota, citar ou apontar algo em uma foto. E o que você recebe é uma probabilidade para cada resposta permitida. Nenhuma frase para analisar, nenhum JSON inválido. Há quatro tamanhos. O Large tem 27 bilhões de parâmetros, o Medium tem nove, o Small tem dois e o Mini tem meio bilhão. O Mini é o padrão na API hospedada. Vamos usar o Small porque a página do modelo diz que ele funciona em uma GPU de 8 GB, e é exatamente isso que eu

01:01 tenho neste laptop. A ideia é que seu código possa agir com base nas respostas confiáveis e encaminhar as incertas para uma pessoa. Então, ele foi criado para alto volume, para coisas como solicitações de seguro, tickets de suporte e supervisão de agents. Agora, antes de confiar em qualquer uma dessas alegações, vamos ler o que a página realmente afirma. Este é o cartão do modelo Imos 1 Small. A tabela principal é sobre decisões tipadas: 2.000 decisões de quatro workflows nos quais ele nunca foi treinado. O Imos 1 Small alcança 69,5%. Veja as linhas abaixo. O Microsoft

01:31 Decision 1 chega a 79,5, e esse modelo tem pesos fechados. O Decider 1 chega a 76,8, mas o próprio cartão diz que esse número foi informado pelos criadores, não verificado em uma nova execução. O Claf, da Cloudflare, chega a 72,5, então o Small fica atrás de todos eles nesta tabela. A parte pública do Decision Index indica 31,92, e o cartão diz que a classificação oficial também usa testes privados, executados apenas pelos responsáveis pelo índice. Então, considere esse número parcial. E as limitações estão escritas bem ali: fica sete pontos atrás do Medium, é mais fraco em conhecimento geral,

02:02 as avaliações são suas respostas menos confiáveis, e só funciona em inglês. A licença é Apache 2.0. É uma licença clara, e prefiro uma seção honesta sobre limitações a uma página de propaganda, qualquer dia. Há mais uma alegação para verificar depois: 48 milissegundos. Guardem esse número, porque vou medi-lo. Antes de instalar qualquer coisa, a página tem um ambiente de testes, então vamos usá-lo primeiro. Escolhi o caso de solicitação de seguro à direita. Dá para ver uma barra de probabilidade para cada pergunta. A pergunta aqui é: “O que deve acontecer com esta solicitação agora?” No momento, a resposta mais provável é pedir

02:32 o boletim, com 58%. A apólice diz: “Solicitações de terceiros precisam do número do boletim de ocorrência.” Agora, seleciono essa frase — a linha da apólice — e a excluo. E dá para ver que a resposta mais provável muda para equipe médica, com 82%. Os tokens caíram de 713 para 693. Esse gesto resume o produto inteiro. A resposta é um número, e o número reage às evidências. Isso roda no servidor deles, então a velocidade aqui não me diz nada sobre a minha máquina. A página do modelo também diz que o modelo Small entra em suspensão após duas horas sem uso e leva

03:04 cerca de 2 minutos para voltar. Então, se você experimentar o modelo Small hospedado e ele ficar parado, é por isso. Certo, vamos rodá-lo localmente. Agora, atenção: tudo daqui em diante está rodando neste laptop com RTX 4060 e 8 GB de VRAM. Primeiro, os pesos: são 4,24 GB com o download do HF. Depois, crio um ambiente Python 3.12 com UV, porque o pacote exige Python 3.12 e PyTorch 2.14. Instalo o torch para CUDA 13 e, em seguida, instalo a pasta serve que vem dentro do repo do modelo.

03:35 E então iniciamos o servidor. Carregar os pesos leva cerca de 6 segundos e, se você olhar o NVIDIA SMI, verá que o uso fica um pouco acima de 5 GB, então cabe em 8 GB, com espaço sobrando. Depois, o exemplo com curl do README. Uma coisa me pegou de surpresa aqui. Depois que o servidor ficou parado por um tempo, a primeira chamada levou 6,9 segundos, e depois voltou ao normal. E, quando chamo localhost, cada solicitação leva cerca de 350 milissegundos. A mesma solicitação para 127.0.0.1 levou cerca de 120. Acho que o Windows está

04:06 tentando IPv6 primeiro, então, no Windows, use o endereço IP. O teste um é o exemplo do README: cobrança duplicada na fatura e três perguntas sobre o cliente que está pedindo reembolso. 0,969; qual equipe, cobrança: 0,957; quão urgente, hoje: 0,941. Agora, a velocidade. Envio essa mesma solicitação 30 vezes. A mediana é 187 milissegundos. O mais rápido foi 157 e o mais lento, 215. Então, aquela alegação de 48 milissegundos se refere ao servidor. E, no meu laptop, leva cerca de

04:38 quatro vezes mais. A primeira solicitação levou 1,6 segundo por causa da inicialização a frio. Depois, na solicitação de seguro com uma frase sobre a fatura do encanador anexada como evidência, o resultado é 0,967. Removo apenas essa frase, e cai para 0,294. A resposta à pergunta “pagar sem revisão” passa de 0,307 para 0,192. Então, ele lê as evidências, não apenas o tema. O teste dois é aquele do começo. Três etapas sequenciais de um agent instruído a limpar tabelas de staging. A terceira etapa é excluir o banco de dados de clientes de produção. Ação destrutiva:

05:10 0,91. Acionar uma pessoa: 0,874. E a citação, exatamente aquele comando, em 380 milissegundos. Mas é aqui que quero ser honesto. Também pedi uma avaliação de gravidade, de inofensivo a crítico. Ele atribuiu 60% a grave e apenas 22% a crítico: excluir um banco de dados de produção sem backup nem aprovação, e o modelo diz “grave”. Então, para níveis de gravidade, eu não o deixaria decidir sozinho, o que condiz com o cartão, que diz que as avaliações são seu ponto mais fraco. E, quando removo a etapa de excluir o banco de dados, a resposta “ação destrutiva” fica em

05:41 0,59, e “acionar uma pessoa”, em 0,42. Ele não tem certeza, e deixa isso claro. Isso é útil porque esse é o caso que você encaminha para uma pessoa. Teste três: uma foto com dois gatos em um sofá, a imagem de teste padrão do Coco. Há um gato? 0,977. Há um cachorro? 0,033. Certo. Depois, peço que aponte o controle remoto. Ele me dá uma caixa, e dá para ver a caixa vermelha aqui. Ela fica sobre o controle remoto à direita, mas é imprecisa e corta a cabeça do gato; a confiança é 0,49. Então, apontar

06:12 funciona mais ou menos, não com precisão, nesta imagem. Uma foto não é um benchmark. Então, os 97% do cartão no Coco continuam sendo apenas uma alegação. Não repeti o teste. E a pergunta sobre a foto levou cerca de 1 segundo. O teste quatro é o que mais me importa, porque representa o uso real. Escrevi 10 tickets de suporte, eu mesmo, para três equipes: cobrança, suporte técnico e vendas. Envio cada um ao servidor, um após o outro. Nove de 10 são encaminhados corretamente. O lote inteiro levou 2 segundos, cerca de 203 milissegundos cada. Agora, veja aquele que ele errou. Ticket nove: “Posso receber uma cotação para cobrança anual em três departamentos?” Eu classifiquei como vendas. Ele disse cobrança, mas a confiança foi de 0,688, a menor do lote; a segunda menor foi 0,783. Então, é exatamente assim que o cartão diz que você deve usá-lo. Defina um limite, digamos 0,8, e este ticket vai para uma pessoa, em vez de para a equipe errada. 10 tickets é uma amostra pequena, então não interprete isso como uma medida de precisão. É uma demonstração da confiança cumprindo sua função. Mais uma verificação. O cartão diz que funciona apenas em inglês, então peguei o mesmo ticket sobre cobrança duplicada e o escrevi em

06:43 espanhol, em hindi com letras do alfabeto latino e na escrita devanágari. Os três foram classificados como cobrança, com 0,952, 0,919 e 0,924. Então, neste ticket simples, funcionou. Isso significa que o cartão está errado? Não. Três frases sobre o tipo de ticket mais fácil não provam nada sobre casos mais difíceis, e os autores só fizeram testes em inglês. Eu testaria seu próprio idioma com seus próprios dados antes de confiar nele. Então, para quem é isso? Se você está criando algo que precisa tomar muitas decisões de sim, não ou escolher uma opção, como encaminhar tickets ou sinalizar

07:13 Em espanhol, em hindi com letras inglesas e na escrita devanágari. As três voltaram com cobranças de 0,952, 0,919 e 0,924. Então, nesse ticket simples, funcionou. Isso significa que a tabela está errada? Não. Três frases do tipo de ticket mais fácil não provam nada sobre casos mais difíceis, e os autores só testaram em inglês. Eu testaria seu próprio idioma com seus próprios dados antes de confiar nisso. Então, para quem isso serve? Se você está criando algo que precisa fazer muitas escolhas de sim, não ou selecionar uma opção, como encaminhar tickets ou sinalizar

07:45 execuções arriscadas de agents, e você quer um número por resposta, sem análise de texto, o Amos 1 Small em uma única placa de 8 GB é uma opção real. 5 GB de VRAM, cerca de um quinto de segundo. Para quem não é? Para qualquer coisa que precise escrever, explicar ou raciocinar usando palavras. Para qualquer coisa que não seja em inglês. E eu não o usaria sozinho para classificar níveis de gravidade ou para caixas delimitadoras precisas em fotos. Em seguida, quero testar o modelo médio com este mesmo arquivo de teste e ver se esses sete pontos aparecem no caso do agent. Me conta nos comentários se você quer isso. Se estiver procurando GPUs baratas e confiáveis, eu uso RunPod, e o

08:16 link está na descrição. Então, neste vídeo, executamos o Amos 1 Small em um laptop e fizemos medições. Se tiver interesse, pode experimentá-lo no seu próprio sistema e me contar como foi. Vejo você em outro vídeo. Confira o próximo vídeo.

Transcrição original

[00:00] An AI agent just deleted a production database. This model read the whole run and coded the exact command that did it. Confidence 0.9997. And look at the usage line here, output tokens zero. It did not write a single word. It answered in 380 milliseconds on this laptop. Hi, I’m prompt engineer. Let’s see how a model answers without talking. This is Imos 1 from imos.zero.ai. It’s a family of open weight models and the idea is a bit different from a chat model. You hand it a case that can be text, JSON, or a

[00:30] photo, and you hand it a list of typed questions. Each question is a yes, no, a pick one, a pick many, a score, a quote, or a point on a photo. And what comes back is a probability for every answer you allow. No sentence to parse, no broken JSON. There are four sizes. Large is 27 billion parameters, medium is nine, small is two, and mini is half a billion. Mini is the default on the hosted API. We are going to use small because the model page says it runs on an 8 GB GPU, and that is exactly what I

[01:01] have in this laptop. The point is that your code can act on the confident answers and send the uncertain ones to a person. So, it’s built for volume, things like insurance claims, support tickets, and agent supervision. Now, before I trust any of that, let’s read what the page actually claims. This is the model card for Imos 1 small. The headline table is typed decisions. 2,000 decisions from four workflows it never trained on. Imos 1 small gets 69.5%. Look at the rows below it. Microsoft

[01:31] Decision 1 is at 79.5, and that one has closed weights. Decider 1 is at 76.8, but the card itself says that number is from its makers, not rerun. Claf from Cloudflare is at 72.5, so small is behind all of them on this table. The decision index public part says 31.92, and the card says the official ranking also uses private tests that only the board maintainers run. So, treat that number as partial. And the limits are written right there. Seven points behind medium weaker on broad knowledge,

[02:02] ratings are its least reliable answers, and English only the license is Apache 2.0. That’s a clean license, and I’ll take an honest limit section over a hype page any day. One more claim to check later, 48 milliseconds. Hold on to that number because I’m going to measure it. Before I install anything, the page has a playground, so let’s use it first here. I picked the insurance claim case on the right. You can see a probability bar for each question. The question here is, “What should happen to this claim next?” Right now, the top answer is ask

[02:32] for report at 58%. The policy says, “Third-party claims need a police report number.” Now, I select that one sentence, the policy line, and delete it. And you can see the top answer flips to medical team at 82%. 713 tokens became 693. That’s the whole product in one gesture. The answer is a number, and the number reacts to the evidence. This runs on their server, so the speed here tells me nothing about my own machine. The model page also says the small model sleeps after two idle hours and takes

[03:04] about 2 minutes to wake. So, if you try the hosted small model, and it hangs, that’s why. Okay, let’s bring it local. Now, the local run, mind you, everything from here on is running on this RTX 4060 laptop with 8 GB of VRAM. First, the weights, it’s 4.24 GB with HF download. Then, I make a Python 3.12 environment with UV because the package pins Python 312 and PyTorch 2.14. I install torch for CUDA 13, and then I install the serve folder that comes inside the model

[03:35] repo. And then, we start the server. Loading weights takes about 6 seconds, and if you look at NVIDIA SMI, it sits at just over 5 GB used, so it fits on 8 GB with room left. Then, the Readme’s curl example. One thing tripped me up here. After the server sat idle for a while, the first call took 6.9 seconds, and then it was back to normal. And when I call localhost, each request took about 350 milliseconds. The same request to 127.0.0.1 took about 120. I think Windows is

[04:06] trying IPv6 first, so on Windows, use the IP address. Test one is the example from their readme, and invoice charge twice and three questions is the customer asking for a refund. 0.969, which team billing 0.957, how urgent today 0.941. Now, the speed. I send that same request 30 times. The median is 187 milliseconds. The fastest is 157, and the slowest is 215. So, that 48 millisecond claim is a server-side number. And on my laptop, it’s about

[04:38] four times that. The very first request took 1.6 seconds because of the cold start. Then, the insurance claim with a plumber’s invoice sentence in evidence attached is 0.967. I cut just that sentence, and it falls to 0.294. The pay without review question moves from 0.307 to 0.192. So, it reads the evidence, not just the topic. Test two is the one from the start. Three sequel steps from an agent that was told to clean up staging tables. The third step is drop database production customers. Destructive action

[05:10] 0.91. Page a human 0.874. And the quote, exactly that command, in 380 milliseconds. But here’s where I want to be honest. I also asked for a severity, harmless to critical. It put 60% on serious and only 22% on critical deleting a production database with no backup and no approval, and the model says serious. So, for severity levels, I would not let it decide alone, which matches the card saying ratings are its weakest. And when I remove the drop database step, the destructive answer is

[05:41] 0.59, and page a human is 0.42. It’s not sure, and it says so. That’s useful because that’s the case you send to a person. Test three, a photo, two cats on a couch, the standard Coco test image. Is there a cat? 0.977. Is there a dog? 0.033. Fine. Then I ask it to point at the remote control. It gives me a box and you can see the red box here. It lands on the remote on the right, but it’s loose and it clips the cat’s head and its confidence is 0.49. So, pointing

[06:12] works roughly, not precisely, on this one image. One photo is not a benchmark. So, the card’s 97% on Coco is still a claim. I haven’t repeated. And the photo question took about 1 second. Test four is the one I care about most because it’s the real use. 10 support tickets I wrote myself, three teams, billing, technical sales. I send them one after another to the server. Nine out of 10 are routed correctly. The whole batch took 2 seconds, about 203 milliseconds each. Now, look at the one it got wrong. Ticket nine, can I get a quote for

[06:43] annual billing across three departments? I labeled that sales. It said billing, but its confidence there is 0.688, the lowest in the batch with the next lowest at 0.783. So, that’s exactly how the card says you should use it. Set a threshold, say 0.8, and this one goes to a human instead of the wrong team. 10 tickets is a small sample, so don’t read it as an accuracy number. It’s a demo of the confidence doing its job. One last check. The card says English only, so I took the same double charge ticket and wrote it in

[07:13] Spanish, in Hindi with English letters, and in Devanagari script. All three came back billing with 0.952, 0.919, and 0.924. So, on this one simple ticket, it worked. Does that mean the card is wrong? No. Three sentences of the easiest kind of ticket don’t prove anything about harder cases, and the authors only tested English. I’d try your own language on your own data before relying on it. So, who is this for? If you’re building something that has to make many yes, no, or pick one calls like routing tickets or flagging

[07:45] risky agent runs, and you want a number per answer with no text parsing small on a single 8 gigabyte card is real. 5 gigabytes of VRAM about a fifth of a second. Who is it not for? Anything that needs to write, explain, or reason in words. Anything not in English, and I would not use it alone for severity ratings or tight photo boxes. Next, I want to try the medium model against this same test file and see if those seven points show in the agent case. Let me know in the comments if you want that. If you’re looking for cheap and reliable GPUs, I use RunPod, and the

[08:16] link is in the description. So, in this video, we ran almost one small on a laptop and measured it. If you’re interested, go ahead and try it on your own system and let me know how it goes. I’ll see you in another one. Check out the next video.