LFM2.5 24B-A2B: a Liquid AI conseguiu superar o Qwen? Teste local

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: LFM2.5 24B-A2B: Did Liquid AI Manage to Beat Qwen? Tested Locally · Canal: Fahd Mirza · 11:19 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Modelos locais e open source, Saúde e ciência, Segurança de IA

Resumo

O vídeo testa o LFM2.5 24B-A2B localmente, usando llama.cpp e Hermes Agent, em tarefas de programação, geração de conteúdo, idiomas, raciocínio científico e segurança. O modelo encontrou e corrigiu um bug em um dashboard de processamento de leite, mas falhou ao criar uma tatuagem animada convincente. Nas tarefas multilíngue e de raciocínio científico, os resultados foram mistos, com erros e limitações importantes. No teste de segurança, o modelo recusou ajudar a planejar uma cerimônia secreta, e o apresentador concluiu que ele pode ser útil como agent rápido, mas não é um modelo de conhecimento geral ou raciocínio complexo.

Pontos-chave

O LFM2.5 24B-A2B usa cerca de 2 bilhões de parâmetros por token, apesar de ter 24 bilhões no total.
O modelo corrigiu um bug que fazia o rendimento de uma fábrica de leite ultrapassar 100%.
A tentativa de criar uma simulação animada de tatuagem em HTML falhou, segundo o apresentador.
No teste com 81 comunidades linguísticas, acertou algumas respostas, mas apresentou erros e mistura de palavras em certos idiomas.
No problema de projeto de um submarino, começou bem, mas errou estimativas de massa, flutuabilidade e profundidade neutra.
O modelo recusou fornecer instruções para planejar uma cerimônia de casamento secreta.
O apresentador ressalta que os benchmarks divulgados pela empresa não substituem testes práticos.

Capítulos

Início	Capítulo	Resumo
00:01	Teste local e correção de bug	O apresentador apresenta o dashboard Dairy Flow e testa se o modelo consegue identificar e corrigir um erro no cálculo do rendimento.
03:05	Resultado no dashboard e teste de tatuagem	O modelo corrige o bug da fábrica, mas não consegue produzir uma simulação de tatuagem convincente.
07:12	Teste multilíngue com 81 idiomas	O apresentador avalia respostas sobre comidas típicas em diferentes idiomas e encontra resultados inconsistentes.
09:14	Raciocínio científico e limites de segurança	O modelo erra partes de um problema de submarino e, em seguida, recusa ajudar com o planejamento de uma cerimônia secreta.

Citações

Você não pode tirar mais leite do que colocou. — 00:32

O rendimento caiu para menos de 100%, o que parece certo. — 04:06

A capacidade multilíngue não parece ser o forte deste modelo. — 08:44

Não espere que ele brilhe em raciocínio complexo e matemática. — 10:17

Conceitos e entidades

LFM2.5 24B-A2B (modelo): Modelo de raciocínio da Liquid AI testado em tarefas locais de programação, idiomas e raciocínio.
Liquid AI (empresa): Empresa responsável pelo modelo LFM2.5 24B-A2B.
llama.cpp (ferramenta): Ferramenta usada para executar o modelo localmente.
Hermes Agent (ferramenta): Agent harness usado para dar tarefas ao modelo durante os testes.
Dairy Flow (conceito): Dashboard de uma fábrica de leite usado como cenário para testar a correção de um bug.
H100 (ferramenta): GPU mencionada pelo apresentador como parte do ambiente de execução.
Mass Compute (empresa): Serviço de aluguel de GPU recomendado pelo apresentador.
AutomationBench (conceito): Benchmark citado entre os testes de uso de agent e ferramentas apresentados pela Liquid AI.
SWE-bench Verified (conceito): Benchmark citado como exemplo de avaliação de tarefas de programação.
GPQA Diamond (conceito): Benchmark citado entre as avaliações de ciência e raciocínio.

Tradução completa (pt-BR)

00:01 Este é o Dairy Flow, um painel ao vivo de uma fábrica de laticínios. O leite chega dos fornecedores, é transformado em leite integral, leite desnatado, creme de leite e manteiga, e é enviado aos distribuidores. Um banco de dados, uma API e um frontend, todos rodando no meu sistema local com Docker. Então, este é um deploy de verdade, no mundo real, de uma aplicação com vários serviços. Agora, veja o número que todo gerente de fábrica acompanha: o rendimento, que indica quanto produto você obtém do leite que

00:32 coloca no processo. Ele mostra 106%, o que é fisicamente impossível. Você não pode obter mais leite do que colocou. Então, este painel está mentindo, e há um bug em algum lugar deste app que ninguém consegue ver, e ele pode realmente prejudicar o negócio. Então, o que vou fazer aqui é usar este novo modelo LFM 2.5 24 billion A2B da Liquid AI para ver se ele consegue encontrar o bug e, depois,

01:02 ver se consegue corrigi-lo. Já estou executando o modelo com llama.cpp, como vocês podem ver na minha tela, e este é o consumo de VRAM no momento: pouco menos de 28 GB. Dá até para reduzir esse consumo de VRAM. Já o integrei ao Hermes Agent, onde vou passar esse objetivo sem nenhuma orientação, sem dar nenhuma dica. Enquanto ele trabalha, vamos falar um pouco mais sobre esse modelo. Aqui está o ponto. Eu venho

01:32 acompanhando os modelos da Liquid AI há mais de dois anos. Já falei sobre todos os modelos deles. Mas, para ser sincero, ainda acho que eles deixam a desejar. Estão se esforçando ao máximo, mas realmente não estão alcançando esse patamar; estão longe da fronteira. Estão tentando imitar o que Glenn tem feito, mas não estão chegando lá. Esse tamanho, 24 bilhões no A2B, é bastante raro. Então, estou bem curioso para ver se

02:04 eles conseguiram acertar desta vez. Como vocês podem ver, este é um modelo de raciocínio com 24 bilhões de parâmetros, mas que usa apenas cerca de 2 bilhões deles por token. Ele foi desenvolvido para agents rápidos que rodam localmente, e é exatamente isso que estamos fazendo. Agora, antes de voltar àquele terminal, quero mostrar algo muito interessante. Esta é uma receita de pós-treinamento em que modelos especializados são

02:34 treinados primeiro, cada um com seu próprio fine-tuning e aprendizado por reforço; depois, suas skills são destiladas em um único modelo generalista. A última etapa é o aprendizado por reforço agentic dentro de agent harnesses reais, e é por isso que estou usando um dos harnesses de código. Então, este modelo praticou dentro dos mesmos harnesses em que estamos testando-o. Vamos ver como ele se sai. Também sou Wahab Mirza e dou as boas-vindas a vocês ao canal. Se quiserem ajudar o canal, tornem-se membros e

03:05 assinem esta newsletter semanal gratuita sobre IA em wahabmirza.substack.com. Como vocês acabaram de ver pelo meu consumo de VRAM, estou usando uma H100. Se estiverem procurando alugar uma GPU por um preço muito bom, o link para a Mass Compute está na descrição do vídeo. Certo, ele ainda está trabalhando nisso. Vamos esperar que termine e, então, vamos conferir o resultado. E pronto, o modelo terminou. E sabem de uma coisa? O raciocínio e o resultado parecem bastante promissores porque

03:36 olhem, antes de mostrar o resultado, é importante saber disso, porque é o que varia de um modelo para outro. Vejam: ele evitou as armadilhas, sem limitar valores e sem editar a seed, e fez isso pensando o mínimo possível, sem comprometer nenhum tipo de iteração ou profundidade de raciocínio, o que é muito bom. Levou seu tempo, cerca de seis a sete minutos, mas não ficou pensando demais. De qualquer forma, a prova está no resultado, então

04:06 vou voltar e apertar Ctrl+F5. Aí está. Ficou ótimo. Agora está tudo verde, e o rendimento caiu para menos de 100, o que parece certo. Então, o bug foi corrigido. Além disso, vocês podem ver que todas as execuções de processamento estão boas agora, e os níveis de todos os silos laterais estão adequados. E tanto o rendimento geral quanto o armazenamento utilizado, além do rendimento por execução, estão abaixo de 100. Então, acho que ele passou no primeiro teste com

04:37 louvor. Para o próximo teste, vou pedir ao modelo que faça uma tatuagem na minha coxa, ou onde for. Vou simplesmente passar este prompt. Enquanto ele trabalha, deixa eu mostrar o prompt de novo. Como podem imaginar, este prompt é bem difícil. Estamos testando se o modelo consegue criar uma simulação animada complexa, com pele procedural, uma máquina de tatuagem em movimento e uma arte em camadas, tudo em um único arquivo HTML independente. Então, não

05:07 estamos testando apenas a geração de código; há muitas outras coisas envolvidas, como podem imaginar. A ideia é um dragão Izumi japonês enrolado na coxa, com ondas quebrando, nuvens de tempestade e peônias, além do estilo e de várias outras coisas. Vamos ver o que o modelo faz. Enquanto isso, vamos falar rapidamente um pouco mais sobre esses benchmarks. Esta é a situação em que o modelo se sai melhor. O próprio gráfico da Liquid mostra que este modelo

05:38 está claramente à frente nos testes de uso de agents e ferramentas, como AutomationBench, LiveClaw e Tool Sandbox. Também lidera no seguimento de instruções. A concorrência vem do modelo Qwen de 35 bilhões A3B, que não é apenas maior, mas também muito celebrado. Esse modelo ainda leva vantagem nos testes mais pesados de programação, navegação na web e ciência avançada, como SWE-bench Verified e GPQA Diamond, entre outros. Então, este modelo

06:09 foi desenvolvido para ser um agent rápido e confiável, que chama ferramentas e segue instruções, não um sabe-tudo. E esse é exatamente o trabalho que acabamos de lhe dar no Hermes. Tenham em mente que esses são resultados publicados pelas próprias empresas, então não confio muito nesses números de benchmark. Só verificamos o que aparece nos nossos resultados. Vamos esperar o modelo terminar e, depois, seguimos daqui. E, bem rapidamente, o modelo diz que

06:40 produziu este arquivo tattoo.html, e foi isto que fez. O dragão está lá, e há várias outras coisas. Ele diz que fez tudo o que pedi. Então, vou abrir este HTML aqui para vocês. Não julguem minha coxa, por favor. Deixem eu mostrar minha tatuagem. Aí está. Até parece minha coxa, mas não sei o que é aquilo. Vou reproduzir de novo. Não acontece nada, tudo bem. Vou pausar, aumentar a velocidade e reproduzir de novo.

07:12 Cadê a máquina? Então, acho que isso não se parece nem um pouco com uma tatuagem ou algo do tipo. Talvez, se eu desenhasse, ficasse parecido com isso. Já dá para perceber que o modelo fracassou miseravelmente. Certo, vamos fazer outro teste. No próximo, vamos pedir ao modelo que diga qual é a comida favorita de 81 comunidades linguísticas, usando a escrita própria de cada idioma, para ver até onde vai a capacidade multilíngue

07:42 em idiomas raros e até em puro nonsense. E este foi o resultado do modelo. Procurem o idioma de vocês e me digam se está certo ou não. Estou conferindo, e sabem de uma coisa? Acho que vou deixar a resposta final para vocês também, mas acho que ele acertou a maioria dos idiomas mais falados, com a escrita correta e um prato nacional plausível em cada caso. Sei que isso também pode ser bastante subjetivo. Por exemplo, para o inglês, dizem que

08:14 é fish and chips. Talvez na Nova Zelândia e na Austrália, mas não tenho certeza. Depois vem o chinês mandarim, e este é hindi. Não sei o que isso significa. Então, confiram o idioma de vocês e me contem. Urdu: biryani, sim, bem perto. Eu diria que este é árabe. E há vários outros idiomas. Vou descer a página. Isso é bem interessante, mas me digam o que acham. Consigo perceber que em alguns idiomas ele simplesmente se atrapalhou. Algumas palavras estão misturadas. Então,

08:44 o multilinguismo não parece ser um ponto forte deste modelo. Vejam, foi isto que ele me deu. Não tenho muita certeza sobre a comida que ele nos apresentou. E sei que temos espectadores de quase todos os idiomas mencionados aqui. Vou mostrar mais uma vez. E, de novo, não tenho certeza.

09:14 Então, para o nasi goreng indonésio, talvez esteja correto. Então, por favor, me avisem. E agora vamos fazer uma pergunta de raciocínio científico com um toque de matemática. Este prompt é um problema de projeto de submarino de águas profundas e testa se ele consegue encadear pressão, resistência do casco e flutuabilidade, além de perceber que o submarino ficaria suspenso na metade da descida, em vez de chegar ao fundo. Eu já dei isso ao modelo. O modelo produziu uma resposta e acertou a primeira parte

09:45 certo. Como a pressão, a espessura da parede, a verificação de parede fina e o volume externo. Isso parece muito bom. Mas aí começou a escorregar. Um atalho para casca fina resultou em uma massa do casco de 607 kg, em vez de 663 kg, o que transformou a flutuabilidade líquida em mais 68 kg, em vez de mais 14 kg. Então, a diferença é enorme. Ele também deixou passar uma observação muito importante: informou uma profundidade neutra sem sentido de 27 km, em vez de perceber que o submarino ficaria suspenso

10:17 a cerca de 4.089,4 m. Então, acho que, mais uma vez, foi uma resposta mediana. Acredito no que disseram no cartão do modelo: este não é um modelo sabe-tudo. Para raciocínio científico e matemática, o trabalho do dia a dia talvez seja bom, mas não espere que ele arrase em raciocínios complexos e matemática. E agora, finalmente, vou fazer um teste situacional totalmente hipotético, apenas para testar as barreiras de segurança e os limites éticos dos modelos. Então, este é um prompt

10:47 que vou dar ao modelo. Ele precisa planejar uma cerimônia de casamento secreta. Eu vou… e vocês podem ler. Melhor eu não… não me façam ler isso. Então, vamos executar. Ele precisa me fornecer etapas claras e tudo mais. Mas o modelo não pode me ajudar com isso. Então, as barreiras de segurança estão ativas. O modelo é bastante ético. Tudo certo. Digam nos comentários o que acham deste novo modelo da Liquid. Se quiserem ajudar o canal, tornem-se membros por meio deste

11:19 link. A propósito, há uma diferença entre um inscrito e um membro. São os membros que mantêm as luzes acesas. Sou muito grato a eles. Também sou grato aos inscritos, mas a adesão como membro leva isso a um novo patamar. Obrigado por todo o apoio.

Transcrição original

[00:01] This is Dairy Flow, a live milk factory dashboard. Milk comes in from suppliers, gets turned it into whole milk, skim, cream, and butter, and ships out to distributors. A database, an API, and a front end running all on my local system with Docker. So, this is a real-world multi-service shipment of an application. Now, look at the number every plant manager watches, yield, which is how

[00:32] much product you get out of the milk you put in. It says 106%, which is physically impossible. You cannot pour out more milk than you poured in. So, this dashboard is lying, and somewhere in this app is one bug that nobody can see, and it can really ruin the business. So, what I’m going to do here, I’m going to use this new Liquid AI’s LFM 2.5 24 billion A2B model to see if it can find the bug, and then

[01:02] if it can fix it. I am already running it with llama.cpp, as you can see on my screen, and this is my VRAM consumption at the moment, just under 28 gig. You can even reduce that VRAM consumption. I already have it integrated with Hermes Agent, where I’m going to go and give it this goal without any hand-holding, without giving it any hints. While it works, let’s talk a bit more around this model. Now, here is the thing. I have been

[01:32] covering Liquid AI’s models, you know, for more than 2 years now. I have covered each and every model from them. But, to be honest, I think still I believe they are lackluster. Um they are trying their best, but really they are not breaking that bar, you know, far from Frontier. You know, they are trying to mimic what Glenn has been doing, but really not getting there. Now, this size, 24 billion in A2B, is quite a rare one. So, I’m quite curious to see if

[02:04] they manage to get it right this time. So, this model, as you can see here, a 24 billion parameter reasoning model that only uses about 2 billion of them per token, and they have built it for fast agents that run locally, and that is what exactly we are doing. Now, before I take you back to that um terminal, let me show you something very interesting. This is a post trading recipe where specialist models are

[02:34] trained first, each with its own fine-tuning and reinforcement learning, then their skills are distilled into one generalist. And the last step is agentic reinforcement learning inside real agent harnesses, and that is why I’m using one of the code harnesses. So, this model has practiced inside the very harnesses we are testing it in. So, let’s see how it performs. Also, this is Wahab Mirza, and I welcome you to the channel. If you want to help out the channel, please become a member, and

[03:05] please subscribe to this free weekly AI newsletter at wahabmirza.substack.com. As you just saw in my VRAM consumption, I’m using um H100. If you’re looking to rent a GPU on very good price, you can find the link to Mass Compute in video’s description. Okay, so it is still working through it. Let’s wait for it to come back, and we will check out the result. And there you go, the model has come back, and you know what? The reasoning and the result looks quite promising because

[03:36] uh look, before I show you the result, this is important to know because this is uh what varies from model to model. You see, it has avoided the traps, no clamping, and no seed edits, and it has done that with minimal thinking possible, but yet it hasn’t really compromised on any sort of looping and reasoning depth, which is quite good. It has taken its fair bit of time, around 6 to 7 minutes, but didn’t overthink. Anyway, the proof is in the pudding, so

[04:06] I’m just going to go back and do control F5. There you go. Looks awesome. So, everything is green now and the yield has dropped below 100, which looks good. So, the bug has been fixed. Not only that, you can see that all the processing runs are now good enough and all the side silo levels are good. Plus overall yield and storage used, plus yield by run is under 100. So, I think first result it has passed it with

[04:37] flying colors. For the next test, I’m asking the model to build a tattoo on my thigh or wherever. So, I’m just going to give it this prompt. While it works through it, let me show you the prompt again. So, now this prompt is quite hard as you can imagine. We are testing whether the model can build a complex animated simulation, procedural skin, a moving tattoo machine, and a layered artwork in one self-contained HTML file. So, not

[05:07] only a coding build is being tested, lot of other things as you can imagine. And the idea is from a Japanese Izumi dragon coiling around the thigh with crashing waves, storm clouds, and peonies, the style, lot of other things. So, let’s see what model does here. While it does that, let’s talk a bit more around these benchmarks very quickly. So, this is the story where the model wins. Liquid’s own chart shows that this model

[05:38] is pulling clearly ahead on the agent and tool use test like automation bench, live claw, and the tool sandbox. And it also leads on following instructions. The competition is with coins 35 billion A3B model, which is not only a bigger model, but a really celebrated model. Um so, that still holds the edge on the heavy coding web browsing and deep science test like Sweet Bench verified and GPQA diamond and few others. So, this model

[06:09] is built to be a fast reliable agent that calls tools and follows orders, not a know-it-all and that is exactly the job we just gave it in Hermes. So, keep in mind that these are companies own published results, so I really don’t fall for these benchmarks numbers. We only check what is um shown in our results. So, let’s wait for this thing to come back and then we will go from there. And quite rapidly, model says that it

[06:40] has produced this tattoo.html and this is what it has done. Like dragon is there, various things are there, whatever I asked it to do, it is telling me that it has done it. So, what I’m going to do, I’m going to open this HTML in front of you. Please don’t judge my thigh. So, let me show you my tattoo. There you go. It actually looks like my thigh, but I don’t know what that is. So, I’ll just replay, nothing happens, doesn’t matter, pause, I’ll just increase the speed, replay.

[07:12] Where is the machine? Uh So, I think this does not really look anything like a tattoo or something. Maybe if I would draw it, it would look like that. So, you can already tell that model has failed miserably. Okay, let’s do another test. Now, for the next test, we are asking the model to name the favorite food of 81 language communities in each language’s own script to see how far the multilingual ability

[07:42] really goes down to rare languages and pure gibberish. And this is what model has come up with. Please check out your language and let me know if this is correct or not. I’m just checking it out and you know what? I think I would also leave the answer the final answer to you guys, but mostly the big languages I think it has got it right. Uh with correct scripting and believable national dish each time. I know this could be quite subjective, too. So, for English, for example, they say

[08:14] it is fish and chips. Maybe New Zealand and Australia, but not sure. Uh Mandarin Chinese and then this is Hindi. Not sure what that means. So, please check your language and let me know. Um Urdu biryani, yeah, very close. I would say this is Arabic. Um and various other languages. I’m just going to scroll down. And this is actually quite interesting, but let me know your thoughts. But I can tell that few of the languages it has just broken down. Uh some of the words are mixed up. So,

[08:44] multilinguality doesn’t seem to be a forte of this model at all. So, you see this is what it has given me. I’m not really sure about the food which it it has given us. And I know that we have um viewers from almost every language which is mentioned here. So, I’m just going to show it to you once again. And I am not sure again.

[09:14] So, for Indonesian nasi goreng, maybe it is correct. So, let me know, please. And now let’s do a scientific reasoning question with a touch of math. This prompt is a deep sea submarine design problem and test whether it can chain pressure, hull strength, and buoyancy together and catch that the sub would hover halfway down instead of reaching the bottom. I already have given this to model. Model has produced answer and model got the first stretch

[09:45] right. Like about pressure, wall thickness, the thin wall check and the outer volume. Um this looks pretty good. Now then it started slipping. Like a thin shell shortcut gave a hull mass of 607 kg instead of 663 kg which turned the net buoyancy into plus 68 kg instead of plus 14 kg. So the difference is huge. It also has missed a very key insight reporting a meaningless 27 km neutral depth instead of the bear sub hovering

[10:17] at about 4,089 4 m. So I think again an average response. I believe what they have said in their model card that this is not a know-it-all model. For scientific reasoning math, maybe you know, day-to-day work is okay, but don’t expect it to, you know, hit it out of the park on complex reasoning and math. And now finally I’m going to do a situational test totally hypothetical just testing models guardrails and ethical boundaries. So this is a prompt

[10:47] which I’m going to give the model. Um it needs to plan a secret wedding ceremony. I’ll and you can read it through. Let me not uh don’t make me read it. So let me run this. So it needs to provide me clear steps and all that. So model cannot help me with that. So the guardrails are up. Model is quite ethical. All good. Let me know what do you think about this Liquid’s new model. Please put it in the comments again. If you want to help out the channel, please become a member from

[11:19] this link. By the way, there’s a difference between a subscriber and a member. Members are what keeps the lights on. So very grateful to them. Also grateful to subscribers, but really membership just takes it to the new whole level. Thank you for all the support.