D1 Omni 600M localmente: um decision model para áudio, visão e texto

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: d1-omni-600M Locally: A Decision Model for Audio, Vision, and Text · Canal: Fahd Mirza · 08:05 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Modelos locais e open source, Modelos multimodais

Resumo

O vídeo apresenta o D1 Omni, um decision model de cerca de 600 milhões de parâmetros da Liquid AI, capaz de processar texto, imagens e áudio e de retornar probabilidades em vez de texto gerado. Nos testes, o modelo acertou as três perguntas sobre uma mensagem de cliente e identificou corretamente elementos de uma imagem, mas teve baixa confiança ao determinar a principal causa de estresse. Em um teste com fala em 13 idiomas, classificou corretamente a maioria dos clipes como informação, embora o apresentador ressalte que isso não demonstra compreensão semântica. O modelo também foi testado com uma pergunta falada em inglês e teve uso de VRAM inferior a 2 GB; o vídeo conclui que os resultados de benchmark parecem promissores, mas merecem comparação com outros modelos.

Pontos-chave

O D1 Omni tem 587 milhões de parâmetros e combina texto, visão e áudio em um único modelo.
O modelo retorna probabilidades para opções de resposta, em vez de gerar frases.
No teste de texto, identificou corretamente um pedido de reembolso, a equipe de cobrança e a urgência da mensagem.
No teste de imagem, reconheceu com alta confiança que a pessoa segurava dois telefones e parecia angustiada, mas teve baixa confiança sobre a causa do estresse.
O modelo usou menos de 2 GB de VRAM quando carregado na GPU.
No teste com fala em 13 idiomas, classificou 12 clipes como informação; o clipe em tcheco foi classificado como ação, com apenas 51% de confiança.
O apresentador questiona se o modelo entende o conteúdo dos áudios ou se apenas reconhece características da fala e do idioma.
Uma pergunta falada simples em inglês foi classificada como um pedido de informação.
O apresentador considera os resultados de benchmark promissores, mas sugere comparações com outros modelos.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação do D1 Omni	O apresentador explica por que destaca o modelo e descreve sua arquitetura multimodal e seus requisitos de execução.
02:12	Testes com texto e imagem	O modelo responde a perguntas sobre uma mensagem de cliente e uma imagem, com resultados fortes, mas confiança limitada em uma das respostas visuais.
04:22	Como funciona a arquitetura	O vídeo explica como texto, imagem ou áudio e opções de resposta passam por componentes compartilhados para produzir probabilidades.
05:27	Testes de áudio em vários idiomas	O modelo classifica clipes de fala em 13 idiomas, mas o apresentador questiona se ele compreende a semântica do conteúdo.
07:34	Teste final e benchmarks	O apresentador mostra um teste simples em inglês e comenta os benchmarks e a necessidade de comparar o modelo com outros.

Citações

Ele responde com probabilidades, não com texto gerado. — 01:06

Uma passagem, nenhum texto gerado, e as três respostas estão corretas. — 02:43

Acho que o modelo indica como a fala é transmitida, não o que ela significa. — 06:31

Com apenas 600 milhões, não é um tamanho ruim. — 08:05

Conceitos e entidades

D1 Omni 600M (modelo): Decision model da Liquid AI, com cerca de 600 milhões de parâmetros, apresentado como capaz de processar texto, imagens e áudio.
decision model (conceito): Tipo de modelo que atribui probabilidades a respostas possíveis, em vez de gerar texto livre.
Liquid AI (empresa): Empresa responsável pelo D1 Omni e pelo encoder LFM 2.5 mencionado no vídeo.
LFM 2.5 (modelo): Encoder da Liquid AI sobre o qual o D1 Omni é construído.
SigLip 2 (modelo): Componente de visão usado pelo D1 Omni para processar imagens.
fast conformer (conceito): Componente de 17 camadas citado como parte do processamento de áudio do modelo.
Mask Compute (empresa): Serviço mencionado pelo apresentador como opção para alugar recursos de CPU, máquina virtual ou GPU.
Fahad Mirza (pessoa): Apresentador do vídeo e responsável pelos testes demonstrados.

Tradução completa (pt-BR)

00:01 Estou realmente cansado de todos esses decision models surgindo aos montes todos os dias, e eles são mais parecidos do que diferentes. Acho que são fáceis de produzir porque todo mundo está produzindo esses modelos o dia inteiro, praticamente a cada hora. Mas este modelo, D1 Omni 600 million, que é mais um decision model, também inclui áudio como modalidade, e esse é o motivo pelo qual estou falando dele neste vídeo. Eu sou Fahad

00:31 Mirza, e dou as boas-vindas a vocês ao canal. Se quiserem ver a prova de que estou cansado desses decision models, basta pesquisar por “decision” no meu canal e vocês vão ver que cobrimos uma porção deles nas últimas duas, duas, duas semanas e meia. Comparamos esses modelos e fizemos vídeos práticos sobre todos os que existem por aí. Então, o que exatamente é esse novo modelo da Liquid AI? Bem, é um modelo com 587 milhões de parâmetros, construído com base no encoder LFM 2.5 da própria Liquid

01:06 AI. Ele tem uma torre de visão SigLip 2 para imagens e um fast conformer de 17 camadas para áudio, com cada modalidade passando pelo mesmo backbone compartilhado. Também vou falar um pouco mais sobre essa arquitetura depois, mas este modelo é pequeno o suficiente para rodar em hardware de borda e responde com probabilidades, não com texto gerado como qualquer outro modelo. Então, é a mesma ideia de decision model que abordamos nos últimos dias. Agora, ele

01:37 tem olhos e dizem que também tem ouvidos. Então, o áudio é o aspecto mais promissor, e estou ansioso para ver se realmente funciona ou não. Eu sou Fahad Mirza, e dou as boas-vindas a vocês ao canal. Inscrevam-se também nesta newsletter semanal gratuita de IA em fahadmirza.substack.com. Vou usar este sistema Ubuntu. Tenho uma placa GPU, mas vocês também podem rodar o modelo facilmente na CPU. Se estão procurando alugar uma CPU, uma VM ou uma GPU por um preço muito bom, o link para Mask Compute está na descrição do vídeo.

02:12 Então, o que exatamente vou fazer primeiro? Vou executar um teste com texto. Enquanto ele roda e carrega, deixa eu mostrar o script. Olhem este aqui. O que estamos testando é uma mensagem de cliente: “Fui cobrado duas vezes e ninguém atende o telefone”. Fazemos três perguntas de uma vez, como vocês podem ver aqui: o cliente está pedindo um reembolso, qual equipe deve cuidar do caso e qual é a urgência?

02:43 Se eu voltar aqui, vocês podem ver que “reembolso solicitado” aparece em primeiro lugar, “cobrança” em segundo, e a urgência está em cerca de 1,90 de 2, o que significa que o cliente está impedido de prosseguir. Uma única execução, nenhum texto gerado e as três respostas estão corretas para essa mensagem. Então, a modalidade de texto funciona muito bem aqui. Mas vamos exigir mais dela daqui a pouco. Para o próximo teste, vou testar rapidamente a visão. Para o teste de visão, vou usar esta imagem gerada por IA em que mostramos

03:17 este D1 Omni, a imagem da parceira Leoni: uma mulher estressada à mesa, segurando dois telefones e fazendo três perguntas. O que mais a está estressando, como vocês podem ver neste script? Ela está segurando dois telefones? E parece sobrecarregada? Essas são todas as perguntas. Agora, vejam o resultado. O modelo confirmou que ela está segurando dois telefones, com 99,7% de confiança, e que parece aflita, com 99,9% de confiança. As duas respostas estão corretas com base na imagem. A principal resposta sobre o

03:49 estresse foi “trabalho”, com apenas 51%, o que, eu diria, é quase cara ou coroa. Então, não acho que se deva dar muita importância a essa resposta, especialmente. Agora vou executar o teste de novo e, enquanto isso, vou mostrar o consumo de VRAM, se houver algum. Vou deixar rodando. E vocês podem ver: continua abaixo de 2 GB, por pouco. Portanto, o consumo fica abaixo de 2 GB de VRAM quando o modelo está totalmente carregado na GPU.

04:22 Certo, terminou. Vamos fazer agora o teste de áudio. Antes desse teste, quero mostrar rapidamente um diagrama da arquitetura. Deixem-me explicar de forma bem simples e rápida. Este diagrama mostra toda a ideia em uma única imagem. À esquerda, entram três coisas: o estado, que significa o texto, a imagem ou um clipe de áudio — exatamente o que estamos usando; o tipo de pergunta; e as opções entre as quais vocês querem que o modelo escolha. Um tokenizador transforma o texto em pequenas

04:54 partes que o modelo consegue ler, e a imagem ou o áudio passa pelo próprio encoder, que converte a imagem ou o som no mesmo tipo de partes. Tudo se organiza em uma única sequência longa e passa por um encoder compartilhado de 16 camadas, no qual cada parte pode observar todas as outras ao mesmo tempo. Por isso, o modelo consegue comparar as perguntas com as evidências presentes no estado em uma única execução. À direita, a decisão chega ao resultado e fornece uma probabilidade para cada resposta. Para uma pergunta de sim ou não, vocês recebem

05:27 algo como 0,93. Em uma pergunta de múltipla escolha, cada opção recebe sua própria pontuação, e assim por diante. Portanto, o modelo nunca escreve de fato uma frase; ele simplesmente informa, de uma só vez, a probabilidade de cada resposta. Agora, vamos fazer mais um teste. Para o teste de áudio, forneci ao modelo 13 clipes curtos de fala em 13 idiomas, do inglês e do espanhol ao iorubá, persa e russo, além de idiomas de todo o mundo. Este é

06:00 um script, como vocês podem ver. Não vou reproduzir todos os clipes, mas vou mostrar a saída, que também inclui a transcrição. Cada clipe contém a leitura em voz alta de uma notícia ou de um texto enciclopédico, e o modelo precisava escolher entre informação, ação, reclamação ou declaração. Agora, vejam o resultado e confiram também o seu idioma. Os 13 idiomas retornaram uma resposta sem erros. Doze foram classificados como informação

06:31 com confiança, com os valores mais altos para português e espanhol, acima de 99%, e o mais baixo para persa, com 65%. O único resultado fora do padrão foi o tcheco, classificado como ação com apenas 51%, o que, eu diria de novo, é praticamente cara ou coroa. Então, acho que o modelo informa como a fala é transmitida, não o que ela significa. Ou seja, ele realmente deixa passar a semântica. Não acho que este modelo entenda de fato o conteúdo de nenhum clipe. Tudo o que faz é identificar o idioma. Então,

07:03 ainda não tenho muita certeza sobre a parte de idiomas deste modelo, especialmente quando se trata de áudio. Para alinhar um pouco mais com o treinamento do modelo, fiz mais uma verificação com uma pergunta curta falada em inglês, porque talvez o conjunto de dados que usei antes fosse difícil demais para ele. Como vocês podem ver, a pergunta é simples: o que a pessoa que fala quer saber? E trata-se de informação, ação,

07:34 reclamação ou declaração? Quando executei o teste, somente em inglês, vocês podem ver que pelo menos o modelo consegue interpretar uma pergunta falada como um pedido de informação, porque o script só diz: “O que é felicidade?”. Só isso. Agora, antes de encerrar, queria falar rapidamente deste benchmark. Quer dizer, não vejo nenhum concorrente sério aqui, a menos que esteja deixando algo passar. Como o Decider; nem sequer falei desse modelo. Então, nada de J F, nada mais. Em

08:05 todos esses benchmarks, este modelo teve um desempenho muito bom. Mas acho que seria bom compará-lo com CLM ou J F para ver exatamente como se saiu. De qualquer forma, com apenas 600 megas, o tamanho não é nada mau. Digam o que acham; eles também têm outro modelo de 3 bilhões. Mas, se tiverem interesse, esse não tem áudio, só texto e visão. Digam o que acham deste modelo. Mais uma vez, se quiserem ajudar o canal, acessem a página inicial e tornem-se membros, ou usem o primeiro comentário fixado. Obrigado por todo o apoio.

Transcrição original

[00:01] I am really sick and tired of all these decision models raining like cats and dogs every day and they are more similar than different. And I guess they are easy to produce because everyone is sort of producing these models every hour of the day. But this model D1 Omni 600 million, which is yet another decision model, comes up with audio as a modality too and that is the reason why I am covering this model in this video. This is Fahad

[00:31] Mirza and I welcome you to the channel. And if you want to see the proof why I am fed up of these decision models, just go and search for decision on my channel and you would see that we have covered heaps of them in the last two two two and a half weeks. We have compared them and we have done hands-on videos on every model out there. So, what exactly is this new model from Liquid AI? Well, this is a 587 million parameter model built on Liquid

[01:06] AI’s own LFM 2.5 encoder. It has a SigLip 2 vision tower for images and a 17-layer fast conformer for audio with every modality running through the same shared trunk. I will also talk a bit more around this architecture later, but this model is small enough to run on edge hardware and it answers with probabilities, not generated text like any other model. So, same decision model idea we have covered in the previous days. So, now it

[01:37] has eyes and they say it also has got ears. So, audio is the most promising thing which I’m looking forward to to see if it actually works or not. This is Fahad Mirza and I welcome you to the channel. Please also subscribe to this free weekly AI newsletter at fahadmirza.substack.com. I’m going to use this Ubuntu system. I have one GPU card, but you can easily run it on your CPU, too. If you’re looking to rent a CPU or VM or GPU on very good price, you can find the link to Mask Compute in video’s description.

[02:12] So, what exactly I’m going to do first? I’m going to run a test with text. So, while it runs and loads, let me show you the script. So, look at this one. What we are testing here is one customer message that I was charged twice and nobody answers the phone. With three questions asked together, as you can see here, is a customer asking for a refund, which team should handle it, and how urgent is it?

[02:43] If I go back here, you can see that a refund requested is at the top, billing at second, and urgency at around 1.90 out of two, which is blocking the customer now. One pass, no generated text, and all three answers are correct for this message. So, text modality is pretty good here. But, we will also stretch it later down the road. But, for the next one, let me quickly test out the vision. So, for the vision test, I’m going to use this AI-generated image where we are

[03:17] showing this D1 Omni, the Leoni partner image, a woman stressed at her desk holding two phones and asking three questions. What’s stressing her most, as you can see in this script? Is she holding two phones? And does she look overwhelmed? And these are all the questions. Now, look at the result here. It confirmed she’s holding two phones at 99.7% and looks distressed at 99.9% both correct from the image. The primary

[03:49] stress answer came back as work at only 51% which is close to a coin flip I would say. So I don’t think so you should be reading especially with in that answer too much. Now let me run it again and while it runs let me show you the VRAM consumption if it there is any. I will just let it run. And you see so just around still under 2 gig. So under 2 gig VRAM it consumes the when the model is fully loaded on to the GPU.

[04:22] Okay, so that’s done. Let’s now do the audio test. Right before that audio test I just want to quickly show you one architecture diagram this one. Let me explain it in very simple words very quickly. So this diagram which shows the whole idea in one picture. On the left you feed in three things the state which means your text and image or an audio clip clip just what we are doing. The question type and the options you want the model to pick from. A tokenizer turns the text into small

[04:54] pieces the model can read and the image or audio goes through its own encoder which converts the picture or sound into the same kind of pieces. Everything that lands in one long row and passes through a single shared encoder with 16 layers where every piece can look at every other piece at once. That is why the model can compare your questions against the evidence in the state in one pass. On the right hand side the decision had reached the result and gives you a probability for each answer. For a yes no question or now you get

[05:27] something like 0.93. For a choice each option gets its own score and then so on and so forth. So the model never really writes a sentence it just tells you how likely each answer is all at once. Now let’s do one more test here. So for now of audio test what I have done, I have fed the model 13 short speech clips in 13 languages, from English, Spanish to Yoruba, Persian, Russian, and then, you know, all the languages from across the world. This is

[06:00] a script, as you can see. Now, I’m not going to play the clips, all of these, but what I’m going to do, I’m going to show you the output where there is transcription, too. So, each clip is read aloud news or encyclopedia text, and the model had to pick from information, action, complaint, or statement. Now, look at the result, and please also check out your language. All 13 languages have returned an answer with no errors. 12 were labeled information

[06:31] with confidence, highest on Portuguese and Spanish at over 99%, and lowest on Persian at 65%. The only odd one out was Czech, labeled action at just 51%, which is I would again say a coin flip, really. So, I think, um, the model tells you how the speech is delivered, not what it means. So, it really misses the semantics there. So, I don’t think so this model really understands the content of any clip. All it does is just covers the language. So,

[07:03] I’m not really still sure about, um, the language side of things of this model. Especially when it comes to the audio. So, just to align with model’s training a bit more, I ran one more check on a short spoken question from, um, English, because the data set which I used earlier, maybe that was too hard for this. And you can see that the question is simple, that what does speaker want, and then is it information, action,

[07:34] complaint, or statement. When I ran that, and it is only English, you can see the model at least can read a spoken question as a request for information because the script just says what is happiness. That’s it. Now, before I wrap up, I just wanted to touch upon this benchmark. I mean, I really don’t see any serious contender here unless I’m missing something. Like Decider, I haven’t even covered this model. So, no J F nothing else. So, on

[08:05] all of these benchmarks, this model has performed really well. But, I think it would be good to put it against CLM or J F to see how exactly this thing performed. But, anyway, with just 600 meg, not a bad size at all. Let me know what do you think and they also have another one in 3 billion. But, text and vision, no audio there if you’re interested. Let me know what do you think about this model. Again, if you want to help out the channel, please go to the home page, become a member or in the first pinned comment. Thank you for all the support.