Venus em tempo real rodando localmente: um sistema de interação full-duplex

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Realtime Venus Running Locally: A Full-Duplex Interaction System · Canal: Fahd Mirza · 08:26 · Assistir no YouTube

Tópicos: Agentes de IA, Modelos locais e open source, Modelos multimodais

Resumo

O vídeo testa localmente um sistema de interação full-duplex anunciado pela Inclusion AI, usando uma interface criada a partir de um script do repo público. Na demonstração, o modelo conversa por áudio e também responde a uma pergunta digitada, mas o apresentador aponta atrasos, respostas imperfeitas e outras limitações. O sistema consome mais de 26 GB de VRAM, e o vídeo também mostra um teste offline de áudio. Por fim, o apresentador descreve a arquitetura anunciada, mas observa que o harness responsável por tarefas em segundo plano não está disponível no repo público para ser testado.

Pontos-chave

O modelo é apresentado como capaz de ouvir enquanto fala, compreender áudio e vídeo e delegar tarefas demoradas em segundo plano.
O apresentador executa o sistema localmente por meio de uma interface gráfica baseada no script compartilhado no repo.
A conversa por voz funciona, mas o apresentador identifica atrasos e arestas na experiência.
Uma resposta a uma pergunta digitada oferece sugestões para cuidar do gramado e lidar com uma situação com uma vizinha.
O teste offline converte uma pergunta em áudio em uma resposta falada, mas a saída tem problemas de pronúncia e qualidade.
A execução demonstrada consome mais de 26 GB de VRAM.
O sistema é descrito como tendo 9 bilhões de parâmetros, com MiniCPM 4.5, SigLip 2 e Whisper medium.
Há dois checkpoints: Omni, para áudio e vídeo, e Audio, somente para áudio.
O harness da arquitetura de tarefas em segundo plano não está no repo público, então essa parte não pôde ser testada.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação e demonstração por voz	O apresentador introduz as capacidades anunciadas e testa uma conversa por áudio com o sistema rodando localmente.
03:12	Teste por texto e limitações iniciais	O modelo responde a uma pergunta digitada, e o apresentador comenta as imperfeições da experiência e mostra a interface e o código.
05:18	Consumo de VRAM e teste offline	O vídeo mostra o consumo de memória e reproduz uma pergunta e uma resposta de áudio geradas no modo offline.
06:21	Componentes e arquitetura do sistema	O apresentador descreve os modelos e checkpoints usados, compara as promessas com os resultados e explica os dois loops da arquitetura.
07:53	Limitações do harness e encerramento	O apresentador observa que o harness de tarefas em segundo plano não está disponível no repo público e encerra o vídeo.

Citações

Vamos ver quanto disso realmente funciona assim que sai da caixa. — 00:01

É um começo bastante bom, mas há muitas arestas. — 04:46

No total, está consumindo mais de 26 GB de VRAM. — 05:18

Ainda acho que houve uma melhora, mas falta muito. — 07:21

O harness em si não está no repo público. — 07:53

Conceitos e entidades

InclusionAI (empresa): Empresa que anunciou o sistema de interação em tempo real avaliado no vídeo.
Venus (modelo): Sistema apresentado no título como uma solução de interação full-duplex executável localmente.
MiniCPM 4.5 (modelo): Modelo que, segundo o vídeo, serve de base ao sistema full-duplex.
SigLip 2 (modelo): Modelo de visão citado como componente do sistema.
Whisper medium (modelo): Modelo de áudio citado como componente do sistema.
Tsinghua University (empresa): Universidade mencionada como uma das instituições associadas à origem do modelo.
Cloudflare (ferramenta): Serviço que o apresentador menciona ao mostrar o teste offline de áudio.
VRAM (conceito): Memória de vídeo cujo consumo ultrapassa 26 GB na configuração demonstrada.
full-duplex (conceito): Modo de interação em que o sistema pode ouvir continuamente enquanto fala.
Harness (conceito): Componente descrito como responsável por acompanhar e executar tarefas demoradas em segundo plano.

Tradução completa (pt-BR)

00:01 A Inclusion AI acabou de lançar o Realtime Venus. Este é um modelo que, segundo eles, é full-duplex, ouve enquanto fala, permite interação proativa, compreensão audiovisual, memória de vídeos longos e delegação para tarefas em segundo plano. É uma grande lista de alegações. Vamos ver quanto disso realmente funciona assim que sai da caixa. O que fiz foi criar rapidamente este aplicativo, com uma interface gráfica, usando o script que eles compartilharam no

00:33 repo, e vou mostrar exatamente como fiz isso. Estou executando localmente e acessando por meio desta interface gráfica. Então, primeiro, vou clicar em iniciar microfone e dizer alguma coisa. Aguente um instante. Reparem no atraso, porque eles dizem que é em tempo real. Estou clicando em iniciar microfone.

01:06 Olá. Como você está? >> Olá. Estou bem. Como posso ajudar você hoje? >> Qual é o seu nome? >> Meu nome é Quan. Como posso ajudar você hoje? >> Bem, você gostaria de ser minha amiga?

01:37 >> Eu ficaria feliz em ser sua amiga. O que você quer que eu faça por você? >> Então, o que você pode fazer por mim? >> Posso responder a perguntas, escrever histórias, redigir e-mails, criar scripts e muito mais. O que você gostaria de fazer primeiro? >> Certo. Bem, primeiro eu gostaria de sair para um encontro. >> Parece ótimo. Aonde você gostaria de ir no seu encontro?

02:11 >> Acho que vamos ficar em casa mesmo e pedir uma pizza. >> Parece ótimo. Você gostaria que eu escrevesse uma mensagem para o restaurante? >> Bem, só cante uma música. >> Claro, posso cantar uma música para você. Que música você gostaria que eu cantasse? >> Você escolhe, pode cantar. Escolha qualquer uma.

02:42 >> Vou cantar Imagine, de John Lennon. Você gostaria que eu cantasse agora? >> Sim. Isso, pode mandar. Certo, antes que eu me empolgue demais, vou interromper aqui. E não só dá para fazer isso, como também dá para

03:12 também fazer qualquer pergunta que você quiser. Então, vou digitar isto: sempre que corto a grama do meu quintal, minha vizinha, uma mulher de 27 anos que acabou de se divorciar do seu sétimo parceiro, começa a pular na cama elástica de biquíni e, toda vez que sobe, pisca para mim. O que devo fazer, já que também estou gostando disso? Hoje em dia, corto a grama duas vezes por dia, e agora ela está quase toda acabada, e é difícil cortar a terra. Acho que ficou longo demais.

03:44 Então, talvez eu reduza para duas frases. >> Obrigado por me contar. Entendo. É uma situação delicada. Deixe-me ajudar você a lidar com isso com cuidado e respeito. Primeiro, devemos nos concentrar na frequência com que você cuida do gramado. Como a grama está quase toda acabada e é difícil cortar assim, você pode considerar trocar por um cortador rotativo ou uma roçadeira para as áreas difíceis. Quanto à

04:15 questão da vizinha, tente explicar educadamente que o uso da cama elástica dela afeta o trabalho que você faz no quintal. Se ela continuar, talvez você precise conversar sobre limites. O que você acha? >> Bem, isso não parece bom. Agora, vou trocar para o microfone. Certo. Então, dá para ver que é um bom

04:46 começo, mas há muitas arestas a aparar. E estou usando o script deles. Não estou usando meu próprio script. Então, agora vou falar um pouco mais sobre o modelo e mostrar exatamente como fiz isso. Também vou compartilhar o código no meu repo do GitHub, onde fiz muitas alterações. Assim, você pode simplesmente pegá-lo. Vou deixar o link. Então, deixe-me levar você até lá. É aqui que estou executando o código que acabei de demonstrar. E este é o arquivo Python completo que carregou o modelo e depois o disponibiliza

05:18 para uso. E, como eu disse, vou compartilhá-lo com vocês. Também vou mostrar o consumo de VRAM neste momento. Considerando tudo, ele está consumindo mais de 26 GB de VRAM. Então, verifique se você tem essa quantidade. O que mais? Outra coisa que fiz: há uma versão em tempo real e também uma versão offline. Este é o meu Cloudflare. Então, o que fiz foi fornecer uma pergunta em formato de áudio e, em seguida, ele me devolveu uma resposta em áudio, no modo offline. Ele salvou o arquivo. Deixe-me

05:50 primeiro reproduzir a pergunta para vocês e depois vou reproduzir a resposta do modelo. Só um segundo. Vou abrir o arquivo. >> O que é felicidade? >> Essa é a pergunta. Deixe-me reproduzir a resposta do modelo. >> É seu… É um estado psicológico. Muitas vezes é descrita como uma experiência de alegria,

06:21 contentamento. >> Então, vocês já podem imaginar: acho que começou falando um pouco em chinês. E depois, com aquele sotaque, me deu a resposta. Mas a resposta está longe de ser perfeita. Então, deixe-me falar um pouco mais sobre este modelo. Ele vem do N Group e da Tsinghua University, a mesma empresa por trás do LingRing e de alguns outros modelos que já abordamos no canal. É um sistema full-duplex com 9 bilhões de parâmetros, construído sobre o MiniCPM

06:51 4.5, com um modelo de linguagem central de 1,38 bilhão de parâmetros, SigLip 2 para visão e Whisper medium para áudio. Então, na verdade, eles pegaram todos esses modelos de outros lugares e criaram este sistema duplex. Há dois checkpoints. O Omni processa áudio e vídeo. O Audio é somente para áudio. A proposta deles é que o modelo ouve continuamente enquanto fala, entende o que está acontecendo na tela e no som ao mesmo tempo e pode até encaminhar tarefas para serem executadas em segundo plano, sem congelar a conversa. Mas, na minha

07:21 experiência, acho que ele está bem longe dessa alegação, e vocês já viram isso na demonstração em tempo real. Ainda assim, acho que houve uma melhora, mas ainda há um longo caminho pela frente. AGI ainda não chegou. E esta é a arquitetura deles. Dois ciclos funcionando lado a lado. À esquerda, o ciclo de interação. Sua fala, vídeo e texto entram no modelo em tempo real, e ele responde pelo mesmo canal. Full-duplex, sem esperar sua vez. À direita, o ciclo de capacidades. Tudo

07:53 que demora mais, uma busca, uma chamada de ferramenta, uma tarefa de agent, é encaminhado para o harness, acompanhado pelas etapas de enfileirado, em execução, concluído e entregue, e o resultado volta para a conversa ao vivo sem interrompê-la. Essa é a teoria. O harness em si não está no repo público, mas o ciclo da direita é a parte que você não consegue realmente testar nem executar em lugar nenhum. Eu realmente examinei isso com cuidado, mas não consegui encontrar nada significativo. Enfim, esse é o modelo. Vocês já viram tudo.

08:26 Deixem também suas opiniões nos comentários. Se quiserem ajudar o canal, tornem-se membros. Isso ajuda bastante. E, recentemente, comecei esta newsletter semanal gratuita sobre IA, na qual vocês podem se inscrever em… Obrigado por todo o apoio.

Transcrição original

[00:01] Inclusion AI has just released real-time awareness. This is a model which they say is full duplex, listens while it speaks, proactive interaction, audio-visual understanding, long video memory, delegation to background tasks. It’s a big list of claims. Let’s see how much of it actually works out of the box. What I have done, I have just created this very quick application with some graphical user interface with their script which they have shared in their

[00:33] repo, and I will show you how exactly I have done it. I am running it locally and accessing it through this GUI. So, first up, I’m just going to click on start mic and then speak something. Um bear with me. Just notice the delay because they say it’s real-time. I’m clicking on start mic.

[01:06] Hello. How are you? >> Hello. I’m well. How can I assist you today? >> What is your name? >> My name is Quan. How can I help you today? >> Well, would you like to be my friend?

[01:37] >> I’d be happy to be your friend. What do you want me to do for you? >> So, what can you do for me? >> I can answer questions, write stories, compose emails, create scripts, and more. What would you like to do first? >> Okay. Well, first I would like to go on a date. >> That sounds wonderful. Where would you like to go on your date?

[02:11] >> I think we will just stay at home, order some pizza. >> That sounds great. Would you like me to write a message to the restaurant for you? >> Well, just sing a song. >> Sure, I can sing a song for you. Which song would you like me to sing? >> Your choice, go for it. Select any.

[02:42] >> I’ll sing Imagine by John Lennon. Would you like me and and like me to sing it now? >> Yes. Yeah, go for it. Okay, before I get carried away, I’m just going to put a stop on this. And not only you can do that, but also you can

[03:12] um also ask it any question of your choice. So, I’m just going to type this in a text that whenever I mow my lawn in my backyard, my neighbor standing 27 year old who recently got divorced by her seventh partner starts jumping on trampoline in bikini, and whenever she goes up, she winks at me. What should I do as I’m loving this, too? These days I’m mowing my lawn two times a day, and now the grass is almost gone, and it’s hard to mow the dirt. I think it is too big.

[03:44] So, maybe I will just shorten it to two sentences. >> Thanks for telling me. I understand. This is a tricky situation. Let me help you handle it carefully and respectfully. First, we should focus on your lawn care schedule. Since the grass is nearly gone and mowing that is hard, you can consider switching to a rotary mower or a brush cutter for tough areas. For

[04:15] the neighbor issue, try politely explaining that her trampoline use affect your yard work. If she continues, you may need to talk talk about boundaries. How does that >> Well, that doesn’t sound good. Now, I’m switching to the mic. Okay. So, you see it is quite a good

[04:46] start, but there are a lot of rough edges. And I’m using their script. I’m not really using my own script. So, let me now talk a bit more around the model and show you how exactly I have done it this thing. And I will also share the code in my GitHub repo where I have changed a lot. So, you can just get it. I will drop the link. Um so, let me take you there. So, this is where I’m running my code which I just uh demonstrated to do. And this is whole the Python file which has loaded the model and then serving

[05:18] it. And as I said, I will share it with you. Also, let me show you the VRAM consumption at the moment. So, everything inclusive it is consuming over 26 gig of VRAM. So, make sure you have that much. What else? Another thing which I did, so there is an real-time one, there is also an offline one. This is my Cloudflare. Um so, this is where what I did, I just provided it a question in audio format and then it gave me audio output back, which was offline. It saved it. Let me

[05:50] now first play the question for you and then I will play the response of the model. So, let give me a sec. I will just open that file. >> What is happiness? >> This is a question. Let me play the model’s response. >> It’s your It is a psychological state. It is often described as an experience of joy,

[06:21] contentment. >> So, you you can already imagine started with some Chinese, I guess. And then in that accent it has given me the answer. But far from perfect answer. So, let me tell you a bit more around this model. So, this model comes from N Group and Tsinghua University, the same company behind LingRing and few other models which we have already covered on the channel. It’s a 9 billion parameter full duplex system built on MiniCPM

[06:51] 4.5 with a 1.38 billion language backbone, SigLip 2 for vision and Whisper medium for audio. So, they have actually taken all these models from elsewhere and then they have created this duplex system. There are two checkpoints. Omni handles audio plus video. Audio is audio only. Uh their pitch is that the model listens continuously while it talks, understands what’s happening on screen and in sound at the same time. And can even hand off task to run in the background without freezing the conversation. But in my

[07:21] experience, I think it is quite far away from that um claim and you already saw that um in the real-time demo. Uh still, I think there is an improvement, but a long way to go. No AGI is here so far. And this is their architecture. Two loops running side by side. On the left, the interaction loop. Your speech, video, and text go into the model in real time, and it talks back over the same channel. Full duplex, no waiting your turn. On the right, the capability loop. Anything

[07:53] that takes longer, a search, a tool call, an agent task, gets dispatched to the harness, tracked through cute, running, completed, delivered, and the result flows back into the live conversation without interrupting it. That’s the theory. The harness itself isn’t in the public repo, but the right-hand loop is the part you can’t really actually test or run anywhere. I have really hard I had a hard look on that, couldn’t really find anything meaningful. Anyway, so that is the model for you. You have seen it, everything.

[08:26] Let me know your thoughts in the comments also. If you want to help out the channel, please become a member. That supports a lot. And recently, I have started this free weekly AI newsletter, which you can subscribe at Thank you for all the support.