Modelos multimodais

Ver no idioma original →

Modelos multimodais processam ou relacionam mais de um tipo de dado — como texto, imagens, áudio e vídeo — e podem ser usados para compreender conteúdo, gerar mídia ou orientar ações. Os vídeos apresentam desde modelos que integram modalidades em um único sistema até ferramentas especializadas em tarefas como OCR, fala, análise visual e criação de ambientes interativos. Também destacam que desempenho em demonstrações e benchmarks não garante confiabilidade em usos reais. ↗ ↗ ↗

Arquiteturas e integração de modalidades

Os sistemas de speech-to-speech tradicionais costumam separar reconhecimento de fala, processamento e síntese. Em contraste, a pesquisa do Google DeepMind explora modelos Gemini treinados para relacionar áudio, vídeo e texto, buscando conversas mais naturais e versáteis. Equilibrar qualidade conversacional, inteligência e multimodalidade ainda envolve desafios como latência e suporte a diferentes idiomas. ↗

Uma arquitetura comum para agentes de voz combina uma LLM com modelos de speech-to-text e text-to-speech, mas cada etapa pode aumentar a latência. Como alternativa, modelos speech-to-speech em tempo real podem reunir o processamento em um único sistema e permitir raciocínio e chamadas de funções. ↗ O Gemini Live com Google ADK, por exemplo, usa uma conexão persistente com áudio nos dois sentidos, aceita interrupções e organiza os fluxos de áudio de entrada e eventos de saída; manter a sessão em memória é apresentado como uma forma de reduzir a latência. ↗ A nova ChatGPT Voice também é descrita como capaz de ouvir e falar ao mesmo tempo, acompanhar conversas e traduzir em tempo real. ↗

As abordagens de processamento variam. Gemma 4 inclui modelos com encoders dedicados para áudio e imagens, mas o Gemma 4 12B projeta segmentos de áudio diretamente no LLM e usa um pequeno embedder para imagens, sem encoders tradicionais. Já o MiniMax M3 foi treinado desde o início com texto e visão; sua arquitetura usa atenção esparsa e mecanismos voltados a reduzir custos de memória e processamento, inclusive para vídeo. ↗ ↗ ↗

Outros modelos adotam formatos de entrada ou saída especializados. Clef e D1 Omni, por exemplo, recebem modalidades como texto, imagens ou áudio e retornam probabilidades para opções predefinidas, em vez de texto livre. PixelUMM busca processar imagens e vídeos diretamente em pixels, sem VAE nem encoder de visão. Essas escolhas refletem diferentes compromissos entre arquitetura, velocidade e tipo de tarefa. ↗ ↗ ↗

Há também modelos base de grande escala que incorporam visão ao treinamento. A Microsoft apresentou o MAI-Base-2 como um modelo Mixture of Experts de 2,8 trilhões de parâmetros totais, treinado em 16 mil GPUs por 38 dias; segundo a empresa, os dados de treinamento foram ampliados para incluir visão nativa. Os pesos não estão disponíveis para download e a Microsoft planeja licenciá-los a parceiros confiáveis pelo Foundry. ↗ Essas características e resultados são atribuídos à apresentação da empresa, não a uma avaliação independente.

Fala, áudio e interação em tempo real

Modelos de áudio aparecem em tarefas de reconhecimento, diarização, tradução, síntese e conversa. Os vídeos mostram sistemas speech-to-speech que procuram lidar com sobreposição de falas, risadas, suspiros e mudanças de entonação, além de modelos de reconhecimento que identificam falantes e podem ser combinados com transcrição e timestamps. A qualidade e a velocidade variam conforme o ruído, o idioma e as condições do áudio. ↗ ↗ ↗ ↗

Outros exemplos ilustram os compromissos entre tamanho, velocidade e capacidade. O EMA Lightning é um modelo de síntese de fala em turco com cerca de 34 MB de pesos; no teste apresentado, gerou áudio mais rápido que o tempo real, mas oferece uma única voz, sem clonagem ou controle de emoção, e é voltado exclusivamente ao turco. ↗ O projeto Whistle, por sua vez, executa speech-to-text offline em uma placa ESP32-S3 de baixo custo, após adaptações para fazer o modelo caber no dispositivo; os tempos de resposta ficaram em torno de 10 segundos, e testes com vozes sintéticas indicaram cerca de 78% de acerto em comandos de cores em inglês. ↗ Para ditado, o Blurt usa uma API que combina transcrição e limpeza do texto em uma chamada e permite personalizar termos, como nomes e medicamentos; a demonstração com medicamentos é ilustrativa, não uma recomendação de prescrição. ↗

A separação de fontes de áudio também pode ser feita por modelos pequenos. Em um teste com uma mixagem sintética de fala, música e ruído de ventilador, o DBS-Tiger, com cerca de um milhão de parâmetros, melhorou a métrica SI-SDR da fala de 1,3 dB para 12,04 dB, mas não isolou o ventilador em uma faixa própria. O teste envolveu apenas um arquivo, portanto não constitui um benchmark nem permite generalizar o resultado. ↗

Para agentes de voz, manter a conversa responsiva exige mais do que escolher um modelo. Algumas arquiteturas executam consultas e chamadas de ferramentas em segundo plano enquanto a voz continua a interação; outras combinam transcrição, correção contextual, geração antecipada e síntese em streaming. Avaliações devem considerar a conversa completa, incluindo interrupções, latência percebida, segurança e a possibilidade de encaminhar situações incertas para revisão humana. ↗ ↗ ↗ ↗

Testes de execução local mostram outros compromissos. Em um laptop com 8 GB de VRAM, executar Gemma 4 E4B e Qwen3-TTS 1.7B simultaneamente causou pausas em todas as seis execuções avaliadas; fazê-los trabalhar em turnos eliminou as pausas nesses testes, mas aumentou o tempo de geração de texto de cerca de 10 para 46 segundos. ↗ Um modelo offline demonstrado em um Apple Watch Series 6 chegou a cerca de 24 tokens por segundo, embora respostas longas fossem mais lentas e a memória fosse limitada pela arquitetura do dispositivo. ↗

Ferramentas de voz também variam em maturidade e compatibilidade. O Voice Studio reúne recursos locais de clonagem e design de voz, dublagem, transcrição, ditado e audiolivros, mas o teste aponta que ainda é pouco refinado e não substitui serviços comerciais como a ElevenLabs. [[yNy5-akjFM]] Em outro teste, um projeto de assistente local combinou modelos de voz, mas apresentou limitações de compatibilidade e segurança. ↗

Visão, documentos e vídeo

Modelos de visão e linguagem são usados para interpretar imagens, vídeos, gráficos, documentos e capturas de tela. Em OCR, os vídeos descrevem modelos que extraem texto e estrutura de documentos, como tabelas e fórmulas; os resultados dependem da qualidade da imagem, do idioma e do tamanho do texto. Alguns sistemas podem ser executados localmente, mas velocidade e consumo de memória variam bastante entre modelos e configurações. ↗ ↗ ↗ ↗

O DeepSeek OCR propõe transformar documentos em imagens e comprimi-los em tokens visuais para reduzir o custo de armazenar informações. Segundo a transcrição do vídeo, com compressão de 10× seria possível recuperar mais de 96% do texto, enquanto em quase 20× a precisão do OCR cairia para 60%. A abordagem combina atenção local, compressão convolucional e processamento visual global. O vídeo também relata a possibilidade de o modelo completar textos com base em padrões de linguagem, em vez de recuperar todo o conteúdo visual, o que é uma limitação importante para avaliar a fidelidade da recuperação. ↗

Modelos leves de visão também podem ser úteis em tarefas locais, mas têm limites. O MiniCPM-V 4.7 1B consumiu pouco mais de 5 GB de VRAM no teste e interpretou um relógio, criou uma simulação visual e resolveu uma questão de matemática; teve dificuldades com caligrafia, tradução para muitos idiomas e instruções criativas com várias etapas. O apresentador o considera mais adequado a tarefas leves do que a raciocínio complexo ou instruções longas. ↗

A compreensão de vídeo também aparece em modelos que resumem clipes, identificam falantes ou acompanham mudanças ao longo do tempo. Há sistemas que combinam áudio e vídeo em um único fluxo e modelos de mundo que geram ambientes interativos com imagem e som. Ainda assim, acompanhar eventos temporais e perceber detalhes de forma consistente continua sendo um desafio: um teste de memória de vídeo, por exemplo, mostrou que informações não percebidas inicialmente não podiam ser recuperadas depois. ↗ ↗ ↗ ↗

Um teste do modelo Glimpse enfatiza o exame visual por regiões, a revisão de trechos e o acompanhamento de elementos ao longo do tempo. O modelo identificou algumas inconsistências físicas em vídeo gerado por IA e descreveu detalhes de gravações reais, mas também apresentou erros, respostas longas e contradições; não confirmou o conteúdo falado em uma gravação quando a qualidade do áudio era insuficiente. ↗ Um modelo de mundo da ByteDance foi apresentado em uma demonstração de refilmagem de cenas, com novo rastreamento de câmera e preservação de detalhes e atuações; possíveis controles 3D e o uso de Gaussian splat foram levantados pelo apresentador como hipóteses, não como fatos confirmados. ↗

Há aplicações de visão computacional voltadas à verificação no próprio dispositivo. A Capture relata usar modelos menores, obtidos por destilação, para orientar entregadores a corrigir fotos no momento da captura; a empresa atribui a essa abordagem reduções em reclamações de entregas não recebidas e em fotos de pacotes invisíveis. Como modelos grandes são pesados demais para celulares, a equipe também usa serviços de nuvem para desenvolver e treinar modelos, e pretende combinar compreensão visual com planejamento de ações. ↗

Usos e limitações

A combinação de modalidades amplia os tipos de interação possíveis: avatares podem conversar usando áudio e vídeo; modelos podem transformar imagens em objetos 3D; e sistemas de decisão podem analisar imagens para classificar solicitações ou orientar ações. Também há propostas de modelos para direção autônoma, robótica e controle de agentes incorporados, em que a percepção visual precisa ser ligada ao planejamento e à ação. ↗ ↗ ↗ ↗ ↗

APIs de decisão estruturada permitem classificar solicitações, responder sim ou não e atribuir notas. A Decisions API da OpenAI foi demonstrada analisando mensagens e fotos e retornando respostas com níveis de confiança, tempo de resposta e custo; o vídeo a descreve como funcional, mas mais cara que o Jev e possivelmente um pouco mais lenta do que o anunciado. ↗ O JEV passou a aceitar imagens na versão 1.14 e oferece um formato de saída chamado box para localizar elementos em fotos; os exemplos incluem classificação, verificação de imagens, moderação e workflows agênticos. ↗ Esses relatos não eliminam a necessidade de comparar ferramentas e avaliar os resultados no caso de uso específico.

A análise espacial pode também alimentar registros sobre ativos físicos. Uma proposta apresentada para edifícios consiste em mapear espaços com sensores disponíveis no mercado, transformar visitas em registros espaciais semânticos e guardar mudanças ao longo do tempo em um banco de dados de grafos, para permitir comparações e consultas com evidências. O palestrante aponta possíveis usos em manutenção, conformidade e seguros imobiliários. ↗

Modelos de mundo são discutidos como ferramentas para simulação em robótica e para conectar representações visuais a ações físicas. Um painel com pesquisadores e líderes da NVIDIA, Google DeepMind e Wayve ressalta a diferença entre simulação e realidade e os limites de modelos que geram apenas vídeo; entre os desafios estão controle preciso, latência, acesso a dados de sensores e escalabilidade sustentável. ↗ Um renderizador neural do Agent Garden combina mundos definidos por código com geração de imagens em tempo real; o teste confirmou a velocidade anunciada, mas encontrou dificuldades para preservar objetos pequenos e dependência entre a imagem de referência e a geometria. A tentativa de reproduzir o aprendizado dos agentes teve ganhos modestos e ruidosos, e o código dos mundos e o loop de prática do projeto original ainda não estavam disponíveis. ↗

A geração multimodal também pode apoiar criação de conteúdo e aplicações interativas. Um vídeo demonstra a criação de explicativos e motion graphics com Claude e código JavaScript, incluindo narração sincronizada a timestamps por palavra e estilos visuais reutilizáveis. ↗ Outro relata o uso de geração de personagens e vídeo para criar materiais de divulgação, comparando motion transfer e object swap e reduzindo custos com geração em baixa resolução seguida de upscale. ↗ Há ainda exemplos de projetos de jogos criados com IA e de modelos de vídeo open source que, segundo o vídeo, geram vídeo em 2K com áudio ou podem ser executados em hardware mais acessível. ↗ Essas demonstrações ilustram possibilidades, mas não estabelecem por si só a qualidade ou a confiabilidade dos resultados em produção.

Os vídeos ressaltam, porém, que modelos multimodais podem interpretar uma cena corretamente e ainda propor uma ação inadequada, falhar em detalhes visuais ou errar em tarefas que exigem raciocínio espacial e temporal. Benchmarks e demonstrações não substituem testes com exemplos reais; para decisões importantes, são recomendados validação no próprio caso de uso, limites de confiança e revisão humana. ↗ ↗ ↗ ↗

Também há diferenças entre resultados de demonstrações e desempenho em tarefas reais. O DeepSeek V4.1 Flash 1017 foi apresentado em projetos feitos com um único prompt, incluindo um app de diagnóstico por imagem; o vídeo descreve a atualização como uma melhoria modesta, apesar de alguns resultados elogiados. ↗ Já o MiniCPM-V teve bons resultados em algumas tarefas de imagem, mas falhou em caligrafia e instruções longas. ↗ Esses exemplos reforçam que o desempenho observado depende da tarefa, dos dados e das condições de teste.

A disponibilidade e o custo também afetam o uso. Uma palestra sobre modelos open weight discute custos, desempenho, controle e infraestrutura de serving, incluindo precisão, cache, concorrência e otimizações de inferência. ↗ O MAI-Base-2, apesar dos resultados divulgados pela Microsoft, não teve pesos disponibilizados para download no relato apresentado. ↗ Vídeos sobre lançamentos e checkpoints de modelos incluem rumores e relatos ainda não confirmados, que não devem ser tratados como avaliações verificadas de capacidades. ↗ ↗ ↗

Por fim, agentes que combinam modelos e ferramentas introduzem desafios de latência, confiabilidade, segurança e controle. Demonstrações de agentes de uso de computador destacam a busca por workflows determinísticos e reutilizáveis, além de dificuldades em verificação, segurança, exploração de interfaces e repetibilidade. ↗ Ferramentas de colaboração e agentes que executam tarefas em paralelo também podem apresentar interfaces confusas, respostas lentas ou limitações de integração, mesmo quando oferecem recursos de voz e delegação. ↗ ↗

Modelos multimodais

Arquiteturas e integração de modalidades

Fala, áudio e interação em tempo real

Visão, documentos e vídeo

Usos e limitações

Vídeos neste tópico