Apresentando EmbeddingGemma 2: um modelo aberto para embeddings multimodais nativos

Autoria: Google for Developers · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Introducing EmbeddingGemma 2: An open model for natively multimodal embeddings · Canal: Google for Developers · 02:39 · Assistir no YouTube

Tópicos: Dados, bancos de dados e embeddings, Modelos locais e open source, Privacidade e proteção de dados, RAG, busca e recuperação de informação

Resumo

EmbeddingGemma 2 é um modelo aberto e leve que mapeia texto, imagens, vídeo e áudio para um único espaço de embeddings. Com até 740 milhões de parâmetros, ele oferece recursos de busca, recuperação, classificação e agrupamento, inclusive em dispositivos locais. O vídeo demonstra buscas em fotos e vídeos e pipelines com RAG e workflows agentic que mantêm os dados no dispositivo. Também é possível fazer fine-tune do modelo para vocabulários e conteúdos especializados.

Pontos-chave

O modelo representa texto, imagens, vídeo e áudio em um espaço de embeddings compartilhado.
Um único modelo pode apoiar busca, recuperação, classificação e agrupamento de diferentes tipos de dados.
O formato modular tem no máximo 740 milhões de parâmetros e gera vetores de 768 dimensões, que podem ser reduzidos a 128 dimensões.
A context window de 8.000 tokens permite incorporar documentos longos, bases de código e gravações de voz extensas no próprio dispositivo.
O Google AI Edge Gallery demonstra buscas em fotos e momentos específicos de vídeos sem transcrição intermediária ou chamadas a APIs externas.
Com modelos generativos leves, como Gemma 4, o modelo pode integrar pipelines de RAG e workflows agentic que mantêm dados sensíveis no dispositivo.
O fine-tune para vocabulários e conteúdos especializados pode melhorar a precisão da recuperação sem aumentar o tamanho do modelo.
Os pesos do modelo estão disponíveis no Hugging Face, e o Gemma Cookbook oferece notebooks para começar.

Capítulos

Início	Capítulo	Resumo
00:00	Embeddings multimodais em um espaço compartilhado	EmbeddingGemma 2 aproxima representações de texto, imagens, vídeo e áudio em um único espaço de embeddings.
00:33	Capacidades e eficiência do modelo	O vídeo apresenta tarefas possíveis, tamanho, dimensões dos vetores e uso em dispositivos locais.
01:05	Busca local em fotos e vídeos	O Google AI Edge Gallery demonstra consultas em linguagem natural para encontrar imagens e momentos em vídeos.
01:38	Pipelines locais com dados privados	A combinação com Gemma 4 permite criar pipelines de RAG e workflows agentic com dados mantidos no dispositivo.
02:08	Personalização e recursos para começar	O vídeo mostra um exemplo de recuperação local e explica como adaptar o modelo a domínios específicos e obter seus recursos.

Citações

Um modelo aberto e leve para embeddings multimodais nativos. — 00:00

Você pode criar busca, recuperação, classificação e agrupamento para diferentes tipos de dados. — 00:33

Minha busca inteira pode acontecer completamente offline. — 01:38

Informações sensíveis do usuário nunca saem do hardware. — 02:08

Isso ajuda a melhorar a precisão da recuperação sem aumentar o tamanho do modelo. — 02:39

Conceitos e entidades

Embedding Gemma 2 (modelo): Modelo aberto e leve que gera embeddings multimodais para texto, imagens, vídeo e áudio.
cross-modal retrieval (conceito): Recuperação de informações que relaciona dados de modalidades diferentes, como texto, imagens e áudio.
Matryoshka Representation Learning (conceito): Técnica que permite reduzir a dimensionalidade dos vetores de saída de EmbeddingGemma 2.
Google AI Edge Gallery (ferramenta): Aplicativo usado no vídeo para demonstrar busca local em fotos e vídeos.
Gemma 4 (modelo): Modelo generativo leve que pode ser combinado com EmbeddingGemma 2 para criar pipelines e workflows.
AI Edge Foresight (ferramenta): Aplicativo que demonstra a incorporação de áudio no dispositivo e a recuperação de informações locais.
Hugging Face (empresa): Plataforma indicada no vídeo para baixar os pesos do modelo.
Gemma Cookbook (repo): Coleção de notebooks mencionada como recurso para começar a usar o modelo.

Tradução completa (pt-BR)

00:00 Hoje, estamos muito animados para apresentar o EmbeddingGemma 2, um modelo aberto e leve para embeddings nativamente multimodais. — Tradicionalmente, a recuperação entre modalidades exigia modelos separados: um para texto, outro para visão e outro para áudio. O EmbeddingGemma 2 muda isso ao mapear texto, imagens, vídeo e áudio, ou qualquer combinação deles, para um único espaço de embedding unificado. Isso significa que a imagem de um gato, a palavra “gato” e o som de um gato são todos mapeados para perto uns dos outros

00:33 em um espaço de embedding compartilhado e de alta dimensionalidade. Assim, com esse único modelo, você pode criar busca, recuperação, classificação e agrupamento para diferentes tipos de dados. — O EmbeddingGemma 2 estabelece um novo padrão para modelos com menos de um bilhão de parâmetros, superando até modelos muito maiores em vários benchmarks. Para funcionar com eficiência em hardware de borda, ele vem em um formato modular com, no máximo, 740 milhões de parâmetros. Ele produz vetores de 768 dimensões, mas, graças ao

01:05 aprendizado de representação Matryoshka, você pode truncar as saídas até chegar a apenas 128 dimensões. Com uma context window de 8.000 tokens, você pode gerar embeddings de documentos longos, bases de código ou gravações de voz extensas diretamente no dispositivo, para fazer buscas e recuperá-los depois. — Vamos ver como isso funciona na prática com o app Google AI Edge Gallery. Primeiro, vamos conferir a Busca Instantânea em Mídia, em que você pode usar consultas em linguagem natural para recuperar fotos e recursos visuais diretamente. Também posso pesquisar dentro de vídeos usando o Localizador de Momentos em Vídeo.

01:38 Digamos que eu queira encontrar uma parte específica de um vídeo de aniversário. Posso pesquisar por alguém apagando as velas, e ele encontrará esse momento exato imediatamente. Tudo isso acontece diretamente no meu telefone, sem nenhuma transcrição intermediária e sem necessidade de chamadas a APIs externas. Assim, posso fazer toda a minha busca completamente offline. Agora vamos ver como esses recursos executados no dispositivo podem viabilizar pipelines ainda mais complexos. — Quando combinados com modelos generativos leves, como o Gemma 4, você pode criar pipelines de RAG

02:08 e workflows agênticos em que os dados confidenciais dos usuários nunca saem do hardware. Vamos ver um exemplo disso no app AI Edge Foresight. Então, eu poderia perguntar: “Ei, como o Foresight realmente aproveita o EmbeddingGemma 2?” O Foresight fica ouvindo ativamente em segundo plano, gera embeddings do fluxo de áudio, detecta a pergunta e, na mesma hora, exibe um resumo gerado junto com o diagrama da arquitetura do sistema, recuperado diretamente do armazenamento local. Como tudo é convertido em embeddings inteiramente no dispositivo, as informações confidenciais permanecem estritamente privadas.

02:39 Embora o modelo ofereça uma qualidade incrível logo de saída, você também pode fazer fine-tuning dele para vocabulários específicos de um domínio e recursos especializados, seja para indexar contratos jurídicos complexos, imagens médicas ou catálogos técnicos de produtos. Isso ajuda a melhorar a precisão da recuperação sem aumentar o tamanho do modelo. — Baixe hoje os pesos do modelo no Hugging Face e explore nossos notebooks no Gemma Cookbook para começar.

Transcrição original

[00:00] Today, we’re super excited to introduce EmbeddingGemma 2, a lightweight, open model for natively multimodal embeddings. - Traditionally, cross-modal retrieval required separate models, one for text, another for vision, another for audio. EmbeddingGemma 2 changes that by mapping text, images, video, and audio, or any combination of them into a single unified embedding space. This means a picture of a cat, the word cat, and the sound of a cat are all mapped close to each other

[00:33] in a shared high-dimensional embedding space. So with this one model, you can build search, retrieval, classification, and clustering for different types of data. - EmbeddingGemma 2 sets a new standard for models under a billion parameters, even outperforming much larger models on several benchmarks. To make this run efficiently on edge hardware, it comes in a modular form factor with a maximum of 740 million parameters. It outputs 768 dimension vectors, but thanks to

[01:05] Matryoshka representation learning, you can truncate outputs down to as low as 128 dimensions. With an 8,000 token context window, you can embed long documents, code bases, or extended voice recordings right on device for search and retrieval later. - Let’s see what this looks like in practice with the Google AI Edge Gallery app. First, we’ll look at Instant Media Search, where you can use natural language queries to directly retrieve photos and visual assets. I can also search within videos using Video Moment Finder.

[01:38] Say I want to find a specific part of a birthday video. I can search for blowing out candles, and it will find that exact moment immediately. This all happens directly on my phone without any intermediate transcription, and no external API calls are required. So my entire search can happen completely offline. Now let’s see how these on-device capabilities can power even more complex pipelines. - When paired with lightweight generative models like Gemma 4, you can build RAG pipelines

[02:08] and agentic workflows where sensitive user data never leaves the hardware. So let’s see an example of this in the AI Edge Foresight app. So I might say, “Hey, how does Foresight actually leverage EmbeddingGemma 2?” And Foresight’s actively listening in the background, it embeds the audio stream, detects the question, and instantly it surfaces a generated summary alongside the system architecture diagram retrieved straight from local drive storage. Because everything is embedded completely on device, sensitive information stays strictly private.

[02:39] So while the model delivers incredible out-of-the-box quality, you can also fine tune this model for domain-specific vocabularies and specialized assets, whether that’s indexing complex legal contracts, medical imaging, or technical product catalogs. This helps improve retrieval precision without increasing model size. - Download the model weights today on Hugging Face and explore our notebooks in the Gemma Cookbook to get started.