Gemma 4 12B: explicação do modelo sem encoders

Autoria: Google for Developers · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Gemma 4 12B: The Encoder-Free Model Explained · Canal: Google for Developers · 02:09 · Assistir no YouTube

Tópicos: Dados, bancos de dados e embeddings, Modelos de IA, Modelos multimodais

Resumo

Gemma 4 12B se diferencia dos outros modelos da família Gemma 4 por processar áudio e imagens sem encoders tradicionais. Para áudio, o modelo divide os segmentos em valores de amplitude sequenciais que podem ser projetados diretamente no LLM. Para imagens, usa um pequeno embedder que gera embeddings com informação posicional, sem o processamento extenso de um encoder visual. Essa abordagem reduz o processamento anterior ao LLM e pode diminuir o tempo até o primeiro token.

Pontos-chave

Gemma 4 12B não usa encoders para processar entradas de áudio e imagem.
Outros modelos Gemma 4 usam um vision encoder com até 550 milhões de parâmetros.
Os modelos menores mencionados usam um encoder de áudio chamado conformer, com 300 milhões de parâmetros.
Encoders precisam processar as entradas antes de o LLM começar a trabalhar, o que pode aumentar o tempo até o primeiro token.
Para áudio, Gemma 4 12B transforma segmentos em conjuntos sequenciais de valores de amplitude e os projeta diretamente no LLM.
Para imagens, o modelo usa um embedder com cerca de 35 milhões de parâmetros.
O embedder de imagem acrescenta informação posicional para indicar ao LLM a localização dos patches.
O LLM assume a tarefa de atribuir significado às entradas de áudio e imagem.

Capítulos

Início	Capítulo	Resumo
00:00	O que diferencia Gemma 4 12B	O vídeo apresenta o modelo e explica que ele não usa encoders para processar áudio e imagens.
00:32	Como o modelo processa áudio	O áudio é dividido em valores de amplitude sequenciais que podem ser projetados diretamente no LLM.
01:06	Processamento de imagens sem encoder	Um embedder gera embeddings de imagem e acrescenta informação posicional sem o processamento extenso de um encoder.
01:39	Tamanho do embedder e papel do LLM	O vídeo explica por que o embedder de imagem tem cerca de 35 milhões de parâmetros e como o LLM assume a interpretação das entradas.

Citações

Este modelo é especial na família Gemma 4 porque não usa encoders para processar as entradas de áudio e imagem. — 00:00

O tempo até o primeiro token aumenta um pouco. — 00:32

É só isso que é necessário para remover o encoder do áudio. — 01:06

Tudo o que o embedder faz é criar embeddings com informação posicional. — 01:39

Conceitos e entidades

Gemma 4 12B (modelo): Modelo da família Gemma 4 que processa áudio e imagens sem encoders tradicionais.
Gemma 4 (modelo): Família de modelos citada como contexto para comparar o processamento de entradas com e sem encoders.
encoder (conceito): Componente que processa uma entrada e produz embeddings antes de o LLM começar a trabalhar.
conformer (conceito): Encoder de áudio mencionado como usado por modelos menores, com 300 milhões de parâmetros.
vision encoder (conceito): Modelo transformer usado por outros modelos Gemma 4 para processar imagens e gerar embeddings.
embedder (conceito): Componente menor que transforma imagens em embeddings e inclui informação posicional.
LLM (conceito): Modelo que recebe as representações das entradas e assume a tarefa de atribuir significado a elas.
embedding (conceito): Representação criada a partir de uma entrada para que o LLM possa processá-la.

Tradução completa (pt-BR)

00:00 Esta é a Gemma explicada em 2 minutos. Vamos começar. Este modelo é especial na família Gemma 4 porque não usa codificadores para processar as entradas de áudio e imagem. Todos os outros modelos Gemma 4, por exemplo, usam um codificador de visão, um modelo transformer que processa a entrada de imagem e atribui significado aos embeddings que cria ao longo do processo. Ele é bem grande, com até 550 milhões de parâmetros. Da mesma forma, esses modelos pequenos usam um codificador de áudio chamado conformer.

00:32 Ele faz um processamento semelhante com 300 milhões de parâmetros, então também é bem robusto. Agora, o que acontece com todos esses codificadores é que primeiro eles precisam processar a entrada e atribuir significado aos embeddings antes que o LLM possa começar a trabalhar. Isso significa que o tempo até o primeiro token aumenta um pouco. Em vez de usar o conformer, o modelo Gemma 4 12B simplesmente divide o áudio em segmentos para criar conjuntos de valores de amplitude, e pode projetá-los diretamente para o LLM, porque essas são informações sequenciais que o LLM

01:06 conhece muito bem. E é só isso que é necessário para remover o codificador de áudio. Para as imagens, esse processo é um pouco mais complexo. E o motivo é que uma imagem contém informações em 3D. São pixels em 3D. Então, ele usa um pequeno criador de embeddings para processar as imagens de entrada e simplesmente criar embeddings a partir delas. Não há o processamento extensivo que vemos em um codificador. Por exemplo, é preciso adicionar informações de posição, porque, caso contrário, o LLM não saberia a qual localização, a quais coordenadas X

01:39 e Y, pertence um recorte da imagem. São cerca de 35 milhões de parâmetros, bem menos do que os codificadores de visão. O motivo de ainda serem 35 milhões de parâmetros é que há muitos pixels em uma imagem para projetar. Um recorte pode ter 7.000 pixels. E, quando você observa a projeção linear aqui, precisa multiplicar esse valor pela dimensão do modelo, o que resulta em um tamanho bem grande. Mas tudo o que o criador de embeddings realmente faz é criar embeddings com informações de posição

02:09 e então o LLM pode assumir o controle e atribuir significado às entradas de imagem e áudio. Agora, se você quiser saber mais sobre o modelo Gemma 4 sem codificador, aqui estão alguns recursos legais e interessantes que você pode conferir. Vejo você no próximo vídeo.

Transcrição original

[00:00] This is Gemma explained in 2 minutes. Let’s get started. This model is a special one in the Gemma 4 family because it uses no encoders to process the audio and image inputs. All other Gemma 4 models, for instance, uses vision encoder, a transformer model to process the image input and give meaning to the embeddings it creates along the way. It’s quite large with up to 550 million parameters. And likewise, these small models use this audio encoder called a conformer.

[00:32] It does a similar processing with 300 million parameters, so likewise, quite chunky. Now, what happens with all of these encoders is they first have to process the input, give meaning to the embeddings before the LLM can start working. This means that the time to first token increases a little bit. Instead of using the conformer, the Gemma 4 12 B model simply cuts the audio segments to create sets of amplitude values, and it can project those directly to the LLM because those are all sequential information that the LLM

[01:06] knows so well. And that’s all it takes to remove the encoder for the audio. For images, this process is a little bit more involved. And the reason for that is because an image is 3D information. It’s 3D pixels. So, it uses a small embedder to process the input images and just create embeddings out of it. No extensive processing that you see with an encoder. For instance, it needs to add positional information because otherwise, the LLM wouldn’t know which location, which X

[01:39] and Y coordinates a patch of an image belongs to. It’s about 35 million parameters, so quite a bit smaller than the vision encoders. The reason why it’s still 35 million parameters is because there are just so many pixels in an image to project. A patch can already be 7,000 pixels. And when you look at the linear projection over here, you have to multiply that with the model’s dimension and that gives a fairly large size. But all the embedder is really doing is creating embeddings with positional information

[02:09] and then the LLM can take over handling giving meaning of the image and audio inputs. Now, if you want to learn more about the encoder free Gemini 4 model, here are a couple of cool and interesting resources you can check out and I’ll see you in the next video.