Entenda a família de modelos Gemma 4

Autoria: Google for Developers · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Understand the Gemma 4 model family · Canal: Google for Developers · 02:11 · Assistir no YouTube

Tópicos: Modelos de IA, Modelos locais e open source, Modelos multimodais

Resumo

Gemma 4 é uma família de modelos de linguagem grandes, multimodais e open source, com cinco tamanhos distribuídos por quatro arquiteturas. Os modelos menores são densos e eficientes, e usam PLE, além de encoders dedicados para processar áudio e imagens. O modelo 12B usa um método sem encoder, que projeta o áudio diretamente no LLM. Já o 26B A4B é um modelo de mistura de especialistas que ativa 4 bilhões de seus 26 bilhões de parâmetros por vez, enquanto o 31B é o modelo mais capaz da família.

Pontos-chave

A família Gemma 4 tem cinco tamanhos e quatro arquiteturas.
Os modelos menores são densos, eficientes e adequados para uso no dispositivo.
E2B e E4B usam PLE, sigla para per-layer embedding.
Os modelos menores processam áudio e imagens com encoders dedicados.
O modelo 12B usa um método sem encoder e projeta o áudio diretamente no LLM.
O 26B A4B é um modelo de mistura de especialistas e ativa 4 bilhões de parâmetros por vez.
O modelo 31B é denso e descrito como o mais capaz da família.
Os modelos 26B A4B e 31B usam um encoder de visão maior.

Capítulos

Início	Capítulo	Resumo
00:00	Visão geral da família Gemma 4	A família tem cinco tamanhos e quatro arquiteturas, e seus modelos menores são densos e eficientes.
00:31	PLE e encoders dedicados	Os modelos menores usam PLE e encoders dedicados para processar áudio e imagens; o 12B é voltado a laptops de alto desempenho.
01:05	O método sem encoder do 12B	O modelo 12B remove os encoders dedicados e projeta o áudio diretamente no LLM.
01:36	Os modelos 26B A4B e 31B	O vídeo explica a ativação de parâmetros no 26B A4B e apresenta o 31B como o modelo mais capaz da família.

Citações

Gemma 4 é uma família de modelos de linguagem grandes, multimodais e open source. — 00:00

Essas são essencialmente tabelas de consulta de embeddings que o modelo pode usar para processar suas consultas. — 00:31

Em vez de usar esses encoders dedicados, nós os removemos por completo. — 01:05

Embora tenha 26 bilhões de parâmetros, ele usa apenas 4 bilhões por vez. — 01:36

É o modelo mais capaz da família Gemma 4. — 01:36

Conceitos e entidades

Gemma 4 (modelo): Família de modelos de linguagem grandes, multimodais e open source apresentada no vídeo.
E2B (modelo): Um dos modelos menores da família, que usa PLE e encoders dedicados para áudio e imagens.
E4B (modelo): Um dos modelos menores da família, cujo nome faz referência a effective e ao uso de PLE.
12B (modelo): Modelo voltado a laptops de alto desempenho que usa um método sem encoder.
26B A4B (modelo): Modelo de mistura de especialistas com 26 bilhões de parâmetros, dos quais 4 bilhões são usados por vez.
31B (modelo): Modelo denso descrito como o mais capaz da família Gemma 4.
Per-Layer Embeddings (PLE) (conceito): Tabelas de consulta de embeddings usadas na arquitetura dos modelos E2B e E4B.
Mixture of Experts (conceito): Arquitetura que, no modelo 26B A4B, ativa 4 bilhões de parâmetros por vez.
encoder-free method (conceito): Método do modelo 12B que dispensa encoders dedicados e projeta o áudio diretamente no LLM.

Tradução completa (pt-BR)

00:00 Esta é a Gemma 4 explicada em 2 minutos. Vamos começar. Gemma 4 é uma família de modelos de linguagem grandes, multimodais e open source, disponível em cinco tamanhos diferentes e quatro arquiteturas diferentes. Começando pelos modelos menores, você pode ver que eles são densos, eficientes e perfeitos para uso no próprio dispositivo. O E em E2B e E4B faz referência a “effective” (efetivo). E isso significa embedding por camada, ou PLE, que eles

00:31 usam na arquitetura. Basicamente, são tabelas de consulta de embeddings que o modelo pode usar para processar suas consultas. Eles também processam áudio e imagens, usando encoders bem especializados, capazes de analisar essas diferentes modalidades. O modelo 12B é um pouco maior e perfeito para laptops de alto desempenho. Mas ele faz algo especial. Talvez não use o PLE dos modelos menores, mas usa

01:05 um método sem encoder. Em vez de usar esses encoders especializados que vemos nos modelos menores, ele os remove por completo. Então, por exemplo, em vez do encoder de áudio do modelo E2B, nós o removemos por completo no modelo 12B e, em vez disso, projetamos o áudio diretamente para o LLM. Já o modelo 26B A4B é um modelo de mistura de especialistas, em que o A faz referência a “active” (ativo). Isso significa que, embora

01:36 tenha 26 bilhões de parâmetros, ele usa apenas 4 bilhões deles por vez. E, por ser um modelo maior, damos a ele um encoder de visão maior, então ele é realmente perfeito para essas tarefas de visão mais difíceis. E, por último, mas certamente não menos importante, há o modelo 31B, que é denso. É o mais capaz da família Gemma 4 e também usa um encoder de visão maior. Mas não tem nenhum truque especial além de ser o melhor modelo da família.

02:11 Se quiser saber mais sobre Gemma 4, aqui estão alguns recursos que você pode usar. Até o próximo vídeo.

Transcrição original

[00:00] This is Gemma 4 explained in 2 minutes. Let’s get started. Gemma 4 is a family of multimodal open large language models that come in five different sizes across four different architectures. When we start with the smaller models, you can see that those are dense, they’re efficient, and and they’re perfect for on-device usage. There’s this E in E2B and E4B that references effective. And that stands for per-layer embedding or PLE that they

[00:31] use in their architecture. These are essentially lookup tables of embeddings that the model can use to process its queries. They also process audio and images, and they do that with very dedicated encoders that are capable of analyzing these different modalities. The 12B model is one step larger and is perfect for high-end laptops. But it does something special. It might not use the PLE of the smaller models, but it uses

[01:05] an encoder-free method. Instead of using these dedicated encoders that you see for the smaller models, it removes them entirely. So, instead of this audio encoder of the E2B model, for instance, we removed it entirely in the 12B model, and instead directly project the audio to the LLM. Now, the 26B A4B model is a mixture of experts model, where it references the A, which stands for active. And this means that, even though

[01:36] it has 26 billion parameters, it only uses 4 billion of them at a time. And because it’s a larger model, we give it a larger vision encoder, so it’s really perfect for these more difficult vision tasks. And last but certainly not least, there’s this 31B model, and it’s a dense model. It’s the most capable one of the Gemma 4 family and likewise, it uses a larger vision encoder. But it has no special tricks other than being the best model in the family.

[02:11] If you want to know more about Gemma 4, here a couple of resources that you can use. See you in the next video.