CLM-8B: modelos de linguagem contrastivos

Ver no idioma original →

Autoria: Prompt Engineering · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: CLM-8B: Contrastive Language Models · Canal: Prompt Engineering · 00:30 · Assistir no YouTube

Tópicos: Agentes de IA, Dados, bancos de dados e embeddings, Modelos de IA

Resumo

O vídeo apresenta o CLM, um modelo de linguagem contrastivo desenvolvido por pesquisadores de Stanford e NVIDIA, que, segundo seus autores, pode ser até nove vezes mais rápido que modelos GPT. Em vez de gerar uma resposta, o CLM codifica a situação e as ações possíveis separadamente e escolhe a ação cuja representação fica mais próxima da situação. Como as ações geralmente não mudam a cada etapa, suas representações podem ser calculadas uma vez e armazenadas em cache. O vídeo também ressalta uma limitação: o modelo não compara as opções diretamente entre si.

Pontos-chave

• CLM significa modelo de linguagem contrastivo.
• O modelo tem cerca de 8 bilhões de parâmetros.
• O CLM não gera uma resposta em texto; seleciona uma ação com base na proximidade entre representações.
• Um encoder representa a situação e outro representa cada ação possível.
• As ações podem ser codificadas uma vez e armazenadas em cache.
• A cada nova etapa, o cálculo envolve um embedding e um produto escalar.
• Com mil opções, o vídeo compara 44 ms para o CLM a 579 ms para um modelo GPT.
• Como cada opção é codificada individualmente, o CLM não compara as opções lado a lado.

Capítulos

Início	Capítulo	Resumo
00:00	O CLM e sua proposta	O vídeo apresenta o CLM como um modelo contrastivo de cerca de 8 bilhões de parâmetros e explica a alegação de que ele pode ser mais rápido que modelos GPT.
00:30	Seleção de ações, cache e limitações	O CLM representa a situação e cada ação separadamente, reutiliza representações armazenadas em cache e não compara as opções diretamente entre si.

Citações

Eles afirmam que ele é até nove vezes mais rápido que o GPT. — 00:00

O CLM nunca gera uma resposta. — 00:00

Cada nova etapa é apenas um embedding mais um produto escalar. — 00:30

O CLM nunca compara as opções lado a lado. — 00:30

Conceitos e entidades

• CLM (modelo): Modelo de linguagem contrastivo que seleciona ações comparando representações da situação e das opções.
• CLM 8B (modelo): Versão do CLM mencionada no vídeo, com cerca de 8 bilhões de parâmetros.
• CLIP (modelo): Modelo usado como analogia para explicar a abordagem contrastiva do CLM, adaptada à seleção de ações.
• Stanford (empresa): Instituição cujos pesquisadores são citados como parte do desenvolvimento do CLM.
• NVIDIA (empresa): Empresa cujos pesquisadores são citados como parte do desenvolvimento do CLM.
• embedding (conceito): Representação vetorial da situação ou de uma ação possível, usada para calcular a proximidade entre elas.
• produto escalar (conceito): Operação usada para comparar a representação da situação com as representações das ações.

Tradução completa (pt-BR)

00:00 Depois de Jeff, todo mundo está falando sobre modelos system one, mas surgiu um novo modelo que era completamente diferente. Ele se chama CLM, um modelo de linguagem contrastivo desenvolvido por pesquisadores de Stanford e da Nvidia. E eles afirmam que ele é até nove vezes mais rápido que Jeff. Então, como isso é possível? Ele tem o mesmo tamanho da maioria dos clones de Jeff, com cerca de oito bilhões de parâmetros. Agora, aqui está a diferença. Com um modelo no estilo Jeff, sua situação e todas as suas opções passam juntas pelo modelo em cada chamada. Mais opções significam mais coisas para ler. O CLM nunca gera uma resposta. O jeito mais simples de imaginar isso é o CLIP

00:30 para tomada de decisão. Um codificador lê a situação, outro lê cada ação possível, e a resposta é a ação que fica mais próxima. Agora, aqui está o truque. Em geral, suas ações não mudam de uma etapa para outra. Então, o CLM gera embeddings delas uma vez e as armazena em cache. Cada nova etapa exige apenas um embedding mais um produto escalar. Com mil opções, são 44 milissegundos, contra 579 para Jeff. Mas há um porém. Como cada opção é codificada por conta própria, o CLM nunca compara as opções lado a lado. Para saber mais, assista a este vídeo.

Transcrição original

[00:00] After Jeff, everybody’s talking about system one models, but there’s a new model that was completely different. It’s called CLM, a contrastive language model from Stanford and Nvidia research. And they’re claiming it’s up to nine times faster than Jeff. So, how is it that possible? It’s the same size as most Jeff clones, at around of eight billion parameters. Now, here’s the difference. With a Jeff style model, your situation and all your options go through the model together on every single call. More options means more to read. CLM never generates an answer at all. The easiest mental model is clip

[00:30] but for decision. One encoder reads the situation, another reads each possible action, and the answer is whichever action lands closest. Now, here’s the trick. Your actions usually don’t change from step to step. So, CLM embeds them once and caches them. Every new step is just one embedding plus a dot product. At a thousand options, that’s 44 milliseconds against 579 for Jeff. But, there is a catch. Because each option is encoded on its own, CLM never compares options side by side. To learn more, watch this video.