Cálculo do score de atenção | Álgebra linear para engenheiros de IA
Autoria: The Augmented · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: Attention Score Calculation | Linear Algebra for AI Engineers · Canal: The Augmented · 00:32 · Assistir no YouTube
Tópicos: Modelos de IA
O score de atenção é calculado pelo produto escalar entre a query de um token e a key de outro. Matrizes aprendidas WQ e WK projetam cada token em uma query e uma key. O produto Q por K transposta calcula os scores de todos os pares, que são divididos pela raiz quadrada da dimensão da head e processados com softmax para gerar pesos. Assim, os tokens determinam de quais outros tokens obter informação.
Pontos-chave
Seção intitulada “Pontos-chave”- Cada token começa como um vetor.
- A matriz aprendida WQ projeta o vetor em uma query, que representa a pergunta feita pelo token.
- A matriz aprendida WK projeta o vetor em uma key, que representa a informação que o token pode ajudar a fornecer.
- O produto escalar entre uma query e uma key calcula o score de um par de tokens.
- Um score alto indica que a query e a key estão alinhadas.
- Q por K transposta calcula os scores de todos os pares de uma só vez.
- A matriz de scores é dividida pela raiz quadrada da dimensão da head e, em seguida, o softmax transforma cada linha em pesos cuja soma é um.
- A atenção determina de quais tokens cada token obtém informação.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:00 | Queries, keys e cálculo do score | As matrizes WQ e WK projetam os tokens em queries e keys, cujo produto escalar mede o alinhamento entre pares. |
| 00:32 | Matriz de scores e pesos de atenção | O cálculo de Q por K transposta, a escala pela dimensão da head e o softmax produzem pesos que indicam de quais tokens obter informação. |
| 00:32 | A função da atenção | A atenção mede o alinhamento entre tokens segundo as projeções aprendidas e permite selecionar de quais obter informação. |
Citações
Seção intitulada “Citações”O score de atenção é apenas o produto escalar entre a query de um token e a key de outro. — 00:00
Um valor alto aqui significa que eles estão alinhados. — 00:00
A atenção é como os tokens decidem de quem obter informação. — 00:32
Um score de atenção mede quais tokens estão alinhados sob essas projeções aprendidas. — 00:32
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- attention score (conceito): Valor calculado pelo produto escalar entre a query de um token e a key de outro para medir o alinhamento entre eles.
- query (conceito): Projeção de um token que representa a pergunta que ele faz aos demais tokens.
- key (conceito): Projeção de um token que representa a informação que ele pode ajudar a fornecer.
- dot product (conceito): Operação usada para calcular o score entre a query de um token e a key de outro.
- WQ (conceito): Matriz aprendida que projeta cada token em uma query.
- WK (conceito): Matriz aprendida que projeta cada token em uma key.
- softmax (conceito): Função que transforma cada linha da matriz de scores em pesos cuja soma é um.
- Transformer (conceito): Arquitetura que processa todas as posições em paralelo e usa atenção para selecionar de quais tokens obter informação.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:00 Uma pontuação de atenção é apenas o produto escalar entre a query de um token e a key de outro token. Cada token começa como um vetor. Uma matriz aprendida WQ transforma cada um em uma query, que é a pergunta que esse token faz. Outra matriz, WK, transforma cada um em uma key. Que pergunta esse token pode ajudar a responder? Para pontuar um par, você pega a query de um token e a key de outro token e calcula o produto escalar. Um valor alto aqui significa que eles estão alinhados. Esse token tem o que o outro está procurando. Q vezes K transposta calcula todos os pares de uma vez. Três tokens, uma
00:32 grade 3x3 de pontuações. Em seguida, divide-se pela raiz quadrada da dimensão da cabeça, e o softmax transforma cada linha em pesos cuja soma é um. Transformers processam todas as posições em paralelo. A atenção é como os tokens decidem de quais outros tokens extrair informações. As pontuações de atenção medem quais tokens estão alinhados sob essas projeções aprendidas.
Transcrição original
[00:00] An attention score is just a dot product between one token’s query and another token’s key. Every token starts as a vector. A learned matrix WQ moves each one into a query, which is the question this token asks. Another matrix WK moves each one into a key. What question can this token help answer? To score one pair, you take one token’s query and another token’s key and do the dot product. High value here means they’re aligned. This token has what the other one is looking for. Q at K transpose does every pair at once. Three tokens, a
[00:32] 3x3 grid of scores. Then divide by the square root of the head size and softmax turns each row into weights that add up to one. Transformers process every position in parallel. Attention is how tokens decide who to pull information from. An attention scores measure which tokens are aligned under these learned projections.