Pular para o conteúdo

Self-attention

Ver no idioma original →

Mecanismo que calcula relações entre os tokens de uma sequência para produzir representações contextualizadas.

Mistral, Gemma, GPT-3, softmax, HBM, A100, H100, PyTorch