Degeneración espectral de la auto-atención bajo geometría de puntuación isotrópica

Resumen del corpus

Se estudia la estructura espectral de la matriz de auto-atención en modelos Transformer mediante un modelo espectral idealizado. El modelo reemplaza la orientación aleatoria de la matriz de puntuación por su representante singular canónico. Los resultados demuestran que el mapa softmax transforma esta estructura en una matriz de atención degenerada, preservando modos dominantes y concentrando los modos restantes en cero.