Autoencoders dispersos conscientes del subespacio para interpretabilidad mecanicista efectiva
Resumen del corpus
Se presenta un nuevo modelo llamado Autoencoders Dispersos Conscientes del Subespacio (SASA) para mejorar la interpretabilidad mecanicista en modelos de lenguaje grandes. Este enfoque reemplaza los decodificadores de vector único por subespacios aprendidos y utiliza técnicas de compuerta de grupo para imponer escasez. Los experimentos en GPT-2 y Mistral-7B indican una menor absorción y una predicción más precisa de conceptos con un número reducido de coordenadas latentes.
Tags
Personas mencionadas
Noticia original