Autoencoders dispersos conscientes del subespacio para interpretabilidad mecanicista efectiva

Resumen del corpus

Se presenta un nuevo modelo llamado Autoencoders Dispersos Conscientes del Subespacio (SASA) para mejorar la interpretabilidad mecanicista en modelos de lenguaje grandes. Este enfoque reemplaza los decodificadores de vector único por subespacios aprendidos y utiliza técnicas de compuerta de grupo para imponer escasez. Los experimentos en GPT-2 y Mistral-7B indican una menor absorción y una predicción más precisa de conceptos con un número reducido de coordenadas latentes.

Periodista: Seyed Arshan Dalili, Mehrdad Mahdavi

Personas mencionadas
Noticia original

Ver todas las noticias de arXiv Computer Science AI