Cambio representacional bajo entrenamiento autoconsumidor: Un análisis con autoencoders dispersos

Resumen del corpus

Se investiga cómo evolucionan las representaciones internas de los modelos de lenguaje al ser entrenados recursivamente con sus propias salidas. El estudio analiza el rendimiento de los autoencoders dispersos (SAE) a través de cinco generaciones de autoconsumo. Los resultados indican que el rendimiento del SAE disminuye progresivamente, mostrando una deriva representacional y que la fidelidad de la reconstrucción no garantiza la utilidad de la información para la tarea.

Periodista: Suchit Gupte, Zhongteng Cai, Xueru Zhang, Mohammad Mahdi Khalili

Personas mencionadas
Noticia original

Ver todas las noticias de arXiv Computer Science AI