Cambio representacional bajo entrenamiento autoconsumidor: Un análisis con autoencoders dispersos
Resumen del corpus
Se investiga cómo evolucionan las representaciones internas de los modelos de lenguaje al ser entrenados recursivamente con sus propias salidas. El estudio analiza el rendimiento de los autoencoders dispersos (SAE) a través de cinco generaciones de autoconsumo. Los resultados indican que el rendimiento del SAE disminuye progresivamente, mostrando una deriva representacional y que la fidelidad de la reconstrucción no garantiza la utilidad de la información para la tarea.
Tags
Personas mencionadas
Noticia original