Enseñar la forma en que piensa: Guía la ingeniería de datos post-entrenamiento de LLM con Autoencoders Esparso
Resumen del corpus
Se propone SAERL para la ingeniería de datos de LLM mediante Autoencoders Esparso (SAE) para guiar el aprendizaje por refuerzo. Esta técnica utiliza los internos del modelo para organizar los datos de entrenamiento, entrenando regiones funcionales de fácil a difícil. Los experimentos demuestran mejoras en la precisión de modelos de razonamiento matemático.
Tags
Personas mencionadas
Noticia original