Modelos de lenguaje con estado aumentado recursivo: Adaptación persistente del estado latente de modelos de lenguaje preentrenados

Resumen del corpus

Se presenta un marco llamado Modelos de Lenguaje con Estado Aumentado Recursivo (Recursive SALM) que permite que un estado latente persista y evolucione con cada observación para adaptar modelos de lenguaje preentrenados. Los experimentos demuestran que esta adaptación latente persistente puede soportar la inferencia secuencial incluso cuando la evidencia anterior no está disponible en el contexto del decodificador. Se compara el rendimiento con modelos basados en contexto completo, mostrando una mejora en tareas de inferencia.

Periodista: Omer Haq

Personas mencionadas
Noticia original

Ver todas las noticias de arXiv Computer Science AI