Hipótesis de separación entre predicción de estado
Resumen del corpus
Se propone la hipótesis de separación entre predicción de estado en Transformers, sugiriendo que separar los roles de predicción y almacenamiento de estado mejora el rendimiento del modelado de lenguaje. Los experimentos demuestran que esta separación ofrece mejor eficiencia de datos y cómputo, superando a los Transformers estándar en tareas posteriores.
Tags
Personas mencionadas
Noticia original