Hipótesis de separación entre predicción de estado

Resumen del corpus

Se propone la hipótesis de separación entre predicción de estado en Transformers, sugiriendo que separar los roles de predicción y almacenamiento de estado mejora el rendimiento del modelado de lenguaje. Los experimentos demuestran que esta separación ofrece mejor eficiencia de datos y cómputo, superando a los Transformers estándar en tareas posteriores.

Periodista: Giovanni Monea

Personas mencionadas
Noticia original

Ver todas las noticias de arXiv Computer Science AI