StateBench: Prueba cómo los modelos de lenguaje rastrean cambios de estado en documentos largos

Resumen del corpus

Se presenta StateBench, un benchmark diseñado para evaluar el seguimiento de estado en modelos de lenguaje a través de cuatro niveles de complejidad: r-trivial, aperiodic, soluble y general finito. El estudio compara el rendimiento de modelos transformadores y arquitecturas híbridas como Gated DeltaNet en tareas de seguimiento de estado, encontrando que los modelos híbridos generalizan mejor que los transformadores. Además, se investiga el impacto del entrenamiento directo en la capacidad de los modelos para manejar problemas de seguimiento de estado complejos.