Conjunto de datos de colaboración humana de modelos mentales a nivel de acción para la colaboración de agentes

Resumen del corpus

Se presenta ALMANAC, un conjunto de datos de anotaciones de modelos mentales a nivel de acción para la colaboración de agentes, diseñado para mejorar la comprensión de la colaboración entre humanos y agentes de LLM. Este conjunto de datos incluye 2,987 acciones de colaboración con anotaciones que registran el razonamiento, la intención y el objetivo de los participantes. Los resultados demuestran la utilidad de ALMANAC para evaluar la capacidad de los modelos de lenguaje grande para simular comportamientos colaborativos humanos.