AgentHop: Un punto de referencia diagnóstico para la respuesta a preguntas multi-salto de agentes sobre grafos de citación científica

Resumen del corpus

Se presenta AgentHop, un punto de referencia diagnóstico de 1,011 preguntas de opción múltiple diseñado para evaluar fallos en tareas de agentes que utilizan modelos de lenguaje grandes. El benchmark analiza las vulnerabilidades de los modelos a través de cuatro ejes: recuperación, síntesis, llamada a herramientas y gestión de recursos. Los resultados indican que el comportamiento de los modelos varía según su familia, revelando patrones distintivos en la forma en que utilizan las herramientas.