Microsoft y Hugging Face presentan ThinkingBox, un banco de pruebas que evalúa agentes de IA por el estado final de la base de datos y no por sus respuestas

Resumen del corpus

Microsoft y Hugging Face presentaron ThinkingBox, un entorno y benchmark que evalúa agentes de IA por el estado final que dejan en la base de datos y los efectos secundarios, no por sus respuestas o llamadas a herramientas. En 507 flujos de trabajo empresariales ejecutados 20 veces con 12 modelos, el 67,24% de los intentos fallidos terminó limpiamente y sin error de herramienta, pero las comprobaciones ejecutables detectaron valores incorrectos o efectos faltantes. El estudio concluye que la consistencia es costosa: solo tres modelos conservan la mayor parte de su puntuación de un intento y cerca de cuatro de cada cinco fallos son de manejo de herramientas, no de razonamiento.