Adyen y Hugging Face presentan DABstep, un benchmark para evaluar agentes de IA en análisis de datos

Resumen del corpus

Adyen y Hugging Face lanzaron DABstep, un benchmark de más de 450 tareas reales de análisis de datos para evaluar agentes de IA en razonamiento multi-paso. Los mejores agentes basados en modelos de razonamiento alcanzan solo un 16% de precisión (o3-mini), evidenciando una brecha significativa. El benchmark incluye datos estructurados y no estructurados, tabla de clasificación en tiempo real y líneas base con costos por tarea.