Índice de Salud de Benchmarks: Un marco sistemático para comparar los puntos de referencia de los LLM

Resumen del corpus

Se presenta el Índice de Salud de Benchmarks (BHI), un marco basado en datos para auditar la fiabilidad de los puntos de referencia utilizados para medir el progreso de los Modelos de Lenguaje Grande (LLM). Este índice evalúa la capacidad de discriminación, la anti-saturación y el impacto de estos benchmarks en los ecosistemas académico e industrial. El objetivo es proporcionar una base sólida para la selección de benchmarks y la gestión dinámica de los protocolos de evaluación.