Hugging Face lanza Community Evals para descentralizar la evaluación de modelos de IA

Resumen del corpus

Hugging Face anunció Community Evals, un sistema que permite a los repositorios de datasets alojar rankings de benchmarks y a los modelos almacenar sus propias puntuaciones de evaluación en archivos YAML. Cualquier usuario de la comunidad puede enviar resultados mediante pull requests, con insignias verificadas que acreditan su reproducibilidad. La iniciativa busca cerrar la brecha entre las puntuaciones de los benchmarks y el rendimiento real de los modelos de IA, exponiendo qué se evalúa, cómo, cuándo y por quién.