HELMET: un nuevo estándar para evaluar modelos de lenguaje de contexto largo

Resumen del corpus

Investigadores de Princeton y de Intel presentaron HELMET, un benchmark integral para evaluar modelos de lenguaje de contexto largo (LCLM) que mejora los existentes en diversidad, controlabilidad y confiabilidad. Evaluaron 59 modelos y hallaron que las tareas sintéticas como "aguja en un pajar" no se correlacionan con el rendimiento real, que los modelos se degradan con longitudes y complejidad crecientes y que no hay un ganador claro entre categorías. El trabajo se presentará en ICLR 2025 y el código está disponible en GitHub.