evaluación

Los gráficos cuentan por fecha de publicación y respetan los filtros. El archivo incluye todo el histórico.

Noticias de evaluación

Buscar noticias dentro de este tag

Buscar

2 noticias · De más nuevas a más antiguas.

arXiv Computer Science AI🇺🇸 Estados Unidos3 nov 2026, 2:00 a. m.

Índice de Salud de Benchmarks: Un marco sistemático para comparar los puntos de referencia de los LLM

Se presenta el Índice de Salud de Benchmarks (BHI), un marco basado en datos para auditar la fiabilidad de los puntos de referencia utilizados para medir el progreso de los Modelos de Lenguaje Grande (LLM). Este índice evalúa la capacidad de discriminación, la anti-saturación y el impacto de estos benchmarks en los ecosistemas académico e industrial. El objetivo es proporcionar una base sólida para la selección de benchmarks y la gestión dinámica de los protocolos de evaluación.

inteligencia artificialLLMbenchmarksevaluación

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos15 abr 2025, 9:00 p. m.

HELMET: un nuevo estándar para evaluar modelos de lenguaje de contexto largo

Investigadores de Princeton y de Intel presentaron HELMET, un benchmark integral para evaluar modelos de lenguaje de contexto largo (LCLM) que mejora los existentes en diversidad, controlabilidad y confiabilidad. Evaluaron 59 modelos y hallaron que las tareas sintéticas como "aguja en un pajar" no se correlacionan con el rendimiento real, que los modelos se degradan con longitudes y complejidad crecientes y que no hay un ganador claro entre categorías. El trabajo se presentará en ICLR 2025 y el código está disponible en GitHub.

tecnologíainteligencia artificialinnovación científicamodelos de lenguajeevaluacióninvestigación

Noticia original