evaluación de modelos
Todas las noticias con este tag · Estados Unidos.
Noticias por hora
Últimas 24 horas · hora argentina
Consultar los valores por hora
| Hora | Noticias |
|---|---|
| 2 nov 2026, 12:00 p. m. | 0 |
| 2 nov 2026, 1:00 p. m. | 0 |
| 2 nov 2026, 2:00 p. m. | 0 |
| 2 nov 2026, 3:00 p. m. | 0 |
| 2 nov 2026, 4:00 p. m. | 0 |
| 2 nov 2026, 5:00 p. m. | 0 |
| 2 nov 2026, 6:00 p. m. | 0 |
| 2 nov 2026, 7:00 p. m. | 0 |
| 2 nov 2026, 8:00 p. m. | 0 |
| 2 nov 2026, 9:00 p. m. | 0 |
| 2 nov 2026, 10:00 p. m. | 0 |
| 2 nov 2026, 11:00 p. m. | 0 |
| 3 nov 2026, 12:00 a. m. | 0 |
| 3 nov 2026, 1:00 a. m. | 0 |
| 3 nov 2026, 2:00 a. m. | 5 |
| 3 nov 2026, 3:00 a. m. | 0 |
| 3 nov 2026, 4:00 a. m. | 0 |
| 3 nov 2026, 5:00 a. m. | 0 |
| 3 nov 2026, 6:00 a. m. | 0 |
| 3 nov 2026, 7:00 a. m. | 0 |
| 3 nov 2026, 8:00 a. m. | 0 |
| 3 nov 2026, 9:00 a. m. | 0 |
| 3 nov 2026, 10:00 a. m. | 0 |
| 3 nov 2026, 11:00 a. m. | 0 |
| 3 nov 2026, 12:00 p. m. | 0 |
Noticias por día
Últimos 30 días, incluido hoy · hora argentina
Consultar los valores por día
| Día | Noticias |
|---|---|
| 2026-10-05 | 0 |
| 2026-10-06 | 0 |
| 2026-10-07 | 0 |
| 2026-10-08 | 0 |
| 2026-10-09 | 0 |
| 2026-10-10 | 0 |
| 2026-10-11 | 0 |
| 2026-10-12 | 0 |
| 2026-10-13 | 0 |
| 2026-10-14 | 0 |
| 2026-10-15 | 0 |
| 2026-10-16 | 0 |
| 2026-10-17 | 0 |
| 2026-10-18 | 0 |
| 2026-10-19 | 0 |
| 2026-10-20 | 0 |
| 2026-10-21 | 0 |
| 2026-10-22 | 0 |
| 2026-10-23 | 0 |
| 2026-10-24 | 0 |
| 2026-10-25 | 0 |
| 2026-10-26 | 0 |
| 2026-10-27 | 0 |
| 2026-10-28 | 0 |
| 2026-10-29 | 0 |
| 2026-10-30 | 0 |
| 2026-10-31 | 0 |
| 2026-11-01 | 0 |
| 2026-11-02 | 0 |
| 2026-11-03 | 5 |
Los gráficos cuentan por fecha de publicación y respetan los filtros. El archivo incluye todo el histórico.
Noticias de evaluación de modelos
10 noticias · De más nuevas a más antiguas.
arXiv Computer Science AIEvaluación de respuestas incorrectas engaña la selección de confianza: Calificación basada en hechos para QA abierto
Un estudio evalúa la calificación de respuestas abiertas en pruebas de LLM y NLP, enfocándose en cómo las reglas de calibración afectan la confianza. Se presenta FactForm, un calificador que prioriza las coincidencias de referencia, logrando un error equilibrado de 0.077 y un AUROC de 0.985. Esto sugiere una mejora en la precisión de la calificación de respuestas abiertas.
Noticia originalLimitado a un modelo, abierto al siguiente: Solvencia solo con opción en evaluaciones de opción múltiple legal
El texto analiza el rendimiento de diferentes modelos de lenguaje en evaluaciones de opción múltiple legal, midiendo si los modelos seleccionan la opción correcta. Se compara el rendimiento de modelos como Claude Haiku 4.5 y GPT-5.6 en conjuntos de datos con claves oficiales. Se evalúa cómo la capacidad del modelo afecta la extracción de información y se comparan las puntuaciones de varios modelos en el conjunto de datos.
Noticia originalMarco unificado de discriminación, calibración y clasificación
El texto presenta un marco de matriz indicador que unifica las medidas de discriminación, calibración y clasificación. Se introducen operadores de celda adicionales para definir marcos de calibración y clasificación, heredando la arquitectura de agregación micro/macro/ejemplar. Se detallan las relaciones entre diferentes métricas como Brier, nDCG y AUC.
Noticia originalPoolwise: Evaluando modelos de recompensa para la selección entre prompts
Se presenta Poolwise, un protocolo diseñado para evaluar modelos de recompensa en la selección de datos a través de diferentes prompts. El protocolo mide la calidad del conjunto seleccionado y compara el ranking dentro del prompt. Los experimentos demuestran que ajustar la puntuación media de cada prompt mejora la selección de datos con una retención del 30 por ciento.
Noticia original¿To Jev o no a Jev: ¿Cuándo pueden los modelos de decisión del Sistema-1 reemplazar a los jueces LLM?
Se evalúan 14 modelos de decisión del Sistema-1 contra jueces generativos para determinar su idoneidad como jueces para modelos grandes de lenguaje (LLM-as-a-judge). Los resultados indican que algunos modelos del Sistema-1 son estadísticamente indistinguibles de modelos avanzados como GPT-5.6, y son más precisos que algunos jueces generativos en varios benchmarks. Se concluye que los modelos del Sistema-1 son candidatos prometedores y potencialmente más eficientes que los jueces generativos.
Noticia original
Hugging Face BlogQIMMA: una tabla de clasificación de LLM árabes centrada en la calidad
Un equipo de investigadores presentó QIMMA, una tabla de clasificación de modelos de lenguaje (LLM) en árabe que aplica un pipeline de validación de calidad antes de evaluar los modelos. El proceso combinó evaluación automatizada con dos LLM y revisión humana, y detectó problemas sistemáticos en benchmarks conocidos, como respuestas gold incorrectas, errores de formato y sesgos culturales. La suite reúne más de 52.000 muestras de 14 benchmarks en 7 dominios e incluye por primera vez evaluación de código en árabe; Qwen3.5-397B lidera el ranking.
Noticia originalServiceNow presenta EVA, un marco para evaluar agentes de voz conversacionales
ServiceNow presentó EVA, un marco de evaluación de extremo a extremo para agentes de voz conversacionales que puntúa conjuntamente la precisión (EVA-A) y la experiencia (EVA-X) de las conversaciones habladas. El marco usa una arquitectura bot a bot con simulador de usuario, agente de voz, ejecutor de herramientas, validadores y una suite de métricas, y se publica con un conjunto de datos de aerolínea de 50 escenarios y 15 herramientas. Al evaluar 20 sistemas, los autores hallaron una compensación consistente entre precisión y experiencia, y señalaron la transcripción de entidades nombradas como un modo de falla dominante.
Noticia originalHugging Face lanza Community Evals para descentralizar la evaluación de modelos de IA
Hugging Face anunció Community Evals, un sistema que permite a los repositorios de datasets alojar rankings de benchmarks y a los modelos almacenar sus propias puntuaciones de evaluación en archivos YAML. Cualquier usuario de la comunidad puede enviar resultados mediante pull requests, con insignias verificadas que acreditan su reproducibilidad. La iniciativa busca cerrar la brecha entre las puntuaciones de los benchmarks y el rendimiento real de los modelos de IA, exponiendo qué se evalúa, cómo, cuándo y por quién.
Noticia originalNuevo marco de evaluación 3C3H y benchmark AraGen para modelos de lenguaje en árabe
Investigadores de Inception y MBZUAI presentaron AraGen, un benchmark generativo y leaderboard para evaluar modelos de lenguaje en árabe, junto con la medida 3C3H que puntúa corrección, completitud, concisión, utilidad, honestidad e inocuidad mediante LLM-como-juez. El leaderboard usa ciclos de prueba ciega de tres meses para evitar contaminación de datos y publica luego el dataset y el código. Tras comparar varios jueces, eligieron Claude-3.5-sonnet por su consistencia y bajo sesgo propio.
Noticia originalPresentan el Open FinLLM Leaderboard, un ranking para evaluar modelos de lenguaje en finanzas
Un grupo de investigadores presentó el Open FinLLM Leaderboard, un marco de evaluación especializado para modelos de lenguaje aplicados a finanzas. El ranking evalúa 40 tareas en siete categorías (extracción de información, análisis textual, preguntas y respuestas, generación de texto, gestión de riesgos, previsión y toma de decisiones) mediante métricas como F1, ROUGE y MCC. Según los resultados iniciales, GPT-4 y Llama 3.1 lideran en muchas tareas, y en previsión bursátil modelos pequeños como Llama-3.1-7b superaron a modelos más grandes.
Noticia original