benchmarks

Los gráficos cuentan por fecha de publicación y respetan los filtros. El archivo incluye todo el histórico.

Noticias de benchmarks

Buscar noticias dentro de este tag

Buscar

10 noticias · De más nuevas a más antiguas.

arXiv Computer Science AI🇺🇸 Estados Unidos3 nov 2026, 2:00 a. m.

Índice de Salud de Benchmarks: Un marco sistemático para comparar los puntos de referencia de los LLM

Se presenta el Índice de Salud de Benchmarks (BHI), un marco basado en datos para auditar la fiabilidad de los puntos de referencia utilizados para medir el progreso de los Modelos de Lenguaje Grande (LLM). Este índice evalúa la capacidad de discriminación, la anti-saturación y el impacto de estos benchmarks en los ecosistemas académico e industrial. El objetivo es proporcionar una base sólida para la selección de benchmarks y la gestión dinámica de los protocolos de evaluación.

inteligencia artificialLLMbenchmarksevaluación

Noticia original

Dark Reading🇺🇸 Estados Unidos26 oct 2026, 9:26 p. m.

Demasiados benchmarks de seguridad de IA, pero ninguno cuenta la historia completa

El artículo analiza la proliferación de benchmarks para medir la seguridad de los modelos de IA, señalando que ninguno ofrece una evaluación integral. Firmas como Dream Group, XBOW, Booz Allen y el AISI del Reino Unido desarrollan métricas propias centradas en tareas ofensivas o defensivas específicas. Los expertos coinciden en que las pruebas públicas solo sirven para preseleccionar modelos y que las organizaciones deben evaluarlos contra su propio código y flujos de trabajo.

inteligencia artificialciberseguridadseguridad informáticatecnologíabenchmarksmodelos de lenguaje

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos15 sept 2026, 1:00 p. m.

Tu agente superó la tarea. ¿La volverá a superar?

Investigadores de IBM presentan el Consistency Analyzer, una herramienta que mide la consistencia de los agentes de IA más allá de la precisión promedio. Un agente ReAct con GPT-4.1 que acierta el 77,4% en promedio solo resuelve todas las repeticiones en el 53,0% de las tareas, una brecha de 24,4 puntos. Las directrices de consistencia generadas reducen esa brecha a 12,0 puntos sin perder precisión promedio.

inteligencia artificialagentes de IAfiabilidadbenchmarks

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos17 jun 2026, 9:00 p. m.

¿Es suficientemente agéntico? Cómo evaluar modelos abiertos con tus propias herramientas

Hugging Face publicó un arnés de evaluación, agent-eval, que mide no solo si un agente de programación resuelve una tarea con la biblioteca transformers, sino cuánto esfuerzo le lleva: turnos, tokens, tiempo y errores. El estudio comparó modelos abiertos grandes y pequeños en tres niveles (bare, clone y skill) y halló que el commit que agrega una CLI y una Skill reduce el tiempo de los modelos grandes pero perjudica a los pequeños, que en algunos casos caen del 100% al 0% de acierto. Los autores concluyen que las APIs orientadas a agentes deben evaluarse en distintos tamaños de modelo antes de publicarse.

tecnologíainteligencia artificialmodelos abiertosbenchmarkstransformers

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos17 jun 2026, 6:01 a. m.

GLM-5.2: el nuevo modelo de IA de Z.AI diseñado para tareas de largo horizonte con contexto de 1M de tokens

Z.AI presentó GLM-5.2, su nuevo modelo insignia de IA para tareas de largo horizonte, que por primera vez ofrece un contexto sólido de 1M de tokens. El modelo introduce la arquitectura IndexShare, que reduce los FLOPs por token en 2,9×, y mejoras en la capa MTP que aumentan la longitud de aceptación hasta un 20%. Según los benchmarks, GLM-5.2 es el modelo de código abierto mejor clasificado en tareas de codificación de largo horizonte, con un rendimiento cercano a Claude Opus 4.8 y por delante de GPT-5.5 en varias pruebas, y se distribuye bajo licencia MIT.

tecnologíainteligencia artificialmodelos de lenguajecódigo abiertobenchmarks

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos21 abr 2026, 7:09 a. m.

QIMMA: una tabla de clasificación de LLM árabes centrada en la calidad

Un equipo de investigadores presentó QIMMA, una tabla de clasificación de modelos de lenguaje (LLM) en árabe que aplica un pipeline de validación de calidad antes de evaluar los modelos. El proceso combinó evaluación automatizada con dos LLM y revisión humana, y detectó problemas sistemáticos en benchmarks conocidos, como respuestas gold incorrectas, errores de formato y sesgos culturales. La suite reúne más de 52.000 muestras de 14 benchmarks en 7 dominios e incluye por primera vez evaluación de código en árabe; Qwen3.5-397B lidera el ranking.

tecnologíainteligencia artificialbenchmarksidioma árabeevaluación de modelos

Noticia original

ScienceDaily Artificial Intelligence🇺🇸 Estados Unidos13 mar 2026, 3:08 a. m.

Científicos crearon el test de IA más difícil de la historia y los resultados sorprenden

Casi 1.000 expertos de todo el mundo crearon "Humanity's Last Exam", una prueba de 2.500 preguntas de nivel experto diseñada para medir los límites reales de la inteligencia artificial. Las preguntas que los modelos actuales podían resolver fueron eliminadas, y los resultados muestran que incluso los sistemas más avanzados, como Gemini 3.1 Pro y Claude Opus 4.6, apenas alcanzan entre 40% y 50% de precisión. Los investigadores sostienen que la herramienta ayuda a entender las fortalezas y debilidades de la IA y a construir tecnologías más seguras.

tecnologíainteligencia artificialinnovación científicainvestigaciónbenchmarkseducación

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos3 feb 2026, 9:00 p. m.

Hugging Face lanza Community Evals para descentralizar la evaluación de modelos de IA

Hugging Face anunció Community Evals, un sistema que permite a los repositorios de datasets alojar rankings de benchmarks y a los modelos almacenar sus propias puntuaciones de evaluación en archivos YAML. Cualquier usuario de la comunidad puede enviar resultados mediante pull requests, con insignias verificadas que acreditan su reproducibilidad. La iniciativa busca cerrar la brecha entre las puntuaciones de los benchmarks y el rendimiento real de los modelos de IA, exponiendo qué se evalúa, cómo, cuándo y por quién.

tecnologíainteligencia artificialbenchmarksHugging Faceevaluación de modelos

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos7 abr 2025, 9:00 p. m.

Inception y MBZUAI lanzan un espacio unificado de leaderboards para evaluar modelos de IA en árabe

Inception, en colaboración con la Universidad Mohammed bin Zayed de Inteligencia Artificial (MBZUAI), lanzó el Espacio Arabic-Leaderboards, una plataforma unificada para evaluar modelos de IA en árabe. Incluye la versión actualizada AraGen-03-25, con 340 pares de preguntas y respuestas, y el primer leaderboard público de seguimiento de instrucciones en árabe basado en el benchmark Arabic IFEval. El modelo o1-2024-12-17 lidera ambos rankings, aunque el nuevo conjunto de datos resultó más difícil y redujo los puntajes absolutos de los modelos.

inteligencia artificialtecnologíainnovación científicaavances tecnológicosbenchmarksmodelos de lenguaje

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos26 mar 2025, 3:47 p. m.

DeepSeek-V3 0324 llega al Hub con licencia MIT y mejoras en código y matemáticas

DeepSeek lanzó silenciosamente en el Hub una versión actualizada de su modelo base DeepSeek-V3, denominada DeepSeek-V3 0324, que ahora usa licencia MIT y mejora el seguimiento de instrucciones, código y matemáticas. En benchmarks como MMLU-Pro, GPQA, AIME y LiveCodeBench el modelo muestra mejoras notables y se ubica a la par de GPT-4.5 y por encima de Claude-Sonnet-3.7. El artículo explica cómo usarlo mediante proveedores de inferencia, TGI, SGLang y cuantizaciones, y repasa consideraciones de seguridad sobre descarga, alineación, generación de código y agentes.

tecnologíainteligencia artificialciberseguridadDeepSeekmodelos de lenguajebenchmarks

Noticia original