benchmarking

Los gráficos cuentan por fecha de publicación y respetan los filtros. El archivo incluye todo el histórico.

Noticias de benchmarking

Buscar noticias dentro de este tag

Buscar

6 noticias · De más nuevas a más antiguas.

arXiv Computer Science AI🇺🇸 Estados Unidos3 nov 2026, 2:00 a. m.

MedCUA-Bench: Un benchmark de solo captura de pantalla para agentes de uso de computadora clínica

Se presenta MedCUA-Bench, un benchmark interactivo diseñado para evaluar la fiabilidad de los agentes de uso de computadora en entornos clínicos. Este benchmark cubre 18 escenarios clínicos en 10 dominios médicos, utilizando interfaces reconstruidas para simular entornos reales. El estudio compara el rendimiento de agentes de IA, mostrando diferencias significativas entre modelos de código cerrado y abierto en la ejecución de tareas clínicas. El objetivo es identificar la brecha entre los agentes actuales y el software clínico fiable.

inteligencia artificialtecnologíamedicinabenchmarkingagentes de IAinterfaces gráficas

Noticia original

arXiv Computer Science AI🇺🇸 Estados Unidos3 nov 2026, 2:00 a. m.

Anchor: Prevención de deriva de artefactos para verificación fiable de agentes

Se presenta Anchor, un pipeline para construir benchmarks que formaliza especificaciones de flujos de trabajo empresariales en programas de optimización. Este sistema genera instrucciones, configuraciones de entorno y soluciones certificadas para evaluar agentes de IA. Se aplica a ERP-Bench, un benchmark de 300 tareas para flujos de trabajo de adquisición y fabricación. El objetivo es crear entornos de evaluación auditables cuyos verificadores coincidan con las tareas empresariales valiosas.

Artificial IntelligenceBenchmarkingSoftware Engineering

Noticia original

arXiv Computer Science AI🇺🇸 Estados Unidos3 nov 2026, 2:00 a. m.

Evaluación sin juez del llamamiento a funciones consciente del efecto

Se presenta una evaluación consciente del efecto para el verificador de llamadas a funciones del Leaderboard de Berkeley (BFCL). Este método infiere los efectos de las funciones ejecutándolas en simuladores para identificar cambios de estado. Los resultados muestran que la conciencia del efecto revela diferencias significativas en la calidad de ejecución de los modelos, especialmente en la distinción entre pedir aclaración y obtener permiso antes de acciones destructivas.

LLMFunction CallingBenchmarking

Noticia original

arXiv Computer Science AI🇺🇸 Estados Unidos3 nov 2026, 2:00 a. m.

Limitado a un modelo, abierto al siguiente: Solvencia solo con opción en evaluaciones de opción múltiple legal

El texto analiza el rendimiento de diferentes modelos de lenguaje en evaluaciones de opción múltiple legal, midiendo si los modelos seleccionan la opción correcta. Se compara el rendimiento de modelos como Claude Haiku 4.5 y GPT-5.6 en conjuntos de datos con claves oficiales. Se evalúa cómo la capacidad del modelo afecta la extracción de información y se comparan las puntuaciones de varios modelos en el conjunto de datos.

inteligencia artificialevaluación de modeloslenguaje naturalbenchmarking

Noticia original

arXiv Computer Science AI🇺🇸 Estados Unidos3 nov 2026, 2:00 a. m.

SWE-Opt: Un punto de referencia para evaluar LLMs en la optimización a nivel de repositorio

Se presenta SWE-Opt, un punto de referencia a nivel de repositorio basado en 102 optimizaciones expertas para evaluar el rendimiento de los LLMs en la optimización de código. La evaluación revela que los LLMs actuales tienen dificultades significativas, mostrando ganancias de tiempo de ejecución escasas y optimizaciones de memoria casi inexistentes. Las implementaciones expertas alcanzan aceleraciones significativas, superando ampliamente las capacidades de los modelos actuales.

LLMsOptimización de SoftwareBenchmarking

Noticia original

arXiv Computer Science AI🇺🇸 Estados Unidos3 nov 2026, 2:00 a. m.

AgentHop: Un punto de referencia diagnóstico para la respuesta a preguntas multi-salto de agentes sobre grafos de citación científica

Se presenta AgentHop, un punto de referencia diagnóstico de 1,011 preguntas de opción múltiple diseñado para evaluar fallos en tareas de agentes que utilizan modelos de lenguaje grandes. El benchmark analiza las vulnerabilidades de los modelos a través de cuatro ejes: recuperación, síntesis, llamada a herramientas y gestión de recursos. Los resultados indican que el comportamiento de los modelos varía según su familia, revelando patrones distintivos en la forma en que utilizan las herramientas.

inteligencia artificialmodelos de lenguajebenchmarkingagentes

Noticia original