SWE-Opt: Un punto de referencia para evaluar LLMs en la optimización a nivel de repositorio

Resumen del corpus

Se presenta SWE-Opt, un punto de referencia a nivel de repositorio basado en 102 optimizaciones expertas para evaluar el rendimiento de los LLMs en la optimización de código. La evaluación revela que los LLMs actuales tienen dificultades significativas, mostrando ganancias de tiempo de ejecución escasas y optimizaciones de memoria casi inexistentes. Las implementaciones expertas alcanzan aceleraciones significativas, superando ampliamente las capacidades de los modelos actuales.