Presentan el Open FinLLM Leaderboard, un ranking para evaluar modelos de lenguaje en finanzas

Resumen del corpus

Un grupo de investigadores presentó el Open FinLLM Leaderboard, un marco de evaluación especializado para modelos de lenguaje aplicados a finanzas. El ranking evalúa 40 tareas en siete categorías (extracción de información, análisis textual, preguntas y respuestas, generación de texto, gestión de riesgos, previsión y toma de decisiones) mediante métricas como F1, ROUGE y MCC. Según los resultados iniciales, GPT-4 y Llama 3.1 lideran en muchas tareas, y en previsión bursátil modelos pequeños como Llama-3.1-7b superaron a modelos más grandes.