Evaluación de respuestas incorrectas engaña la selección de confianza: Calificación basada en hechos para QA abierto

Resumen del corpus

Un estudio evalúa la calificación de respuestas abiertas en pruebas de LLM y NLP, enfocándose en cómo las reglas de calibración afectan la confianza. Se presenta FactForm, un calificador que prioriza las coincidencias de referencia, logrando un error equilibrado de 0.077 y un AUROC de 0.985. Esto sugiere una mejora en la precisión de la calificación de respuestas abiertas.