Optimización de preferencias directas (DPO) más allá de los chatbots: usar los fallos del propio modelo como señal de entrenamiento

Resumen del corpus

Dharma-AI publicó un artículo sobre DharmaOCR, su modelo especializado de OCR estructurado, en el que aplica Optimización de Preferencias Directas (DPO) tras el ajuste fino supervisado (SFT) para reducir la degeneración de texto. Usando las propias salidas fallidas del modelo como ejemplos rechazados, logró una reducción promedio del 59,4% y un pico del 87,6% en cinco familias de modelos. El trabajo sostiene que el SFT no penaliza los bucles de repetición y que una etapa DPO posterior aborda esa geometría de fallo de forma consistente entre arquitecturas.