Buscar noticias

Hugging Face Blog🇺🇸 Estados Unidos3 jun 2026, 9:55 a. m.

Optimización de preferencias directas (DPO) más allá de los chatbots: usar los fallos del propio modelo como señal de entrenamiento

Dharma-AI publicó un artículo sobre DharmaOCR, su modelo especializado de OCR estructurado, en el que aplica Optimización de Preferencias Directas (DPO) tras el ajuste fino supervisado (SFT) para reducir la degeneración de texto. Usando las propias salidas fallidas del modelo como ejemplos rechazados, logró una reducción promedio del 59,4% y un pico del 87,6% en cinco familias de modelos. El trabajo sostiene que el SFT no penaliza los bucles de repetición y que una etapa DPO posterior aborda esa geometría de fallo de forma consistente entre arquitecturas.

Periodista: Erick Lachmann, Gabriel Pimenta de Freitas Cardoso, Francisco de Almeida Rocha Alves