¿Cuándo deberían reconsiderar los Modelos de Difusión de Lenguaje sus compromisos?

Resumen del corpus

Se presenta el Aprendizaje Conjunto de Desenmascaramiento y Revisión Planificado (PURL) para Modelos de Difusión Enmascarados (MDMs) para unificar la generación paralela con la revisión selectiva de tokens. Este marco mejora la precisión en tareas como razonamiento matemático y generación de código, logrando mejoras de hasta 47.4% en precisión. El análisis sugiere que la generación paralela efectiva depende de hacer que los compromisos de tokens sean revisables en el momento adecuado, en lugar de revisar más tokens.