Distilación On-Policy Relay: Trayectoria Relacionada con la Política
Resumen del corpus
Se presenta la Distilación On-Policy Relay (Relay-OPD) para abordar el fallo de prefijo en la destilación on-policy (OPD). Este método introduce un mecanismo donde el maestro interviene brevemente en puntos clave para redirigir la trayectoria, permitiendo al estudiante continuar optimizando la generación. Los resultados demuestran que Relay-OPD supera a OPD estándar y FastOPD en benchmarks de razonamiento matemático.
Tags
Personas mencionadas
Noticia original