Distilación On-Policy Relay: Trayectoria Relacionada con la Política

Resumen del corpus

Se presenta la Distilación On-Policy Relay (Relay-OPD) para abordar el fallo de prefijo en la destilación on-policy (OPD). Este método introduce un mecanismo donde el maestro interviene brevemente en puntos clave para redirigir la trayectoria, permitiendo al estudiante continuar optimizando la generación. Los resultados demuestran que Relay-OPD supera a OPD estándar y FastOPD en benchmarks de razonamiento matemático.

Periodista: Haolei Xu, Xiaowen Xu, Haiwen Hong, Zixuan Ni, Hongxing Li, Yiwen Qiu, Weiming Lu, Yongliang Shen

Personas mencionadas
Noticia original

Ver todas las noticias de arXiv Computer Science AI