Cómo habilitar el entrenamiento con RL agéntico para GPT-OSS: una retrospectiva práctica

Resumen del corpus

Un equipo de LinkedIn publica una retrospectiva práctica sobre cómo habilitar el entrenamiento con aprendizaje por refuerzo agéntico para el modelo abierto GPT-OSS usando el framework verl. El artículo detalla tres problemas técnicos: el desajuste de log-probabilidad en la arquitectura MoE que rompe la integridad on-policy de PPO, el desajuste entre entrenamiento e inferencia por falta de soporte de attention sink en FlashAttention, y desbordes de memoria de FSDP por la materialización repetida de expertos. Los autores implementan la pasada backward de attention sink en FlashAttention v3 y optimizaciones de memoria, logrando convergencia estable y mejoras de recompensa en tareas como GSM8K, VerifyIf y ReTool.