Los detalles de implementación de RLHF con PPO: reproducción del código original de OpenAI y diferencias del optimizador Adam entre PyTorch y TensorFlow

Resumen del corpus

Investigadores de Hugging Face publicaron una reproducción del código original de RLHF de OpenAI (lm-human-preferences) que logra igualar las curvas de aprendizaje en tareas estilísticas como sentimiento y descriptividad. El artículo detalla los detalles de implementación del modelo de recompensa y del entrenamiento de la política con PPO, incluyendo normalización de recompensas, muestreo por rechazo, penalización KL adaptativa y blanqueamiento de ventajas. Se identifica una diferencia clave en el optimizador Adam entre PyTorch y TensorFlow que provoca actualizaciones de gradiente más agresivas en las primeras etapas del entrenamiento, afectando especialmente a modelos grandes como gpt2-xl.