Cómo funciona el aprendizaje por refuerzo con retroalimentación humana (RLHF) en los modelos de lenguaje

Resumen del corpus

El artículo explica el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF), técnica que permite alinear modelos de lenguaje con valores humanos mediante tres etapas: preentrenamiento del modelo, entrenamiento de un modelo de recompensa con preferencias humanas y ajuste fino con aprendizaje por refuerzo (PPO). Detalla cómo OpenAI, Anthropic y DeepMind aplicaron el método en modelos como InstructGPT, Gopher y ChatGPT, y describe herramientas de código abierto como TRL, TRLX y RL4LMs. Señala limitaciones como el alto costo de la anotación humana, el desacuerdo entre anotadores y el riesgo de que los modelos generen texto dañino o inexacto.