Liger GRPO se integra con TRL para reducir un 40% la memoria en el entrenamiento de modelos de lenguaje

Resumen del corpus

El equipo de Hugging Face TRL integró Liger Kernel con el entrenador GRPO, logrando una reducción del 40% en el uso máximo de memoria de GPU durante el ajuste fino de modelos de lenguaje con aprendizaje por refuerzo, sin pérdida de calidad. La optimización fragmenta el cálculo de logits y acumula gradientes por fragmento, y se suma soporte para FSDP, PEFT y vLLM para escalar el entrenamiento en múltiples GPU y nodos. Los benchmarks con Qwen3-0.6B muestran que el tamaño de lote puede aumentar entre 1,5 y 1,8 veces.