GRPO asíncrono con LoRA en HF Jobs: un bucket, un proxy y sin NCCL

Resumen del corpus

El equipo de Hugging Face describe cómo entrenar un adaptador LoRA con GRPO asíncrono distribuyendo el entrenador y las réplicas de vLLM en Jobs separados, sin NCCL, usando un Storage Bucket compartido y un proxy que enruta los rollouts por prefijo KV. Mediante cinco ejecuciones optimizan el pipeline (empaquetado de micro-lotes, desactivar checkpointing y elevar el límite de solicitudes en vuelo), reduciendo 500 pasos de 3 h 27 min a 53 min con recompensa equivalente. La sincronización solo del adaptador mantiene la proporción de política en 1,000 y valida el enfoque para RL.