Mini-R1: reproducen el "momento ajá" de DeepSeek R1 con un tutorial de aprendizaje por refuerzo

Resumen del corpus

Philipp Schmid publicó un tutorial que reproduce el "momento ajá" de DeepSeek-R1 entrenando un modelo Qwen2.5-3B-Instruct con Group Relative Policy Optimization (GRPO) para resolver el Juego de la Cuenta Regresiva. El entrenamiento distribuido usó DeepSpeed y vLLM sobre 4 GPU NVIDIA H100, con 450 pasos en unas 6 horas. La tasa de éxito pasó de ~25% a los 100 pasos a 50% a los 450 pasos, y el modelo migró de un razonamiento "con palabras" a uno de tipo programático.