Open R1 presenta OlympicCoder, modelos de código que superan a modelos cerrados en problemas de la Olimpiada Informática

Resumen del corpus

El equipo de Open R1 de Hugging Face publicó la Actualización #3 sobre sus avances en reproducir la receta de razonamiento de código de DeepSeek-R1. Presentaron CodeForces-CoTs, un conjunto de casi 100k muestras destiladas de R1, el benchmark IOI 2024 y los modelos OlympicCoder-7B y 32B, que superan a modelos cerrados como Claude 3.7 Sonnet en problemas de la Olimpiada Internacional de Informática. También detallaron lecciones de entrenamiento (empaquetado de muestras, tasas de aprendizaje, prefijado con <think>, optimizadores de 8 bits) y actualizaciones de GRPO y del conjunto de datos matemático.