Afinan un modelo de 350M parámetros para mejorar salidas estructuradas en 100 pasos de GRPO

Resumen del corpus

Un artículo técnico describe cómo ajustar el modelo pequeño LFM2.5-350M con GRPO y la librería TRL para mejorar el cumplimiento de salidas estructuradas. Con unas 500 muestras y 100 pasos de entrenamiento en una GPU gratuita, el rendimiento en el benchmark IFStruct subió del 22,6% al 29,7%. El mayor avance se dio en formato JSON, que pasó del 18,0% al 31,9%, acercando al modelo pequeño al desempeño de modelos varias veces más grandes.