Entrenar un modelo de código para pintar acuarelas con TRL y OpenEnv

Resumen del corpus

Sergio Paniego reproduce de forma abierta el proyecto de Surya Narreddi que entrena un modelo de lenguaje para pintar acuarelas escribiendo código JavaScript con la biblioteca p5.brush. Usa TRL y OpenEnv con aprendizaje por refuerzo sobre el gusto estético, combinando un juez por pares (Qwen3-VL) y el modelo de preferencia HPSv3 sobre un pool de 178 pinturas calificadas a mano. Publica el entorno, los scripts, tres mezclas de recompensa entrenadas y todos los artefactos en Hugging Face.