Crear un asistente de programación con StarCoder

Resumen del corpus

El artículo describe cómo el modelo de código abierto StarCoder, de 16B parámetros y entrenado con un billón de tokens de más de 80 lenguajes de programación, puede ajustarse para funcionar como asistente conversacional de programación, dando lugar a StarChat. Explica el uso de prompts de diálogo, el formato ChatML, el enmascaramiento de etiquetas de usuario y el ajuste fino con DeepSpeed ZeRO-3 sobre el dataset OpenAssistant. También aborda la evaluación de asistentes de código mediante benchmarks y juicio de modelos como GPT-4, y advierte sobre limitaciones y sesgos del modelo alfa.