Plantillas de chat: el fin del asesino silencioso del rendimiento

Resumen del corpus

Hugging Face introdujo las plantillas de chat, un atributo de los tokenizadores que guarda el formato exacto con el que fue entrenado un modelo de chat mediante plantillas Jinja. El objetivo es evitar la degradación silenciosa del rendimiento que ocurre cuando se usa un formato distinto al del entrenamiento, un problema difícil de detectar y depurar. La función traslada la lógica de formato desde el código central de Transformers a los repositorios de cada modelo, y se recomienda el formato ChatML de OpenAI para nuevos modelos.