Tokenización en Transformers v5: más simple, clara y modular

Resumen del corpus

Hugging Face presentó Transformers v5, un rediseño del sistema de tokenización que separa la arquitectura del tokenizador del vocabulario entrenado, de forma análoga a cómo PyTorch separa la arquitectura de la red de los pesos aprendidos. La nueva versión unifica las implementaciones lenta y rápida en un solo archivo por modelo, con un backend Rust como predeterminado, y permite inspeccionar y entrenar tokenizadores específicos desde cero. El objetivo es hacer la biblioteca más modular, transparente y alineada con las prácticas de desarrollo de sistemas de machine learning.