tokenizers v1: codificación, decodificación y escalado medidos

Resumen del corpus

Hugging Face publicó tokenizers v1, una reescritura de su biblioteca de tokenización que codifica texto entre 3 y 30 veces más rápido que la versión v0.23 en un Apple M4 Max, manteniendo idénticos los IDs de token, la API y el vocabulario. Las mejoras combinan un divisor basado en flujos de bits con SIMD en lugar de expresiones regulares, una caché de palabras por hilo, un bucle de fusión sin asignaciones y llamadas al modelo por lotes. La versión candidata ya está en crates.io y la hoja de ruta hacia 1.0.0 incluye más familias de modelos, bindings de C/C++ para ExecuTorch y llama.cpp, y una futura exploración de codificación en GPU.