Transformers ahora ejecuta cuantizaciones de llama.cpp
Resumen del corpus
Hugging Face incorporó soporte para ejecutar modelos en formato GGUF, el estándar de cuantización de llama.cpp, dentro de la librería transformers. La integración reutiliza los kernels ggml de llama.cpp y optimiza el bucle de generación para acercar el rendimiento a esa herramienta en Apple Silicon, comenzando por la arquitectura Qwen3.5. El objetivo es facilitar la inferencia local en Python y PyTorch, aunque la ruta empaquetada es por ahora solo para MPS y con cobertura limitada de arquitecturas.