Transformers ahora ejecuta cuantizaciones de llama.cpp

Resumen del corpus

Hugging Face incorporó soporte para ejecutar modelos en formato GGUF, el estándar de cuantización de llama.cpp, dentro de la librería transformers. La integración reutiliza los kernels ggml de llama.cpp y optimiza el bucle de generación para acercar el rendimiento a esa herramienta en Apple Silicon, comenzando por la arquitectura Qwen3.5. El objetivo es facilitar la inferencia local en Python y PyTorch, aunque la ruta empaquetada es por ahora solo para MPS y con cobertura limitada de arquitecturas.

Noticia original

Ver todas las noticias de Hugging Face Blog