Cómo acelerar los Spaces ZeroGPU de Hugging Face con compilación anticipada de PyTorch
Resumen del corpus
Hugging Face publicó una guía técnica para acelerar los Spaces ZeroGPU mediante compilación anticipada (AoT) de PyTorch, evitando la compilación en tiempo de ejecución que no se adapta a los procesos efímeros de ZeroGPU. El método exporta y compila el transformer una sola vez, logrando aceleraciones de 1,3× a 1,8× en modelos como Flux, Wan y LTX, y de 1,75× con FlashAttention-3. También detalla trucos como cuantización FP8, formas dinámicas y compilación regional, que reduce el tiempo de compilación de 6 minutos a 30 segundos.