Cómo acelerar los Spaces ZeroGPU de Hugging Face con compilación anticipada de PyTorch

Resumen del corpus

Hugging Face publicó una guía técnica para acelerar los Spaces ZeroGPU mediante compilación anticipada (AoT) de PyTorch, evitando la compilación en tiempo de ejecución que no se adapta a los procesos efímeros de ZeroGPU. El método exporta y compila el transformer una sola vez, logrando aceleraciones de 1,3× a 1,8× en modelos como Flux, Wan y LTX, y de 1,75× con FlashAttention-3. También detalla trucos como cuantización FP8, formas dinámicas y compilación regional, que reduce el tiempo de compilación de 6 minutos a 30 segundos.

Noticia original

Ver todas las noticias de Hugging Face Blog