Explorando optimizaciones simples para SDXL

Resumen del corpus

El artículo técnico analiza técnicas para optimizar la inferencia del modelo de difusión latente Stable Diffusion XL (SDXL) de Stability AI, que con 3.5B de parámetros consume 28 GB de memoria y tarda 72,2 segundos por ejecución sin optimizar en una GPU A100. Se evalúan métodos como menor precisión (fp16), atención eficiente en memoria (SDPA), torch.compile, descarga de CPU, rebanado de VAE, caché de incrustaciones de texto y un autoencoder diminuto. La combinación de estas optimizaciones reduce el uso de memoria hasta 11,47 GB y el tiempo de inferencia hasta 10,2 segundos.