HyperVAttention: Atención dispersa eficiente con agrupación espacio-temporal para difusión de video

Resumen del corpus

Se presenta HyperVAttention (HVA), un marco de atención dispersa libre de entrenamiento diseñado para mejorar la eficiencia de los Transformadores de Difusión de Video (VDiTs). El método aborda la sobrecarga de agrupación mediante la agrupación de ventanas locales 3D y optimiza la utilización de CTA mediante una fusión de clústeres consciente del hardware. Los experimentos demuestran que HVA supera a SVG2 en fidelidad y ofrece una aceleración significativa sobre la atención completa.