ADIndex: Indexación de Atención Esparsa Adaptativa a Nivel de Grupo

Resumen del corpus

Se presenta ADIndex, un método de indexación adaptativo y basado en destilación para atención esparsa a nivel de token, diseñado para reducir el costo computacional en la inferencia de contexto largo. Los experimentos demuestran que ADIndex ofrece ganancias significativas en velocidad, incluyendo aceleraciones de hasta 6.22x en el prefill y 3.40x en la decodificación, manteniendo un rendimiento de tarea casi sin pérdidas.