AttentionIndex: Acelerando la Atención Escasa Aprendida con un Índice Invertido Causal

Resumen del corpus

Se presenta AttentionIndex, un método para acelerar la atención dispersa aprendida en modelos de IA. Este índice dirige las consultas a través de un índice de archivo invertido que agrupa claves por similitud. El método mejora el rendimiento de prellenado y la precisión en benchmarks de contexto largo en comparación con HiSA.