Multi-layer Indexer: Selección superpuesta y atención en la atención dispersa en DeepSeek Sparse Attention

Resumen del corpus

Se presenta el Multi-layer Indexer (MLI) para mejorar la inferencia de contexto largo mediante la atención dispersa. El MLI elimina la dependencia entre capas al permitir que una capa atienda la selección de la capa indexadora anterior, sin requerir reentrenamiento. Esta técnica demuestra mejoras significativas en la velocidad de decodificación, superando a otros métodos como IndexCache en varios escenarios.

Periodista: Serdarcan Dilbaz, Arjun Krishna, Kiran Kamble, Daniel M. Bikel

Personas mencionadas
Noticia original

Ver todas las noticias de arXiv Computer Science AI