Multi-layer Indexer: Selección superpuesta y atención en la atención dispersa en DeepSeek Sparse Attention
Resumen del corpus
Se presenta el Multi-layer Indexer (MLI) para mejorar la inferencia de contexto largo mediante la atención dispersa. El MLI elimina la dependencia entre capas al permitir que una capa atienda la selección de la capa indexadora anterior, sin requerir reentrenamiento. Esta técnica demuestra mejoras significativas en la velocidad de decodificación, superando a otros métodos como IndexCache en varios escenarios.
Tags
Personas mencionadas
Noticia original