metalSPARSE: Kernel GEMV disperso semiestructurado 2:4 para GPUs de Apple Silicon

Resumen del corpus

Se presenta metalSPARSE, el primer kernel disperso 2:4 para GPUs de Apple, junto con un decodificador fusionado escrito en Metal. Este método logra una aceleración de 3.6 veces en la decodificación con Qwen2.5-1.5B y ofrece una mejora de 1.52 veces sobre MLX en hardware M4. La técnica reduce la perplexidad de un modelo a 1.34x manteniendo la calidad mediante la combinación de una máscara Wanda y adaptadores de rango bajo.

Periodista: Tek Raj Awasthi

Personas mencionadas
Noticia original

Ver todas las noticias de arXiv Computer Science AI