metalSPARSE: Kernel GEMV disperso semiestructurado 2:4 para GPUs de Apple Silicon
Resumen del corpus
Se presenta metalSPARSE, el primer kernel disperso 2:4 para GPUs de Apple, junto con un decodificador fusionado escrito en Metal. Este método logra una aceleración de 3.6 veces en la decodificación con Qwen2.5-1.5B y ofrece una mejora de 1.52 veces sobre MLX en hardware M4. La técnica reduce la perplexidad de un modelo a 1.34x manteniendo la calidad mediante la combinación de una máscara Wanda y adaptadores de rango bajo.
Tags
Personas mencionadas
Noticia original