LLMCodec: Adaptando códecs de video para la compresión eficiente de pesos de modelos de lenguaje grandes

Resumen del corpus

Se presenta LLMCodec, un método de compresión basado en códecs de video para modelos de lenguaje grandes (LLM), integrando cuantización afín con el códec VVC/H.266. Los experimentos demuestran que LLMCodec reduce la perplexidad en más de 1.5 veces y mejora la precisión de la tarea subsiguiente en un 21% en el modelo LLaMA-3-8B a precisión de 2 bits.

Periodista: Rui Wang, Yan Zhao, Li Song, Zhengxue Cheng

Personas mencionadas
Noticia original

Ver todas las noticias de arXiv Computer Science AI