LLMCodec: Adaptando códecs de video para la compresión eficiente de pesos de modelos de lenguaje grandes
Resumen del corpus
Se presenta LLMCodec, un método de compresión basado en códecs de video para modelos de lenguaje grandes (LLM), integrando cuantización afín con el códec VVC/H.266. Los experimentos demuestran que LLMCodec reduce la perplexidad en más de 1.5 veces y mejora la precisión de la tarea subsiguiente en un 21% en el modelo LLaMA-3-8B a precisión de 2 bits.
Tags
Personas mencionadas
Noticia original