bitsandbytes, cuantización de 4 bits y QLoRA hacen más accesibles los LLM

Resumen del corpus

Hugging Face presentó una integración con la librería bitsandbytes que permite ejecutar y entrenar modelos de lenguaje grandes en precisión de 4 bits, abarcando la mayoría de los modelos del ecosistema en cualquier modalidad. El método se basa en QLoRA, que reduce el uso de memoria sin perder rendimiento frente al ajuste fino de 16 bits, permitiendo afinar modelos de 65B parámetros en una sola GPU de 48GB. Los modelos Guanaco, entrenados con esta técnica, alcanzan el 99,3% del rendimiento de ChatGPT en el benchmark Vicuna.