LIRA: Una asignación de rango dinámica informada por la pérdida interpretable para la adaptación de bajo rango

Resumen del corpus

Se propone LIRA (Loss-Informed Rank Allocation), un método LoRA dinámico para hacer más interpretable la reasignación de rango en la adaptación de bajo rango. LIRA puntúa cada capa basándose en la magnitud de la perturbación de la pérdida local para justificar los cambios de rango. Este método supera a otros enfoques de rango adaptativo en pruebas específicas de modelos como RoBERTa-base GLUE.

Periodista: Sihao Wang, Bozheng Li, Xuemiao Xu, Haoxin Yang, Yujie Xu, Jie Tang

Personas mencionadas
Noticia original

Ver todas las noticias de arXiv Computer Science AI