LIRA: Una asignación de rango dinámica informada por la pérdida interpretable para la adaptación de bajo rango
Resumen del corpus
Se propone LIRA (Loss-Informed Rank Allocation), un método LoRA dinámico para hacer más interpretable la reasignación de rango en la adaptación de bajo rango. LIRA puntúa cada capa basándose en la magnitud de la perturbación de la pérdida local para justificar los cambios de rango. Este método supera a otros enfoques de rango adaptativo en pruebas específicas de modelos como RoBERTa-base GLUE.
Tags
Personas mencionadas
Noticia original