La distancia no es suficiente: La brecha de alineación olvido-retención predice la robustez de los LLM

Resumen del corpus

Se propone la Brecha de Alineación Olvido-Retención (FRAG) como un predictor libre de entrenamiento para evaluar la alineación entre el olvido y la retención en actualizaciones de modelos de lenguaje grandes (LLM). Se argumenta que la selectividad de los pesos es un mejor indicador de robustez que la distancia global. Se introduce el Poda Olvido-Retención (FRP) para mejorar la robustez del reaprendizaje basado en el principio de afectar pesos críticos para olvidar y preservar los críticos para retener.