SAVeR^2: Alineación de seguridad basada en razonamiento para modelos de razonamiento grandes mediante recompensas verificables

Resumen del corpus

Se presenta SAVeR^2, un método novedoso de alineación de seguridad para Modelos de Razonamiento Grandes (LRMs) que utiliza recompensas con capacidad de razonamiento. Este método descompone el objetivo de seguridad en señales verificables y emplea un mecanismo de proyección de gradiente para eliminar el impuesto de seguridad. Los experimentos demuestran que SAVeR^2 mejora el rendimiento de seguridad y reduce las tasas de sobre-rechazo sin afectar las capacidades de razonamiento general.

Periodista: Yichen Sun, Qirui Liu, Yan Wang, Jianan Lin, Linbo Jiang, Shiyu Wang, Zhibo Wang, Zhixuan Chu

Personas mencionadas
Noticia original

Ver todas las noticias de arXiv Computer Science AI