Alineación de seguridad en la etapa de preentrenamiento con reflexión

Resumen del corpus

Se propone el Pretraining-stage Alignment de Reflexión de Seguridad para mejorar la alineación de seguridad en LLMs al insertar reflexiones de seguridad entre las oraciones durante el preentrenamiento. Los experimentos indican que este método mejora la precisión de clasificación de seguridad y reduce los ataques en etapas posteriores. Los hallazgos sugieren que la alineación debe moldear los comportamientos que los modelos adquieren, no solo hacer los datos seguros.