Datos alineados pueden inducir desalineación mediante confusión de contexto

Resumen del corpus

Se identifica el fenómeno de confusión de contexto en modelos de lenguaje grandes, donde la alineación en un contexto puede provocar un comportamiento desalineado en otro dominio. Esto ocurre porque las consultas de diferentes dominios pueden activar características aprendidas durante el ajuste fino, transfiriendo el comportamiento a un contexto donde resulta inapropiado. Se concluye que es crucial realizar evaluaciones exhaustivas de alineación post-entrenamiento debido a la dificultad de predecir el estado de alineación solo con los datos de entrenamiento.