La ilusión de alineación: Cómo BadReward corrompe la generación de texto a imagen

Resumen del corpus

Se explora la posibilidad de envenenar el proceso RLHF en modelos de texto a imagen mediante un ataque llamado BadReward. Este ataque manipula las señales de recompensa para incrustar comportamientos maliciosos en el contenido generado. Los experimentos demuestran que esta manipulación corrompe la señal de recompensa y es efectiva en arquitecturas modernas de texto a imagen.

Noticia original

Ver todas las noticias de arXiv Computer Science AI