Cuando la experiencia se convierte en una puerta trasera: Envenenamiento de agentes de LLM autoevolutivos mediante optimización de tareas consciente del fallo

Resumen del corpus

Se estudia un problema de ataques de puerta trasera a nivel de tarea en agentes de LLM autoevolutivos, donde el atacante inyecta tareas de evolución envenenadas. Se proponen BadEvolve, un marco que diagnostica fallos en cuatro etapas de evolución y utiliza reversión para preservar el progreso y evitar actualizaciones ineficaces. Los experimentos demuestran la efectividad de este marco contra diversos marcos de autoevolución.

Periodista: Minhua Lin, Zongyu Wu, Hanqing Lu, Xianfeng Tang, Xiang Zhang, Qi He, Suhang Wang

Personas mencionadas
Noticia original

Ver todas las noticias de arXiv Computer Science AI