PACZero: Ajuste fino privado de lenguaje mediante cuantización de signo

Resumen del corpus

Se presenta PACZero, un mecanismo de ajuste fino diferencialmente privado (DP) de orden cero (ZO) para modelos de lenguaje grandes (LLMs). Este método busca equilibrar la utilidad y la privacidad al limitar la información mutua entre la entrada secreta y la salida. Se evalúan diferentes canales para garantizar la resistencia a ataques de inferencia de membresía (MIA) en el ajuste fino de LLMs.