Usar Geometría de Dirección de Activación para Reducir la Búsqueda de Hiperparámetros

Resumen del corpus

Se presenta un método basado en la geometría de dirección de activación ($d'$) para controlar el comportamiento de los Modelos de Lenguaje Grande (LLM) y reducir la búsqueda de hiperparámetros. El estudio demuestra que $d'$ es eficaz para identificar capas de rendimiento en tareas de respuesta a preguntas de opción múltiple y en la selección de capas para la generación de texto abierto. Se concluye que las conclusiones obtenidas en escenarios de un solo token no siempre son aplicables a la generación de texto abierto.