Escalando modelos de lenguaje inherentemente interpretables
Resumen del corpus
Se desafía la premisa de que la interpretabilidad es un obstáculo para la capacidad de los modelos de lenguaje. El trabajo propone hacer de la interpretabilidad una restricción del proceso de entrenamiento, optimizándola junto con el objetivo de modelado de lenguaje. Se demuestra que la interpretabilidad escala con la capacidad del modelo a medida que aumenta el cómputo. Esto permite una intervención en bucle cerrado para diagnosticar y corregir el comportamiento del modelo sin necesidad de reentrenamiento.
Tags
Personas mencionadas
Noticia original