Escalando modelos de lenguaje inherentemente interpretables

Resumen del corpus

Se desafía la premisa de que la interpretabilidad es un obstáculo para la capacidad de los modelos de lenguaje. El trabajo propone hacer de la interpretabilidad una restricción del proceso de entrenamiento, optimizándola junto con el objetivo de modelado de lenguaje. Se demuestra que la interpretabilidad escala con la capacidad del modelo a medida que aumenta el cómputo. Esto permite una intervención en bucle cerrado para diagnosticar y corregir el comportamiento del modelo sin necesidad de reentrenamiento.

Periodista: GuideLabs, Andreas Madsen, Aya Abdelsalam Ismail, Giang Nguyen, Isaac Plant, Muawiz Chaudhary, Nathaniel Monson, Saqib Azim, Zhichen Guo, Julius Adebayo

Personas mencionadas
Noticia original

Ver todas las noticias de arXiv Computer Science AI