La proporción oculta en Adam: Estructura estable, compresión y dinámicas de signo

Resumen del corpus

Se estudia el optimizador Adam en el régimen tied-$\beta$ para entender su comportamiento adaptativo. Los autores demuestran que la dinámica adaptativa de Adam puede expresarse mediante una razón transformada con comportamiento estable a escala. Esto sugiere que Adam posee una estructura de razón simple subyacente que facilita su análisis y una implementación eficiente.

Periodista: Yihe Zhou, Tongtian Zhu, Yingxiao Huo, Satya Prakash Dash, Can Wang, Samuel Kaski, Mingfei Sun

Personas mencionadas
Noticia original

Ver todas las noticias de arXiv Computer Science AI