La proporción oculta en Adam: Estructura estable, compresión y dinámicas de signo
Resumen del corpus
Se estudia el optimizador Adam en el régimen tied-$\beta$ para entender su comportamiento adaptativo. Los autores demuestran que la dinámica adaptativa de Adam puede expresarse mediante una razón transformada con comportamiento estable a escala. Esto sugiere que Adam posee una estructura de razón simple subyacente que facilita su análisis y una implementación eficiente.
Tags
Personas mencionadas
Noticia original