Compresión guardada del estado del optimizador Adam con límites de gradiente compartidos

Resumen del corpus

Se investiga la compresión guardada del estado del optimizador Adam para reducir el tamaño de los momentos, manteniendo la precisión de la actualización nativa FP32 dentro de una tolerancia específica. Se demuestra que al limitar la diferencia entre las actualizaciones, se logran reducciones significativas en la carga útil de los momentos, mejorando la eficiencia de la compresión.