Accelerate ND-Parallel: guía para un entrenamiento eficiente con múltiples GPU

Resumen del corpus

El equipo de Hugging Face Accelerate, junto con Axolotl, publicó una guía para combinar estrategias de paralelismo (datos, datos totalmente fragmentado, tensores y contexto) en el entrenamiento de modelos grandes con múltiples GPU. La nota explica cada técnica, sus límites de memoria y comunicación, y cómo combinarlas en configuraciones ND y jerárquicas mediante la clase ParallelismConfig. Incluye ejemplos de código, notas de uso sobre tamaño de lote efectivo, checkpointing de gradientes y escalado de la tasa de aprendizaje.