NVIDIA NeMo AutoModel acelera el fine-tuning de Transformers con 3,4-3,7x más rendimiento y hasta 32% menos memoria GPU

Resumen del corpus

NVIDIA presentó NeMo AutoModel, una biblioteca abierta construida sobre HuggingFace Transformers v5 que acelera el fine-tuning de modelos Mixture-of-Experts. Según los benchmarks, logra un rendimiento de entrenamiento 3,4-3,7x mayor y 29-32% menos memoria GPU que Transformers v5 nativo usando la misma API from_pretrained(), con solo cambiar una línea de importación. La mejora proviene del Paralelismo de Expertos, el despacho fusionado DeepEP y los kernels de TransformerEngine, y permite entrenar modelos de hasta 550B parámetros en 16 nodos.