Ulysses Sequence Parallelism: entrenamiento con contextos de millones de tokens

Resumen del corpus

Publicación técnica de Hugging Face que explica Ulysses Sequence Parallelism, una técnica del protocolo Arctic Long Sequence Training de Snowflake AI Research que distribuye el cálculo de atención entre varias GPUs mediante paralelismo de cabezas de atención. Detalla su integración en Accelerate, el Transformers Trainer y el SFTTrainer de TRL, con parámetros de configuración y comandos de lanzamiento. Los benchmarks con Qwen3-4B en GPUs H100 muestran una reducción de memoria de 3.3x y hasta 3.7x más throughput, permitiendo entrenar con secuencias de hasta 96K tokens.