Perfilado en PyTorch (Parte 3): La atención es todo lo que perfilás

Resumen del corpus

Tercera entrega de la serie "Profiling in PyTorch", que enseña a leer trazas del perfilador para optimizar código. Se perfilan distintas implementaciones de atención: la ingenua escrita a mano, la variante con enmascaramiento in situ, y los backends de SDPA (math, efficient, flash y cuDNN). El backend math resulta 3.7 veces más lento por usar FP32 en núcleos CUDA y reconstruir la máscara en cada llamada, mientras que flash y efficient logran un único kernel fusionado en bf16 sobre Tensor Cores.