Perfilado en PyTorch (Parte 1): guía para principiantes de torch.profiler

Resumen del corpus

Entrada de blog de Hugging Face que inaugura una serie sobre perfilado en PyTorch, centrada en el uso de torch.profiler para leer trazas de CPU y GPU. Explica con ejemplos de multiplicación y suma de matrices cómo distinguir algoritmos limitados por sobrecarga de los limitados por cómputo, interpretar la tabla del perfilador y la cadena de despacho hasta los kernels de CUDA. También analiza el efecto de torch.compile, que fusiona operaciones a nivel del despachador pero no genera un kernel único y aumenta la sobrecarga de CPU por paso.