pytorch

Los gráficos cuentan por fecha de publicación y respetan los filtros. El archivo incluye todo el histórico.

Noticias de pytorch

Buscar noticias dentro de este tag

Buscar

9 noticias · De más nuevas a más antiguas.

Hugging Face Blog🇺🇸 Estados Unidos21 oct 2026, 1:04 p. m.

Perfilado de TorchNeuron (Parte 1): perfilado a nivel de sistema en AWS Trainium

El artículo técnico explica cómo perfilar el rendimiento de inferencia en AWS Trainium usando TorchNeuron, el backend nativo de PyTorch de código abierto. Detalla la configuración de torch.profiler con NeuronConfig y el uso de Neuron Explorer para leer trazas del sistema. Compara tres implementaciones de RMSNorm: operaciones ingenuas de PyTorch (2.355 µs), torch.rms_norm fusionado (403 µs) y torch.compile (376 µs), mostrando que la fusión reduce el tiempo de dispositivo a cerca de un sexto.

tecnologíainteligencia artificialavances tecnológicosinnovación científicaPyTorchAWS Trainium

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos9 jul 2026, 9:00 p. m.

Perfilado en PyTorch (Parte 3): La atención es todo lo que perfilás

Tercera entrega de la serie "Profiling in PyTorch", que enseña a leer trazas del perfilador para optimizar código. Se perfilan distintas implementaciones de atención: la ingenua escrita a mano, la variante con enmascaramiento in situ, y los backends de SDPA (math, efficient, flash y cuDNN). El backend math resulta 3.7 veces más lento por usar FP32 en núcleos CUDA y reconstruir la máscara en cada llamada, mientras que flash y efficient logran un único kernel fusionado en bf16 sobre Tensor Cores.

tecnologíainteligencia artificialPyTorchGPUoptimización

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos10 jun 2026, 9:00 p. m.

Perfilado en PyTorch (Parte 2): de nn.Linear a un MLP fusionado

Segunda entrega de la serie "Profiling in PyTorch", que enseña a leer trazas del perfilador para optimizar modelos. El artículo parte de nn.Linear, muestra que el sesgo ya está plegado en el epílogo del kernel GEMM (addmm) y que torch.compile no tiene nada que fusionar en una sola capa. Luego apila tres capas en un MLP con activación GeGLU: en modo eager se lanzan cinco kernels y el intermedio pasa por HBM, mientras que compile fusiona GeLU y mul en un único kernel Triton; finalmente compara con kernels ajustados a mano de Liger, que logran la misma fusión sin costo de compilación.

tecnologíainteligencia artificialavances tecnológicosPyTorchGPUoptimización

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos28 may 2026, 9:00 p. m.

Perfilado en PyTorch (Parte 1): guía para principiantes de torch.profiler

Entrada de blog de Hugging Face que inaugura una serie sobre perfilado en PyTorch, centrada en el uso de torch.profiler para leer trazas de CPU y GPU. Explica con ejemplos de multiplicación y suma de matrices cómo distinguir algoritmos limitados por sobrecarga de los limitados por cómputo, interpretar la tabla del perfilador y la cadena de despacho hasta los kernels de CUDA. También analiza el efecto de torch.compile, que fusiona operaciones a nivel del despachador pero no genera un kernel único y aumenta la sobrecarga de CPU por paso.

tecnologíainteligencia artificialavances tecnológicosPyTorchGPUoptimización

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos16 nov 2025, 9:00 p. m.

Hugging Face facilita la creación y el intercambio de kernels ROCm para GPUs AMD

Hugging Face publicó una guía para compilar, probar y compartir kernels ROCm compatibles con GPUs AMD usando su biblioteca kernels y la herramienta kernel-builder. El ejemplo es el kernel GEMM en FP8 de RadeonFlow, premiado en el AMD Developer Challenge 2025 y optimizado para la GPU AMD Instinct MI300X. El flujo incluye estructura de proyecto, archivos build.toml y flake.nix, compilación reproducible con Nix, registro como operador nativo de PyTorch y carga al Hub para su uso con pocas líneas de código.

tecnologíainteligencia artificialavances tecnológicosinnovación científicakernels ROCmPyTorch

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos1 sept 2025, 9:00 p. m.

Cómo acelerar los Spaces ZeroGPU de Hugging Face con compilación anticipada de PyTorch

Hugging Face publicó una guía técnica para acelerar los Spaces ZeroGPU mediante compilación anticipada (AoT) de PyTorch, evitando la compilación en tiempo de ejecución que no se adapta a los procesos efímeros de ZeroGPU. El método exporta y compila el transformer una sola vez, logrando aceleraciones de 1,3× a 1,8× en modelos como Flux, Wan y LTX, y de 1,75× con FlashAttention-3. También detalla trucos como cuantización FP8, formas dinámicas y compilación regional, que reduce el tiempo de compilación de 6 minutos a 30 segundos.

tecnologíainteligencia artificialinnovación científicaavances tecnológicosPyTorchHugging Face

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos17 ago 2025, 9:00 p. m.

De cero a GPU: guía para construir y escalar kernels CUDA listos para producción

Hugging Face publicó una guía técnica para construir kernels CUDA personalizados listos para producción usando su biblioteca kernel-builder. El artículo detalla ocho pasos, desde la estructura del proyecto y el manifiesto build.toml hasta el registro de operadores nativos de PyTorch, la compilación con Nix y la publicación en el Hub. También aborda desafíos de producción como el versionado semántico, el bloqueo de dependencias y la generación de ruedas Python para el despliegue.

tecnologíainteligencia artificialCUDAPyTorchHugging Face

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos23 dic 2024, 9:00 p. m.

Visualizar y comprender la memoria de la GPU en PyTorch

El artículo explica cómo visualizar y comprender el uso de la memoria de la GPU en PyTorch durante el entrenamiento de modelos, usando la herramienta de perfilado de memoria de PyTorch. Detalla cómo interpretar los picos de memoria asociados a la creación del modelo, las activaciones, los gradientes y el estado del optimizador. Además, propone fórmulas y heurísticas para estimar los requisitos de memoria total de un modelo y evitar errores de falta de memoria (CUDA out of memory).

tecnologíainteligencia artificialPyTorchGPUmemoria

Noticia original

Hugging Face Blog🇺🇸 Estados Unidos20 oct 2022, 9:00 p. m.

De PyTorch DDP a Accelerate y Trainer: dominio del entrenamiento distribuido con facilidad

El artículo técnico explica cómo escalar el entrenamiento de modelos de PyTorch en múltiples GPU y nodos mediante tres niveles de abstracción: el módulo nativo torch.distributed con DistributedDataParallel, la biblioteca 🤗 Accelerate y la API de alto nivel Trainer de Hugging Face. Detalla la configuración de grupos de procesos, el uso de torchrun y notebook_launcher, y cómo Accelerate reduce cambios de código y optimiza la memoria de los DataLoaders. Concluye que Trainer permite entrenamiento distribuido sin escribir código específico.

tecnologíainteligencia artificialavances tecnológicosPyTorchHugging Faceentrenamiento distribuido

Noticia original