Buscar noticias
Buscá por texto y descubrí noticias relacionadas con tu consulta.
Noticias relevantes
Hasta 10 noticias relacionadas por su significado, ordenadas por relevancia.
No encontramos noticias relacionadas por su significado.
Noticias encontradas
Coincidencias en título, descripción, resumen, tags, personas o periodista.
2 resultados para «Tri Dao»
Más recientes primero · Hasta 30 noticias por página
Hugging Face BlogPerfilado en PyTorch (Parte 3): La atención es todo lo que perfilás
Tercera entrega de la serie "Profiling in PyTorch", que enseña a leer trazas del perfilador para optimizar código. Se perfilan distintas implementaciones de atención: la ingenua escrita a mano, la variante con enmascaramiento in situ, y los backends de SDPA (math, efficient, flash y cuDNN). El backend math resulta 3.7 veces más lento por usar FP32 en núcleos CUDA y reconstruir la máscara en cada llamada, mientras que flash y efficient logran un único kernel fusionado en bf16 sobre Tensor Cores.
Bamba: modelo híbrido Mamba2 eficiente en inferencia
IBM, Princeton, CMU y UIUC presentaron Bamba-9B, un modelo híbrido Mamba2 entrenado con 2,2 billones de tokens y datos abiertos. Según los autores, ofrece hasta 2,5 veces más rendimiento y la mitad de latencia que transformers estándar en vLLM, y su desempeño promedio queda casi a la par de Meta Llama 3.1 8B al excluir matemáticas y MMLU. El modelo y las recetas de entrenamiento se publicaron en transformers, vLLM, TRL y llama.cpp para fomentar la experimentación de la comunidad.
- Linsong Chu
- Divya Kumari
- Tri Dao
- Albert Gu
- Raghu Ganti
- Dakshi Agrawal
- Mudhakar Srivatsa
- Davis Wertheimer
- Fabian Lim
- Antoni Viros
- Nelson Gonzalez
- Tuan HoangTrong
- Ofir Arviv
- Yotam Perlitz
- Michal Shmueli-Scheuer
- Haochen Shen
- Minjia Zhang
- Gabe Goodhart
- Naigang Wang
- Nick Hill
- Joshua Rosenkranz
- Charlie Liu
- Adnan Hoque
- Chih-Chieh Yang
- Sukriti Sharma
- Anh Uong
- Jay Gala
- Syed Zawad
- Ryan Gordon