Buscar noticias
Buscá por texto y descubrí noticias relacionadas con tu consulta.
Noticias relevantes
Hasta 10 noticias relacionadas por su significado, ordenadas por relevancia.
No encontramos noticias relacionadas por su significado.
Noticias encontradas
Coincidencias en título, descripción, resumen, tags, personas o periodista.
1 resultado para «Thomas Wang»
Más recientes primero · Hasta 30 noticias por página
Hugging Face BlogCómo Hugging Face optimizó la inferencia de BLOOM con una reducción de latencia de 5x
El artículo detalla el proceso de optimización del servidor de inferencia del modelo BLOOM de 176.000 millones de parámetros, desarrollado por Hugging Face y BigScience. El equipo logró reducir la latencia de 350 ms/token a 71 ms/token y multiplicar por 50 el throughput, combinando paralelismo de tensores, kernels personalizados, torch.jit.script y un servidor web en Rust y Python. También relata fracasos como mediciones erróneas por un profiler olvidado y las dificultades de estabilidad con DeepSpeed.