Buscar noticias
Buscá por texto y descubrí noticias relacionadas con tu consulta.
Noticias relevantes
Hasta 10 noticias relacionadas por su significado, ordenadas por relevancia.
No encontramos noticias relacionadas por su significado.
Noticias encontradas
Coincidencias por palabras en títulos, resúmenes, temas, personas, lugares o firmas.
Resultados para «Pramodith Ballapuram»
Más recientes primero · Hasta 30 noticias por página
Hugging Face BlogCómo el batching asíncrono acelera la inferencia de LLM separando las cargas de CPU y GPU
Un artículo técnico del blog de Hugging Face explica cómo el batching continuo en la inferencia de modelos de lenguaje es por defecto síncrono, lo que deja a la GPU inactiva casi una cuarta parte del tiempo mientras la CPU prepara los lotes. Mediante streams y eventos de CUDA, doble buffer de tensores, un pool de memoria compartido para grafos CUDA y una técnica de arrastre de tokens, los autores separan las cargas de CPU y GPU para que se ejecuten en paralelo. El resultado es una utilización de GPU del 99,4% frente al 76,0% y una reducción del tiempo de generación de 300,6 a 234,5 segundos, una mejora del 22% sin cambios en kernels ni modelos.