Buscar noticias
Buscá por texto y descubrí noticias relacionadas con tu consulta.
Noticias relevantes
Hasta 10 noticias relacionadas por su significado, ordenadas por relevancia.
No encontramos noticias relacionadas por su significado.
Noticias encontradas
Coincidencias en título, descripción, resumen, tags, personas o periodista.
4 resultados para «Nicolas Patry»
Más recientes primero · Hasta 30 noticias por página
Hugging Face BlogAprendé a usar el Hugging Face Kernel Hub en 5 minutos
Hugging Face presentó el Kernel Hub, un repositorio que permite cargar kernels de cómputo optimizados directamente desde el Hub mediante la biblioteca kernels, evitando compilaciones manuales complejas. El artículo explica cómo usar get_kernel para descargar binarios precompilados de operaciones como FlashAttention, GELU y RMSNorm, con ejemplos de código y benchmarks que muestran aceleraciones de hasta casi 2x en GPUs L4. También detalla casos de uso en proyectos como Text Generation Inference y Transformers, y recomienda verificar la corrección numérica y el rendimiento en cada hardware.
Generación asistida: una nueva dirección hacia la generación de texto de baja latencia
Hugging Face presentó la generación asistida, un nuevo método de decodificación que reduce hasta 10 veces la latencia en la generación de texto con modelos de lenguaje grandes. La técnica usa un modelo asistente más pequeño que propone tokens candidatos, que el modelo principal valida en una sola pasada forward, aprovechando que el cuello de botella está en el ancho de banda de memoria y no en el cómputo. Funciona mejor en tareas basadas en la entrada como reconocimiento de voz o sumarización, y ya está disponible en la biblioteca Transformers.
Crear un asistente de programación con StarCoder
El artículo describe cómo el modelo de código abierto StarCoder, de 16B parámetros y entrenado con un billón de tokens de más de 80 lenguajes de programación, puede ajustarse para funcionar como asistente conversacional de programación, dando lugar a StarChat. Explica el uso de prompts de diálogo, el formato ChatML, el enmascaramiento de etiquetas de usuario y el ajuste fino con DeepSpeed ZeRO-3 sobre el dataset OpenAssistant. También aborda la evaluación de asistentes de código mediante benchmarks y juicio de modelos como GPT-4, y advierte sobre limitaciones y sesgos del modelo alfa.
Cómo Hugging Face optimizó la inferencia de BLOOM con una reducción de latencia de 5x
El artículo detalla el proceso de optimización del servidor de inferencia del modelo BLOOM de 176.000 millones de parámetros, desarrollado por Hugging Face y BigScience. El equipo logró reducir la latencia de 350 ms/token a 71 ms/token y multiplicar por 50 el throughput, combinando paralelismo de tensores, kernels personalizados, torch.jit.script y un servidor web en Rust y Python. También relata fracasos como mediciones erróneas por un profiler olvidado y las dificultades de estabilidad con DeepSpeed.