Buscar noticias
Buscá por texto y descubrí noticias relacionadas con tu consulta.
Noticias relevantes
Hasta 10 noticias relacionadas por su significado, ordenadas por relevancia.
No encontramos noticias relacionadas por su significado.
Noticias encontradas
Coincidencias en título, descripción, resumen, tags, personas o periodista.
5 resultados para «Marc Sun»
Más recientes primero · Hasta 30 noticias por página
Hugging Face BlogTransformers ahora ejecuta cuantizaciones de llama.cpp
Hugging Face incorporó soporte para ejecutar modelos en formato GGUF, el estándar de cuantización de llama.cpp, dentro de la librería transformers. La integración reutiliza los kernels ggml de llama.cpp y optimiza el bucle de generación para acercar el rendimiento a esa herramienta en Apple Silicon, comenzando por la arquitectura Qwen3.5. El objetivo es facilitar la inferencia local en Python y PyTorch, aunque la ruta empaquetada es por ahora solo para MPS y con cobertura limitada de arquitecturas.
Diffusers incorpora la inferencia de difusión cuantizada a 4 bits de Nunchaku
Hugging Face integró Nunchaku Lite en Diffusers, permitiendo cargar checkpoints de difusión cuantizados a 4 bits (W4A4) mediante from_pretrained() sin compilación CUDA local ni motor de inferencia separado. La técnica SVDQuant reduce la VRAM máxima hasta un 50% y mejora la latencia cerca de un 30%, alcanzando 1,8x de aceleración al combinarse con torch.compile. El toolkit diffuse-compressor permite cuantizar nuevas arquitecturas y publicarlas en el Hub.
Accelerate ND-Parallel: guía para un entrenamiento eficiente con múltiples GPU
El equipo de Hugging Face Accelerate, junto con Axolotl, publicó una guía para combinar estrategias de paralelismo (datos, datos totalmente fragmentado, tensores y contexto) en el entrenamiento de modelos grandes con múltiples GPU. La nota explica cada técnica, sus límites de memoria y comunicación, y cómo combinarlas en configuraciones ND y jerárquicas mediante la clase ParallelismConfig. Incluye ejemplos de código, notas de uso sobre tamaño de lote efectivo, checkpointing de gradientes y escalado de la tasa de aprendizaje.
Guía para afinar FLUX.1-dev con QLoRA en hardware de consumo
El artículo técnico de Hugging Face explica cómo ajustar finamente el modelo de difusión FLUX.1-dev con QLoRA usando la librería diffusers, logrando un pico de uso de memoria de unos 10 GB de VRAM en una sola GPU de consumo. Se detallan técnicas de optimización como LoRA, cuantización de 4 bits con bitsandbytes, optimizador AdamW de 8 bits, checkpointing de gradientes y caché de latentes y embeddings de texto. Los resultados en una RTX 4090 muestran un ajuste de 700 pasos en unos 41 minutos con ~9 GB de VRAM, y se menciona que FP8 con torchao reduce el tiempo a unos 20 minutos en una H100.
Guía práctica para ejecutar modelos de lenguaje (LLM) localmente en el teléfono con React Native
El artículo es un tutorial técnico publicado el 7 de marzo de 2025 por Mohamed Mekkouri y Marc Sun en el blog de Hugging Face, que explica cómo construir una aplicación móvil en React Native capaz de descargar y ejecutar modelos de lenguaje (LLM) localmente en un teléfono, tanto en Android como en iOS. Detalla la selección de modelos pequeños (1-3B parámetros) y formatos de cuantización GGUF, la configuración del entorno, la descarga de modelos desde el Hub de Hugging Face, la carga mediante llama.rn y la implementación de una interfaz de chat con inferencia local y privada. Incluye además secciones sobre depuración con Chrome DevTools y funcionalidades adicionales como generación token a token, desplazamiento automático y seguimiento de velocidad de inferencia.