Buscar noticias
Buscá por texto y descubrí noticias relacionadas con tu consulta.
Noticias relevantes
Hasta 10 noticias relacionadas por su significado, ordenadas por relevancia.
No encontramos noticias relacionadas por su significado.
Noticias encontradas
Coincidencias por palabras en títulos, resúmenes, temas, personas, lugares o firmas.
Resultados para «Lora Ruffner»
Más recientes primero · Hasta 30 noticias por página
Guía para afinar FLUX.1-dev con QLoRA en hardware de consumo
El artículo técnico de Hugging Face explica cómo ajustar finamente el modelo de difusión FLUX.1-dev con QLoRA usando la librería diffusers, logrando un pico de uso de memoria de unos 10 GB de VRAM en una sola GPU de consumo. Se detallan técnicas de optimización como LoRA, cuantización de 4 bits con bitsandbytes, optimizador AdamW de 8 bits, checkpointing de gradientes y caché de latentes y embeddings de texto. Los resultados en una RTX 4090 muestran un ajuste de 700 pasos en unos 41 minutos con ~9 GB de VRAM, y se menciona que FP8 con torchao reduce el tiempo a unos 20 minutos en una H100.
timm y transformers se integran para usar cualquier modelo de visión con el ecosistema de Hugging Face
Hugging Face presentó TimmWrapper, una integración que permite usar cualquier modelo de la biblioteca timm (PyTorch Image Models) dentro del ecosistema transformers. La herramienta habilita la API de pipeline, las clases Auto, cuantización rápida con bitsandbytes, ajuste fino con Trainer y LoRA, compatibilidad de ida y vuelta con timm y aceleración mediante torch.compile. El anuncio incluye ejemplos de clasificación de imágenes, una demo con Gradio y una reducción de tamaño de modelo del 74,53% al cuantizar.
SDXL en 4 pasos con LoRAs de Consistencia Latente
El equipo de Hugging Face y colaboradores presentaron una nueva técnica, LCM LoRA, que permite generar imágenes con Stable Diffusion y SDXL en solo 4 a 8 pasos en lugar de los 25 a 50 habituales. El método entrena pequeños adaptadores LoRA en lugar de destilar el modelo completo, logrando inferencias hasta 10 veces más rápidas en distintos hardwares. Se liberaron los LoRAs y modelos LCM para SDXL, Stable Diffusion 1.5 y SSD-1B, junto con scripts de entrenamiento e integración en la librería diffusers.
Comparativa de rendimiento de LLMs: RoBERTa, Llama 2 y Mistral con LoRA para clasificar tuits de desastres
El artículo compara el rendimiento de tres modelos de lenguaje (RoBERTa, Mistral 7B y Llama 2) en la clasificación de tuits sobre desastres, aplicando la técnica de ajuste fino LoRA sobre una GPU A6000. RoBERTa-large, con solo 355 millones de parámetros, obtuvo la mejor puntuación F1 (0,8077) frente a Llama 2 (0,7638) y Mistral 7B (0,7364), además de requerir menos tiempo de entrenamiento y memoria. El autor concluye que para tareas simples de clasificación binaria de secuencias cortas los modelos base como RoBERTa siguen siendo competitivos y que LoRA puede aplicarse tanto a arquitecturas de codificador como de decodificador.
Copiloto personal: entrená tu propio asistente de programación
Publicación técnica de Hugging Face que explica cómo crear HugCoder, un modelo de lenguaje para código ajustado finamente con los repositorios públicos de la organización. Detalla el flujo de recolección de datos, la comparación entre ajuste fino completo con FSDP en 8 GPUs A100 y QLoRA en una sola A100 40GB, con costos de 108 y 13,75 dólares respectivamente. También aborda la combinación y transferencia de adaptadores LoRA, la integración con VS Code mediante Inference Endpoints y la ejecución local de un modelo de 1B parámetros.