Buscar noticias
Buscá por texto y descubrí noticias relacionadas con tu consulta.
Noticias relevantes
Hasta 10 noticias relacionadas por su significado, ordenadas por relevancia.
No encontramos noticias relacionadas por su significado.
Noticias encontradas
Coincidencias en título, descripción, resumen, tags, personas o periodista.
7 resultados para «Edward Beeching»
Más recientes primero · Hasta 30 noticias por página
Hugging Face BlogCómo enviar un billón de parámetros con un bucket del Hub: sincronización de pesos por delta en TRL
Investigadores de Hugging Face publicaron en TRL una técnica de sincronización de pesos por delta para entrenamiento de RL asíncrono: en lugar de enviar el modelo completo al motor de inferencia en cada paso, codifican solo los elementos bf16 que cambiaron como un archivo safetensors disperso y lo suben a un Bucket del Hub que vLLM descarga. Como entre pasos consecutivos cerca del 99% de los pesos bf16 son idénticos bit a bit, la carga por paso cae de 1,2 GB a 20-35 MB en Qwen3-0.6B. Demostraron un entrenamiento totalmente desagregado con entrenador, vLLM y entorno Wordle en máquinas y Spaces distintos, sin clúster compartido, RDMA ni VPN.
Cómo 16 librerías de código abierto resuelven el entrenamiento asíncrono de aprendizaje por refuerzo
Un artículo técnico de Hugging Face analiza 16 librerías de código abierto que implementan entrenamiento de aprendizaje por refuerzo asíncrono, separando la inferencia del entrenamiento en pools de GPU distintos para evitar la ociosidad de las GPU. El relevamiento compara las librerías en siete ejes, entre ellos orquestación, diseño de búfer, sincronización de pesos, gestión de la obsolescencia y soporte de LoRA y MoE. Los autores concluyen que Ray domina la orquestación, la difusión NCCL es el método estándar de sincronización y el soporte de MoE es el diferenciador emergente, y anticipan las decisiones de diseño de un nuevo entrenador asíncrono para TRL.
Hugging Face lanza SmolLM3, un modelo de lenguaje pequeño, multilingüe y con razonamiento de contexto largo
Hugging Face presentó SmolLM3, un modelo de lenguaje de 3.000 millones de parámetros entrenado con 11 billones de tokens, que supera a Llama-3.2-3B y Qwen2.5-3B y compite con modelos de 4B. El modelo es totalmente abierto, multilingüe (seis idiomas, incluido el español), soporta contexto de hasta 128k tokens y tiene modo dual de instrucción y razonamiento. La empresa publicó además la receta completa de entrenamiento, los conjuntos de datos y los checkpoints intermedios.
- Elie Bakouch
- Carlos Miguel Patiño
- Anton Lozhkov
- Edward Beeching
- Aymeric Roucher
- Nouamane Tazi
- Aksel Joonas Reedi
- Guilherme Penedo
- Hynek Kydlicek
- Clémentine Fourrier
- Nathan Habib
- Kashif Rasul
- Quentin Gallouédec
- Hugo Larcher
- Mathieu Morlon
- Joshua Xenova
- Vaibhav Srivastav
- Xuan-Son Nguyen
- Colin Raffel
- Lewis Tunstall
- Loubna Ben Allal
- Leandro von Werra
- Thomas Wolf
Open R1: cómo usar OlympicCoder localmente para programar
El artículo explica cómo integrar el modelo de código abierto OlympicCoder 7B, del proyecto Open R1, en el editor VS Code para usarlo como asistente de programación local. Detalla la instalación de LM Studio, la descarga de la versión cuantizada GGUF de 4 bits y la conexión mediante la extensión Continue.dev. Según LiveCodeBench, la variante de 7B parámetros supera a Claude 3.7 Sonnet y GPT-4o en tareas de código.
Open R1 presenta OlympicCoder, modelos de código que superan a modelos cerrados en problemas de la Olimpiada Informática
El equipo de Open R1 de Hugging Face publicó la Actualización #3 sobre sus avances en reproducir la receta de razonamiento de código de DeepSeek-R1. Presentaron CodeForces-CoTs, un conjunto de casi 100k muestras destiladas de R1, el benchmark IOI 2024 y los modelos OlympicCoder-7B y 32B, que superan a modelos cerrados como Claude 3.7 Sonnet en problemas de la Olimpiada Internacional de Informática. También detallaron lecciones de entrenamiento (empaquetado de muestras, tasas de aprendizaje, prefijado con <think>, optimizadores de 8 bits) y actualizaciones de GRPO y del conjunto de datos matemático.
Open-R1: actualización n.º 1 sobre la replicación del pipeline de DeepSeek-R1
El equipo de Hugging Face publica la primera actualización del proyecto Open-R1, lanzado una semana antes para replicar el pipeline de entrenamiento y los datos sintéticos de DeepSeek-R1. Reportan que lograron reproducir los resultados de DeepSeek en el benchmark MATH-500, integraron GRPO en TRL 0.14 y optimizaron la generación de datos sintéticos usando 32 GPU con inferencia en streaming. También reseñan las reacciones del mercado y de laboratorios como OpenAI y Anthropic, y los proyectos y datasets que la comunidad construyó en torno al modelo.
Crear un asistente de programación con StarCoder
El artículo describe cómo el modelo de código abierto StarCoder, de 16B parámetros y entrenado con un billón de tokens de más de 80 lenguajes de programación, puede ajustarse para funcionar como asistente conversacional de programación, dando lugar a StarChat. Explica el uso de prompts de diálogo, el formato ChatML, el enmascaramiento de etiquetas de usuario y el ajuste fino con DeepSpeed ZeRO-3 sobre el dataset OpenAssistant. También aborda la evaluación de asistentes de código mediante benchmarks y juicio de modelos como GPT-4, y advierte sobre limitaciones y sesgos del modelo alfa.