Buscar noticias
Buscá por texto y descubrí noticias relacionadas con tu consulta.
Noticias relevantes
Hasta 10 noticias relacionadas por su significado, ordenadas por relevancia.
No encontramos noticias relacionadas por su significado.
Noticias encontradas
Coincidencias en título, descripción, resumen, tags, personas o periodista.
3 resultados para «Wing Lian»
Más recientes primero · Hasta 30 noticias por página
Hugging Face BlogTransformers v5: definiciones de modelos simples que impulsan el ecosistema de IA
Hugging Face lanzó Transformers v5, la nueva versión de su biblioteca de definición de modelos de IA, que ahora supera los 1.200 millones de instalaciones y las 400 arquitecturas. La versión prioriza la simplicidad del código, la interoperabilidad con motores de inferencia como vLLM, SGLang y llama.cpp, y convierte la cuantización en una característica de primera clase. También abandona el soporte de Flax/TensorFlow para centrarse en PyTorch como único backend.
Accelerate ND-Parallel: guía para un entrenamiento eficiente con múltiples GPU
El equipo de Hugging Face Accelerate, junto con Axolotl, publicó una guía para combinar estrategias de paralelismo (datos, datos totalmente fragmentado, tensores y contexto) en el entrenamiento de modelos grandes con múltiples GPU. La nota explica cada técnica, sus límites de memoria y comunicación, y cómo combinarlas en configuraciones ND y jerárquicas mediante la clase ParallelismConfig. Incluye ejemplos de código, notas de uso sobre tamaño de lote efectivo, checkpointing de gradientes y escalado de la tasa de aprendizaje.
Open R1 presenta su primer gran dataset de razonamiento matemático generado con DeepSeek R1
El proyecto Open R1, que busca reconstruir el pipeline de entrenamiento y los datos sintéticos de DeepSeek R1, presentó OpenR1-Math-220k, su primer conjunto de datos a gran escala para razonamiento matemático, generado localmente en 512 GPU H100. El dataset contiene 800k trazas de razonamiento para 400k problemas de NuminaMath 1.5, filtradas con Math Verify y Llama-3.3-70B-Instruct como juez, reteniendo 220k problemas con al menos una respuesta correcta. Al ajustar Qwen2.5-Math-Instruct con estos datos, OpenR1-Qwen-7B igualó el rendimiento de DeepSeek-Distill-Qwen-7B en benchmarks como MATH-500 y AIME.