Hugging Face mejora el streaming de datasets: 100 veces menos peticiones y hasta el doble de velocidad

Resumen del corpus

Hugging Face anunció mejoras en el streaming de datasets de su librería, logrando hasta 100 veces menos peticiones de inicio, resolución de archivos 10 veces más rápida y el doble de velocidad de streaming. Las optimizaciones incluyen caché persistente de archivos entre workers del DataLoader, prefetching para Parquet y buffering configurable. La compañía usa estas mejoras para entrenar sus modelos SmolVLM y nanoVLM, alcanzando velocidades comparables a la lectura desde SSD locales.