Parquet Content-Defined Chunking: nueva función de PyArrow y Pandas para deduplicar archivos en Hugging Face

Resumen del corpus

Hugging Face presentó la función Parquet Content-Defined Chunking (CDC), ya disponible en PyArrow y Pandas, que permite deduplicar archivos Parquet sobre la capa de almacenamiento Xet. La técnica divide las columnas en data pages según su contenido, de modo que solo se transfieren los fragmentos modificados al subir o descargar datos. El artículo demuestra con ejemplos que agregar columnas, concatenar filas o cambiar tamaños de row-group reduce drásticamente el volumen transferido, aunque las inserciones y eliminaciones de filas siguen siendo el caso más costoso.

Periodista: Krisztian Szucs

Noticia original

Ver todas las noticias de Hugging Face Blog