Parquet Content-Defined Chunking: nueva función de PyArrow y Pandas para deduplicar archivos en Hugging Face
Resumen del corpus
Hugging Face presentó la función Parquet Content-Defined Chunking (CDC), ya disponible en PyArrow y Pandas, que permite deduplicar archivos Parquet sobre la capa de almacenamiento Xet. La técnica divide las columnas en data pages según su contenido, de modo que solo se transfieren los fragmentos modificados al subir o descargar datos. El artículo demuestra con ejemplos que agregar columnas, concatenar filas o cambiar tamaños de row-group reduce drásticamente el volumen transferido, aunque las inserciones y eliminaciones de filas siguen siendo el caso más costoso.
Tags
Personas mencionadas
Noticia original