La deduplicación a gran escala detrás de BigCode

Resumen del corpus

El artículo técnico de Chenghao Mou explica el proceso de deduplicación casi exacta a gran escala aplicado a los conjuntos de datos de BigCode, usando MinHash y hashing sensible a la localidad (LSH). Detalla cómo la eliminación de duplicados mejora el rendimiento de los modelos de lenguaje y de código, reduce riesgos de privacidad y evita la contaminación de benchmarks. Describe la implementación escalable con Spark, que permitió deduplicar 1,4 TB de datos en menos de 4 horas con un costo de 15 dólares por hora.