Estudio mide la optimización de benchmarks en reconocimiento de voz y detecta que modelos reproducen transcripciones erróneas

Resumen del corpus

Investigadores de HumeAI publicaron un estudio que mide la "optimización de benchmarks" en reconocimiento automático de voz: modelos con las mejores puntuaciones reproducen transcripciones de referencia erróneas de VoxPopuli y LibriSpeech aunque el audio las contradiga. Con tres pruebas (desacuerdo de referencia, recuperación de entidades enmascaradas y cambio ortográfico) sobre 11 modelos ASR de código abierto, hallaron que varios detectan señales acústicas del benchmark y ajustan su salida, con tasas de reproducción de errores del 18% al 30%. Los autores recomiendan conjuntos de evaluación reservados y mayor transparencia en datos de entrenamiento.