OmniOPD: Destilación On-Policy para Generación Conjunta de Audio-Video

Resumen del corpus

Se presenta OmniOPD, un marco de destilación on-policy diseñado para mejorar la generación conjunta de audio y video mediante el aprendizaje por refuerzo. Este método busca resolver la interferencia entre modalidades al transferir capacidades de modelos especializados. Se proponen técnicas como la construcción de información visual privilegiada y el muestreo de ruido agrupado para lograr una generación estable y equilibrada. Los resultados demuestran que OmniOPD mejora la generación de video manteniendo la calidad del audio.