Muestreo de fotogramas condicionado por consulta para la comprensión de video de larga duración basado en MLLM

Resumen del corpus

Se propone un marco de muestreo de fotogramas basado en la evidencia, motivado por la teoría de la información, para mejorar la comprensión de videos de larga duración con MLLMs. El método utiliza una red de puntuación de evidencia entrenada para seleccionar fotogramas relevantes, superando estrategias anteriores en benchmarks de comprensión de video. Los experimentos demuestran una mejora significativa en la selección de fotogramas con un presupuesto fijo.