¿Los vectores de razonamiento lingüístico mejoran la capacidad de razonamiento multimodal?

Resumen del corpus

Se propone el método LIFT para transferir la capacidad de razonamiento del LLM base a los VLMs sin reentrenar la arquitectura base. Los resultados demuestran que los vectores de razonamiento derivados del LLM superan a los derivados del VLM, confirmando la efectividad del LLM base para recuperar la capacidad de razonamiento. LIFT logra una recuperación parcial del razonamiento mediante intervenciones ligeras del lado del lenguaje.