Usando cabezales de OCR para verbalizar semántica de imágenes

Resumen del corpus

Se investiga cómo los Modelos de Lenguaje Visual (VLMs) realizan el reconocimiento de caracteres ópticos (OCR) al identificar cabezales de atención necesarios. Se demuestra que estos cabezales son cabezales de propósito general que generan características semánticas interpretables en las representaciones de imagen. El estudio sugiere que las representaciones de imagen están alineadas con el lenguaje en las capas iniciales de los modelos.