Cómo entrenar y ajustar modelos multimodales de embedding y reranking con Sentence Transformers

Resumen del corpus

El artículo técnico de Tom Aarsen explica cómo entrenar y ajustar finamente modelos multimodales de embedding y reranker con la biblioteca Sentence Transformers, usando como caso práctico la recuperación de documentos visuales. El ajuste fino del modelo Qwen3-VL-Embedding-2B sobre datos de dominio elevó el NDCG@10 de 0.888 a 0.947, superando a modelos hasta cuatro veces más grandes. El texto detalla componentes del pipeline, funciones de pérdida como CachedMultipleNegativesRankingLoss y MatryoshkaLoss, y el entrenamiento de rerankers multimodales.