多模态嵌入 思维链 自适应推理 强化学习
摘要

尽管多模态大语言模型已成功应用于多模态嵌入任务,但其生成式推理能力尚未被充分利用。直接将思维链推理引入嵌入学习面临两大挑战:实例级推理与成对对比监督间的结构错位可能导致捷径行为;且推理并非对所有输入都有益。为此,本文提出 MMEmb-R1,一种基于自适应推理的多模态嵌入框架。该方法将推理建模为潜变量,引入配对感知推理选择机制,利用反事实干预识别有益的推理路径,并采用强化学习仅在必要时调用推理。实验表明,该模型在显著降低推理开销的同时取得了最先进性能。

AI 推荐理由

论文核心研究如何将思维链推理增强多模态嵌入,提出自适应推理机制。

研究机构
MMLab, The Chinese University of Hong Kong ByteDance
论文信息
作者 Yuchi Wang, Haiyang Yu, Weikang Bian, Jiefeng Long, Xiao Liang et al.
发布日期 2026-04-07
arXiv ID 2604.06156
相关性评分 9/10 (高度相关)