摘要
通用多模态嵌入(UME)旨在将异构输入映射至共享检索空间。现有方法通过生成显式思维链(CoT)提升效果,但带来巨大推理开销及文本瓶颈。本文提出 PLUME,一种潜在推理框架,以连续潜在状态的自回归滚动替代言语化 CoT。该方法引入语义锚点引导的过渡适配器,在固定计算预算下 steering 不同推理轨迹,并采用从显式到潜在的渐进课程学习策略,仅在训练阶段使用言语化推理作为支架,推理时完全消除显式 CoT。实验表明,PLUME 在 MMEB-v2 基准上优于强基线,将推理步骤从数百 token 减至不足 10 步,速度提升超 30 倍,为密集证据检索提供了高效新范式。
AI 推荐理由
论文提出潜在推理框架,用隐状态替代显式思维链,核心解决多模态推理效率问题。
研究机构
Institute of Automation, Chinese Academy of Sciences
University of Chinese Academy of Sciences
Southeast University
论文信息