Adaptive Reasoning Multimodal Embeddings Chain-of-Thought Dual-LoRA Efficiency
摘要

针对现有多模态大模型在嵌入生成中 indiscriminately 使用思维链(CoT)导致的高成本与性能下降问题,本文提出“按需思考”(TWN)框架。该框架采用双 LoRA 架构,将推理与嵌入适配器附着于共享冻结骨干网,并通过自监督路由门控机制,根据输入复杂度自适应决定是否生成 CoT。此外,研究探索了嵌入引导的强化学习以进一步优化 CoT 质量。实验表明,TWN 在 MMEB-V2 基准上实现了最先进的嵌入质量,同时显著降低了推理开销与参数量。

AI 推荐理由

论文核心提出自适应推理机制,动态决定何时生成思维链,直接优化推理效率与质量。

研究机构
Alibaba Group
论文信息
作者 Longxiang Zhang, Weilong Dai, Guanghao Zhang, Hao Jiang, Pipei Huang
发布日期 2026-05-14
arXiv ID 2605.14448
相关性评分 9/10 (高度相关)