摘要
针对现有多模态大模型在嵌入生成中 indiscriminately 使用思维链(CoT)导致的高成本与性能下降问题,本文提出“按需思考”(TWN)框架。该框架采用双 LoRA 架构,将推理与嵌入适配器附着于共享冻结骨干网,并通过自监督路由门控机制,根据输入复杂度自适应决定是否生成 CoT。此外,研究探索了嵌入引导的强化学习以进一步优化 CoT 质量。实验表明,TWN 在 MMEB-V2 基准上实现了最先进的嵌入质量,同时显著降低了推理开销与参数量。
AI 推荐理由
论文核心提出自适应推理机制,动态决定何时生成思维链,直接优化推理效率与质量。
研究机构
Alibaba Group
论文信息