摘要
模型融合是组合多语言模型与推理模型能力的有效技术，但在处理源模型间的冲突时往往表现不佳。针对单一融合策略无法适应不同输入特性的问题，本文提出了可调节模型融合（ST-Merge）框架。该框架引入门控交叉注意力机制，以自适应方式加权或过滤两个源模型的贡献。在涵盖 21 种语言的四个多语言推理基准测试中，实验表明 ST-Merge 持续优于多个强基线方法。
AI 推荐理由
论文核心提出可调节模型融合框架，旨在解决多语言推理任务中的模型冲突，显著提升推理性能。
研究机构
北京邮电大学
Monash University
Fudan University
Zhongguancun Laboratory
Nanjing University
Beihang University
Tsinghua University
论文信息