摘要
大型语言模型虽擅长推理,但缺乏特定科学领域知识;而领域专家模型虽知识丰富,却存在逻辑减弱和鲁棒性降低等副作用。为此,本文提出“发散解码”,一种免训练的能力融合框架。该方法重构了推测解码的“草稿 - 验证”骨架为自适应路由机制,利用 Jensen-Shannon 散度监测两模型间的分布差异。当专家模型出现显著分歧时,系统即时将控制权路由至通用模型,从而在保留领域专长的同时动态注入通用推理能力。实验表明,该方法在多个科学基准上优于单一模型基线。
AI 推荐理由
核心解决领域模型逻辑推理能力下降问题,通过动态路由融合通用推理能力。
研究机构
北京大学
国际经济与金融研究所(IDEA)
香港大学
论文信息