Divergence Decoding Capability Fusion Speculative Decoding Scientific Reasoning
摘要

大型语言模型虽擅长推理,但缺乏特定科学领域知识;而领域专家模型虽知识丰富,却存在逻辑减弱和鲁棒性降低等副作用。为此,本文提出“发散解码”,一种免训练的能力融合框架。该方法重构了推测解码的“草稿 - 验证”骨架为自适应路由机制,利用 Jensen-Shannon 散度监测两模型间的分布差异。当专家模型出现显著分歧时,系统即时将控制权路由至通用模型,从而在保留领域专长的同时动态注入通用推理能力。实验表明,该方法在多个科学基准上优于单一模型基线。

AI 推荐理由

核心解决领域模型逻辑推理能力下降问题,通过动态路由融合通用推理能力。

研究机构
北京大学 国际经济与金融研究所(IDEA) 香港大学
论文信息
作者 Yimi Wang, Hao Li, Shuo Yang, He Cao, Dechen Zhang et al.
发布日期 2026-07-28
arXiv ID 2607.27248
相关性评分 9/10 (高度相关)