摘要
大型语言模型的性能不仅取决于基础模型,还依赖于组织推理的推理时控制器。现有后训练方法通常针对单一固定交互模式优化,导致训练与部署不匹配。本文提出 CALM 框架,将控制器显式纳入训练循环,将其 formulat 为基于控制器诱导交互协议的多任务强化学习。该方法支持模块化分解,并在未见过的控制器组合及更广泛的控制器偏移评估中,显著提升了模型在不同推理工作流中的泛化能力,超越了单一控制器优化的局限。
AI 推荐理由
论文核心研究推理控制器(如 CoT、规划)与模型训练的协同,直接提升推理泛化能力。
研究机构
College of Information and Computer Sciences, University of Massachusetts Amherst, Amherst, Massachusetts, USA
Mitsubishi Electric Research Laboratories, Cambridge, Massachusetts, USA
论文信息