Controller-Aware Training Reasoning Generalization Reinforcement Learning Inference-Time Control
摘要

大型语言模型的性能不仅取决于基础模型,还依赖于组织推理的推理时控制器。现有后训练方法通常针对单一固定交互模式优化,导致训练与部署不匹配。本文提出 CALM 框架,将控制器显式纳入训练循环,将其 formulat 为基于控制器诱导交互协议的多任务强化学习。该方法支持模块化分解,并在未见过的控制器组合及更广泛的控制器偏移评估中,显著提升了模型在不同推理工作流中的泛化能力,超越了单一控制器优化的局限。

AI 推荐理由

论文核心研究推理控制器(如 CoT、规划)与模型训练的协同,直接提升推理泛化能力。

研究机构
College of Information and Computer Sciences, University of Massachusetts Amherst, Amherst, Massachusetts, USA Mitsubishi Electric Research Laboratories, Cambridge, Massachusetts, USA
论文信息
作者 Moumita Choudhury, Vanshaj Khattar, Jing Liu, Toshiaki Koike-Akino, Ankush Chakrabarty et al.
发布日期 2026-07-26
arXiv ID 2607.23771
相关性评分 9/10 (高度相关)