摘要
多模态大语言模型通常遵循固定的“先思考后回答”范式,这在异构多任务场景中效率低下,因为简单输入无需显式推理,而困难输入则受益匪浅。针对后训练中因 rollout 不平衡导致模型趋向极端行为的问题,本文提出 Switch-Reasoner。该框架基于 GRPO,将思考视为虚拟工具调用,使模型能自适应选择直接回答或显式推理。通过引入双层调节机制平衡模式使用并提供样本级监督,实验表明该方法在保持高性能的同时减少了不必要的推理,实现了更佳的准确率 - 效率权衡。
AI 推荐理由
论文核心研究自适应推理模式选择机制,直接优化 LLM 的推理效率与能力。
研究机构
Wuhan University
Nanyang Technological University
The Hong Kong University of Science and Technology
论文信息