多教师在线策略蒸馏中的行为杠杆失衡

代理语言模型需学习何时调用工具、消费响应或直接回答。多教师在线策略蒸馏虽为自然策略，但易引发行为偏移，导致模型过度调用工具。本文发现聚合损失无法揭示此问题，根源在于特定位置（如工具调用标记）的局部令牌信号对全局生成模式具有不成比例的控制力（行为杠杆失衡）。为此，作者提出“软钳制”（Soft Clamp）方法，动态校准极端令牌级散度。实验表明，该方法在保持决策准确率的同时，显著降低了过调用率及工具调用循环现象。