ATOD：用于多轮自主智能体的退火式轮次感知在线蒸馏

训练小型语言模型智能体执行长程交互任务需兼顾快速模仿与奖励驱动改进。在线策略蒸馏（OPD）早期效率高但易饱和，强化学习（RL）虽能探索更高上限但初期低效。本文提出 ATOD，一种混合在线蒸馏算法：采用退火调度，早期以 OPD 为主逼近教师行为，逐渐增强 RL 以驱动基于奖励的探索；引入轮次分歧不确定性重加权机制，优化长轨迹中的密集监督。实验表明，ATOD 在多个基准上显著优于现有基线及教师模型。