OPID：面向智能体强化学习的在线策略技能蒸馏

基于结果的强化学习为语言智能体提供了稳定的优化基础，但其稀疏的轨迹级奖励难以指导中间决策。在线策略自蒸馏可提供密集的 token 级监督，但现有技能条件变体通常依赖外部技能记忆或检索特权上下文，维护成本高且易与当前策略分布不匹配。本文提出 OPID（在线策略技能蒸馏）框架，直接从完成的在线策略轨迹中提取技能监督。OPID 将轨迹后见表示为分层技能：episode 级技能捕获全局工作流或避错规则，step 级技能捕获关键时间步的局部决策知识。关键优先路由机制在识别关键决策时使用 step 级技能，否则默认回退至 episode 级技能。所选技能被注入交互历史，使旧策略能在原始和技能增强上下文中重新评分同一采样响应。由此产生的 log 概率偏移生成 token 级自蒸馏优势，与结果优势结合用于策略优化。OPID 在保持 RL 为主要训练目标的同时，引入了密集且分布匹配的后见监督。在 ALFWorld、WebShop 和搜索式 QA 上的实验表明，OPID 在智能体性能、样本效率和鲁棒性上普遍优于仅结果 RL 及现有技能蒸馏基线。