Agentic-DPO：从专家轨迹的模仿到智能体策略优化

大型语言模型智能体通常通过监督微调（SFT）学习专家轨迹，但这仅实现了行为模仿，未能训练智能体在特定状态下选择正确动作以规避错误。现有缓解方法如偏好学习或强化学习往往需要高昂的环境交互成本。本文提出 Agentic-DPO，一种轻量级离线策略优化方法，将专家轨迹转化为状态条件的偏好监督。该方法在当前状态采样单步动作，将潜在错误动作视为负样本，并利用 DPO 风格目标与专家动作进行对比。此外，引入策略保持增强（PPA）技术，在保持专家策略固定的同时生成多种模式下的潜在轨迹。实验表明，Agentic-DPO 在多个基准上显著提升了不同规模模型的性能，无需在线环境交互或奖励模型即可实现高效的策略优化。