摘要
多轮工具使用代理需在多次交互中进行推理、调用工具并适应观察结果。针对强化学习奖励稀疏及监督微调过度约束轨迹的问题，本文提出 PACT 框架。其核心思想是仅将专家轨迹作为训练时的优化信号而非生成提示。该方法通过轨迹条件化的强化学习代理和组件感知的监督微调损失来指导优化，并引入纯提示锚定以减少对训练上下文的依赖。实验表明，PACT 在多个基准上均优于现有基线，验证了特权轨迹协同训练的有效性。
AI 推荐理由
论文核心解决多轮工具使用代理的训练难题，提出特权轨迹协同训练框架，显著提升工具调用能力。
研究机构
Georgia Institute of Technology
Ohio State University
University of Pennsylvania
Arizona State University
论文信息