由轨迹引导：修复并奖励工具使用轨迹以实现工具集成推理

工具集成推理（TIR）使大语言模型能通过交互外部工具解决复杂任务，但现有方法依赖高质量合成轨迹及稀疏结果奖励，监督信号有限且有偏。为此，本文提出 AutoTraj，一种通过修复和奖励工具使用轨迹自动学习 TIR 的两阶段框架。在监督微调阶段，生成多候选轨迹并评估，保留高质量者，利用 LLM 修复低质量者，构建合成数据集及偏好数据集。在强化学习阶段，基于偏好数据训练轨迹级奖励模型，结合结果与格式奖励，显式引导优化可靠的 TIR 行为。实验证明该方法在真实基准上有效。