摘要
多轮工具使用强化学习受限于静态数据集信息样本的快速枯竭。本文提出 RODS（奖励驱动在线数据合成），利用训练中的奖励方差作为零成本边界检测器，持续识别能力边界样本。通过技能对齐的重采样流程合成具有相似结构复杂度的新多轮变体，并管理随策略协同进化的动态回放缓冲区。实验表明，RODS 仅需约 20 倍少的轨迹即可达到大规模离线流水线的性能，显著优于固定数据强化学习方法。
AI 推荐理由
论文核心解决多轮工具使用智能体的数据枯竭问题，直接优化技能学习过程。
研究机构
Inclusion AI, Ant Group
Zhejiang University
Shanghai Innovation Institute
Westlake University
论文信息