SENTINEL：用于训练工具使用语言模型代理的故障驱动强化学习

语言模型代理虽能通过多轮工具使用解决现实任务，但训练可靠的工具使用代理仍具挑战。现有强化学习依赖固定任务分布，易与策略 evolving 能力失配，导致大量无效 rollout。本文提出 SENTINEL，一种故障驱动的强化学习框架，将求解器的 rollout 失败转化为针对性训练任务。该框架包含控制器 - 提议者 - 求解器循环：控制器分析失败轨迹并总结错误模式，提议者生成压力测试这些弱点的可执行任务，求解器则在针对性任务上训练。实验表明该方法显著提升了代理性能。