ReGRPO：面向工具使用智能体的反射增强策略优化

工具增强的视觉语言模型在处理多模态多步任务时往往表现脆弱。现有方法主要依赖成功轨迹的监督微调，缺乏工具失败后的恢复信号，且稀疏的轨迹级强化学习奖励难以定位具体失败步骤。本文提出 ReGRPO 框架，通过学习反射引导的修正来解决这一问题。该框架首先构建结构化反射数据引擎，收集近乎失败的行动以获取 grounded 失败观测，并构建包含错误类型、证据和修复计划的“反射思维”三元组用于 warm-start 微调。随后，利用群相对优势在局部轨迹中联合优化反射 token 与修正行动，并引入反射成本项以减少不必要的反思。实验表明，ReGRPO 在相同基座和工具集下显著优于现有开源基线。