从失败到反馈：群体修订解锁对象级定位中的困难案例

利用强化学习微调大型视觉语言模型以增强对象级定位能力已成为一种前沿方法。然而，现有基于 GRPO 的方法仅在响应级别分配奖励，这种稀疏奖励在挑战性场景下所有候选响应均失败时，导致学习信号微弱。本文提出一种群体修订优化范式以增强困难案例的学习。该方法从初始采样响应出发，生成一组修订候选以探索更优的定位结果。受奖励塑造启发，我们引入巩固过程，量化每个候选相对于初始尝试的改进程度，并将其转化为信息丰富的塑造信号。这些信号用于细化奖励并调节优势函数，从而放大高质量修订的影响。实验表明，该方法在指代与推理分割、REC 及计数基准上均优于 prior GRPO 模型。