面向长上下文推理的证据状态奖励机制

长上下文推理要求模型在冗长输入中定位、修正并综合分散的证据。现有方法多仅奖励最终答案或静态证据提取，缺乏对中间动作如何改变证据状态的反馈。本文提出 Maven，一种具备可编辑证据记忆的强化学习框架。该框架定义答案条件的证据状态价值，并对动作级状态转移进行奖励：添加动作依据边际增益和事后贡献计分，链接动作依据证据协同性计分，丢弃动作则依据移除误导证据后对答案支持度的提升计分。实验表明，Maven 在多个基准上优于仅结果导向的 RL 及证据识别基线，能生成更充分的证据集并降低干扰项保留率。