KV-PRM：基于 KV 缓存迁移的高效过程奖励建模用于多智能体测试时扩展

过程奖励模型（PRM）能有效引导测试时扩展方法，显著提升基于大语言模型的多智能体系统能力。然而，现有 PRM 基于文本，需从头重新编码整个轨迹，导致长上下文场景下计算成本呈平方级增长。为此，本文提出 KV-PRM，通过直接读取生成阶段产生的 KV 缓存，消除繁重的文本重编码。该方法将评分成本从 O(L^2) 降至 O(L)。理论证明 KV 缓存信息容量优于文本。实验表明，在 MATH 等基准上，KV-PRM 性能匹配或超越文本 PRM，同时大幅降低计算量、延迟及内存占用。