NormWorlds-CF：基于 metamorphic-relation GRPO 的求解器验证反事实规范性推理

本文针对语言模型可能“结论正确但推理错误”的问题，提出了 NormWorlds-CF，一个用于可执行规则世界中反事实规范性推理的求解器验证环境。该环境利用确定性求解器生成答案、证明及伪造证书等，无需 LLM 裁判即可实现监督与评估。研究发现仅监督最终答案是不安全的代理指标，而结合证明与伪造的训练能显著提升准确率。此外，文章提出了 metamorphic-relation GRPO（MR-GRPO），一种针对 GRPO 的类条件奖励机制，通过对关系族和部分变化字段给予部分信用，在多个实验中实现了比稀疏奖励和仅答案奖励更均衡且强大的性能表现。