CRAFT：基于强化学习的校准推理与答案忠实轨迹用于多跳问答

检索增强大语言模型在多跳问答中虽能取得高准确率，但在噪声检索下常出现“答案正确但推理错误”的现象，即利用虚假捷径或生成缺乏证据支持的推理轨迹。为此，本文提出 CRAFT 框架，在响应生成阶段利用强化学习训练模型生成结构化且可审计的推理轨迹。该方法结合确定性奖励（确保格式、答案及引用合规）与基于评判者的奖励（评估语义忠实度与证据 grounding）。实验表明，CRAFT 显著提升了各规模模型的答案准确率与推理忠实度，使 7B 模型性能媲美强力闭源模型。