LLM Grading Reasoning Diagnosis Intervention Training Rule-Faithful
摘要

可靠的量表评分不仅需准确预测分数,更要求判断基于评分标准及学生作答证据。现有方法难以定位评分推理的错误环节或追踪信念变化。本文提出证据诊断干预训练(EDIT)框架:首先利用内部模型信号定位问题推理步并借助检查表修正;其次通过信念引导的奖励塑造校准评分器,惩罚有害的信念漂移。实验表明,EDIT 在多项基准测试中显著优于现有监督微调与强化学习基线。

AI 推荐理由

论文核心在于诊断和修正评分过程中的推理步骤,确保逻辑与规则一致。

研究机构
King's College London University of Cambridge The Alan Turing Institute
论文信息
作者 Zhihao Wu, Linhai Zhang, Taiyi Wang, Runcong Zhao, Peter Andrews et al.
发布日期 2026-06-04
arXiv ID 2606.06350
相关性评分 9/10 (高度相关)