Reinforcement Learning Faithfulness Self-Explanation Interpretability
摘要

本文提出一种强化学习方法,直接优化自我解释的忠实度,即模型生成的推理准确反映其内部决策过程的程度。现有工作多关注评估或利用提示框架,缺乏直接优化参数的机制。我们将忠实度指标转化为强化学习目标,探究模型能否被训练以识别并披露影响决策的因素。实验显示,经 RL 微调的模型在 Phi-CCT 指标上显著提升,并能泛化至未见任务,为减少大模型不忠实推理提供了可扩展路径。

AI 推荐理由

论文核心在于优化模型自我解释的忠实度,直接提升推理过程的透明度和准确性。

研究机构
Centre for AI, Department of Computer Science, University College London Imperial College London
论文信息
作者 Yeoktatt Cheah, María Pérez-Ortiz, Noah Y. Siegel, Oana-Maria Camburu
发布日期 2026-07-23
arXiv ID 2607.21090
相关性评分 9/10 (高度相关)