Chain-of-Thought Faithfulness Interpretability LLM Evaluation
摘要

本文研究思维链(CoT)解释的忠实性问题,即所述推理是否真正导出了答案。通过在 FaithCoT-Bench 上审计黑盒行为检测,发现答案正确性主导了检测效果:仅凭答案错误即可超越专用信号。研究揭示了两种机制:在正确答案中行为信号可区分忠实与事后推理;而在错误答案中(不忠实性主要集中处),所有信号均失效。此外,标准步骤移除指标与人工标签呈负相关,线性探针在不同机制下表现各异,且指令式“先答后推”轨迹无法迁移。

AI 推荐理由

论文核心研究思维链(CoT)的忠实性,直接探讨推理过程与答案生成的真实关系。

研究机构
The University of Southern Mississippi
论文信息
作者 Suramya R. Angdembay, Dikshant Aryal, Nick Rahimi
发布日期 2026-07-26
arXiv ID 2607.23458
相关性评分 9/10 (高度相关)