摘要
本文研究思维链(CoT)解释的忠实性问题,即所述推理是否真正导出了答案。通过在 FaithCoT-Bench 上审计黑盒行为检测,发现答案正确性主导了检测效果:仅凭答案错误即可超越专用信号。研究揭示了两种机制:在正确答案中行为信号可区分忠实与事后推理;而在错误答案中(不忠实性主要集中处),所有信号均失效。此外,标准步骤移除指标与人工标签呈负相关,线性探针在不同机制下表现各异,且指令式“先答后推”轨迹无法迁移。
AI 推荐理由
论文核心研究思维链(CoT)的忠实性,直接探讨推理过程与答案生成的真实关系。
研究机构
The University of Southern Mississippi
论文信息