摘要
既往研究表明思维链(CoT)推理常缺乏忠实性,但检测需实验干预,难以应用于事后评估。本文转向更易处理的问题:既定推理是否与答案逻辑一致。我们提出“推理一致性扫描”方法,仅需转录文本即可检测该属性。主要贡献包括:形式化定义推理一致性并构建六类不一致分类体系;建立含 60 条转录的验证基准;实现首个针对安全评估转录的扫描器 InspectScout;在四种生成模型和三类评估中证实推理不一致普遍存在且可被系统检测。
AI 推荐理由
论文核心研究思维链(CoT)的逻辑一致性,提出检测框架与分类体系,直接针对推理能力评估。
论文信息