摘要
随着语言模型越来越多地用于需要可验证推理的任务,可靠地区分健全推理与缺陷推理成为重要问题。现有基于轨迹的方法试图在层间残差流位移中寻找信号,但忽略了更新起源状态。本文提出一种三流检测器,结合运动与两种受限的位置视图(基于向量量化的粗略区域读取器和基于归一化多层状态的精细方向读取器)。该方法在不恢复全状态的情况下提供足够的上下文以解释运动。实验表明,该方法在未见过的推理基准上显著提升了选择准确率,且该信号反映的是正确性而非特定推理类型。
AI 推荐理由
论文直接研究LLM推理有效性的检测机制,深入分析残差流中推理错误的轨迹特征,属于推理能力的核心机理研究。
研究机构
Australian Institute for Machine Learning
Adelaide University
Naval Group Pacific
Responsible AI Research Centre, Australia
论文信息