摘要
测试时计算对大型推理模型至关重要,但通过生成文本分析其推理行为日益不切实际且不可靠。响应长度常作为推理努力的粗略代理,却无法捕捉思维链(CoT)或生成标记的动态与有效性。本文提出递归量化分析(RQA),作为一种非文本替代方案,用于分析测试时的模型推理链。通过将标记生成视为动力系统,提取每一步的隐藏嵌入并应用 RQA 分析轨迹。RQA 指标(如确定性和层流性)量化了潜在表示中的重复与停滞模式。通过分析 DeepSeek-R1-Distill 的 3600 条生成轨迹,结果显示 RQA 能捕捉响应长度未反映的信号,并将任务复杂度预测准确率显著提升 8%。
AI 推荐理由
论文核心研究推理模型的思维链动态分析,提出新量化方法评估推理过程。
研究机构
新南威尔士大学计算机科学与工程学院,澳大利亚
论文信息