摘要
语言模型自我修订后的准确率提升通常被解读为推理能力的增强。本研究指出,在答案提取边界处这一假设可能失效,并通过因果测试而非仅观察性分析验证了这一点。通过对Qwen3.5、Gemma-4及多个前沿模型在29个主要实验组中的表现进行分解,我们将准确率变化拆解为内容边际(答案均可解析)和格式恢复/丢失边际(可解析性改变)。结果显示,在有意义的不可解析答案率存在的12个实验组中,格式效应显著超过内容效应。通过强制语法约束解码使所有答案可解析,我们关闭了朴素总效应与内容边际估计之间71%的差距。研究证实,内容仅是领域所测量的“自我修正”中的一小部分。
AI 推荐理由
论文深入探讨LLM自我修正过程中的推理真实性,揭示格式修复如何伪装成推理改进,直接关联推理能力的评估与机制。
研究机构
DeepGrounding
AlphaAvatar
论文信息