Error Correction Math Reasoning Inference Optimization KV Cache
摘要

大型语言模型常在生成中途犯下不可逆的推理错误。本文提出潜在相位偏移回滚(LPSR)方法,在每一步生成时监控关键层的残差流,利用余弦相似度与熵的双重门控检测突变的方向反转(相位偏移),并通过回滚 KV 缓存及注入预计算引导向量进行响应。该方法无需微调或额外前向传播。实验显示,LPSR 在 MATH-500 上显著优于标准自回归、提示自我修正及最佳采样策略,证明了最优监控深度在检测与纠正任务中存在分离现象。

AI 推荐理由

论文核心解决推理错误,通过监控和回滚机制提升数学推理准确率。

研究机构
BITS Pilani, Pilani Campus, India
论文信息
作者 Manan Gupta, Dhruv Kumar
发布日期 2026-04-20
arXiv ID 2604.18567
相关性评分 9/10 (高度相关)