latent reasoning supervision analysis shortcut learning representation learning
摘要

潜在推理作为一种新范式,通过在连续潜在空间而非文本空间生成步骤来实现多步推理。尽管相关研究众多,但其内部机制尚不明确。本文全面分析了不同监督水平下潜在推理方法的行为,发现两个关键问题:一是普遍存在捷径行为,模型在不依赖潜在推理的情况下获得高准确率;二是潜在推理并未忠实实现结构化搜索,而是表现出隐式剪枝和压缩。研究还揭示了监督强度的权衡:强监督减少捷径但限制假设多样性,弱监督则相反。

AI 推荐理由

论文核心研究潜在推理机制、内部行为及监督强度对推理过程的影响,属推理领域深度分析。

研究机构
Amazon Michigan State University
论文信息
作者 Yingqian Cui, Zhenwei Dai, Bing He, Zhan Shi, Hui Liu et al.
发布日期 2026-02-25
arXiv ID 2602.22441
相关性评分 9/10 (高度相关)