潜隐推理模型中涌现的搜索与回溯

当语言模型在无文字的情况下进行推理时会发生什么？标准的推理大语言模型通过链式思维（chain-of-thought）表达中间步骤，而潜隐推理变压器（LRTs）则完全在连续的隐藏空间中进行推理。本文研究了一种LRT，在多选问答基准测试中解码模型在每一步的演变信念。发现模型自发地学习了潜隐空间中的结构化搜索过程。推理遵循一致的轨迹：探索阶段概率质量分布在候选答案上，对领先者进行临时承诺，并最终收敛或回溯。回溯现象较为普遍（32%的实例），且具有益处（比非回溯实例准确率提高34%），主要导向语义上最接近的干扰项以外的正确答案。搜索是自适应的：将干扰项替换为不合理的替代选项可使探索时间缩短54%。潜隐推理模型在激活空间中实现了类似于链式思维的能力：能够犯错、察觉并恢复。