Transformer 能在回溯搜索中学会验证吗？

回溯搜索是经典约束求解器和规划器的基础。近期基于 Transformer 的推理系统探索了在其中间步骤上构建搜索树。然而，仅在离线求解轨迹上训练自回归损失会导致模型失败：轨迹可能分散状态特征（分散检索），且预测器可能依赖于轨迹而非当前状态（历史纠缠）。本文提出通过“定位”重写决策块以暴露局部状态特征，并引入选择性状态注意力（SSA）机制，强制模型仅基于当前状态做决策。实验表明，SSA 能确保相同状态下产生一致决策，而基线模型则不能。该研究为预训练语言模型的自我推理搜索提供了结构修复方案。