通过身份桥打破自回归语言模型中的反转诅咒

自回归大语言模型虽在复杂任务中表现优异，却在“反转诅咒”等简单逻辑推理上失效，即无法从正向知识推导逆向关系。现有研究认为这是因果模型的固有局限。本文挑战该观点，提出一种名为“身份桥”的正则化数据策略（形式为 A→A），仅需微调训练数据即可缓解此问题。理论证明即使单层 Transformer 也能借此打破反转诅咒；实验显示，经该策略微调的 1B 模型在反转任务上的成功率达 40%，远超仅用正向数据训练的近乎零成功率。