摘要
大型语言模型虽能解决复杂多跳问题,但在简单的两跳查询中常出现令人困惑的失败:尽管模型能正确存储每个独立步骤,却往往无法将其组合。为揭示此现象的内部机制,我们在受控符号环境中从头训练Transformer。实验揭示了两步泛化的规律:当第二步符合训练分布时模型泛化可靠,反之则必然失败。通过机械分析,我们发现成功时的性能源于跨上下文实体一致中间表征的出现,而失败源于层间不匹配:下层构建表征,上层仅学习映射而非推理。基于此洞察,我们提出一种循环式训练策略,使Transformer能复用推理电路,显著提升了分布外两跳查询的泛化能力。
AI 推荐理由
论文深入探究LLM在两步推理中的泛化失败机制,提出改进推理电路的训练策略,核心聚焦于推理能力。
研究机构
西安交通大学
伊利诺伊大学厄巴纳-香槟分校
论文信息