摘要
本文提出吸引子模型(Attractor Models),作为纯前馈计算的替代方案,通过迭代细化潜在表示以提升语言建模与推理能力。该架构利用隐式微分求解不动点,实现了自适应迭代次数与恒定训练内存。实验表明,该模型在大规模预训练及小模型推理场景中均优于现有 Transformer 及循环模型。特别是在高难度推理任务(如数独与迷宫)中,参数量极小的吸引子模型准确率远超主流大模型,展现了迭代细化机制的可扩展性与内部化潜力。
AI 推荐理由
论文提出吸引子模型,通过迭代优化潜在表示显著提升逻辑推理能力,在复杂推理任务上表现卓越。
研究机构
University of Southern California
论文信息