World Models Interpretability Chain-of-Thought Tower of Hanoi
摘要

汉诺塔是大型推理模型(LRMs)面临的挑战之一。本文通过可解释性技术研究小型Transformer和前沿LRM解决该任务的机制。研究发现,模型能建立几何上忠实的世界模型表示(谢尔宾斯基三角形),但在多步规划中因表征衰减而失败。通过在推理时注入提示时的表征可提升性能,表明模型并非缺乏世界模型,而是无法维持所需表征。这重新解释了此前报告的性能崩溃现象:当前大模型构建了世界模型随后丢失了它。

AI 推荐理由

论文以汉诺塔这一经典规划问题为切入点,深入分析大模型在任务规划过程中的世界模型构建与维持机制。

研究机构
阿姆斯特丹大学人工智能智能计划 阿姆斯特丹大学ELLIS单元 阿姆斯特丹大学逻辑、语言和计算研究所
论文信息
作者 Devin Pereira, Willem Zuidema
发布日期 2026-08-07
arXiv ID 2608.07077
相关性评分 9/10 (高度相关)