调试代码世界模型

代码世界模型（CWMs）通过预测执行后的运行时状态来模拟程序执行，提供了一种替代自然语言思维链的内部验证机制。本文从局部语义执行和长程状态追踪两个视角研究其局限性。研究发现主要失败模式包括：密集状态导致令牌预算耗尽，以及子词分词限制引发的字符串状态错误。实验表明，长程性能下降主要源于动作生成错误；若使用真实命令，Transformer 架构能准确传播状态。这些发现为优化 CWM 的监督方式和状态表示指明了方向。