关于 Transformer 验证规划方案能力的研究

Transformer 在 AI 规划任务中表现不一，且缺乏对其泛化条件的理论理解。本文通过分析仅解码器模型验证给定规划是否正确解决实例的能力来填补这一空白。针对测试时对象数量（即有效输入词汇表）增长的一般场景，我们提出了 C*-RASP，这是 C-RASP 的扩展，旨在建立序列长度与词汇量同时增长下的 Transformer 长度泛化保证。结果识别出一类经典规划领域，证明 Transformer 可学习验证长规划，并揭示了影响长度泛化解可学习性的结构属性。实证实验证实了理论结果。