大型语言模型能否在不同表示之间泛化过程？

大型语言模型常在代码和图等符号表示上训练，但现实任务多用自然语言描述。本文研究模型在代码、图和自然语言等同构任务间的泛化能力。发现仅用符号数据训练难以泛化至自然语言任务，而仅用自然语言训练效率低下。为此，提出两阶段数据课程：先训练符号数据，再训练自然语言数据。该方法显著提升多模型家族在规划等任务上的表现，使 1.5B 模型在自然主义规划中接近 GPT-4o 零-shot 水平。