通过语言与符号表示间的模态切换进行空间推理

人类推理本质上是多模态的：面对难题时，我们常借助图表或网格等外部形式来理解概念结构并避免错误。基于此，本研究探讨了两个问题：(a) 将多跳文本 - 空间故事 grounding 到几何感知模态（如布局或网格）是否优于纯自然语言推理；(b) 模型能否自主决定何时依赖自然语言推理，何时切换至结构化模态。为此，我们提出了一种基于可信度与复杂度信号的切换指标，用于评估何时将空间故事转化为结构化表示能提升性能。实验表明，从自然语言推理切换至基于网格的表示可使 LLM 性能最高提升 42%，凸显了模态选择对推理结果的关键影响。