将神经符号程序蒸馏到 3D 多模态大语言模型中

当前 3D 空间推理方法面临权衡：神经符号方法可解释但受限，端到端多模态大模型灵活却缺乏显式验证。本文提出 APEIRIA，通过三阶段课程学习，将符号推理模式以思维链形式蒸馏至 3D 多模态大模型。该方法不仅实现了对象视觉几何特征的对齐，还利用符号程序轨迹教授查询分解与逐步验证，并将推理模式扩展至开放集概念。实验表明，APEIRIA 兼具符号方法的系统性与大模型的灵活性，在多项任务中超越现有神经符号方法并媲美最先进多模态大模型。