可扩展的对象关系编码以增强大型语言模型的 3D 空间推理

空间推理对于开发智能具身代理至关重要，但受限于 3D 场景 - 语言配对数据的稀缺性。现有方法在注入 3D 表示时，要么难以从过早融合的特征中提取空间关系，要么因显式编码所有关系而面临可扩展性问题。为此，本文提出 QuatRoPE，一种输入长度与对象数量呈线性关系的新型位置嵌入方法，通过注意力层中的点积显式计算成对空间关系。此外，引入隔离门控 RoPE 扩展（IGRE），将影响限制在对象相关令牌上，最小化对 LLM 原有能力的干扰。实验证明了该方法的有效性。