摘要
多模态大语言模型在定位任务中进展显著,但现有方法难以统一精确定位与复杂推理。文本方法依赖坐标限制感知能力,潜在令牌法缺乏空间参考且缺失思维步骤,削弱高层推理。为此,本文提出混合思维令牌(Motto),一种新型自由形式多模态定位方法。该方法引入空间接地思维令牌化,显式对齐特殊令牌与空间位置;设计上下文自适应令牌链,在交错推理链中动态切换定位模式。实验表明,Motto 在多种自由形式定位任务中实现了最先进性能。
AI 推荐理由
提出混合思维令牌机制,通过动态切换模式统一感知与复杂推理,核心解决推理短板。
研究机构
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University
Xingcheng AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd.
University of Science and Technology Beijing
Beijing University of Posts and Telecommunications
Shanghai Jiao Tong University
论文信息