摘要
针对多模态大模型在决策关键应用中空间判断不透明及细粒度理解不足的问题,本文提出 ByDeWay-V2 框架。该方法无需训练,利用开放词汇检测器计算物体间几何关系,生成人类可读的空间谓词并注入提示词中,从而桥接三维深度与二维语义。实验表明,该框架在 BLINK 和 VSR 基准上显著降低了幻觉,大幅提升了空间推理性能,且在严格资源限制下仍保持高效,适用于实时决策支持场景。
AI 推荐理由
论文核心解决多模态大模型的空间推理缺陷,通过引入结构化空间谓词显著提升推理准确率。
研究机构
Heritage Institute of Technology, Kolkata, India
Kalyani Government Engineering College, Kalyani, India
IAIR, India
论文信息