摘要
本文探讨了将触觉感知融入智能系统以进行多模态推理的两大挑战:动态触觉信号建模不足导致时序属性推理受限,以及缺乏显式推理机制引发基础模型幻觉。为此,我们提出了 TacReasoner,一种用于真实场景交互式推理的动态触觉 - 语言框架。该框架包含动态感知触觉编码器以增强信号表征,并首创了触觉思维链数据集 TouchCoT-10k 以支持结构化推理。基于此建立的 DynTac-Bench 基准测试表明,TacReasoner 在多项任务中优于现有最先进模型,展现了其在触觉常识推理中的高效性与有效性。
AI 推荐理由
论文提出触觉思维链数据集与框架,核心解决多模态推理中的幻觉与动态建模问题。
研究机构
中国科学技术大学 中国科学院自动化研究所
清华大学
论文信息