摘要
多模态大语言模型在图像和文本等模态上展现了卓越的推理能力,但表格数据作为关键现实模态仍未被充分探索。本文聚焦表格 - 视觉多模态理解任务,针对表格结构多变、特征依赖复杂及求解流程异构三大挑战,提出“借助表格思考”方法。该方法采用程序辅助的神经符号推理机制,通过与外部环境交互实现信息提取等关键操作。实验表明,该方法在八个数据集上平均准确率提升 10%,性能媲美甚至超越商用最先进模型。
AI 推荐理由
论文提出神经符号推理机制解决表格理解挑战,核心聚焦于提升多模态推理能力。
研究机构
清华大学
中国科学院自动化研究所
论文信息