摘要
视觉问答（VQA）任务需要整合多模态输入并进行推理。相较于端到端系统，引入逻辑表示的模块化方法在可解释性上更具优势，但适应新任务需求往往给开发者带来沉重负担。为此，本文提出一种从大型语言模型（LLM）中蒸馏规则的方法。该方法提示 LLM 扩展初始的答案集程序（ASP）推理理论以满足新需求，并利用 VQA 数据集样本引导 LLM，结合 ASP 求解器的反馈验证结果并修正错误规则。实验表明，仅需少量样本即可从 LLM 中提取正确规则，该方法在多个 VQA 数据集上表现有效，是传统数据驱动规则学习的有力替代方案。
AI 推荐理由
论文核心在于利用 LLM 蒸馏逻辑规则以增强神经符号系统的推理能力，直接解决多模态推理问题。
研究机构
Vienna University of Technology (TU Wien), Favoritenstrasse 9-11, Vienna, 1040, Austria
Jönköping University, Gjuterigatan 5, 551 11 Jönköping, Sweden
论文信息