过程链：面向程序性问答的分层视觉 - 语言推理

尽管视觉语言模型在标准任务中表现优异，但其在视觉程序问答（VP-QA）领域的潜力尚未被充分挖掘。针对用户基于中间状态图像查询下一步动作的挑战，本文提出了 ProcedureVQA 基准，并指出当前模型存在跨模态检索不足及粒度不对齐两大局限。为此，我们设计了“过程链”（CoP）分层推理框架，通过视觉线索检索指令、语义分解细化步骤，最终生成下一步动作。实验表明，该方法在六个模型上均显著优于基线，绝对提升高达 13%。