摘要
多模态自动程序修复(MAPR)要求模型联合推理源代码、文本描述及 GUI 截图等视觉工件。针对现有方法工作流僵化、视觉推理缺乏局部定位及失败经验难以复用等局限,本文提出 FailureMem 框架。该框架集成混合工作流代理架构以平衡结构化定位与灵活推理,引入主动感知工具实现区域级视觉接地,并构建“失败记忆库”将过往修复尝试转化为可复用指导。在 SWE-bench Multimodal 上的实验表明,该方法较基线提升了 3.7% 的解决率。
AI 推荐理由
论文提出失败记忆库机制,将过往修复尝试转化为可复用知识,核心解决记忆利用问题。
研究机构
南京大学
SenseTime
香港中文大学
得克萨斯大学达拉斯分校
论文信息