Automated Program Repair Multimodal Learning Agent Memory Visual Grounding
摘要

多模态自动程序修复(MAPR)要求模型联合推理源代码、文本描述及 GUI 截图等视觉工件。针对现有方法工作流僵化、视觉推理缺乏局部定位及失败经验难以复用等局限,本文提出 FailureMem 框架。该框架集成混合工作流代理架构以平衡结构化定位与灵活推理,引入主动感知工具实现区域级视觉接地,并构建“失败记忆库”将过往修复尝试转化为可复用指导。在 SWE-bench Multimodal 上的实验表明,该方法较基线提升了 3.7% 的解决率。

AI 推荐理由

论文提出失败记忆库机制,将过往修复尝试转化为可复用知识,核心解决记忆利用问题。

研究机构
南京大学 SenseTime 香港中文大学 得克萨斯大学达拉斯分校
论文信息
作者 Ruize Ma, Yilei Jiang, Shilin Zhang, Zheng Ma, Yi Feng et al.
发布日期 2026-03-18
arXiv ID 2603.17826
相关性评分 9/10 (高度相关)