摘要
现有图形用户界面（GUI）推理任务在界面理解方面仍具挑战。当前方法依赖直接的屏幕决策，缺乏可解释性且忽视对 UI 元素的全面理解，导致任务失败。为此，本文提出一种创新的
AI 推荐理由
论文提出 UI-in-the-Loop 范式，核心解决多模态 GUI 推理中的理解与可解释性问题。
研究机构
浙江大学
ZJU-Ant Group Joint Lab of Knowledge Graph
论文信息