摘要
基于视觉语言模型(VLM)的 Web 智能体虽展现出卓越的自主图形用户界面交互能力,但仍易受欺骗性界面元素的影响。现有方法要么仅检测欺骗而未整合任务,要么仅记录攻击而未提出防御措施。本文形式化了具备欺骗感知能力的 Web 智能体防御机制,并提出 DUDE 框架。该框架结合混合奖励学习与非对称惩罚及经验总结,将失败模式提炼为可迁移的指导策略。此外,我们引入了包含 1407 个场景的 RUC 基准测试。实验表明,DUDE 在保持任务性能的同时,将欺骗易感性降低了 53.8%,为鲁棒的 Web 智能体部署奠定了坚实基础。
AI 推荐理由
论文核心在于提升 Web Agent 在复杂 GUI 环境下的工具使用与交互技能,特别是识别并抵抗欺骗性界面的能力。
研究机构
Remin University of China
Ant Digital Technologies, Ant Group
论文信息