Web Agent Deceptive UI Robustness Reinforcement Learning
摘要

基于视觉语言模型(VLM)的 Web 智能体虽展现出卓越的自主图形用户界面交互能力,但仍易受欺骗性界面元素的影响。现有方法要么仅检测欺骗而未整合任务,要么仅记录攻击而未提出防御措施。本文形式化了具备欺骗感知能力的 Web 智能体防御机制,并提出 DUDE 框架。该框架结合混合奖励学习与非对称惩罚及经验总结,将失败模式提炼为可迁移的指导策略。此外,我们引入了包含 1407 个场景的 RUC 基准测试。实验表明,DUDE 在保持任务性能的同时,将欺骗易感性降低了 53.8%,为鲁棒的 Web 智能体部署奠定了坚实基础。

AI 推荐理由

论文核心在于提升 Web Agent 在复杂 GUI 环境下的工具使用与交互技能,特别是识别并抵抗欺骗性界面的能力。

研究机构
Remin University of China Ant Digital Technologies, Ant Group
论文信息
作者 Yilin Zhang, Yingkai Hua, Chunyu Wei, Xin Wang, Yueguo Chen
发布日期 2026-05-10
arXiv ID 2605.09497
相关性评分 9/10 (高度相关)