高动态环境中 GUI 智能体的基准测试与改进

针对图形用户界面（GUI）智能体在高动态环境中因仅依赖单张截图而导致状态观测不全的问题，本文提出了 DynamicGUIBench 基准测试套件及 DynamicUI 智能体。DynamicUI 以交互过程录屏视频为输入，包含动态感知器、优化策略和反思模块。其中，动态感知器通过聚类视频帧并提取关键帧作为显著动态上下文，有效增强了智能体对界面变化的记忆与感知能力。实验表明，该方法在动态环境下显著提升了性能，同时在其他公共基准上保持竞争力。