智能体 - 计算机观察接口赋能动态计算机使用

本文针对现有计算机使用（CU）智能体因依赖周期性截图而忽略动态视觉事件与音频指令的局限，提出了模型无关的“智能体 - 计算机观察接口”（AOI）。该接口通过关键帧捕获、音量门控音频转录及视觉叙述三个组件，将连续自适应观察与离散动作解耦。实验表明，AOI 使不同规模模型在动态任务上的成功率显著提升，尤其在处理音频指令方面表现卓越，且无需重新训练即可将原本几乎无法完成的任务转化为可解任务。