摘要
当前操作系统界面专为人类设计，导致 AI 代理需依赖截图和 OCR，引发高成本与歧义。本文提出 LUMOS，一种介于 AI 代理与操作系统间的语义交互层。它将原生无障碍元数据转化为机器可读的语义蓝图，提供稳定标识与动作供能，并支持基于光标位置的实时语义指针定位。LLM 借此通过受限的 UI 原语进行观察 - 行动循环，显著降低对视觉输入的依赖，为构建 AI 原生操作系统及机器可读交互层开辟了新路径。
AI 推荐理由
论文提出 LUMOS 系统，核心解决 Agent 调用 OS 接口、执行动作的技能 grounding 问题。
研究机构
Department of Electrical and Computer Engineering, University of Texas at Dallas, Richardson, TX, USA
论文信息