Embodied Agent Scientific Automation GUI Interaction Skill Learning
摘要

科学发现日益依赖高通量表征,但专有图形用户界面及现有 API 系统的局限性阻碍了自动化进程。本文提出 Owl-AuraID,一种软硬件协同的具身智能体系统,采用原生 GUI 范式,通过人类专家相同的接口操作仪器。其以技能为中心的框架将类型一(GUI 操作)与类型二(数据分析)技能整合至端到端工作流中,连接物理样品处理与科学解释。该系统覆盖十类精密仪器及多种工作流程,支持多模态光谱分析、显微成像及晶体学分析,为自主实验室提供了实用且可扩展的基础。

AI 推荐理由

论文核心提出以技能为中心的框架,集成 GUI 操作与数据分析技能,实现端到端自主工作流。

研究机构
Shenzhen Loop Area Institute, Shenzhen, China. The Chinese University of Hong Kong, Hong Kong. Dalian University of Technology, Dalian, China.
论文信息
作者 Han Deng, Anqi Zou, Hanling Zhang, Ben Fei, Chengyu Zhang et al.
发布日期 2026-03-31
arXiv ID 2603.29828
相关性评分 9/10 (高度相关)