Embodied AI Tool Use Protocol Parsing Robotics
摘要

生物湿实验协议通常隐含常规操作和上下文参数,难以直接转化为机器人可执行的动作。本文提出ProtoAct框架,通过ProtoRAG检索示例进行上下文敏感解析,利用RefineChecker检测并修正缺失或不一致步骤,并通过ActSchema将流程映射为受限的JSON函数序列。我们构建了BioP2E数据集,涵盖22个细胞培养协议的详细标注。评估显示ProtoAct兼容多种大模型后端,其解析的子任务支持演示收集及VLA模型训练,成功实现了仿真与真实机器人的执行,搭建了生物协议理解与具身执行间的实用接口。

AI 推荐理由

论文核心在于将生物协议转化为机器人可执行的函数调用序列,直接涉及工具使用与技能学习。

研究机构
教育部能源化工过程智能制造重点实验室 华东理工大学计算机科学与工程学院 华东理工大学实验室医学系,上海瑞金医院,上海交通大学医学院 上海AI实验室AI for Science中心
论文信息
作者 Zhe Liu, Jiaming Gu, Zhaohui Du, Zhe Wang, Huanbo Jin et al.
发布日期 2026-08-03
arXiv ID 2608.01690
相关性评分 9/10 (高度相关)