GROW$^2$：机器人工具使用的对象选择与位置定位

针对机器人在开放世界中创造性使用工具的挑战，本文提出 GROW$^2$框架。该方法利用物体部件作为自然抽象，将接地过程分层为语义与几何两个层级，避免了端到端训练对大量数据的依赖。语义上，借助视觉语言模型的常识推理解析指令、选择工具并识别关键部件；几何上，利用视觉基础模型从单张 RGB-D 图像中将部件定位到精确的 3D 区域。实验表明，该方法在 affordance 预测基准上优于最先进水平，并在模拟及真实机器人实验中实现了跨类别对象的零样本泛化。