VIA：用于机器人控制的视觉界面代理

针对通用基础模型在机器人控制中因微调数据受限而导致能力下降的问题，本文提出 VIA 框架。该框架将机器人控制重构为代理任务：利用现成的大模型代理，通过浏览器-based 3D 界面截图感知环境，发出指令并观察结果以进行调整。无需机器人专用微调或特权状态信息，VIA 继承了代理的通用推理、闭环错误恢复及规划重规划能力。实验表明，该方法在零样本下能解决多种桌面操作任务，且在强模型支持下成功率极高，证明了前沿代理技能可直接迁移至机器人控制领域。