TurtleAI：基准测试多模态模型在海龟绘图中的视觉编程能力

本文针对教育导向的视觉编程领域，提出了 TurtleAI 基准，包含 823 个基于海龟绘图的任务，旨在评估视觉语言模型（VLM）感知几何模式、推理空间关系及合成 Python 代码的能力。实验显示当前主流 VLM 表现不佳，成功率多低于 30%。为此，作者提出一种仅需少量种子样本的数据生成技术，通过微调显著提升了模型在真实任务上的表现。失败分析表明，空间推理与视觉复现精度是主要限制因素，而微调有效改善了视觉推理与代码实现的对齐。