摘要
本文指出，仅具备文本与图像访问能力及沙盒工具接口的编码代理，在多项音视频基准测试中可媲美甚至超越原生全模态模型。其优势在于通过编写代码和编排工具提取关键证据，将全模态任务转化为检索与信息处理问题。研究进一步通过失败分类与过程追踪分析局限性，证明简单技能注入（含人工编写与自蒸馏技能）能显著提升性能。此外，作者提出 Code-X 训练方案及 TerminalBench-O 基准，推动开源全模态处理发展。
AI 推荐理由
论文核心论证编码代理通过工具使用和代码编写技能解决多模态任务，技能注入是关键改进手段。
研究机构
University of Maryland
论文信息