摘要
针对现有多模态大模型在“图像思维”范式中因频繁调用外部工具和重复编码导致的高计算开销问题,本文提出“超越视界”(BEE)框架。该框架引入自调节隐式视觉工具范式,将工具调用行为融入训练目标。通过形式化思维链监督微调与自调节奖励驱动对齐两阶段训练,模型能自适应平衡内部知识与隐式工具,仅在必要时调用工具。实验表明,BEE 在细粒度视觉感知任务中达到最先进水平,同时显著提升推理效率。
AI 推荐理由
论文核心提出隐式视觉工具范式,旨在优化多模态推理过程中的计算效率与自适应平衡。
研究机构
中国科学院自动化研究所
论文信息