AVIS：视觉 - 语言模型的自适应测试时扩展

现代视觉 - 语言模型虽受益于思维链提示和测试时扩展，但常因巨大的视觉上下文和长解码链导致推理成本过高。本文提出自适应视觉推理扩展（AVIS），一种轻量级策略，能针对每个查询自适应调整视觉上下文缩放（VCS）与视觉推理缩放（VRS）。AVIS 通过关键多样性视觉剪枝减少冗余视觉令牌，并利用学习到的难度预测器自适应选择推理 rollout 次数。实验表明，AVIS 在多种基准上显著优化了准确率与计算成本的权衡，且兼容共享预填充推理，保持低延迟。