摘要
大型多模态模型在复杂视觉任务中表现优异,但长思维链限制了推理效率。现有路由方法依赖事后概率或监督微调,且仅在生成完成后决策,忽略了目标模型的实际求解能力。为此,本文提出主动路由范式(PRP),通过联合评估草稿模型与目标模型的能力实现早期决策。其中,草稿评级学习赋予草稿模型内部置信度估计能力,联合评级学习则预测目标模型对特定查询的处理效果,从而优先分配其擅长样本。该方法实现了细粒度的实例级主动路由,在不牺牲性能的前提下显著加速了多模态推理。
AI 推荐理由
论文核心解决多模态推理效率瓶颈,提出主动路由机制优化推理过程。
研究机构
西安交通大学
ARC Lab, Tencent IEG
香港城市大学
论文信息