协作推理 高效推断 双模型架构 推理优化
摘要

本文提出了 DUET(双模型高效两阶段推断),一种协作推断框架,由能力强的模型与轻量级模型协同解决任务。针对单一大模型端到端推理成本高昂的问题,DUET 将推断分解为两阶段:强模型生成推理信号,轻模型解读该信号以生成最终答案。通过引入长度惩罚联合训练目标,促使强模型仅传输解题所需的充分信息。实验表明,DUET 在保持强劲推理性能的同时,显著降低了推断成本,在 AIME 和 GPQA 等基准上节省了高达 60% 的大模型输出令牌。

AI 推荐理由

论文核心提出双模型协作推理框架,旨在优化推理过程中的计算效率与信号传递。

研究机构
Boston University MIT CSAIL Biohub
论文信息
作者 Yilei Chen, Sharut Gupta, Yannis Paschalidis, Ayush Sekhari, Aldo Pacchiano
发布日期 2026-05-01
arXiv ID 2605.01111
相关性评分 9/10 (高度相关)