摘要
本文提出了 DUET(双模型高效两阶段推断),一种协作推断框架,由能力强的模型与轻量级模型协同解决任务。针对单一大模型端到端推理成本高昂的问题,DUET 将推断分解为两阶段:强模型生成推理信号,轻模型解读该信号以生成最终答案。通过引入长度惩罚联合训练目标,促使强模型仅传输解题所需的充分信息。实验表明,DUET 在保持强劲推理性能的同时,显著降低了推断成本,在 AIME 和 GPQA 等基准上节省了高达 60% 的大模型输出令牌。
AI 推荐理由
论文核心提出双模型协作推理框架,旨在优化推理过程中的计算效率与信号传递。
研究机构
Boston University
MIT CSAIL
Biohub
论文信息