RelayGen：面向高效推理的生成内模型切换机制

大型推理模型（LRMs）虽在复杂推理任务中表现优异，但长序列生成导致高昂的部署成本。现有方法往往忽视单次生成内部的难度变化或依赖高复杂度的监督路由。本文提出 RelayGen，一种无需训练的段级运行时模型切换框架。通过分析生成不确定性，该框架识别难度降低的转折点，将后续简单推理动态委托给小模型，而困难部分仍由大模型处理。实验表明，该方法在显著降低延迟的同时保持了高精度，结合推测解码可实现高达 2.2 倍的端到端加速，且精度损失小于 2%。