ReSET：通过步感知温度缩放实现准确的延迟关键型 NVFP4 推理

大型推理模型（LRMs）虽提升了复杂问题解决能力，但增加了推理成本。NVFP4 推理可降低计算与内存开销，但直接应用会导致量化下推理精度下降及小批量自回归解码延迟优势不明显。本文分析了 NVFP4 量化对推理过程中 token 级不确定性的影响，发现其导致低熵符号 token 采样错误及高不确定性步骤过度集中。据此，提出 ReSET，一种基于推理步熵的温度缩放方法，在线估计步级不确定性并自适应调整解码温度。此外，设计了针对延迟关键型解码的 CUDA-core 小-M NVFP4 内核。实验表明，ReSET 显著提升推理精度与解码速度。