摘要
大型语言模型的生成质量高度依赖解码策略。现有采样或搜索方法存在路径单一或计算冗余的局限。本文提出熵感知解码(EDEN),一种即插即用、模型无关的框架,能根据模型不确定性自适应分配计算资源。该方法在每一步估计输出令牌分布的熵,并据此单调调整分支因子:在高熵区域扩展更多候选,低熵区域则趋向贪婪路径。实验表明,EDEN 在数学推理、代码生成等复杂任务中,相比现有策略显著提升了输出质量,实现了更优的准确率与计算开销平衡。
AI 推荐理由
论文提出自适应解码策略,显著提升数学推理等复杂任务的输出质量,是推理能力的关键支撑技术。
研究机构
JP Morgan AI Research, London, UK
论文信息