DEL：用于大语言模型数值学习的数字熵损失

数字预测是大语言模型解决数学问题和生成代码的基础能力。传统的最大似然估计并非专为数字预测设计，而现有的惩罚驱动方法虽引入数值距离归纳偏置，却导致数字分布过锐或过平。本文深入分析 LLM 数值学习，提出数字熵损失（DEL）。该方法通过利用数字条件概率和二元交叉熵将无监督优化转化为有监督模式，摒弃距离项以规避数值距离问题，并将整数学习推广至浮点数优化。在七个数学推理基准上的实验表明，DEL 在预测精度和数值距离上均优于现有方法。