一种用于数值推理的三元后缀分词方案

标准子词分词方法不一致地分割数字，导致大语言模型丢失位置和十进制结构，这是算术和科学推理错误的主要诱因。本文引入三元后缀分词（TST），一种确定性方案，将数字划分为三位一组并标注显式量级标记。该方法为整数部分和小数部分定义了固定的后缀与量级映射，提供一致的梯度信号以确保稳定收敛。提出了两种变体：基于词汇表的方法和动态后缀标记方法，均能保留精确数字并使量级关系在令牌层面透明化。该框架具有架构无关性，可作为预处理步骤集成。