用于跨语言推理的软令牌对齐

多语言大语言模型常对不同语言的语义等价提示产生不一致的推理与答案。现有研究表明中间表示具有语言无关性，但离散输出导致生成过程语言特异性增强，致使推理路径分歧。为此，本文提出 SOLAR，一种用于监督微调的辅助目标，以英语为枢纽对齐跨语言软令牌表示。软令牌作为词汇嵌入的概率加权混合，能聚合跨语言语义信息。在四个多语言推理基准测试中，SOLAR 较基线模型准确率最高提升 17.7 分，显著优于标准微调，尤其在低资源语言上表现突出，有效保留了多语言推理中的共享语义结构。