面向持续领域演化的在线领域感知LLM解码方法

通常，大型语言模型（LLMs）在特定领域的静态数据上进行离线微调。然而，在实践中，领域知识会随着新法规、产品、服务和交互模式的不断出现而持续演变。对每个新实例重新训练或微调LLMs在计算上是不可行的。此外，现实环境中的数据分布也具有时间动态性，忽略这种现象（即概念漂移）会显著降低模型的预测准确性。为应对这一问题，本文提出了一种在线领域感知解码框架（ODD），该框架通过概率级融合基础LLM与前缀树先验，并利用分歧和连续性信号进行自适应置信度调节。实验结果表明，ODD在多种漂移场景下均优于LLM-Greedy和LLM-Temp Scaled方法，在ROUGE-L指标上绝对提升0.065，在余弦相似度上相对提升13.6%。这些结果证明了ODD对不断变化的词汇和上下文模式的鲁棒性，适用于动态LLM应用。