不要吹牛：使用非线性朴素贝叶斯与注意力机制的主题连续性模型

在将大型语言模型（LLM）作为聊天机器人应用于各种商业场景时，保持话题连续性是一个常见挑战。话题的突然转换可能导致用户体验不佳和计算资源的低效利用。本文提出了一种主题连续性模型，用于评估响应是否与初始对话主题一致。该模型基于自然语言理解（NLU）模型的量化扩展，并引入了注意力机制和对数非线性以增强其捕捉主题连续性的能力。这种方法能够将NLU模型转化为可解释的分析公式。与许多受令牌限制约束的NLU模型不同，所提出的模型可以线性时间复杂度处理任意长度的对话。实验表明，该模型在处理长而复杂的对话时优于传统方法，为LLM的负责任和可解释使用提供了机会。