SinkTrack：基于注意力汇点的大型语言模型上下文锚定方法

大型语言模型常受幻觉与上下文遗忘困扰，主因是注意力漂移导致关注点偏离初始输入。本文提出 SinkTrack，利用模型固有的“注意力汇点”特性，将首令牌（）作为信息锚点，注入关键上下文特征。该方法无需训练、即插即用且推理开销极低。实验表明，SinkTrack 在文本及多模态任务中显著缓解幻觉与遗忘问题，提升了模型在不同架构与规模下的鲁棒性与泛化能力，并从信息传递角度分析了其工作机制。