使用微调函数向量的关系知识蒸馏

概念间关系的表示是智能系统理解世界的核心前提。近期研究利用因果中介分析表明，少量注意力头能够编码任务表示，并以紧凑形式表示为函数向量。本文发现，仅用少量示例（约20个词对）微调函数向量，可提升基于关系的词补全任务性能，且适用于大小语言模型。此外，微调后的函数向量在关系词解码和语义关系相似性判断上表现更优。随后，作者引入复合函数向量——微调函数向量的加权组合，用于提取关系知识并支持类比推理。在推理阶段，将该复合向量插入LLM激活中显著提升了认知科学和SAT基准中的类比问题性能。结果突显了激活修补作为可控机制在编码和操作关系知识方面的潜力，推动了大语言模型的可解释性和推理能力。