语言模型中关系绑定的基于单元的表示

理解语篇需追踪实体及其间关系。尽管大语言模型在关系推理上表现优异，但其绑定实体、关系与属性的机制尚不明确。本研究提出基于单元的绑定表示（CBR），证明 LLM 通过低维线性子空间编码语篇级关系绑定，其中每个“单元”对应实体 - 关系索引对。实验表明，该索引在激活空间中呈网格状几何结构且可线性解码，上下文特定的 CBR 可通过平移向量实现跨上下文迁移。激活修补实验进一步提供了因果证据，证实操纵该子空间会系统性改变关系预测结果。