基于域不变神经元的检索实现有效的上下文跨域知识迁移

大型语言模型在逻辑推理方面虽进展显著，但仍不及人类水平。现有策略依赖专家构建的域内示例，限制了其在专业领域的适用性。本文证明了利用跨域示例提升推理性能的可行性，指出不同领域间存在可复用的隐含逻辑结构。为此，我们提出了一种基于域不变神经元的检索方法（DIN-Retrieval）。该方法首先总结跨域通用的隐藏表示，然后在推理阶段利用该向量检索结构兼容的跨域示例用于上下文学习。实验表明，该方法在数学和逻辑推理迁移任务中平均优于最先进方法 1.8 个点。