摘要
尽管上下文学习(ICL)已取得成功,但其依赖域内专家演示,限制了在标注稀缺场景的应用。本文提出不同领域可能共享底层推理结构,使源域演示能改善目标域推断。通过综合实证研究验证了跨域知识转移的可行性。结果表明存在示例吸收阈值,超过该阈值后正向转移更显著。分析显示增益源于检索到的跨域示例对推理结构的修复,而非语义线索。本研究证实了利用跨域知识提升 ICL 性能的潜力。
AI 推荐理由
论文核心研究跨域知识迁移如何修复推理结构,直接提升上下文学习中的类比推理能力。
研究机构
Harbin Institute of Technology, Shenzhen, China
Pengcheng Laboratory, Shenzhen, China
论文信息