In-Context Learning Retrieval Mechanism On-Device AI Memory Efficiency
摘要

端侧上下文学习依赖推理前检索,以在有限计算和存储预算下从本地记忆中选取有益示例。本文提出条件检索对齐(CoRA),一种无梯度框架,利用配对输入输出将冻结编码器转化为任务条件检索器。通过选择互补编码层、构建输出导出的条件空间,并利用闭式岭回归对齐表示,生成紧凑检索基。该方法仅需查询输入和预计算索引即可执行检索,并扩展至多模态场景。实验表明,CoRA 无需微调或反向传播即可实现高效的任务条件检索。

AI 推荐理由

论文核心提出基于本地记忆的检索框架,优化端侧上下文学习中的记忆利用机制。

研究机构
City University of Hong Kong, China Institute of Automation Chinese Academy of Sciences, China ARINDAM BASU, and HAOLIANG LI, City University of Hong Kong, China
论文信息
作者 Xinyu Luo, Hui Liu, Yihua Shao, Junyi Yang, Arindam Basu et al.
发布日期 2026-07-30
arXiv ID 2607.27766
相关性评分 9/10 (高度相关)