摘要
用户反馈为LLM的持久改进提供了自然监督,但单条消息可能支持具有不同泛化范围的多重行为改变。本文引入SLIFT,一种基于任务相对视角的用户反馈选择性自学习框架。SLIFT将每条反馈分解为原子组件,并将其解释为修复(Fix)、特定条件细化(Spec)或空值(Null)。为了在适当范围内整合这些变化,SLIFT在共享冻结主干上训练两个互补的LoRA适配器:通用适配器通过反馈条件自蒸馏巩固修复要求,专家适配器仅观察任务和通用适配器响应,以提供适用但未满足细化的残差指导。实验表明SLIFT在MemoryBench和WildFB上表现强劲。
AI 推荐理由
论文提出SLIFT框架,通过用户反馈进行选择性自我学习(Selective Self-Learning),实现LLM的持续改进与自适应更新,属于典型的自我进化研究。
研究机构
清华大学
腾讯
论文信息