Chain-of-Thought Fact Grounding RLHF Long-context QA
摘要

大型语言模型在复杂任务中依赖长形式推理,但在证据稀疏或冲突时易偏离上下文。现有方法难以确保引用内容足以支撑局部推断。本文提出 REFACT,一种自适应事实重述引用框架,训练模型决策何时需要上下文 grounding 及重述粒度。该方法通过将引用转化为支持答案的中间状态,避免无据推断与盲目复制。经两阶段 SFT 至 RL 优化,实验表明 REFACT 在提升长上下文问答与反事实忠实度的同时,显著降低 token 消耗,生成更密集而非冗长的推理轨迹。

AI 推荐理由

论文提出自适应事实重述框架,核心旨在优化思维链推理的紧凑性与忠实度。

研究机构
东北大学 沈阳, 中国 清华大学 北京, 中国
论文信息
作者 Zhensheng Jin, Xin Dai, Zhenghao Liu, Chaojun Xiao, Huiyuan Xie et al.
发布日期 2026-07-23
arXiv ID 2607.20833
相关性评分 9/10 (高度相关)