摘要
针对现有基于大语言模型的新闻预测流程面临新闻文章超出上下文窗口及迭代检索缺乏引导导致冗余更新的问题,本文提出一种新框架。该框架结合重要性感知新闻压缩与过程级检索监督:首先训练重要性奖励模型以评估文章预测效用,并在顺序配对融合中分配压缩预算;其次引入过程奖励模型(PRM),根据当前误差分布及已选文章历史对候选新闻进行排序,实现质量控制下的选择。实验表明,该方法在多个基准上提升了预测精度,显著减少了 refinement 迭代次数,并能有效处理数千 token 的相关文章。
AI 推荐理由
核心解决长文本超出上下文窗口问题,提出重要性感知压缩与历史引导检索机制。
研究机构
Department of Computer Science, City University of Hong Kong
论文信息