摘要
回答长文档中的复杂问题通常需要整合分散在遥远段落中的自然证据。现有基准多使用植入式事实,难以反映真实的源内推理能力。本文提出 WILDTRACE 基准,包含 214 个真实长文档来源的 481 项任务,其证据轨迹源于文档自身的因果、时间和叙事逻辑。基于因果层级理论,定义了七种源内证据几何结构以表征分析阅读的关系需求,并通过多级验证确保数据质量。该研究填补了信息访问与自然分散证据推理之间的差距,是长上下文研究的关键挑战。
AI 推荐理由
论文核心关注长上下文中的自然证据整合与多步推理,直接针对推理能力评估。
研究机构
香港科技大学科学与技术学院
阿里巴巴集团通义实验室
论文信息