通过 PredicateLongBench 理解长上下文任务的难度维度

大型语言模型的长上下文能力迅速提升，但现有评估多关注平均表现且缺乏鲁棒性。本文提出 PredicateLongBench 基准，通过要求模型在长输入中识别满足特定谓词（如字典序）的最长连续子序列，系统性地探索多个难度维度以压力测试长上下文推理。研究包含合成与真实文档两种生成流程。实验发现，随着任务难度增加，前沿模型表现显著下降，揭示了当前长上下文能力的局限性。该基准任务概念简单，无需依赖 LLM 生成或评判。