WorldReasoner：评估语言模型代理是否通过有效推理预测事件

现实世界事件预测要求语言模型代理基于不完整且有时限的信息进行不确定性推理。现有评估仅关注最终答案准确性，忽略了记忆事实、伪造证据或无支持因果故事等问题。本文提出 WorldReasoner，一个用于时间有效性事件预测的评估框架。该框架限制代理仅能访问截止日期的证据，并从结果质量、证据质量和推理质量三个维度进行评分。基准测试包含 345 个已解决任务，涵盖 8000 多个提取事件。实验表明，时间有效的检索是准确性的关键驱动因素，因果图构建提升了关键事件恢复能力，但代理仍将 grounded 证据转化为校准概率方面存在困难。