摘要
针对 AI 智能体在动态开放环境中需适应新信息的挑战，本文提出 FutureSim，一种通过按时间顺序重演真实世界事件（如新闻发布和问题解决）的基准测试框架。该框架评估智能体在知识截止后预测未来事件的能力。实验显示，顶尖智能体在三个月预测期内的准确率仅为 25%，部分表现甚至优于无预测。研究表明，FutureSim 为研究长视野测试时适应、搜索、记忆及不确定性推理提供了逼真的实验场景，旨在推动衡量 AI 在现实世界长期适应方面的进展。
AI 推荐理由
论文核心评估 Agent 在动态环境中的自适应能力，明确提及测试时适应与自我改进方向。
研究机构
ELLIS Institute Tübingen
Institute for AI, University of Tübingen
Max Planck Institute for Intelligent Systems
University of Tübingen
Tübingen AI Center
University of Southampton
论文信息