SentinelBench：长时运行监控代理的基准测试

针对 AI 代理在执行跨分钟、小时甚至更长时间任务时的行为模式，本文指出默认的连续行动策略并不适用，主张采用持续关注的监控策略。为此，作者推出了 SentinelBench，这是一个用于评估时间演化监控任务的开源基准。该基准包含 10 个合成网络环境中的 100 项任务，要求代理在动态变化的网页状态中进行导航和推理。SentinelBench 通过衡量任务完成率、反应时间和资源使用量，揭示了响应速度与成本之间的权衡，并为未来研究建立了性能基线。