摘要
个人助理代理的兴起凸显了大语言模型支持用户日常生活的潜力，但其核心挑战在于主动性协助，即识别用户未明确表达的需求。现有基准测试鲜少评估代理在多轮交互中捕捉隐含意图的能力。为此，本文提出$\pi$-Bench，包含跨越五个特定领域用户角色的 100 个多轮任务。该基准通过引入隐藏用户意图、任务间依赖及跨会话连续性，评估代理在长程轨迹中预测并满足用户需求的能力，联合衡量主动性与任务完成率。实验表明，主动协助仍具挑战性，且 prior interaction 对后续任务的意图解析至关重要。
AI 推荐理由
论文聚焦长程工作流中的主动规划与任务分解，评估代理在多轮交互中 anticipatory planning 的能力。
研究机构
上海交通大学
香港科技大学
复旦大学
清华大学
北京大学
浙江大学
南京大学
论文信息