CalBench：评估多智能体大语言模型中的协调与隐私权衡

本文提出 CalBench，一个通过日历调度研究多智能体协调的受控评估环境。在该环境中，N 个智能体各自管理包含既有承诺的私有日历，需在最小化干扰成本的前提下协调安排传入会议。由于智能体仅能观察自身日历，成功调度需跨越私有信息边界进行沟通。每个场景均生成oracle解，以便通过实际成本与最优成本之比精确衡量协调质量，并提供分布式约束优化基线以进行公平比较。该环境还能验证任务成功率、沟通效率及干扰成本分配的公平性，并研究隐私保护协调机制。