摘要
当前对话式购物助手缺乏能同时评估开放域多轮推理、领域专业知识及准则级质量的基准。本文提出“购物推理基准”，由零售专家撰写，包含 525 个任务及万余项加权评分标准，涵盖偏好细化、权衡分析等五类推理能力。对九大模型的评估显示，其在多轮对话及高阶标准上表现显著不足，揭示了现有模型与专家级建议间的差距，为未来研究提供了极具挑战性的测试平台。
AI 推荐理由
论文核心构建评估多轮对话中复杂推理能力的基准，聚焦权衡分析与偏好细化。
研究机构
Amazon
论文信息