多轮对话 基准测试 中文NLP 记忆机制 指代消解
摘要

随着与聊天机器人和代理的长期多轮交互日益普遍,正确响应往往依赖于记住早期细节、跟踪后续修订、识别目标对象以及在条件未满足时抑制行动。现有的多轮基准测试通常仅涵盖简短交互,未能充分评估长多轮交互中的这些能力,尤其是在中文语境下,且对模型失败原因的分析有限。为解决这一局限,我们分析了真实的聊天机器人失败案例,识别出六种重复出现的机制,并据此定义了Hy-MultiTurn中的六种受控评估模式。该中文基准测试旨在深入评估多轮对话理解能力,涵盖约束记忆、精确执行、约束综合、对象定位、动作抑制和指代消解六个维度。我们在六种模式下构建了209个受控任务,对话长度在12至76轮之间,并通过对话长度、无关话题干扰和口语化表达进一步增加难度。对22种前沿模型配置的评估显示,Hy-MultiTurn具有广泛的挑战性,即使是最强的GPT-5.5配置,也仅在41.1%的响应中满足所有要求,且没有一种模型在所有六种模式下表现最佳。

AI 推荐理由

论文核心评估多轮对话中的记忆机制,如约束记忆、指代消解和上下文追踪,直接对应记忆主题。

研究机构
腾讯混元团队 北京大学
论文信息
作者 Eileen Ye, Jiawen Tao, Yaoming Li, Chenxu Liu, Wenhan Yu et al.
发布日期 2026-07-31
arXiv ID 2607.29196
相关性评分 9/10 (高度相关)