OP-Bench：用于评估记忆增强个性化对话代理中过度个性化的基准测试

记忆增强型对话代理通过长期用户记忆实现个性化交互，已受到广泛关注。然而现有基准主要关注代理是否能回忆并应用用户信息，而忽视了这种个性化是否恰当使用。实际上，代理可能过度使用个人信息，导致回应显得生硬、侵入性或不适当。本文将此问题定义为“过度个性化”，并将其形式化为三种类型：无关性、重复性和奉承性。为此，我们构建了一个包含1700个经过验证实例的基准测试集OP-Bench，基于长期对话历史进行构建。利用OP-Bench，我们评估了多个大语言模型和记忆增强方法，发现引入记忆后过度个性化现象普遍存在。进一步分析表明，代理倾向于在不必要的场景下检索并过度关注用户记忆。为解决这一问题，我们提出了Self-ReCheck，一种轻量级、模型无关的记忆过滤机制，在保持个性化性能的同时缓解过度个性化问题。本研究为记忆增强对话系统中更可控和适当的个性化提供了初步探索。