迈向真实的个性化：评估个性化用户 -LLM 交互中的长程偏好遵循

大型语言模型正日益成为个人助手，用户在长期交互中表现出复杂多样的偏好。然而，评估 LLM 在真实长程场景中遵循这些偏好的能力仍显不足。本文提出 RealPref 基准，用于评估个性化交互中的真实偏好遵循能力。该基准包含 100 个用户画像、1300 条个性化偏好及长程交互历史，涵盖从显式到隐式的多种偏好表达形式。结果显示，随着上下文长度增加及偏好表达趋于隐式，LLM 性能显著下降，且将偏好理解泛化至未见场景极具挑战。本研究为开发更适应用户需求的感知型 LLM 助手奠定了基础。