摘要
个性化语言模型助手常通过记忆视角评估,但全面的个性化需从用户留下的多模态轨迹中推断其关注点。本文提出 SocialPersona 基准,评估多模态大语言模型能否从长期社交媒体时间线中恢复显性偏好并用于对话。该基准包含 171 名用户的文本、图像及时间戳数据,涵盖七类兴趣域。实验表明,模型能识别宏观兴趣,但在细粒度及近期兴趣推断上表现不佳,且将推断画像应用于个性化对话时性能进一步下降,揭示了跨模态长程用户建模仍是关键挑战。
AI 推荐理由
论文核心研究基于多模态历史轨迹的用户偏好推断与记忆建模,属于长期记忆机制的关键挑战。
研究机构
Harbin Institute of Technology
论文信息