摘要
针对LLM在多智能体社交场景中缺乏客观评估标准的问题,本文提出Social Gym,包含21款规则明确的社交游戏以提供可验证的性能指标。基准测试显示当前模型在社会推理上存在局限。为此,我们提出SPaRTan,一种无需权重更新的自我改进循环机制,通过自我对弈、反思轨迹并生成可迁移策略来提升后续游戏表现。实验表明该机制能有效平衡GPT-5-mini在不同角色上的性能,为无参数更新下的社会推理评估与优化提供了可复现的基础。
AI 推荐理由
论文核心聚焦于LLM的社会推理能力评估与提升,通过博弈环境验证逻辑与社会互动中的推理表现。
研究机构
Carnegie Mellon University
论文信息