Social Reasoning Multi-Agent Systems Benchmark Self-Improvement
摘要

针对LLM在多智能体社交场景中缺乏客观评估标准的问题,本文提出Social Gym,包含21款规则明确的社交游戏以提供可验证的性能指标。基准测试显示当前模型在社会推理上存在局限。为此,我们提出SPaRTan,一种无需权重更新的自我改进循环机制,通过自我对弈、反思轨迹并生成可迁移策略来提升后续游戏表现。实验表明该机制能有效平衡GPT-5-mini在不同角色上的性能,为无参数更新下的社会推理评估与优化提供了可复现的基础。

AI 推荐理由

论文核心聚焦于LLM的社会推理能力评估与提升,通过博弈环境验证逻辑与社会互动中的推理表现。

研究机构
Carnegie Mellon University
论文信息
作者 Keyu He, Xuhui Zhou, Maarten Sap
发布日期 2026-08-10
arXiv ID 2608.09128
相关性评分 9/10 (高度相关)