摘要
大型语言模型在结构化任务中表现优异,但在需要长期目标协调和快速适应的动态社交互动中面临挑战。现有方法通常对每句话应用统一的目标奖励,忽视了各对话轮次的目标特异性及潜在策略的合理性。受计划行为理论启发,我们提出了思维-策略-响应(TSR)框架,将社交对话分解为高层战略规划与低层语言执行两个阶段。为优化TSR,我们引入了带方差门控奖励的线性化分层强化学习算法(LHRL-VGR),该算法根据目标达成分数的方差动态路由奖励,平衡目标完成与策略遵循。在SOTOPIA基准上的实验表明,该方法微调Qwen2.5-7B代理在多智能体社交谈判任务中超越GPT-4o基线7.32%,展现出最先进性能。
AI 推荐理由
论文提出TSR框架,将对话分解为高层战略规划与底层执行,核心在于多步任务规划与策略生成。
研究机构
Independent Researcher
Alibaba Group
Shanghai Jiao Tong University
论文信息