摘要
大型语言模型在利用强化学习人类反馈（RLHF）的压缩标量奖励训练时，常难以应对价值冲突。本文探讨思维链（CoT）推理在此领域的改进作用。几何分析表明，CoT 能进一步平滑损失景观的最尖锐方向，缓解传统标量奖励的优化不稳定性。实验证明，聚焦价值冲突的 CoT 可泛化至多种道德推理任务。据此，我们提出一种新型 CoT 设计，通过优化推理动力学提升模型处理复杂价值冲突的能力，推动多元对齐发展。
AI 推荐理由
论文核心研究思维链（CoT）如何优化价值冲突下的道德推理，属推理机制研究。
研究机构
Supervised Program for Alignment Research (SPAR)
University of Illinois - Urbana-Champaign
Carnegie Mellon University
论文信息