PA³：基于思维链的策略感知智能体对齐

大型语言模型驱动的对话助手擅长工具使用，但在遵循复杂的特定业务规则方面表现不佳。虽然在上下文中提供业务规则可进行推理，但全量引入会导致高延迟、计算浪费及“大海捞针”问题，损害性能。为此，本文提出一种多阶段对齐方法，教导模型在推理时的思维链中回忆并应用相关策略，无需将完整策略纳入上下文。此外，引入了基于 Jaccard 分数的新型策略召回奖励及幻觉惩罚用于 GRPO 训练。实验表明，最优模型在减少 40% 词量的同时，超越基线 16 分，优于同等规模的其他上下文基线 3 分。