迈向帕累托最优的工具集成智能体：基于帕累托排序的策略优化

近期工具集成语言智能体在解决复杂推理任务方面取得显著进展，但现有对齐方法主要关注最大化任务准确率，忽视了工具使用效率等对实际部署至关重要的辅助目标。为此，本文提出 ParetoPO，一种用于在竞争目标下对齐工具使用大语言模型的两阶段多目标优化框架。第一阶段利用超体积引导的动态标量化，根据全局帕累托前沿进展自适应调整奖励权重；第二阶段用基于帕累托排序的优势计算取代标量化学习信号，通过支配感知信用分配促进非支配轨迹。实验表明，该方法在数学推理和多跳问答任务中均能发现优于静态及启发式基线的准确率 - 效率权衡策略。