从地面涌现：通过将真实调用转化为虚拟轨迹来解决工具使用代理中的意图偏差问题

大型语言模型（LLMs）已推动了用于现实世界应用的工具使用代理的发展，但它们常常导致意外的行为或结果。除了明显的失败之外，‘意图偏差’这一微妙问题严重阻碍了可靠评估和性能提升。现有的后训练方法通常利用真实系统样本或由LLMs模拟的虚拟数据。然而，前者由于依赖人工编写的用户请求而成本高昂，后者则因与真实工具存在分布偏移而受到影响。此外，这两种方法都缺乏针对意图偏差场景的负样本，限制了偏好学习的有效指导。我们引入RISE，一种“真实到虚拟”的方法，旨在缓解意图偏差。基于验证过的工具原语，RISE合成虚拟轨迹，并通过关键参数的变异生成多样化的负样本。借助合成数据，RISE通过两阶段训练对主干LLM进行微调，以实现意图对齐。评估结果表明，RISE合成的数据在涵盖用户需求、执行轨迹和代理响应的八个指标上均表现出良好的效果。结合训练，RISE在Acctask（任务完成）上平均提升了35.28%，在Accintent（意图对齐）上提升了23.27%，分别优于现有最先进基线1.20–42.09%和1.17–54.93%。