SynAE：一个用于衡量工具调用代理评估中合成数据质量的框架

当前工具调用代理常基于静态执行轨迹数据集进行评估，但内部生产数据往往因敏感或稀疏而不可用，促使研究者采用合成数据。本文提出 SynAE 框架，旨在量化合成基准在复现和增强真实数据轨迹特征方面的能力。该框架从任务指令、工具调用、最终输出及下游评估四个维度，综合衡量合成数据的有效性、保真度与多样性。实验表明，单一指标不足以表征数据质量，需进行多轴评估以检测细粒度差异，从而提升代理测试的可靠性。