当代理与自身意见不一致时：衡量基于LLM的代理行为一致性

将相同的LLM代理应用于相同任务两次，是否会产生相同的行为？研究发现答案通常是否定的。通过对HotpotQA任务上三个模型（Llama 3.1 70B、GPT-4o和Claude Sonnet 4.5）共计3,000次代理运行的分析，我们观察到ReAct风格的代理在每次运行中平均会产生2.0至4.2个不同的动作序列，即使输入完全相同。更重要的是，这种变化预测了失败：行为一致的任务（≤2条唯一路径）准确率为80–92%，而高度不一致的任务（≥6条唯一路径）准确率仅为25–60%，差距达32–55个百分点。我们将这种变化归因于早期决策，其中69%的分歧发生在第二步，即第一次搜索查询。研究结果表明，在执行过程中监控行为一致性可以实现早期错误检测并提高代理的可靠性。