摘要
公共基准虽能公平评估大语言模型推理能力,但对 inference 阶段主动搜索网络的深度研究代理而言却显脆弱。此类代理可能通过搜索获取基准元数据、问题背景甚至标准答案,引发“搜索时污染”(STC),即外部检索绕过预期推理过程从而夸大性能。本文系统研究了 STC 现象,定义了三种严重程度递增的污染类型,并开发检测算法量化其影响。实验发现 STC 普遍存在,可使性能虚高至 4%,表明现有评估可能高估真实推理能力。文章倡导采用隔离沙箱、透明搜索轨迹等防污染实践。
AI 推荐理由
论文聚焦深度研究代理的推理能力评估,揭示搜索污染导致性能虚高,直接影响对真实推理水平的判断。
研究机构
Alibaba-NTU Global e-Sustainability CorpLab (ANGEL)
Tongyi Lab, Alibaba Group
College of Computing & Data Science, Alibaba-NTU Global e-Sustainability CorpLab (ANGEL)
论文信息