摘要
针对静态基准易受数据污染和过拟合影响,而现有动态基准往往牺牲可答性与可控性的问题,本文提出 StressEval。这是一种故障驱动的数据合成框架,能将观察到的模型失败转化为具有挑战性且可控的动态测试实例。该方法包含三个阶段:构建识别推理失败根源的难度卡片、应用针对知识缺口与推理崩溃的双视角实例合成、以及通过门控机制保留有依据的明确实例。基于此构建的 Dynamic OneEval 基准在多个主流大模型上引发了显著的性能下降,同时保留了明确的难度因素,支持更具操作性的迭代优化。
AI 推荐理由
论文核心聚焦知识密集型推理任务的动态基准构建,直接针对推理失败进行增强评估。
研究机构
Southeast University
Zhejiang University
Tongji University
Hangzhou Dianzi University
论文信息