动态基准 推理评估 数据合成 故障分析
摘要

针对静态基准易受数据污染和过拟合影响,而现有动态基准往往牺牲可答性与可控性的问题,本文提出 StressEval。这是一种故障驱动的数据合成框架,能将观察到的模型失败转化为具有挑战性且可控的动态测试实例。该方法包含三个阶段:构建识别推理失败根源的难度卡片、应用针对知识缺口与推理崩溃的双视角实例合成、以及通过门控机制保留有依据的明确实例。基于此构建的 Dynamic OneEval 基准在多个主流大模型上引发了显著的性能下降,同时保留了明确的难度因素,支持更具操作性的迭代优化。

AI 推荐理由

论文核心聚焦知识密集型推理任务的动态基准构建,直接针对推理失败进行增强评估。

研究机构
Southeast University Zhejiang University Tongji University Hangzhou Dianzi University
论文信息
作者 Yongrui Chen, Yangyang Ma, Xiaoying Huang, Shenyu Zhang, Huajun Chen et al.
发布日期 2026-05-03
arXiv ID 2605.01939
相关性评分 9/10 (高度相关)