摘要
检索增强大语言模型(RAG)常用于证据质量决定行动安全的场景,但现有评估错误地假设单轮鲁棒性可预测多轮证据累积下的表现。本文揭示了“监控 - 控制差距”:模型虽能识别矛盾证据,却未能据此约束最终建议,即发现认知冲突不等于安全解决。通过跨四个模型家族的五万多次多轮评估及机制分析(隐藏状态探测、注意力分析),研究发现危险信息虽被内部表征并获关注,却未能有效制约输出行为。在高风险应用中,必须衡量并缩小这一认知与行动的鸿沟。
AI 推荐理由
研究 RAG 中模型识别矛盾却无法安全解决的推理缺陷,核心在于认知冲突的处理与决策逻辑。
研究机构
浙江大学
北京邮电大学
杭州电子科技大学
国家金融科技测评中心
论文信息