private reasoning influence measurement counterfactual testing LLM evaluation
摘要

随着推理系统将中间计算分离为私有和公共通道,评估其独立性变得复杂。本文提出一种反事实似然测试法,通过替换上游私有块并测量下游目标负对数似然的变化,量化私有推理通道间的影响。实验表明,传统文本探针不可靠,而该方法能有效区分直接访问与通过公共通信产生的间接影响。结果显示私有通道评估应分别报告直接与间接影响,该测试提供了实用的默认测量标准。

AI 推荐理由

论文核心研究私有推理通道间的间接影响评估,提出反事实似然测试方法,直接针对推理机制。

研究机构
Openhagen
论文信息
作者 Alexander Boesgaard Lorup
发布日期 2026-05-18
arXiv ID 2605.19092
相关性评分 9/10 (高度相关)