摘要
大语言模型的推理透明度对理解决策至关重要。本文探讨 DiffusionGemma 在连续潜在空间计算是否降低透明度。研究将透明度分解为变量透明度和算法透明度。尽管其初始不透明串行深度较高，但通过可解释令牌瓶颈映射，可显著降低该深度。此外，文章通过案例研究揭示了非时序推理等新现象，并发现其可监控性与自回归模型相当。
AI 推荐理由
论文核心研究扩散模型推理过程的透明性与可解释性，深入分析其推理机制。
研究机构
Google DeepMind
论文信息