Instruction Tuning Skill Coordination Mechanism Analysis Diagnostic Probing
摘要

指令微调通常被认为赋予了语言模型通用的指令遵循能力,但其底层机制尚不明确。本文通过针对三个指令微调模型在九项不同任务上的诊断性探测,研究了该能力是依赖通用机制还是组合式技能部署。分析结果一致反对通用机制假说:跨任务通用探针表现不及特定任务专家,表明表征共享有限;跨任务迁移较弱且按技能相似度聚类;因果消融揭示了稀疏的不对称依赖而非共享表征。此外,任务复杂度在各层呈分层分布,结构约束早期出现而语义任务晚期涌现。时间分析显示,约束满足是生成过程中的动态监控而非预生成规划。结论表明,指令遵循更应被描述为多样化语言能力的熟练协调,而非单一抽象约束检查过程的部署。

AI 推荐理由

论文核心论证指令遵循是多样化语言技能的协调部署,而非单一通用机制,直接聚焦技能本质。

研究机构
Department of Computer Science, Università degli Studi di Milano
论文信息
作者 Elisabetta Rocchetti, Alfio Ferrara
发布日期 2026-04-07
arXiv ID 2604.06015
相关性评分 9/10 (高度相关)