摘要
针对工具增强型语言模型,本文通过中间干预分离了推理表示与执行机制的影响。实验表明,在 40 项算法基准测试中,确定性代码执行比自然语言推理性能提升 31.6%,而仅将推理转化为可执行代码由模型模拟时,性能无明显变化。结果证明,工具使用的优势主要源于可靠的外部执行而非中间表示的改变。研究进一步提出了统计决策理论模型,并通过重构干预验证了该理论。
AI 推荐理由
论文核心探讨算法推理中代码与语言表示的对比,直接针对推理机制。
研究机构
University of Pennsylvania
论文信息