Tool Use FFN Intervention Structured Output Inference Optimization
摘要

大型语言模型作为工具智能体时,微小的格式或函数调用错误会导致响应失效。本文研究推理时的前馈网络(FFN)干预,旨在不重训权重的情况下改善结构化输出。针对正交残差投影的局限性,提出“振幅门控”方法,保留预训练方向仅调节激活幅度。通过在 Qwen 系列模型上的实验,该方法显著提升了工具结构化任务及函数调用性能,证明了其作为安全推理优化目标的有效性。

AI 推荐理由

论文核心研究通过干预 FFN 提升 LLM 工具调用和结构化输出的准确性,直接针对技能学习中的工具使用错误。

研究机构
Alibaba Cloud
论文信息
作者 Sheng Xu, Boyuan Huang, Ke Jia, Jiadun Zhu, Zhen Chen
发布日期 2026-07-13
arXiv ID 2607.11183
相关性评分 9/10 (高度相关)