tool-use safety policy-enforcement agent-reliability
摘要

工具型 LLM Agent 在执行任务时可能违反其被部署以执行的政策,却看似成功完成。在策略宽松环境中,工具可执行任何格式正确的调用,即使状态转换被禁止,导致“静默错误状态”。本文在航空领域基准测试中发现,78% 的失败属于此类。作者提出一种轻量级干预:确定性只读预执行门控,在允许写入前检查提议调用与当前状态。实验表明,四门控套件显著提升了模型成功率,尤其在门控触发任务上效果明显,证明了该机制在防止静默策略违规写入方面的有效性。

AI 推荐理由

论文核心研究工具使用中的策略违规问题,并提出确定性门控机制以增强工具调用的安全性与可靠性。

研究机构
Independent Researcher Indian Institute of Technology Kharagpur Massachusetts Institute of Technology
论文信息
作者 Vikas Reddy, Sumanth Reddy Challaram, Abhishek Basu
发布日期 2026-07-08
arXiv ID 2607.07405
相关性评分 9/10 (高度相关)