摘要
工具型 LLM Agent 在执行任务时可能违反其被部署以执行的政策,却看似成功完成。在策略宽松环境中,工具可执行任何格式正确的调用,即使状态转换被禁止,导致“静默错误状态”。本文在航空领域基准测试中发现,78% 的失败属于此类。作者提出一种轻量级干预:确定性只读预执行门控,在允许写入前检查提议调用与当前状态。实验表明,四门控套件显著提升了模型成功率,尤其在门控触发任务上效果明显,证明了该机制在防止静默策略违规写入方面的有效性。
AI 推荐理由
论文核心研究工具使用中的策略违规问题,并提出确定性门控机制以增强工具调用的安全性与可靠性。
研究机构
Independent Researcher
Indian Institute of Technology Kharagpur
Massachusetts Institute of Technology
论文信息