摘要
由大型语言模型驱动并集成工具的对话代理在固定任务导向型数据集上表现出色,但在面对用户引发的意外错误时仍存在脆弱性。本文不关注错误预防,而是专注于错误恢复,需要准确诊断错误对话上下文并执行适当的恢复计划。在无法进行模型微调或提示修改的现实约束下,本文探索代理是否能从上下文有缺陷的交互中恢复,并如何在不改变模型参数和提示的情况下调整其行为。为此,本文提出了一种测试时干预方法——推理起始(ReIn),通过在代理的决策过程中植入初始推理来实现错误恢复。具体而言,一个外部起始模块识别对话上下文中的预定义错误并生成恢复计划,随后将其整合到代理的内部推理过程中以指导纠正操作,而无需修改其参数或系统提示。通过系统模拟直接阻碍用户目标完成的对话失败场景(如用户的模糊和不支持请求),ReIn显著提升了任务成功率,并泛化到未见过的错误类型。此外,它始终优于显式提示修改方法,证明其作为高效、实时方法的实用性。对其运行机制的深入分析表明,结合ReIn共同定义恢复工具可作为一种安全有效的策略,用于提高对话代理的鲁棒性,而无需修改主干模型或系统提示。
AI 推荐理由
论文探讨了对话代理的错误恢复机制,涉及记忆诊断与恢复计划生成,但未直接聚焦于Memory机制本身。
论文信息