生产级 LLM 系统中的外部经验服务：面向部署的质量 - 成本权衡研究

本文研究了生产环境中 LLM 系统如何利用可复用的外部操作经验，重点探讨在现实约束下不同服务策略如何权衡任务质量与在线成本。虽然注入外部经验能提升质量，但也增加了提示负担和延迟。通过在真实内容审核场景及工具使用等对比任务中的评估，研究发现：相较于无条件全局注入，基于案例的选择性检索能提供更优的操作点；检索质量比单纯增加 Top-K 值更关键；同一策略在不同输出长度下的成本效益差异显著。结论表明，外部经验应被视为一种需感知成本的选择性服务决策。