摘要
针对交易法律文档问答,传统全量注入法虽召回率高但令牌消耗大且受长上下文退化影响。本文提出两种结构化检索模式:基于嵌入的检索(NAVEMBED)和基于紧凑结构索引的 LLM 导航(NAVINDEX)。实验表明,在显著减少输入令牌(最高达 56 倍)和成本的同时,这两种方法在语义检索准确性上与全量注入相当甚至更优。此外,研究推导了缓存注入与检索的成本交叉规则,量化了不同规模下的最优策略。
AI 推荐理由
论文核心研究通过结构化检索替代全量注入,优化 LLM 上下文记忆机制与效率。
研究机构
Syntheia Pty Ltd
论文信息