一个模型足矣：来自 LLM Agent 隐藏状态的原生检索嵌入

现有的 LLM Agent 外部知识检索通常采用“生成查询文本再编码”的双模型流程，增加了架构复杂性与延迟。本文提出一种轻量级投影头，直接将 LLM 的隐藏状态映射为嵌入向量，赋予 Agent 原生检索能力，无需独立嵌入模型。通过结合对齐、对比及排序蒸馏损失进行训练，该方法在保持基线 97% 检索质量的同时，实现了基于自身表征的搜索。QReCC 基准测试表明，其召回率与平均倒数排名与标准流程相当，消融实验证实了各损失组件的有效性。