摘要
本文提出一种无需修改权重即可提升冻结小语言模型能力并大幅降低成本的方法。通过将已验证知识以字节级精确的键值(KV)状态 artifacts 形式存储,并在推理时将其“移植”到新上下文中,实现了比特级精确恢复。实验表明,该方法在 AIME 2025 上显著提升了模型准确率,同时将重复问题的解决令牌数减少了数千倍,能耗降低近万倍。此外,该技术在不增加显存的情况下极大地扩展了可用上下文窗口,支持跨机器迁移。
AI 推荐理由
论文提出基于 KV-Cache 的精确移植机制,核心在于构建可验证知识的长期记忆存储与复用架构。
研究机构
Corbenic AI
论文信息