摘要
针对个性化智能中隐私与推理能力的矛盾,本文提出 SpecSteer 框架。该方法将协作视为贝叶斯知识融合,重用推测解码作为分布式对齐协议,构建“草稿 - 验证 - 恢复”流程:端侧模型生成个性化草稿,云端通过比率机制验证逻辑缺陷而不接触原始数据,拒绝时注入局部意图进行修正。实验表明,该方法有效弥补了推理差距,提升了生成质量,并实现了显著加速。
AI 推荐理由
论文核心解决端侧模型推理能力不足问题,利用云端全局推理进行验证与纠正。
研究机构
中国科学技术大学
华为技术有限公司
论文信息