Edge AI Uncertainty Calibration ReAct Compute Efficiency
摘要

针对边缘部署的 LLM 代理需在有限推理预算下保持可靠性的挑战,本文提出“短思考,智延迟”(TSDS)框架。该框架协同整合了轻量级收敛探测机制,旨在动作稳定时终止本地推理;以及基于困惑度的延迟规则,将高不确定性动作升级至云端模型。通过多目标学习后测试程序对两者进行联合校准,确保预期奖励与云端调用率的有限样本保证。实验表明,TSDS 在维持性能保证的同时,显著降低了多任务场景下的每集推理计算量。

AI 推荐理由

论文核心研究边缘端 LLM 的推理预算管理与不确定性校准机制,直接优化推理过程。

研究机构
Institute for Intelligent Networked Systems (INSI), Northeastern University London
论文信息
作者 Amirmohammad Farzaneh, Osvaldo Simeone
发布日期 2026-07-29
arXiv ID 2607.26865
相关性评分 9/10 (高度相关)