Multi-agent Systems Weight-space Communication Efficient Inference LoRA
摘要

多智能体大语言模型系统通常通过交换自然语言消息进行协作,但这导致中间计算需序列化为令牌,增加了生成成本与显存开销。本文提出 TFlow(思维流),一种针对固定接收者架构的权重空间通信框架。该方法将发送者的隐藏状态编译为针对接收者的瞬态低秩 LoRA 权重扰动,而非追加文本上下文。这些扰动仅在生成时融合应用,实现了实例级自适应且不永久改变模型。实验表明,TFlow 在五个基准测试中准确率最高提升 8.5%,处理令牌数减少高达 83.27%,推理速度提升 4.6 倍,证明了瞬态权重扰动作为高效多智能体协作媒介的潜力。

AI 推荐理由

提出权重空间通信机制,替代传统文本上下文记忆,优化多智能体协作效率。

研究机构
University of Central Florida Westlake University Snap Inc. UT-Austin Tencent Hy
论文信息
作者 Wenrui Bao, Huan Wang, Jian Wang, Zhangyang Wang, Kai Wang et al.
发布日期 2026-05-13
arXiv ID 2605.13839
相关性评分 8/10 (高度相关)