Attention-MoA：通过跨代理语义注意力和深度残差合成增强混合代理

随着大语言模型（LLMs）的发展从参数扩展转向推理时的协作，混合代理（MoA）框架作为一种通用范式被提出，以利用多样化的模型集合智能。尽管最近的MoA变体引入了动态路由和残差连接以提高效率，但这些方法往往无法促进代理之间的深层语义交互，限制了系统主动纠正幻觉和优化逻辑的能力。本文提出了Attention-MoA，一种基于MoA的新框架，通过跨代理语义注意力重新定义协作。结合具有自适应早停机制的跨层残差模块，该架构减轻了深层信息退化问题并提高了计算效率。在AlpacaEval 2.0、MT-Bench和FLASK上的广泛评估表明，Attention-MoA显著优于最先进的基线模型，在AlpacaEval 2.0上实现了91.15%的长度控制胜率，并在FLASK的12项能力中占优10项。值得注意的是，Attention-MoA使小型开源模型的集成表现超过了Claude-4.5-Sonnet和GPT-4.1等大型专有模型，取得了8.83的MT-Bench得分和77.36的AlpacaEval 2.0长度控制胜率。