MADA-RL：面向紧凑模型参数高效推理的多智能体感知辩论强化学习

大型语言模型虽具强大推理能力，但训练成本高昂，尤其对参数受限的紧凑模型挑战巨大。本文提出 MADA-RL，一种后训练框架，将紧凑模型特化为生成者与批评者角色，并通过感知辩论的学习信号，仅利用 LoRA 微调少量参数。核心贡献在于“反事实批评者优势”，动态重定义优势函数以优化批评者超越生成者共识而非单纯复现正确答案。在五个数学推理基准测试中，该方法显著提升了 DeepSeek-R1-Distill-Qwen-1.5B 模型的准确率，且在可训练参数量上极具效率，证实了训练后的批评者能有效纠正生成者错误。