流形_bandits：基于大语言模型潜在几何结构的贝叶斯课程学习

强化学习是提升大语言模型推理能力的关键方法，其效率取决于优化过程中的问题采样策略。现有自适应课程学习方法通常仅关注中等难度提示，将问题选择视为独立臂的标准_bandit_问题，忽视了任务空间的结构化与异质性。本文提出将问题采样建模为具有内生非平稳性的流形结构化_bandit_问题，利用模型潜在表示空间关联问题，并通过采样决策引导学习信号演化。为此，我们引入了贝叶斯流形课程（BMC）框架，构建分层任务树并应用贝叶斯学习指导采样。实验表明，不同采样策略在生产力、多样性和效用之间存在权衡，仅优先考虑难度不足以实现优异性能，强调融入结构与类型感知的重要性。