摘要
本文提出了自一致性强化学习训练（Self-CTRL）方法，旨在优化语言模型的自我解释与其实际行为之间的一致性。该方法通过更新解释以更好预测行为，或调整行为以匹配解释来实现目标。在概率推理和宪法 AI 两个领域的实验表明，该方法显著提升了模型偏差报告的相关性及拒绝预测的准确性，同时大幅降低了有害响应率，为训练更安全、透明且可控的 AI 模型提供了通用方案。
AI 推荐理由
论文提出 Self-CTRL 方法，通过强化学习优化模型行为与解释的一致性，实现自我改进和对齐，属于典型的自我进化研究。
研究机构
MIT CSAIL
论文信息