code evaluation preference learning LLM judge rationale alignment
摘要

成对人类偏好预测是评估代码生成系统的核心,其质量常取决于功能正确性之外的任务特定权衡。虽然基于评分标准的 LLM 评判器通过将评估分解为明确准则提升了可解释性,但现有流程多为单点式,即独立评分后聚合比较。本文提出 CriterAlign,一种以准则为核心的框架,通过直接进行准则级成对判断、基于平局的准则细化、交换一致性过滤及最终成对合成,适配成对偏好评估。此外,引入人类偏好对齐指导(HPAG),从训练样本中提取人类偏好与单体评判器预测间的理由差距并注入各模块。实验表明该方法显著提升了评判准确率。

AI 推荐理由

论文聚焦代码偏好判断中的推理对齐,通过准则级推理提升评估准确性。

研究机构
KAUST ByuDance
论文信息
作者 Zhenyu Li, Aleksandar Cvejic, Zehui Chen, Peter Wonka
发布日期 2026-05-19
arXiv ID 2605.19665
相关性评分 8/10 (高度相关)