摘要
针对大语言模型在解决高难度任务时因校准不足导致计算成本高昂的问题，本文提出在线推理校准（ORCA）框架。该框架结合共形预测与测试时训练，引入元学习过程为每个输入动态更新校准模块，从而在分布偏移下提供有效的置信度估计。实验表明，ORCA 在不同推理任务中显著提升了效率与泛化能力，在保持低错误率的同时大幅减少了计算开销，且适用于多种模型家族。
AI 推荐理由
论文核心研究推理过程中的校准机制，通过测试时训练提升推理效率与泛化能力。
研究机构
Department of Electrical Engineering and Computer Science (MIT EECS)
Computer Science and Artificial Intelligence Laboratory (MIT CSAIL)
Laboratory for Information and Decision Systems (MIT LIDS)
论文信息