本文第一作者朱子瑞为新加坡国立大学四年级博士生，，，，，本科结业于清华大学，，，，，研究偏向为多模态大模子和后训练优化
。。通讯作者为 TikTok 的 Kanchan Sarkar 和 Kun Xu，，，，，以及新加坡国立大学校长青年教授尤洋先生
。。 奖励模子（Reward Model, RM）是大语言模子对齐的焦点组件，，，，，认真为模子输出提供切合人类偏好的评价信号
。。现有要领各有短板：标量判别式 RM 高效稳固但可诠释性有限；；；天生式 judge 能给出判断理由，，，，，却需为每个样本生生长 reasoning，，，，，token 与延迟开销显著
。。本文提出CAMEL：将奖励建模刷新为置信度门控反思—— 先以单 token 给出初判，，，，，置信度足够高直接输出，，，，，置信度低才触发 reflection 复核
。。要害发明：两个 verdict token 之间的log-probability margin与判断准确性强相关，，，，，可作为 “样本难度” 的零本钱信号
。。效果更强：在 RewardBench、RM-Bench、JudgeBench 上平均准确率82.9%，，，，，较此前最佳提升3.2%，，，，，以14B参数凌驾多个 70B 级奖励模子
。。本钱更低：置信度门控建设更优的准确率 - 本钱 Pareto 前沿，，，，，简朴样本只需1 个 token，，，，，难题样本才进入反思
。。 近期，，，，，包括 DeepSeek DSpark/DeepSpec 在内的一批事情，，，，，使 “按置信度分配盘算” 成为推理系统研究的焦点 —— 盘算预算应当集中在真正不确定、真正有收益的位置
。。而在这批事情之前，，，，，CAMEL 已经在奖励建模中系统地实践了统一原则：让模子先评估自身简直定性，，，，，再决议是否投入反思
。。 在 RLHF、RLAIF 等后训练流程中，，，，，奖励模子饰演 “偏好裁判” 的角色，，，，，为候选回覆给出切合人类偏好的评价
。。它的质量，，，，，直接决议大语言模子最终学到怎样的行为
。。 已往几年，，，，，奖励建模沿两条蹊径生长
。。一类是scalar RM：为回覆输出标量分数，，，，，推理快、训练稳固，，，，，但只有一个数字，，，，，在事实核查、清静界线等细节上诠释力有限；；；另一类是generative judge（LLM-as-a-Judge）：先天生判断理由再给出 verdict，，，，，更透明也更善于玄妙较量，，，，，价钱是每个样本都要支付可观的 token 本钱与推理延迟
。。 然而，，，，，并不是所有偏好较量都需要 “长思索”：对大都样本，，，，，模子可以直接给出可靠判断；；；真正值得反思的，，，，，只是少数不确定、易蜕化的难题样本
。。CAMEL 要回覆的正是：奖励模子究竟什么时间需要 reflection？？ 第一步：单 token 初判
。。给定问题与两个候选回覆，，，，，模子先输出初始 verdict（[[A]] 或 [[B]]）
。。CAMEL 不引入特另外置信度模子，，，，，而是直接使用模子自身的输出漫衍：两个 verdict token 之间的log-probability margin越大，，，，，模子对判断越有掌握；；；margin 越小，，，，，样本越模糊、越难题
。。 第二步：置信度门控反思
。。初判置信度高时，，，，，直接接纳初判、竣事天生；；；置信度低时，，，，，才进入 reflection，，，，，围绕清静性、准确性、相关性、完整性等标准重新较量两个回覆，，，，，给出最终判断
。。由此，，，，，简朴样本获得 scalar RM 式的效率，，，，，难题样本获得 generative judge 式的详尽复核
。。 训练上，，，，，为了阻止反思流于形式、仅仅重复初判，，，，，CAMEL 引入Counterfactual Prefix Augmentation：对每个样本结构强制初判为 A、B 的两个版本，，，，，再用GRPO训练，，，，，奖励只取决于最终 verdict 是否准确—— 初判准确应当确认，，，，，初判过失应当推翻
。。反思由此成为真正的自我修正机制，，，，，且不需要任何特另外人工诠释标注
。。 效果显示：只用单 token 判断的CAMEL-Fast在三个 benchmark 上划分抵达 90.5%、74.8%、65.2%；；；对所有样本反思的CAMEL-Reflection抵达 92.8%、84.2%、71.6%，，，，，平均准确率82.9%，，，，，比此前最佳 baseline 横跨3.2%，，，，，并以14B参数凌驾 LLaMA-3.1-Nemotron-70B、INF-ORM-LLaMA3.1-70B 等 70B 级奖励模子
。。 剖析显示，，，，，准确判断集中在高置信度区域，，，，，过失判断则集中在低置信度区域 ——模子自身的置信度是样本难度的可靠指标
。。这为选择性反思提供了直接依据：只需让低置信样本进入反思
。。对需要高频挪用奖励模子的线上系统而言，，，，，省去无差别的长 reasoning 意味着可观的本钱收益
。。 训练自己还带来一个耐人寻味的征象（confidence shift）：CAMEL 训练后，，，，，置信度漫衍整体左移，，，，，中位数从 23.2 降至 5.9——模子反而变得更守旧了
。。一个可能的诠释是，，，，，模子在训练中学会了识别对最终判断真正要害的 token，，，，，因而在下结论时更为审慎
。。 初判与反思效果的混淆矩阵进一步验证了反思的价值：在 RM-Bench 上，，，，，反思纠正了 1565 个初判过失的样本，，，，，仅把 332 个原本准确的初判改错，，，，，净增益 +1233；；；在 RewardBench 上净增益同样为正（+77）
。。反思带来的是可怀抱的纠错能力，，，，，而非形式化的重复推理
。。 调理置信阈值，，，，，CAMEL 可以在 CAMEL-Fast 与 CAMEL-Reflection 之间一连调理，，，，，安排时可按吞吐、延迟与准确率需求无邪取舍
。。与 RM-R1-DeepSeek-32B 等强天生式奖励模子相比，，，，，CAMEL-Fast仅用 1 个 token即可抵达可比体现，，，，，中等阈值下更能以显著更少的 token 实现逾越 ——CAMEL 不是简朴地把 reasoning 加长，，，，，而是把反思预算集中在最可能带来收益的位置
。。 奖励模子恒久面临效率与表达能力的矛盾：标量模子高效但不透明，，，，，天生式 judge 更强但本钱高
。。CAMEL 用 verdict token 的 log-probability margin 作为零特殊本钱的置信度信号，，，，，先给出轻量初判、须要时才反思，，，，，并通过 counterfactual prefix augmentation 与 GRPO 让反思真正学会确认或纠错
。。 最终，，，，，CAMEL 以 14B 参数在三个主流评测上取得 82.9% 平均准确率、逾越此前最佳 3.2%，，，，，并给出可无邪调理的准确率 - 本钱 Pareto 前沿
。。它所体现的原则，，，，，现在正被推理系统研究普遍验证：不要让模子无差别地思索，，，，，而要把盘算花在真正难题的地方
。。 蚂蚁InTech奖是由蚂蚁集团提倡，，，，，面向对盘算机领域科研前进有要害推行动用的中国青年学者、青年博士揭晓的纯公益性奖项，，，，，分为蚂蚁InTech科技奖与蚂蚁InTech奖学金
。。2026届蚂蚁InTech奖将于7月17日24时阻止申报，，，，，有意向申报的学者/同砚接待扫描海报中二维码举行申报
。。