本文第一作者朱子瑞为新加坡国立大学四年级博士生，，本科结业于清华大学，，研究偏向为多模态大模子和后训练优化。。通讯作者为 TikTok 的 Kanchan Sarkar 和 Kun Xu，，以及新加坡国立大学校长青年教授尤洋先生。。 奖励模子（Reward Model, RM）是大语言模子对齐的焦点组件，，认真为模子输出提供切合人类偏好的评价信号。。现有要领各有短板：标量判别式 RM 高效稳固但可诠释性有限；；；；；天生式 judge 能给出判断理由，，却需为每个样本生生长 reasoning，，token 与延迟开销显著。。本文提出CAMEL：将奖励建模刷新为置信度门控反思—— 先以单 token 给出初判，，置信度足够高直接输出，，置信度低才触发 reflection 复核。。要害发明：两个 verdict token 之间的log-probability margin与判断准确性强相关，，可作为 “样本难度” 的零本钱信号。。效果更强：在 RewardBench、RM-Bench、JudgeBench 上平均准确率82.9%，，较此前最佳提升3.2%，，以14B参数凌驾多个 70B 级奖励模子。。本钱更低：置信度门控建设更优的准确率 - 本钱 Pareto 前沿，，简朴样本只需1 个 token，，难题样本才进入反思。。 近期，，包括 DeepSeek DSpark/DeepSpec 在内的一批事情，，使 “按置信度分配盘算” 成为推理系统研究的焦点 —— 盘算预算应当集中在真正不确定、真正有收益的位置。。而在这批事情之前，，CAMEL 已经在奖励建模中系统地实践了统一原则：让模子先评估自身简直定性，，再决议是否投入反思。。 在 RLHF、RLAIF 等后训练流程中，，奖励模子饰演 “偏好裁判” 的角色，，为候选回覆给出切合人类偏好的评价。。它的质量，，直接决议大语言模子最终学到怎样的行为。。 已往几年，，奖励建模沿两条蹊径生长。。一类是scalar RM：为回覆输出标量分数，，推理快、训练稳固，，但只有一个数字，，在事实核查、清静界线等细节上诠释力有限；；；；；另一类是generative judge（LLM-as-a-Judge）：先天生判断理由再给出 verdict，，更透明也更善于玄妙较量，，价钱是每个样本都要支付可观的 token 本钱与推理延迟。。 然而，，并不是所有偏好较量都需要 “长思索”：对大都样本，，模子可以直接给出可靠判断；；；；；真正值得反思的，，只是少数不确定、易蜕化的难题样本。。CAMEL 要回覆的正是：奖励模子究竟什么时间需要 reflection？？？？？ 第一步：单 token 初判。。给定问题与两个候选回覆，，模子先输出初始 verdict（[[A]] 或 [[B]]）。。CAMEL 不引入特另外置信度模子，，而是直接使用模子自身的输出漫衍：两个 verdict token 之间的log-probability margin越大，，模子对判断越有掌握；；；；；margin 越小，，样本越模糊、越难题。。 第二步：置信度门控反思。。初判置信度高时，，直接接纳初判、竣事天生；；；；；置信度低时，，才进入 reflection，，围绕清静性、准确性、相关性、完整性等标准重新较量两个回覆，，给出最终判断。。由此，，简朴样本获得 scalar RM 式的效率，，难题样本获得 generative judge 式的详尽复核。。 训练上，，为了阻止反思流于形式、仅仅重复初判，，CAMEL 引入Counterfactual Prefix Augmentation：对每个样本结构强制初判为 A、B 的两个版本，，再用GRPO训练，，奖励只取决于最终 verdict 是否准确—— 初判准确应当确认，，初判过失应当推翻。。反思由此成为真正的自我修正机制，，且不需要任何特另外人工诠释标注。。 效果显示：只用单 token 判断的CAMEL-Fast在三个 benchmark 上划分抵达 90.5%、74.8%、65.2%；；；；；对所有样本反思的CAMEL-Reflection抵达 92.8%、84.2%、71.6%，，平均准确率82.9%，，比此前最佳 baseline 横跨3.2%，，并以14B参数凌驾 LLaMA-3.1-Nemotron-70B、INF-ORM-LLaMA3.1-70B 等 70B 级奖励模子。。 剖析显示，，准确判断集中在高置信度区域，，过失判断则集中在低置信度区域 ——模子自身的置信度是样本难度的可靠指标。。这为选择性反思提供了直接依据：只需让低置信样本进入反思。。对需要高频挪用奖励模子的线上系统而言，，省去无差别的长 reasoning 意味着可观的本钱收益。。 训练自己还带来一个耐人寻味的征象（confidence shift）：CAMEL 训练后，，置信度漫衍整体左移，，中位数从 23.2 降至 5.9——模子反而变得更守旧了。。一个可能的诠释是，，模子在训练中学会了识别对最终判断真正要害的 token，，因而在下结论时更为审慎。。 初判与反思效果的混淆矩阵进一步验证了反思的价值：在 RM-Bench 上，，反思纠正了 1565 个初判过失的样本，，仅把 332 个原本准确的初判改错，，净增益 +1233；；；；；在 RewardBench 上净增益同样为正（+77）。。反思带来的是可怀抱的纠错能力，，而非形式化的重复推理。。 调理置信阈值，，CAMEL 可以在 CAMEL-Fast 与 CAMEL-Reflection 之间一连调理，，安排时可按吞吐、延迟与准确率需求无邪取舍。。与 RM-R1-DeepSeek-32B 等强天生式奖励模子相比，，CAMEL-Fast仅用 1 个 token即可抵达可比体现，，中等阈值下更能以显著更少的 token 实现逾越 ——CAMEL 不是简朴地把 reasoning 加长，，而是把反思预算集中在最可能带来收益的位置。。 奖励模子恒久面临效率与表达能力的矛盾：标量模子高效但不透明，，天生式 judge 更强但本钱高。。CAMEL 用 verdict token 的 log-probability margin 作为零特殊本钱的置信度信号，，先给出轻量初判、须要时才反思，，并通过 counterfactual prefix augmentation 与 GRPO 让反思真正学会确认或纠错。。 最终，，CAMEL 以 14B 参数在三个主流评测上取得 82.9% 平均准确率、逾越此前最佳 3.2%，，并给出可无邪调理的准确率 - 本钱 Pareto 前沿。。它所体现的原则，，现在正被推理系统研究普遍验证：不要让模子无差别地思索，，而要把盘算花在真正难题的地方。。 蚂蚁InTech奖是由蚂蚁集团提倡，，面向对盘算机领域科研前进有要害推行动用的中国青年学者、青年博士揭晓的纯公益性奖项，，分为蚂蚁InTech科技奖与蚂蚁InTech奖学金。。2026届蚂蚁InTech奖将于7月17日24时阻止申报，，有意向申报的学者/同砚接待扫描海报中二维码举行申报。。