这项由天津大学与阿里巴巴联合开展的研究以预印本形式宣布于2026年6月，，，论文编号为arXiv:2606.29526，，，有兴趣深入相识的读者可通过该编号查阅完整论文。。。
。。 每隔一段时间，，，AI领域就会冒出一种让人眼前一亮的希望——模子能推理了，，，能解数学题了，，，能写代码了。。。
。。背后驱动这些能力的，，，有很大一部分收获要归于一种叫做"强化学习"的训练方式。。。
。。简朴来说，，，强化学习就像是用"对了给糖、错了不给"的方式，，，一遍各处训练AI，，，让它越来越善于给出准确谜底。。。
。。 然而，，，这套看起来很美妙的训练机制，，，在大语言模子（也就是我们常说的GPT、DeepSeek这类AI）的现实训练中，，，却藏着一个恒久被忽视的致命隐患。。。
。。天津大学与阿里巴巴的研究团队发明：你以为训练让AI变得更智慧了，，，但现实上，，，你天无邪正使用的谁人AI版本，，，可能基础没有获得改善，，，甚至可能变得更差。。。
。。 这个发明听起来有些荒唐，，，却是货真价实的工程现实。。。
。。研究团队为这个问题起了一个专业名字——"目的错位"，，，并提出了一套名为MIPU（枯燥推理战略更新）的解决方案。。。
。。经由实验验证，，，这套方案不但提升了AI的推理效果，，，还显著稳固了原本懦弱的训练历程。。。
。。 训练一个大语言模子，，，就像同时谋齐整家工厂和一家门店。。。
。。门店认真展示产品、接待主顾（对应"推理引擎"，，，好比vLLM、SGLang）；；工厂则认真刷新产品、调解工艺（对应"训练引擎"，，，好比Megatron、FSDP）。。。
。。门店展示的是最终消耗者使用的产品，，，工厂里折腾的是正在改良中的版本。。。
。。 在理想天下里，，，工厂刷新了产品后，，，连忙同步给门店，，，双方用的是统一套工具，，，天下太平。。。
。。但在大语言模子的现实工程中，，，这两套系统的底层实现方式保存玄妙的差别——数值精度差别、盘算方式差别、后端架构差别。。。
。。这就导致哪怕你把工厂最新版本的模子参数同步给了门店，，，门店展示出来的行为，，，仍然和工厂里测试的效果有细微的差别。。。
。。 研究团队把这两个"两全"划分命名为"训练战略π"（工厂里的谁人）和"推理战略μ"（门店里的谁人）。。。
。。它们共享统一套模子参数，，，但由于底层实现的差别，，，对统一段文字给出的概率评估却并不完全相同。。。
。。这种差别，，，就是所谓的"训练-推理不匹配"。。。
。。 这个问题早就有人知道了，，，也有人想过种种调解步伐——好比在盘算时修正一下比例、过滤掉误差太大的样本、降低学习率让更新步子小一点，，，等等。。。
。。这些要领都在起劲让工厂和门店之间的差别只管小。。。
。。 但研究团队发明，，，所有这些要领都在回覆统一个问题："怎么让工厂里的产品刷新得更稳固？？？"而他们真正想问的问题是："刷新之后，，，门店里展示的产品真的变好了吗？？？" 研究团队用一个清晰的数学不等式道破了问题所在：工厂里的AI变好了（训练战略π的体现提升），，，并不可包管门店里用户现实使用的AI也变好了（推理战略μ的体现提升）。。。
。。 这里J代表的是"AI在给定使命上能答对几多题"，，，下标k和k+1代表训练的前后两步。。。
。。公式的意思是：即便工厂在这一轮训练中确实前进了（前者大于即是零），，，门店里的谁人版本却未必同步前进，，，甚至可能退步。。。
。。 为什么会这样？？？以现在最盛行的强化学习算法GRPO为例，，，它在训练时做了一件很自然的事：让门店（推理引擎）天生一批谜底，，，然后评估这些谜底的优劣，，，再用这个评估效果来调解工厂（训练引擎）里的模子。。。
。。 问题在于，，，整个优化历程盯着的是工厂里的前进，，，而不是门店里的前进。。。
。。当工厂改良完成、参数同步到门店时，，，由于两套系统的底层差别，，，门店的现实体现可能和工厂的预期截然差别。。。
。。这就像一个厨师在自家厨房（工厂）里调解好了配方，，，以为菜肯定更好吃了，，，但送到餐厅（门店）的厨房后，，，由于灶台火力、锅具材质的差别，，，做出来的菜却不如以前——厨师浑然不知，，，还以为自己刷新乐成了。。。
。。 更玄妙的是，，，GRPO在估算"这道菜好欠好"时，，，用的是门店厨房里做出来的那批菜的评分，，，而不是自家厨房的标准。。。
。。当门店和工厂原来就保存差别时，，，这个评分自己就带有误差，，，即是是用一把禁绝的尺子在量菜。。。
。。 研究团队基于这个熟悉，，，提出了一个新的目的：强化学习的优化偏向，，，应该是让"门店里的AI"枯燥地变得更好，，，而不是让"工厂里的AI"变得更好。。。
。。他们把这个原则称为MIPI——枯燥推理战略刷新原则。。。
。。 第一块是"同步之后，，，门店和工厂之间的差别"——即新版本参数同步到门店之后，，，门店的现实体现和工厂预期的体现之间的落差。。。
。。这个差别代表"这次改良究竟有没有被门店如实泛起出来"。。。
。。 第二块是"工厂自身的训练前进"——也就是这一轮训练让工厂里的模子变好了几多。。。
。。这是古板强化学习一直在优化的谁人量。。。
。。 第一步叫做"以采样方为参照的战略更新"，，，主要针对的是上述三块中的后两块合在一起的部分——"工厂相关于门店，，，究竟前进了几多"。。。
。。 这一步的焦点调解是：改变训练时盘算"更新幅度"的参照系。。。
。。古板GRPO在盘算这个幅度时，，，用的是工厂旧版本和工厂新版本之间的比值；；而MIPU第一步改成用门店版本和工厂新版本之间的比值，，，也就是让门店成为权衡前进的基准。。。
。。同时，，，为了阻止由于门店和工厂之间本就保存的差别带来过大的盘算误差，，，研究团队引入了一个截断机制——当门店和工厂的差别过大时，，，把这个差别压缩到一个上限以内，，，防止它主导整个训练偏向。。。
。。这套机制被称为TIS（截断主要性采样）。。。
。。 相比之下，，，论文中还讨论了两种近似方案：一种是PPO-IS，，，直接把整个比值（包括门店工厂差别和目今更新幅度）放在一起做截断，，，效果是截断机制经常在模子还没怎么更新时就介入，，，把正常的学习信号给压制掉了；；另一种是Vanilla-IS，，，把差别和更新幅度拆开处理，，，但对门店工厂的差别不做任何限制，，，一旦某个词在门店里泛起概率极低，，，这个差别会变得极大，，，导致训练极不稳固。。。
。。TIS综合了两者的优点，，，保存了拆开处理的结构，，，同时对门店工厂差别做了上限截断，，，是三者中最稳固的选择。。。
。。 这一步的逻辑是：工厂完成了一轮训练、天生了候选的新版本、并同步到了门店之后，，，先不要急着接受这个版本作为"真正的新门店"。。。
。。而是特殊收罗一批门店的测试样本，，，估算一个叫做"同步后推理侧差别署理指标"的量（研究中用T_post体现）。。。
。。若是这个指标低于某个阈值，，，就说明这次同步很可能是有问题的——门店并没有如实泛起工厂的刷新——那就把这次更新整个回滚，，，恢复到上一个版本。。。
。。 这个署理指标实质上权衡的是：相比于刚刚同步的新版工厂，，，新版门店在好谜底上给的概率是高照旧低？？？若是门店给好谜底的概率反而比工厂低，，，说明这次同步泛起了"翻译失真"，，，更新应当被拒绝。。。
。。 值得一提的是，，，研究团队在盘算这个指标时，，，专门设计了一种"长度归一化的序列比值"来做主要性修正。。。
。。全序列的主要性采样比值在实践中方差极大（想象两段概率都极小的文内情比，，，比值会是个天文数字），，，长度归一化之后，，，这个比值稳固多了，，，署理指标的可靠性也因此大幅提升。。。
。。 c越大，，，代表你越容忍门店体现不如工厂，，，也就越禁止易触发回滚；；c越。。。
。。ㄉ踔廖菏，，，代表你要求门店必需比工厂体现更好才接受，，，门槛更高。。。
。。 研究团队发明，，，把c设得太严酷（好比用负数要求正增益）并不是好事。。。
。。原因在于：在FP8量化推理（后文会诠释这个看法）的早期阶段，，，T_post自然处于较低水平，，，若是此时门槛太高，，，大宗有益的更新都会被拒绝，，，模子学不到工具，，，最终障碍在一个较低的性能平台上。。。
。。 正因云云，，，研究团队为MIPU设计了一个动态容忍度：训练最先的前100步使用较宽松的容忍度，，，让模子能顺遂完成早期的有用学习；；以后逐步收紧，，，过渡到更严酷的标准，，，；；ず笃谘盗凡槐恢柿坎罹⒌母滤刍扑。。。
。。 现代AI芯片在做盘算时，，，需要确定用几多位数字来体现一个数。。。
。。位数越多，，，精度越高，，，但盘算也越慢、越耗内存。。。
。。FP16（16位浮点数）是现在常见的训练精度；；FP8（8位浮点数）则是把精度砍半，，，换取更快的推理速率。。。
。。 问题在于，，，FP8的精度更低，，，同样的模子参数，，，用FP8推理出来的效果和用更高精度训练出来的效果之间，，，差别会比平时更大。。。
。；；痪浠八，，，FP8量化推剖析人为放大训练引擎和推理引擎之间的"不匹配水平"，，，制造出一个高压测试情形。。。
。。 研究团队在两个差别规模的模子（阿里巴巴的Qwen3-1.7B和Qwen3-4B，，，即参数目划分约为17亿和40亿的版本）上举行了实验，，，并与三种基准要领举行较量：标准GRPO基线、MIS（通过过滤极端不匹配样原来稳固训练）、以及LR-decay（通过周期性降低学习率来减缓不匹配的影响）。。。
。。 测试笼罩了五个数学推理基准：MATH500（笼罩高中及竞赛数学的大型测试集）、AIME24（美国数学约请赛2024年问题）、AMC23（美国数学竞赛2023年问题）、Minerva（谷歌提出的定量推理评测）、以及OlympiadBench（奥林匹克数学竞赛双语题库）。。。
。。 在Qwen3-4B上，，，MIPU的平均得分为66.71%，，，显着高于标准GRPO的64.42%、MIS的63.42%，，，以及LR-decay的65.66%。。。
。。详细来看，，，AMC23上MIPU抵达85.00%，，，Minerva上抵达45.96%，，，在各基准中名列前茅。。。
。。在Qwen3-1.7B上，，，MIPU的平均得分为53.97%，，，同样领先于其他要领（基线50.86%、MIS 51.73%、LR-decay 52.23%）。。。
。。MATH500上，，，MIPU抵达86.52%，，，OlympiadBench上抵达59.52%。。。
。。 但更令人印象深刻的不是峰值效果，，，而是训练稳固性。。。
。。标准GRPO、MIS和LR-decay这三种要领，，，在训练中途都泛起了差别水平的"瓦解"或"急剧下滑"——性能曲线先攀升，，，然后突然坠落。。。
。。MIPU的训练曲线则在抵达较高水平后坚持稳固，，，直到训练竣事都没有泛起显着的退步迹象。。。
。。这一点在训练曲线可视化图中很是清晰。。。
。。 研究团队还通过一个叫做"Mismatch-K3"的指标来量化训练引擎和推理引擎之间的现实差别巨细。。。
。。这个指标实质上是在盘算两个概率漫衍之间的"误差水平"，，，数值越大说明两台机械给出的谜底越纷歧样。。。
。。实验中可以看到，，，Qwen3-1.7B的不匹配水平显着高于Qwen3-4B，，，与之对应的T_post的波动幅度也更大——这说明这个署理指标确着实捕获真实的不匹配信号，，，而不是随机噪声。。。
。。 只用第一步时，，，模子通过更准确的参照系获得了更好的训练信号，，，平均得分相比基线有所提升（从64.42%升至65.36%），，，但训练历程仍然保存不稳固风险，，，由于没有任何机制去过滤"被门店误解"的更新。。。
。。 只用第二步时，，，模子在某种水平上阻止了瓦解，，，但无法提升训练质量——由于第二步依赖的候选更新仍然是有误差的，，，好的候选原来就很少，，，第二步只是在拒绝更新，，，真正有益的候选并没有增多。。。
。。效果平均得分反而低于基线（62.81%），，，说明纯粹的"守旧拒绝"在没有质量改善的条件下，，，并不比什么都不做更好。。。
。。 两步连系才抵达了最好的效果，，，充分印证了二者的互补关系：第一步爆发质量更高的候选，，，第二步筛掉那些"翻译失真"的候选。。。
。。 为了进一步扫除"第二步起作用只是由于它拒绝了更多更新"这一可能的诠释，，，研究团队还设计了一个"随机回滚"比照组：以同样甚至更高的概率（67%比照第二步的53.5%）随机拒绝更新，，，但不凭证任何推理侧信号做判断。。。
。。实验效果显示，，，随机回滚拒绝了更多次更新，，，却仍然泛起了瓦解；；而第二步依赖T_post信号有选择地接受或拒绝，，，则维持了稳固的训练曲线。。。
。。这说明第二步的价值不在于"镌汰更新次数"，，，而在于"用对了信号"。。。
。。 大宗现有的AI强化学习要领，，，都在起劲让"工厂里的谁人AI"变得更好，，，却遗忘了用户天天打交道的是"门店里的谁人AI"。。。
。。两者之间由于底层系统的差别，，，可能保存玄妙但要害的落差。。。
。。当这种落差被忽视时，，，训练历程看起来在前进，，，现实安排效果却可能在悄悄退步，，，直到某一刻爆发成肉眼可见的"瓦解"。。。
。。 MIPU提供的解法并非重大到无从明确——它实质上是在说Ｔ媚课做完改良之后，，，去门店现实量一量，，，确认门店的产品真的变好了，，，再把这次改良记入档案；；若是量了发明门店没变好，，，那这次改良就当没爆发。。。
。。这个思绪在工业领域着实是知识，，，但在大语言模子的强化学习中，，，却是真正意义上的首次被系统化地提出并验证。。。
。。 虽然，，，论文自己也坦承下场限：受制于盘算资源，，，实验只笼罩了中小规模模子；；动态容忍度参数的设定依赖一些先验履历，，，在差别系统和规模下是否能直接迁徙，，，仍有待验证。。。
。。别的，，，第二步现在接纳的是验证集采样来估算推理侧差别，，，未来或允许以开发出盘算价钱更低、估算更准确的方式。。。
。。 这项研究给我们留下了一个值得思索的问题：在AI的天下里，，，尚有几多"优化"着实只是优化了丈量仪器自己，，，而非被丈量的工具？？？有兴趣深入探讨的读者，，，可通过arXiv编号2606.29526查阅完整论文。。。
。。 A：大语言模子的强化学习需要同时运行两套系统——一套用于天生文本的推理引擎，，，一套用于盘算梯度和更新参数的训练引擎。。。
。。这两套系统出于效率和精度的差别考量，，，在数值精度、后端实现等方面保存细节差别。。。
。。即便两套系统使用完全相同的模子参数，，，对统一段文字盘算出来的概率也会纷歧致。。。
。。当使用FP8量化推理来加速天生时，，，这种差别会被进一步放大，，，训练出来的"工厂版本"和现实安排的"门店版本"之间就会泛起系统性误差。。。
。。 A：第二步在候选模子同步到推理引擎之后，，，用新的推理引擎采样一批验证样本，，，盘算每个谜底的组相对优势（类似于"这个谜底比同批谜底平均水平好几多"），，，再乘以一个主要性修正权重（用来赔偿训练引擎和推理引擎之间的概率差别）。。。
。。这个修正权重接纳了长度归一化的序列比值，，，阻止了全序列主要性采样容易爆发的极端大数问题。。。
。。最终T_post取这些乘积的负平均值——若是它显著小于负容忍度c，，，说明推理引擎并没有如实泛起训练引擎的刷新，，，更新被拒绝。。。
。。 A：MIS和LR-decay都在试图让训练历程自己更稳固，，，焦点目的仍然是优化训练引擎里的模子体现，，，只是通过过滤样本或降低学习率来镌汰不匹配造成的滋扰。。。
。。MIPU则在目的层面做了根天性的转变——它不再以训练引擎的体现改善为最终标准，，，而是直接以推理引擎的体现改善为优化目的。。。
。；；痪浠八，，，前两者是在改善"工厂的生产稳固性"，，，MIPU是在直接磨练"门店的产品是否真的变好了"，，，并以此决议是否接受这次改良。。。
。。