这项由天津大学与阿里巴巴联合开展的研究以预印本形式宣布于2026年6月，，论文编号为arXiv:2606.29526，，有兴趣深入相识的读者可通过该编号查阅完整论文。。
。。 每隔一段时间，，AI领域就会冒出一种让人眼前一亮的希望——模子能推理了，，能解数学题了，，能写代码了。。
。。背后驱动这些能力的，，有很大一部分收获要归于一种叫做"强化学习"的训练方式。。
。。简朴来说，，强化学习就像是用"对了给糖、错了不给"的方式，，一遍各处训练AI，，让它越来越善于给出准确谜底。。
。。 然而，，这套看起来很美妙的训练机制，，在大语言模子（也就是我们常说的GPT、DeepSeek这类AI）的现实训练中，，却藏着一个恒久被忽视的致命隐患。。
。。天津大学与阿里巴巴的研究团队发明：你以为训练让AI变得更智慧了，，但现实上，，你天无邪正使用的谁人AI版本，，可能基础没有获得改善，，甚至可能变得更差。。
。。 这个发明听起来有些荒唐，，却是货真价实的工程现实。。
。。研究团队为这个问题起了一个专业名字——"目的错位"，，并提出了一套名为MIPU（枯燥推理战略更新）的解决方案。。
。。经由实验验证，，这套方案不但提升了AI的推理效果，，还显著稳固了原本懦弱的训练历程。。
。。 训练一个大语言模子，，就像同时谋齐整家工厂和一家门店。。
。。门店认真展示产品、接待主顾（对应"推理引擎"，，好比vLLM、SGLang）；
；；；；；工厂则认真刷新产品、调解工艺（对应"训练引擎"，，好比Megatron、FSDP）。。
。。门店展示的是最终消耗者使用的产品，，工厂里折腾的是正在改良中的版本。。
。。 在理想天下里，，工厂刷新了产品后，，连忙同步给门店，，双方用的是统一套工具，，天下太平。。
。。但在大语言模子的现实工程中，，这两套系统的底层实现方式保存玄妙的差别——数值精度差别、盘算方式差别、后端架构差别。。
。。这就导致哪怕你把工厂最新版本的模子参数同步给了门店，，门店展示出来的行为，，仍然和工厂里测试的效果有细微的差别。。
。。 研究团队把这两个"两全"划分命名为"训练战略π"（工厂里的谁人）和"推理战略μ"（门店里的谁人）。。
。。它们共享统一套模子参数，，但由于底层实现的差别，，对统一段文字给出的概率评估却并不完全相同。。
。。这种差别，，就是所谓的"训练-推理不匹配"。。
。。 这个问题早就有人知道了，，也有人想过种种调解步伐——好比在盘算时修正一下比例、过滤掉误差太大的样本、降低学习率让更新步子小一点，，等等。。
。。这些要领都在起劲让工厂和门店之间的差别只管小。。
。。 但研究团队发明，，所有这些要领都在回覆统一个问题："怎么让工厂里的产品刷新得更稳固？？？？？？"而他们真正想问的问题是："刷新之后，，门店里展示的产品真的变好了吗？？？？？？" 研究团队用一个清晰的数学不等式道破了问题所在：工厂里的AI变好了（训练战略π的体现提升），，并不可包管门店里用户现实使用的AI也变好了（推理战略μ的体现提升）。。
。。 这里J代表的是"AI在给定使命上能答对几多题"，，下标k和k+1代表训练的前后两步。。
。。公式的意思是：即便工厂在这一轮训练中确实前进了（前者大于即是零），，门店里的谁人版本却未必同步前进，，甚至可能退步。。
。。 为什么会这样？？？？？？以现在最盛行的强化学习算法GRPO为例，，它在训练时做了一件很自然的事：让门店（推理引擎）天生一批谜底，，然后评估这些谜底的优劣，，再用这个评估效果来调解工厂（训练引擎）里的模子。。
。。 问题在于，，整个优化历程盯着的是工厂里的前进，，而不是门店里的前进。。
。。当工厂改良完成、参数同步到门店时，，由于两套系统的底层差别，，门店的现实体现可能和工厂的预期截然差别。。
。。这就像一个厨师在自家厨房（工厂）里调解好了配方，，以为菜肯定更好吃了，，但送到餐厅（门店）的厨房后，，由于灶台火力、锅具材质的差别，，做出来的菜却不如以前——厨师浑然不知，，还以为自己刷新乐成了。。
。。 更玄妙的是，，GRPO在估算"这道菜好欠好"时，，用的是门店厨房里做出来的那批菜的评分，，而不是自家厨房的标准。。
。。当门店和工厂原来就保存差别时，，这个评分自己就带有误差，，即是是用一把禁绝的尺子在量菜。。
。。 研究团队基于这个熟悉，，提出了一个新的目的：强化学习的优化偏向，，应该是让"门店里的AI"枯燥地变得更好，，而不是让"工厂里的AI"变得更好。。
。。他们把这个原则称为MIPI——枯燥推理战略刷新原则。。
。。 第一块是"同步之后，，门店和工厂之间的差别"——即新版本参数同步到门店之后，，门店的现实体现和工厂预期的体现之间的落差。。
。。这个差别代表"这次改良究竟有没有被门店如实泛起出来"。。
。。 第二块是"工厂自身的训练前进"——也就是这一轮训练让工厂里的模子变好了几多。。
。。这是古板强化学习一直在优化的谁人量。。
。。 第一步叫做"以采样方为参照的战略更新"，，主要针对的是上述三块中的后两块合在一起的部分——"工厂相关于门店，，究竟前进了几多"。。
。。 这一步的焦点调解是：改变训练时盘算"更新幅度"的参照系。。
。。古板GRPO在盘算这个幅度时，，用的是工厂旧版本和工厂新版本之间的比值；
；；；；；而MIPU第一步改成用门店版本和工厂新版本之间的比值，，也就是让门店成为权衡前进的基准。。
。。同时，，为了阻止由于门店和工厂之间本就保存的差别带来过大的盘算误差，，研究团队引入了一个截断机制——当门店和工厂的差别过大时，，把这个差别压缩到一个上限以内，，防止它主导整个训练偏向。。
。。这套机制被称为TIS（截断主要性采样）。。
。。 相比之下，，论文中还讨论了两种近似方案：一种是PPO-IS，，直接把整个比值（包括门店工厂差别和目今更新幅度）放在一起做截断，，效果是截断机制经常在模子还没怎么更新时就介入，，把正常的学习信号给压制掉了；
；；；；；另一种是Vanilla-IS，，把差别和更新幅度拆开处理，，但对门店工厂的差别不做任何限制，，一旦某个词在门店里泛起概率极低，，这个差别会变得极大，，导致训练极不稳固。。
。。TIS综合了两者的优点，，保存了拆开处理的结构，，同时对门店工厂差别做了上限截断，，是三者中最稳固的选择。。
。。 这一步的逻辑是：工厂完成了一轮训练、天生了候选的新版本、并同步到了门店之后，，先不要急着接受这个版本作为"真正的新门店"。。
。。而是特殊收罗一批门店的测试样本，，估算一个叫做"同步后推理侧差别署理指标"的量（研究中用T_post体现）。。
。。若是这个指标低于某个阈值，，就说明这次同步很可能是有问题的——门店并没有如实泛起工厂的刷新——那就把这次更新整个回滚，，恢复到上一个版本。。
。。 这个署理指标实质上权衡的是：相比于刚刚同步的新版工厂，，新版门店在好谜底上给的概率是高照旧低？？？？？？若是门店给好谜底的概率反而比工厂低，，说明这次同步泛起了"翻译失真"，，更新应当被拒绝。。
。。 值得一提的是，，研究团队在盘算这个指标时，，专门设计了一种"长度归一化的序列比值"来做主要性修正。。
。。全序列的主要性采样比值在实践中方差极大（想象两段概率都极小的文内情比，，比值会是个天文数字），，长度归一化之后，，这个比值稳固多了，，署理指标的可靠性也因此大幅提升。。
。。 c越大，，代表你越容忍门店体现不如工厂，，也就越禁止易触发回滚；
；；；；；c越小。
。。ㄉ踔廖菏，，代表你要求门店必需比工厂体现更好才接受，，门槛更高。。
。。 研究团队发明，，把c设得太严酷（好比用负数要求正增益）并不是好事。。
。。原因在于：在FP8量化推理（后文会诠释这个看法）的早期阶段，，T_post自然处于较低水平，，若是此时门槛太高，，大宗有益的更新都会被拒绝，，模子学不到工具，，最终障碍在一个较低的性能平台上。。
。。 正因云云，，研究团队为MIPU设计了一个动态容忍度：训练最先的前100步使用较宽松的容忍度，，让模子能顺遂完成早期的有用学习；
；；；；；以后逐步收紧，，过渡到更严酷的标准，，保
；；；；；ず笃谘盗凡槐恢柿坎罹⒌母滤刍扑稹。
。。 现代AI芯片在做盘算时，，需要确定用几多位数字来体现一个数。。
。。位数越多，，精度越高，，但盘算也越慢、越耗内存。。
。。FP16（16位浮点数）是现在常见的训练精度；
；；；；；FP8（8位浮点数）则是把精度砍半，，换取更快的推理速率。。
。。 问题在于，，FP8的精度更低，，同样的模子参数，，用FP8推理出来的效果和用更高精度训练出来的效果之间，，差别会比平时更大。。
。。
；；；；；痪浠八，，FP8量化推剖析人为放大训练引擎和推理引擎之间的"不匹配水平"，，制造出一个高压测试情形。。
。。 研究团队在两个差别规模的模子（阿里巴巴的Qwen3-1.7B和Qwen3-4B，，即参数目划分约为17亿和40亿的版本）上举行了实验，，并与三种基准要领举行较量：标准GRPO基线、MIS（通过过滤极端不匹配样原来稳固训练）、以及LR-decay（通过周期性降低学习率来减缓不匹配的影响）。。
。。 测试笼罩了五个数学推理基准：MATH500（笼罩高中及竞赛数学的大型测试集）、AIME24（美国数学约请赛2024年问题）、AMC23（美国数学竞赛2023年问题）、Minerva（谷歌提出的定量推理评测）、以及OlympiadBench（奥林匹克数学竞赛双语题库）。。
。。 在Qwen3-4B上，，MIPU的平均得分为66.71%，，显着高于标准GRPO的64.42%、MIS的63.42%，，以及LR-decay的65.66%。。
。。详细来看，，AMC23上MIPU抵达85.00%，，Minerva上抵达45.96%，，在各基准中名列前茅。。
。。在Qwen3-1.7B上，，MIPU的平均得分为53.97%，，同样领先于其他要领（基线50.86%、MIS 51.73%、LR-decay 52.23%）。。
。。MATH500上，，MIPU抵达86.52%，，OlympiadBench上抵达59.52%。。
。。 但更令人印象深刻的不是峰值效果，，而是训练稳固性。。
。。标准GRPO、MIS和LR-decay这三种要领，，在训练中途都泛起了差别水平的"瓦解"或"急剧下滑"——性能曲线先攀升，，然后突然坠落。。
。。MIPU的训练曲线则在抵达较高水平后坚持稳固，，直到训练竣事都没有泛起显着的退步迹象。。
。。这一点在训练曲线可视化图中很是清晰。。
。。 研究团队还通过一个叫做"Mismatch-K3"的指标来量化训练引擎和推理引擎之间的现实差别巨细。。
。。这个指标实质上是在盘算两个概率漫衍之间的"误差水平"，，数值越大说明两台机械给出的谜底越纷歧样。。
。。实验中可以看到，，Qwen3-1.7B的不匹配水平显着高于Qwen3-4B，，与之对应的T_post的波动幅度也更大——这说明这个署理指标确着实捕获真实的不匹配信号，，而不是随机噪声。。
。。 只用第一步时，，模子通过更准确的参照系获得了更好的训练信号，，平均得分相比基线有所提升（从64.42%升至65.36%），，但训练历程仍然保存不稳固风险，，由于没有任何机制去过滤"被门店误解"的更新。。
。。 只用第二步时，，模子在某种水平上阻止了瓦解，，但无法提升训练质量——由于第二步依赖的候选更新仍然是有误差的，，好的候选原来就很少，，第二步只是在拒绝更新，，真正有益的候选并没有增多。。
。。效果平均得分反而低于基线（62.81%），，说明纯粹的"守旧拒绝"在没有质量改善的条件下，，并不比什么都不做更好。。
。。 两步连系才抵达了最好的效果，，充分印证了二者的互补关系：第一步爆发质量更高的候选，，第二步筛掉那些"翻译失真"的候选。。
。。 为了进一步扫除"第二步起作用只是由于它拒绝了更多更新"这一可能的诠释，，研究团队还设计了一个"随机回滚"比照组：以同样甚至更高的概率（67%比照第二步的53.5%）随机拒绝更新，，但不凭证任何推理侧信号做判断。。
。。实验效果显示，，随机回滚拒绝了更多次更新，，却仍然泛起了瓦解；
；；；；；而第二步依赖T_post信号有选择地接受或拒绝，，则维持了稳固的训练曲线。。
。。这说明第二步的价值不在于"镌汰更新次数"，，而在于"用对了信号"。。
。。 大宗现有的AI强化学习要领，，都在起劲让"工厂里的谁人AI"变得更好，，却遗忘了用户天天打交道的是"门店里的谁人AI"。。
。。两者之间由于底层系统的差别，，可能保存玄妙但要害的落差。。
。。当这种落差被忽视时，，训练历程看起来在前进，，现实安排效果却可能在悄悄退步，，直到某一刻爆发成肉眼可见的"瓦解"。。
。。 MIPU提供的解法并非重大到无从明确——它实质上是在说Ｔ媚课做完改良之后，，去门店现实量一量，，确认门店的产品真的变好了，，再把这次改良记入档案；
；；；；；若是量了发明门店没变好，，那这次改良就当没爆发。。
。。这个思绪在工业领域着实是知识，，但在大语言模子的强化学习中，，却是真正意义上的首次被系统化地提出并验证。。
。。 虽然，，论文自己也坦承下场限：受制于盘算资源，，实验只笼罩了中小规模模子；
；；；；；动态容忍度参数的设定依赖一些先验履历，，在差别系统和规模下是否能直接迁徙，，仍有待验证。。
。。别的，，第二步现在接纳的是验证集采样来估算推理侧差别，，未来或允许以开发出盘算价钱更低、估算更准确的方式。。
。。 这项研究给我们留下了一个值得思索的问题：在AI的天下里，，尚有几多"优化"着实只是优化了丈量仪器自己，，而非被丈量的工具？？？？？？有兴趣深入探讨的读者，，可通过arXiv编号2606.29526查阅完整论文。。
。。 A：大语言模子的强化学习需要同时运行两套系统——一套用于天生文本的推理引擎，，一套用于盘算梯度和更新参数的训练引擎。。
。。这两套系统出于效率和精度的差别考量，，在数值精度、后端实现等方面保存细节差别。。
。。即便两套系统使用完全相同的模子参数，，对统一段文字盘算出来的概率也会纷歧致。。
。。当使用FP8量化推理来加速天生时，，这种差别会被进一步放大，，训练出来的"工厂版本"和现实安排的"门店版本"之间就会泛起系统性误差。。
。。 A：第二步在候选模子同步到推理引擎之后，，用新的推理引擎采样一批验证样本，，盘算每个谜底的组相对优势（类似于"这个谜底比同批谜底平均水平好几多"），，再乘以一个主要性修正权重（用来赔偿训练引擎和推理引擎之间的概率差别）。。
。。这个修正权重接纳了长度归一化的序列比值，，阻止了全序列主要性采样容易爆发的极端大数问题。。
。。最终T_post取这些乘积的负平均值——若是它显著小于负容忍度c，，说明推理引擎并没有如实泛起训练引擎的刷新，，更新被拒绝。。
。。 A：MIS和LR-decay都在试图让训练历程自己更稳固，，焦点目的仍然是优化训练引擎里的模子体现，，只是通过过滤样本或降低学习率来镌汰不匹配造成的滋扰。。
。。MIPU则在目的层面做了根天性的转变——它不再以训练引擎的体现改善为最终标准，，而是直接以推理引擎的体现改善为优化目的。。
。。
；；；；；痪浠八，，前两者是在改善"工厂的生产稳固性"，，MIPU是在直接磨练"门店的产品是否真的变好了"，，并以此决议是否接受这次改良。。
。。