这项由天津大学与阿里巴巴联合开展的研究以预印本形式宣布于2026年6月，
，，，
，论文编号为arXiv:2606.29526，
，，，
，有兴趣深入相识的读者可通过该编号查阅完整论文。。。。 每隔一段时间，
，，，
，AI领域就会冒出一种让人眼前一亮的希望——模子能推理了，
，，，
，能解数学题了，
，，，
，能写代码了。。。。背后驱动这些能力的，
，，，
，有很大一部分收获要归于一种叫做"强化学习"的训练方式。。。。简朴来说，
，，，
，强化学习就像是用"对了给糖、错了不给"的方式，
，，，
，一遍各处训练AI，
，，，
，让它越来越善于给出准确谜底。。。。 然而，
，，，
，这套看起来很美妙的训练机制，
，，，
，在大语言模子（也就是我们常说的GPT、DeepSeek这类AI）的现实训练中，
，，，
，却藏着一个恒久被忽视的致命隐患。。。。天津大学与阿里巴巴的研究团队发明：你以为训练让AI变得更智慧了，
，，，
，但现实上，
，，，
，你天无邪正使用的谁人AI版本，
，，，
，可能基础没有获得改善，
，，，
，甚至可能变得更差。。。。 这个发明听起来有些荒唐，
，，，
，却是货真价实的工程现实。。。。研究团队为这个问题起了一个专业名字——"目的错位"，
，，，
，并提出了一套名为MIPU（枯燥推理战略更新）的解决方案。。。。经由实验验证，
，，，
，这套方案不但提升了AI的推理效果，
，，，
，还显著稳固了原本懦弱的训练历程。。。。 训练一个大语言模子，
，，，
，就像同时谋齐整家工厂和一家门店。。。。门店认真展示产品、接待主顾（对应"推理引擎"，
，，，
，好比vLLM、SGLang）；；工厂则认真刷新产品、调解工艺（对应"训练引擎"，
，，，
，好比Megatron、FSDP）。。。。门店展示的是最终消耗者使用的产品，
，，，
，工厂里折腾的是正在改良中的版本。。。。 在理想天下里，
，，，
，工厂刷新了产品后，
，，，
，连忙同步给门店，
，，，
，双方用的是统一套工具，
，，，
，天下太平。。。。但在大语言模子的现实工程中，
，，，
，这两套系统的底层实现方式保存玄妙的差别——数值精度差别、盘算方式差别、后端架构差别。。。。这就导致哪怕你把工厂最新版本的模子参数同步给了门店，
，，，
，门店展示出来的行为，
，，，
，仍然和工厂里测试的效果有细微的差别。。。。 研究团队把这两个"两全"划分命名为"训练战略π"（工厂里的谁人）和"推理战略μ"（门店里的谁人）。。。。它们共享统一套模子参数，
，，，
，但由于底层实现的差别，
，，，
，对统一段文字给出的概率评估却并不完全相同。。。。这种差别，
，，，
，就是所谓的"训练-推理不匹配"。。。。 这个问题早就有人知道了，
，，，
，也有人想过种种调解步伐——好比在盘算时修正一下比例、过滤掉误差太大的样本、降低学习率让更新步子小一点，
，，，
，等等。。。。这些要领都在起劲让工厂和门店之间的差别只管小。。。。 但研究团队发明，
，，，
，所有这些要领都在回覆统一个问题："怎么让工厂里的产品刷新得更稳固？？？"而他们真正想问的问题是："刷新之后，
，，，
，门店里展示的产品真的变好了吗？？？" 研究团队用一个清晰的数学不等式道破了问题所在：工厂里的AI变好了（训练战略π的体现提升），
，，，
，并不可包管门店里用户现实使用的AI也变好了（推理战略μ的体现提升）。。。。 这里J代表的是"AI在给定使命上能答对几多题"，
，，，
，下标k和k+1代表训练的前后两步。。。。公式的意思是：即便工厂在这一轮训练中确实前进了（前者大于即是零），
，，，
，门店里的谁人版本却未必同步前进，
，，，
，甚至可能退步。。。。 为什么会这样？？？以现在最盛行的强化学习算法GRPO为例，
，，，
，它在训练时做了一件很自然的事：让门店（推理引擎）天生一批谜底，
，，，
，然后评估这些谜底的优劣，
，，，
，再用这个评估效果来调解工厂（训练引擎）里的模子。。。。 问题在于，
，，，
，整个优化历程盯着的是工厂里的前进，
，，，
，而不是门店里的前进。。。。当工厂改良完成、参数同步到门店时，
，，，
，由于两套系统的底层差别，
，，，
，门店的现实体现可能和工厂的预期截然差别。。。。这就像一个厨师在自家厨房（工厂）里调解好了配方，
，，，
，以为菜肯定更好吃了，
，，，
，但送到餐厅（门店）的厨房后，
，，，
，由于灶台火力、锅具材质的差别，
，，，
，做出来的菜却不如以前——厨师浑然不知，
，，，
，还以为自己刷新乐成了。。。。 更玄妙的是，
，，，
，GRPO在估算"这道菜好欠好"时，
，，，
，用的是门店厨房里做出来的那批菜的评分，
，，，
，而不是自家厨房的标准。。。。当门店和工厂原来就保存差别时，
，，，
，这个评分自己就带有误差，
，，，
，即是是用一把禁绝的尺子在量菜。。。。 研究团队基于这个熟悉，
，，，
，提出了一个新的目的：强化学习的优化偏向，
，，，
，应该是让"门店里的AI"枯燥地变得更好，
，，，
，而不是让"工厂里的AI"变得更好。。。。他们把这个原则称为MIPI——枯燥推理战略刷新原则。。。。 第一块是"同步之后，
，，，
，门店和工厂之间的差别"——即新版本参数同步到门店之后，
，，，
，门店的现实体现和工厂预期的体现之间的落差。。。。这个差别代表"这次改良究竟有没有被门店如实泛起出来"。。。。 第二块是"工厂自身的训练前进"——也就是这一轮训练让工厂里的模子变好了几多。。。。这是古板强化学习一直在优化的谁人量。。。。 第一步叫做"以采样方为参照的战略更新"，
，，，
，主要针对的是上述三块中的后两块合在一起的部分——"工厂相关于门店，
，，，
，究竟前进了几多"。。。。 这一步的焦点调解是：改变训练时盘算"更新幅度"的参照系。。。。古板GRPO在盘算这个幅度时，
，，，
，用的是工厂旧版本和工厂新版本之间的比值；；而MIPU第一步改成用门店版本和工厂新版本之间的比值，
，，，
，也就是让门店成为权衡前进的基准。。。。同时，
，，，
，为了阻止由于门店和工厂之间本就保存的差别带来过大的盘算误差，
，，，
，研究团队引入了一个截断机制——当门店和工厂的差别过大时，
，，，
，把这个差别压缩到一个上限以内，
，，，
，防止它主导整个训练偏向。。。。这套机制被称为TIS（截断主要性采样）。。。。 相比之下，
，，，
，论文中还讨论了两种近似方案：一种是PPO-IS，
，，，
，直接把整个比值（包括门店工厂差别和目今更新幅度）放在一起做截断，
，，，
，效果是截断机制经常在模子还没怎么更新时就介入，
，，，
，把正常的学习信号给压制掉了；；另一种是Vanilla-IS，
，，，
，把差别和更新幅度拆开处理，
，，，
，但对门店工厂的差别不做任何限制，
，，，
，一旦某个词在门店里泛起概率极低，
，，，
，这个差别会变得极大，
，，，
，导致训练极不稳固。。。。TIS综合了两者的优点，
，，，
，保存了拆开处理的结构，
，，，
，同时对门店工厂差别做了上限截断，
，，，
，是三者中最稳固的选择。。。。 这一步的逻辑是：工厂完成了一轮训练、天生了候选的新版本、并同步到了门店之后，
，，，
，先不要急着接受这个版本作为"真正的新门店"。。。。而是特殊收罗一批门店的测试样本，
，，，
，估算一个叫做"同步后推理侧差别署理指标"的量（研究中用T_post体现）。。。。若是这个指标低于某个阈值，
，，，
，就说明这次同步很可能是有问题的——门店并没有如实泛起工厂的刷新——那就把这次更新整个回滚，
，，，
，恢复到上一个版本。。。。 这个署理指标实质上权衡的是：相比于刚刚同步的新版工厂，
，，，
，新版门店在好谜底上给的概率是高照旧低？？？若是门店给好谜底的概率反而比工厂低，
，，，
，说明这次同步泛起了"翻译失真"，
，，，
，更新应当被拒绝。。。。 值得一提的是，
，，，
，研究团队在盘算这个指标时，
，，，
，专门设计了一种"长度归一化的序列比值"来做主要性修正。。。。全序列的主要性采样比值在实践中方差极大（想象两段概率都极小的文内情比，
，，，
，比值会是个天文数字），
，，，
，长度归一化之后，
，，，
，这个比值稳固多了，
，，，
，署理指标的可靠性也因此大幅提升。。。。 c越大，
，，，
，代表你越容忍门店体现不如工厂，
，，，
，也就越禁止易触发回滚；；c越小。。。ㄉ踔廖菏，
，，，
，代表你要求门店必需比工厂体现更好才接受，
，，，
，门槛更高。。。。 研究团队发明，
，，，
，把c设得太严酷（好比用负数要求正增益）并不是好事。。。。原因在于：在FP8量化推理（后文会诠释这个看法）的早期阶段，
，，，
，T_post自然处于较低水平，
，，，
，若是此时门槛太高，
，，，
，大宗有益的更新都会被拒绝，
，，，
，模子学不到工具，
，，，
，最终障碍在一个较低的性能平台上。。。。 正因云云，
，，，
，研究团队为MIPU设计了一个动态容忍度：训练最先的前100步使用较宽松的容忍度，
，，，
，让模子能顺遂完成早期的有用学习；；以后逐步收紧，
，，，
，过渡到更严酷的标准，
，，，
，；；ず笃谘盗凡槐恢柿坎罹⒌母滤刍扑稹。。。 现代AI芯片在做盘算时，
，，，
，需要确定用几多位数字来体现一个数。。。。位数越多，
，，，
，精度越高，
，，，
，但盘算也越慢、越耗内存。。。。FP16（16位浮点数）是现在常见的训练精度；；FP8（8位浮点数）则是把精度砍半，
，，，
，换取更快的推理速率。。。。 问题在于，
，，，
，FP8的精度更低，
，，，
，同样的模子参数，
，，，
，用FP8推理出来的效果和用更高精度训练出来的效果之间，
，，，
，差别会比平时更大。。。；；痪浠八，
，，，
，FP8量化推剖析人为放大训练引擎和推理引擎之间的"不匹配水平"，
，，，
，制造出一个高压测试情形。。。。 研究团队在两个差别规模的模子（阿里巴巴的Qwen3-1.7B和Qwen3-4B，
，，，
，即参数目划分约为17亿和40亿的版本）上举行了实验，
，，，
，并与三种基准要领举行较量：标准GRPO基线、MIS（通过过滤极端不匹配样原来稳固训练）、以及LR-decay（通过周期性降低学习率来减缓不匹配的影响）。。。。 测试笼罩了五个数学推理基准：MATH500（笼罩高中及竞赛数学的大型测试集）、AIME24（美国数学约请赛2024年问题）、AMC23（美国数学竞赛2023年问题）、Minerva（谷歌提出的定量推理评测）、以及OlympiadBench（奥林匹克数学竞赛双语题库）。。。。 在Qwen3-4B上，
，，，
，MIPU的平均得分为66.71%，
，，，
，显着高于标准GRPO的64.42%、MIS的63.42%，
，，，
，以及LR-decay的65.66%。。。。详细来看，
，，，
，AMC23上MIPU抵达85.00%，
，，，
，Minerva上抵达45.96%，
，，，
，在各基准中名列前茅。。。。在Qwen3-1.7B上，
，，，
，MIPU的平均得分为53.97%，
，，，
，同样领先于其他要领（基线50.86%、MIS 51.73%、LR-decay 52.23%）。。。。MATH500上，
，，，
，MIPU抵达86.52%，
，，，
，OlympiadBench上抵达59.52%。。。。 但更令人印象深刻的不是峰值效果，
，，，
，而是训练稳固性。。。。标准GRPO、MIS和LR-decay这三种要领，
，，，
，在训练中途都泛起了差别水平的"瓦解"或"急剧下滑"——性能曲线先攀升，
，，，
，然后突然坠落。。。。MIPU的训练曲线则在抵达较高水平后坚持稳固，
，，，
，直到训练竣事都没有泛起显着的退步迹象。。。。这一点在训练曲线可视化图中很是清晰。。。。 研究团队还通过一个叫做"Mismatch-K3"的指标来量化训练引擎和推理引擎之间的现实差别巨细。。。。这个指标实质上是在盘算两个概率漫衍之间的"误差水平"，
，，，
，数值越大说明两台机械给出的谜底越纷歧样。。。。实验中可以看到，
，，，
，Qwen3-1.7B的不匹配水平显着高于Qwen3-4B，
，，，
，与之对应的T_post的波动幅度也更大——这说明这个署理指标确着实捕获真实的不匹配信号，
，，，
，而不是随机噪声。。。。 只用第一步时，
，，，
，模子通过更准确的参照系获得了更好的训练信号，
，，，
，平均得分相比基线有所提升（从64.42%升至65.36%），
，，，
，但训练历程仍然保存不稳固风险，
，，，
，由于没有任何机制去过滤"被门店误解"的更新。。。。 只用第二步时，
，，，
，模子在某种水平上阻止了瓦解，
，，，
，但无法提升训练质量——由于第二步依赖的候选更新仍然是有误差的，
，，，
，好的候选原来就很少，
，，，
，第二步只是在拒绝更新，
，，，
，真正有益的候选并没有增多。。。。效果平均得分反而低于基线（62.81%），
，，，
，说明纯粹的"守旧拒绝"在没有质量改善的条件下，
，，，
，并不比什么都不做更好。。。。 两步连系才抵达了最好的效果，
，，，
，充分印证了二者的互补关系：第一步爆发质量更高的候选，
，，，
，第二步筛掉那些"翻译失真"的候选。。。。 为了进一步扫除"第二步起作用只是由于它拒绝了更多更新"这一可能的诠释，
，，，
，研究团队还设计了一个"随机回滚"比照组：以同样甚至更高的概率（67%比照第二步的53.5%）随机拒绝更新，
，，，
，但不凭证任何推理侧信号做判断。。。。实验效果显示，
，，，
，随机回滚拒绝了更多次更新，
，，，
，却仍然泛起了瓦解；；而第二步依赖T_post信号有选择地接受或拒绝，
，，，
，则维持了稳固的训练曲线。。。。这说明第二步的价值不在于"镌汰更新次数"，
，，，
，而在于"用对了信号"。。。。 大宗现有的AI强化学习要领，
，，，
，都在起劲让"工厂里的谁人AI"变得更好，
，，，
，却遗忘了用户天天打交道的是"门店里的谁人AI"。。。。两者之间由于底层系统的差别，
，，，
，可能保存玄妙但要害的落差。。。。当这种落差被忽视时，
，，，
，训练历程看起来在前进，
，，，
，现实安排效果却可能在悄悄退步，
，，，
，直到某一刻爆发成肉眼可见的"瓦解"。。。。 MIPU提供的解法并非重大到无从明确——它实质上是在说Ｔ媚课做完改良之后，
，，，
，去门店现实量一量，
，，，
，确认门店的产品真的变好了，
，，，
，再把这次改良记入档案；；若是量了发明门店没变好，
，，，
，那这次改良就当没爆发。。。。这个思绪在工业领域着实是知识，
，，，
，但在大语言模子的强化学习中，
，，，
，却是真正意义上的首次被系统化地提出并验证。。。。 虽然，
，，，
，论文自己也坦承下场限：受制于盘算资源，
，，，
，实验只笼罩了中小规模模子；；动态容忍度参数的设定依赖一些先验履历，
，，，
，在差别系统和规模下是否能直接迁徙，
，，，
，仍有待验证。。。。别的，
，，，
，第二步现在接纳的是验证集采样来估算推理侧差别，
，，，
，未来或允许以开发出盘算价钱更低、估算更准确的方式。。。。 这项研究给我们留下了一个值得思索的问题：在AI的天下里，
，，，
，尚有几多"优化"着实只是优化了丈量仪器自己，
，，，
，而非被丈量的工具？？？有兴趣深入探讨的读者，
，，，
，可通过arXiv编号2606.29526查阅完整论文。。。。 A：大语言模子的强化学习需要同时运行两套系统——一套用于天生文本的推理引擎，
，，，
，一套用于盘算梯度和更新参数的训练引擎。。。。这两套系统出于效率和精度的差别考量，
，，，
，在数值精度、后端实现等方面保存细节差别。。。。即便两套系统使用完全相同的模子参数，
，，，
，对统一段文字盘算出来的概率也会纷歧致。。。。当使用FP8量化推理来加速天生时，
，，，
，这种差别会被进一步放大，
，，，
，训练出来的"工厂版本"和现实安排的"门店版本"之间就会泛起系统性误差。。。。 A：第二步在候选模子同步到推理引擎之后，
，，，
，用新的推理引擎采样一批验证样本，
，，，
，盘算每个谜底的组相对优势（类似于"这个谜底比同批谜底平均水平好几多"），
，，，
，再乘以一个主要性修正权重（用来赔偿训练引擎和推理引擎之间的概率差别）。。。。这个修正权重接纳了长度归一化的序列比值，
，，，
，阻止了全序列主要性采样容易爆发的极端大数问题。。。。最终T_post取这些乘积的负平均值——若是它显著小于负容忍度c，
，，，
，说明推理引擎并没有如实泛起训练引擎的刷新，
，，，
，更新被拒绝。。。。 A：MIS和LR-decay都在试图让训练历程自己更稳固，
，，，
，焦点目的仍然是优化训练引擎里的模子体现，
，，，
，只是通过过滤样本或降低学习率来镌汰不匹配造成的滋扰。。。。MIPU则在目的层面做了根天性的转变——它不再以训练引擎的体现改善为最终标准，
，，，
，而是直接以推理引擎的体现改善为优化目的。。。；；痪浠八，
，，，
，前两者是在改善"工厂的生产稳固性"，
，，，
，MIPU是在直接磨练"门店的产品是否真的变好了"，
，，，
，并以此决议是否接受这次改良。。。。