来自清华大学与腾讯的研究者提出了Generalizable Predictive Prompt Selection（GPS）。。。GPS 的做法很直接：先训练一个小型、可泛化的 Prompt Predictive Model（PPM），，，，，，让它展望差别 prompt 在目今模子下的难度；；；；；；再凭证难度和 batch 多样性选择训练样本，，，，，，从而镌汰无效 rollout。。。 实验显示，，，，，，GPS 在数学推理和逻辑推理使命上都带来了显着收益：相比 Uniform 随机采样，，，，，，训练步数加速抵达1.4×–2.0×；；；；；；相比需要真实评估的 DS（Dynamic Sampling）Oracle 基线，，，，，，GPS 在坚持相近甚至更优性能的同时，，，，，，最多镌汰69% rollout 本钱，，，，，，训练时间镌汰28%–47%。。。更有意思的是，，，，，，这个训练历程中学到的小展望模子，，，，，，还可以复用到测试时盘算分配中：在牢靠预算下最高提升3.2%，，，，，，或在性能不下降的情形下最多节约36.4%推理盘算。。。 这种要领有用，，，，，，但价钱很是高。。。原因很直接：每个训练 step 都需要大宗 rollout，，，，，，而 rollout 需要真实挪用大模子生生长谜底，，，，，，盘算和显存开销都很大。。。 若是一个题太简朴，，，，，，模子险些每次都能答对，，，，，，奖励没有转变，，，，，，梯度信号很弱；；；；；；若是一个题太难，，，，，，模子险些每次都答错，，，，，，同样很难提供有用学习信号。。。真正有价值的，，，，，，往往是那些 “模子有时能答对、有时会答错” 的中等难度 prompt。。。 一类是基于真实评估的要领，，，，，，例如 Dynamic Sampling（DS）。。。它会对候选 prompt 特殊做真实 rollout，，，，，，再筛掉无效样本。。。这类要领效果不错，，，，，，但特殊评估自己就很是腾贵。。。 另一类是基于展望的要领，，，，，，例如 MoPPS、GRESO 等。。。它们试图凭证历史奖励预计 prompt 难度，，，，，，阻止大宗特殊 rollout。。。但这些要领通常把每个 prompt 当成自力工具建模：某个 prompt 被采样得多，，，，，，难度预计就更准；；；；；；采样得少，，，，，，信息就很希罕。。。更贫困的是，，，，，，大模子在训练中一直转变，，，，，，统一个 prompt 的难度也会随时间转变，，，，，，自力建模很难跟上这种动态转变。。。 是否可以构建一个轻量但可泛化的 PPM，，，，，，让它使用整个优化历史，，，，，，在差别 prompt 之间共享信息，，，，，，并用更好的 batch 选择战略提升 RL 后训练效率？？ 但模子能力的转变并不是按问题伶仃爆发的。。。训练历程中，，，，，，模子在某一类题型上变强后，，，，，，语义相近、结构相似的其他题也可能随之变容易。。。 为此，，，，，，GPS 引入了一个全局潜变量，，，，，，也就是论文中所说的 difficulty context。。。它可以被明确为一个压缩后的 “目今训练状态”，，，，，，用于纪录模子在已往优化历程中积累出的难度信息。。。 论文还给出了理论剖析：在历史信息确实包括特殊展望信号时，，，，，，使用完整优化历史举行展望，，，，，，相比只使用 prompt-specific 历史，，，，，，能够获得更低的展望均方误差。。。 第一部分是难度收益。。。GPS 更偏好乐成率靠近 0.5 的 prompt，，，，，，由于在二值奖励场景中，，，，，，这类样本更容易爆发非零奖励方差，，，，，，也更可能给 GRPO 等算法提供有用梯度。。。 这种设计被论文称为history-anchored diversity。。。直观明确就是：既要选 “难度恰恰” 的题，，，，，，也要让训练笼罩更多差别区域，，，，，，阻止模子在局部题型上重复打转。。。 对特殊简朴的题，，，，，，少采样就够了；；；；；；对险些不可解的题，，，，，，多采样也未必有用；；；；；；真正值得投入更多盘算的，，，，，，是 “有挑战但仍可能解出来” 的题。。。 GPS 训练获得的 PPM 可以展望测试 prompt 的难度，，，，，，并据此把测试样天职成差别区间：容易题和近乎不可解的题少分配预算，，，，，，中等偏难、仍有希望的题多分配预算。。。 Uniform：随机采样 prompt；；；；；；MoPPS：为每个 prompt 维护自力 Beta 后验；；；；；；PCL：使用 LLM 预计 prompt 难度；；；；；；GRESO：基于历史奖励统计举行概率过滤；；；；；；DS / DS Oracle：通过真实特殊评估筛选 prompt，，，，，，效果强但本钱高。。。 效果显示，，，，，，GPS 只需要很少训练步数，，，，，，就能快速建设有用相关性；；；；；；随着优化历史积累，，，，，，相关性继续提升，，，，，，p-value 也快速降低。。。；；；；；痪浠八担，，，，，PPM 学到的不是某几道题的伶仃纪录，，，，，，而是训练历程中逐渐形成的 prompt 难度排序。。。 由于 DS 需要特殊真实评估候选 prompt，，，，，，虽然它在 step 维度上是强基线，，，，，，但 rollout 本钱显著更高。。。相比 DS，，，，，，GPS 最多镌汰69%rollout，，，，，，同时仍坚持相当甚至更好的最终效果。。。 因此，，，，，，GPS 的收益不是简朴用性能换本钱。。。在这些设置下，，，，，，它一边镌汰了 rollout 或训练时间，，，，，，一边维持甚至提升了平均准确率。。。论文总结称，，，，，，相比 Uniform，，，，，，GPS 在数学使命上带来1.6–1.9 个点的平均提升，，，，，，在逻辑使命上带来4.1–5.7 个点的平均提升。。。 论文在多个数学和逻辑测试集上验证了这一点。。。效果显示，，，，，，在大都未见测试集上，，，，，，PPM 展望难度与履历乐成率之间仍坚持统计显著相关。。。 这里值得注重的是：PPM 在训练阶段学到的难度判断，，，，，，并没有只停留在样本选择上，，，，，，还可以迁徙到测试阶段，，，，，，用来决议哪些题值得分配更多采样预算。。。 这点很主要，，，，，，由于 DS 这类基于真实评估的要领通常依赖每个 prompt 天生多条回覆；；；；；；而 PPO 可能是单响应天生设置，，，，，，DS 的适配性会受到限制。。。GPS 依赖展望模子，，，，，，不需要这种特殊真实评估，，，，，，因此更容易迁徙赴任别 RLVR 流程。。。 在消融实验中，，，，，，去掉 history-anchored diversity 会造成显着性能下降；；；；；；只去掉 inter-step exploration，，，，，，也会带来一定下降；；；；；；若是把天生式 PPM 改成不含潜变量 z 简直定性 PPM，，，，，，效果同样变差。。。 消融效果也能对应回 GPS 的设计念头：共享历史认真提升难度展望的泛化能力，，，，，，batch 多样性镌汰样本冗余，，，，，，潜在 difficulty context 则用于描绘训练历程中一直转变的模子状态。。。 对 RL 后训练来说，，，，，，真正有价值的样本往往不是最简朴的题，，，，，，也不是完全解不出来的题，，，，，，而是那些能够爆发有用奖励差别的中等难度 prompt。。。GPS 用一个小模子提前识别这些样本，，，，，，并在 batch 里兼顾多样性，，，，，，从而让大模子少做无效 rollout。。。 在训练本钱越来越高的配景下，，，，，，这类要领给出的启发很直接：未来的大模子后训练，，，，，，可能不但是继续堆 GPU 和 rollout，，，，，，而是先判断哪些题值得练、哪些盘算值得花。。。 曲云，，，，，，清华大学自动化本科博士，，，，，，在强化学习、大模子效率优化等领域揭晓顶级期刊 Nat Com 和 CCF-A 类论文 20 余篇，，，，，，相关效果获得图灵奖得主及国际着名院士 / Fellow 团队引用并正面评价，，，，，，并受到 Meta、Apple、千问、混元等全球领先科技企业关注。。。