来自清华大学与腾讯的研究者提出了Generalizable Predictive Prompt Selection（GPS）。
。。
。
。GPS 的做法很直接：先训练一个小型、可泛化的 Prompt Predictive Model（PPM），，，，让它展望差别 prompt 在目今模子下的难度；；；；；；再凭证难度和 batch 多样性选择训练样本，，，，从而镌汰无效 rollout。
。。
。
。 实验显示，，，，GPS 在数学推理和逻辑推理使命上都带来了显着收益：相比 Uniform 随机采样，，，，训练步数加速抵达1.4×–2.0×；；；；；；相比需要真实评估的 DS（Dynamic Sampling）Oracle 基线，，，，GPS 在坚持相近甚至更优性能的同时，，，，最多镌汰69% rollout 本钱，，，，训练时间镌汰28%–47%。
。。
。
。更有意思的是，，，，这个训练历程中学到的小展望模子，，，，还可以复用到测试时盘算分配中：在牢靠预算下最高提升3.2%，，，，或在性能不下降的情形下最多节约36.4%推理盘算。
。。
。
。 这种要领有用，，，，但价钱很是高。
。。
。
。原因很直接：每个训练 step 都需要大宗 rollout，，，，而 rollout 需要真实挪用大模子生生长谜底，，，，盘算和显存开销都很大。
。。
。
。 若是一个题太简朴，，，，模子险些每次都能答对，，，，奖励没有转变，，，，梯度信号很弱；；；；；；若是一个题太难，，，，模子险些每次都答错，，，，同样很难提供有用学习信号。
。。
。
。真正有价值的，，，，往往是那些 “模子有时能答对、有时会答错” 的中等难度 prompt。
。。
。
。 一类是基于真实评估的要领，，，，例如 Dynamic Sampling（DS）。
。。
。
。它会对候选 prompt 特殊做真实 rollout，，，，再筛掉无效样本。
。。
。
。这类要领效果不错，，，，但特殊评估自己就很是腾贵。
。。
。
。 另一类是基于展望的要领，，，，例如 MoPPS、GRESO 等。
。。
。
。它们试图凭证历史奖励预计 prompt 难度，，，，阻止大宗特殊 rollout。
。。
。
。但这些要领通常把每个 prompt 当成自力工具建模：某个 prompt 被采样得多，，，，难度预计就更准；；；；；；采样得少，，，，信息就很希罕。
。。
。
。更贫困的是，，，，大模子在训练中一直转变，，，，统一个 prompt 的难度也会随时间转变，，，，自力建模很难跟上这种动态转变。
。。
。
。 是否可以构建一个轻量但可泛化的 PPM，，，，让它使用整个优化历史，，，，在差别 prompt 之间共享信息，，，，并用更好的 batch 选择战略提升 RL 后训练效率？？？
？？？ 但模子能力的转变并不是按问题伶仃爆发的。
。。
。
。训练历程中，，，，模子在某一类题型上变强后，，，，语义相近、结构相似的其他题也可能随之变容易。
。。
。
。 为此，，，，GPS 引入了一个全局潜变量，，，，也就是论文中所说的 difficulty context。
。。
。
。它可以被明确为一个压缩后的 “目今训练状态”，，，，用于纪录模子在已往优化历程中积累出的难度信息。
。。
。
。 论文还给出了理论剖析：在历史信息确实包括特殊展望信号时，，，，使用完整优化历史举行展望，，，，相比只使用 prompt-specific 历史，，，，能够获得更低的展望均方误差。
。。
。
。 第一部分是难度收益。
。。
。
。GPS 更偏好乐成率靠近 0.5 的 prompt，，，，由于在二值奖励场景中，，，，这类样本更容易爆发非零奖励方差，，，，也更可能给 GRPO 等算法提供有用梯度。
。。
。
。 这种设计被论文称为history-anchored diversity。
。。
。
。直观明确就是：既要选 “难度恰恰” 的题，，，，也要让训练笼罩更多差别区域，，，，阻止模子在局部题型上重复打转。
。。
。
。 对特殊简朴的题，，，，少采样就够了；；；；；；对险些不可解的题，，，，多采样也未必有用；；；；；；真正值得投入更多盘算的，，，，是 “有挑战但仍可能解出来” 的题。
。。
。
。 GPS 训练获得的 PPM 可以展望测试 prompt 的难度，，，，并据此把测试样天职成差别区间：容易题和近乎不可解的题少分配预算，，，，中等偏难、仍有希望的题多分配预算。
。。
。
。 Uniform：随机采样 prompt；；；；；；MoPPS：为每个 prompt 维护自力 Beta 后验；；；；；；PCL：使用 LLM 预计 prompt 难度；；；；；；GRESO：基于历史奖励统计举行概率过滤；；；；；；DS / DS Oracle：通过真实特殊评估筛选 prompt，，，，效果强但本钱高。
。。
。
。 效果显示，，，，GPS 只需要很少训练步数，，，，就能快速建设有用相关性；；；；；；随着优化历史积累，，，，相关性继续提升，，，，p-value 也快速降低。
。。
。
；；；；；；痪浠八，，，，PPM 学到的不是某几道题的伶仃纪录，，，，而是训练历程中逐渐形成的 prompt 难度排序。
。。
。
。 由于 DS 需要特殊真实评估候选 prompt，，，，虽然它在 step 维度上是强基线，，，，但 rollout 本钱显著更高。
。。
。
。相比 DS，，，，GPS 最多镌汰69%rollout，，，，同时仍坚持相当甚至更好的最终效果。
。。
。
。 因此，，，，GPS 的收益不是简朴用性能换本钱。
。。
。
。在这些设置下，，，，它一边镌汰了 rollout 或训练时间，，，，一边维持甚至提升了平均准确率。
。。
。
。论文总结称，，，，相比 Uniform，，，，GPS 在数学使命上带来1.6–1.9 个点的平均提升，，，，在逻辑使命上带来4.1–5.7 个点的平均提升。
。。
。
。 论文在多个数学和逻辑测试集上验证了这一点。
。。
。
。效果显示，，，，在大都未见测试集上，，，，PPM 展望难度与履历乐成率之间仍坚持统计显著相关。
。。
。
。 这里值得注重的是：PPM 在训练阶段学到的难度判断，，，，并没有只停留在样本选择上，，，，还可以迁徙到测试阶段，，，，用来决议哪些题值得分配更多采样预算。
。。
。
。 这点很主要，，，，由于 DS 这类基于真实评估的要领通常依赖每个 prompt 天生多条回覆；；；；；；而 PPO 可能是单响应天生设置，，，，DS 的适配性会受到限制。
。。
。
。GPS 依赖展望模子，，，，不需要这种特殊真实评估，，，，因此更容易迁徙赴任别 RLVR 流程。
。。
。
。 在消融实验中，，，，去掉 history-anchored diversity 会造成显着性能下降；；；；；；只去掉 inter-step exploration，，，，也会带来一定下降；；；；；；若是把天生式 PPM 改成不含潜变量 z 简直定性 PPM，，，，效果同样变差。
。。
。
。 消融效果也能对应回 GPS 的设计念头：共享历史认真提升难度展望的泛化能力，，，，batch 多样性镌汰样本冗余，，，，潜在 difficulty context 则用于描绘训练历程中一直转变的模子状态。
。。
。
。 对 RL 后训练来说，，，，真正有价值的样本往往不是最简朴的题，，，，也不是完全解不出来的题，，，，而是那些能够爆发有用奖励差别的中等难度 prompt。
。。
。
。GPS 用一个小模子提前识别这些样本，，，，并在 batch 里兼顾多样性，，，，从而让大模子少做无效 rollout。
。。
。
。 在训练本钱越来越高的配景下，，，，这类要领给出的启发很直接：未来的大模子后训练，，，，可能不但是继续堆 GPU 和 rollout，，，，而是先判断哪些题值得练、哪些盘算值得花。
。。
。
。 曲云，，，，清华大学自动化本科博士，，，，在强化学习、大模子效率优化等领域揭晓顶级期刊 Nat Com 和 CCF-A 类论文 20 余篇，，，，相关效果获得图灵奖得主及国际着名院士 / Fellow 团队引用并正面评价，，，，并受到 Meta、Apple、千问、混元等全球领先科技企业关注。
。。
。
。