来自清华大学与腾讯的研究者提出了Generalizable Predictive Prompt Selection（GPS）。。。
。GPS 的做法很直接：先训练一个小型、可泛化的 Prompt Predictive Model（PPM），，，，，让它展望差别 prompt 在目今模子下的难度；；；；；；再凭证难度和 batch 多样性选择训练样本，，，，，从而镌汰无效 rollout。。。
。 实验显示，，，，，GPS 在数学推理和逻辑推理使命上都带来了显着收益：相比 Uniform 随机采样，，，，，训练步数加速抵达1.4×–2.0×；；；；；；相比需要真实评估的 DS（Dynamic Sampling）Oracle 基线，，，，，GPS 在坚持相近甚至更优性能的同时，，，，，最多镌汰69% rollout 本钱，，，，，训练时间镌汰28%–47%。。。
。更有意思的是，，，，，这个训练历程中学到的小展望模子，，，，，还可以复用到测试时盘算分配中：在牢靠预算下最高提升3.2%，，，，，或在性能不下降的情形下最多节约36.4%推理盘算。。。
。 这种要领有用，，，，，但价钱很是高。。。
。原因很直接：每个训练 step 都需要大宗 rollout，，，，，而 rollout 需要真实挪用大模子生生长谜底，，，，，盘算和显存开销都很大。。。
。 若是一个题太简朴，，，，，模子险些每次都能答对，，，，，奖励没有转变，，，，，梯度信号很弱；；；；；；若是一个题太难，，，，，模子险些每次都答错，，，，，同样很难提供有用学习信号。。。
。真正有价值的，，，，，往往是那些 “模子有时能答对、有时会答错” 的中等难度 prompt。。。
。 一类是基于真实评估的要领，，，，，例如 Dynamic Sampling（DS）。。。
。它会对候选 prompt 特殊做真实 rollout，，，，，再筛掉无效样本。。。
。这类要领效果不错，，，，，但特殊评估自己就很是腾贵。。。
。 另一类是基于展望的要领，，，，，例如 MoPPS、GRESO 等。。。
。它们试图凭证历史奖励预计 prompt 难度，，，，，阻止大宗特殊 rollout。。。
。但这些要领通常把每个 prompt 当成自力工具建模：某个 prompt 被采样得多，，，，，难度预计就更准；；；；；；采样得少，，，，，信息就很希罕。。。
。更贫困的是，，，，，大模子在训练中一直转变，，，，，统一个 prompt 的难度也会随时间转变，，，，，自力建模很难跟上这种动态转变。。。
。 是否可以构建一个轻量但可泛化的 PPM，，，，，让它使用整个优化历史，，，，，在差别 prompt 之间共享信息，，，，，并用更好的 batch 选择战略提升 RL 后训练效率？？
？？？ 但模子能力的转变并不是按问题伶仃爆发的。。。
。训练历程中，，，，，模子在某一类题型上变强后，，，，，语义相近、结构相似的其他题也可能随之变容易。。。
。 为此，，，，，GPS 引入了一个全局潜变量，，，，，也就是论文中所说的 difficulty context。。。
。它可以被明确为一个压缩后的 “目今训练状态”，，，，，用于纪录模子在已往优化历程中积累出的难度信息。。。
。 论文还给出了理论剖析：在历史信息确实包括特殊展望信号时，，，，，使用完整优化历史举行展望，，，，，相比只使用 prompt-specific 历史，，，，，能够获得更低的展望均方误差。。。
。 第一部分是难度收益。。。
。GPS 更偏好乐成率靠近 0.5 的 prompt，，，，，由于在二值奖励场景中，，，，，这类样本更容易爆发非零奖励方差，，，，，也更可能给 GRPO 等算法提供有用梯度。。。
。 这种设计被论文称为history-anchored diversity。。。
。直观明确就是：既要选 “难度恰恰” 的题，，，，，也要让训练笼罩更多差别区域，，，，，阻止模子在局部题型上重复打转。。。
。 对特殊简朴的题，，，，，少采样就够了；；；；；；对险些不可解的题，，，，，多采样也未必有用；；；；；；真正值得投入更多盘算的，，，，，是 “有挑战但仍可能解出来” 的题。。。
。 GPS 训练获得的 PPM 可以展望测试 prompt 的难度，，，，，并据此把测试样天职成差别区间：容易题和近乎不可解的题少分配预算，，，，，中等偏难、仍有希望的题多分配预算。。。
。 Uniform：随机采样 prompt；；；；；；MoPPS：为每个 prompt 维护自力 Beta 后验；；；；；；PCL：使用 LLM 预计 prompt 难度；；；；；；GRESO：基于历史奖励统计举行概率过滤；；；；；；DS / DS Oracle：通过真实特殊评估筛选 prompt，，，，，效果强但本钱高。。。
。 效果显示，，，，，GPS 只需要很少训练步数，，，，，就能快速建设有用相关性；；；；；；随着优化历史积累，，，，，相关性继续提升，，，，，p-value 也快速降低。。。
。；；；；；痪浠八，，，，，PPM 学到的不是某几道题的伶仃纪录，，，，，而是训练历程中逐渐形成的 prompt 难度排序。。。
。 由于 DS 需要特殊真实评估候选 prompt，，，，，虽然它在 step 维度上是强基线，，，，，但 rollout 本钱显著更高。。。
。相比 DS，，，，，GPS 最多镌汰69%rollout，，，，，同时仍坚持相当甚至更好的最终效果。。。
。 因此，，，，，GPS 的收益不是简朴用性能换本钱。。。
。在这些设置下，，，，，它一边镌汰了 rollout 或训练时间，，，，，一边维持甚至提升了平均准确率。。。
。论文总结称，，，，，相比 Uniform，，，，，GPS 在数学使命上带来1.6–1.9 个点的平均提升，，，，，在逻辑使命上带来4.1–5.7 个点的平均提升。。。
。 论文在多个数学和逻辑测试集上验证了这一点。。。
。效果显示，，，，，在大都未见测试集上，，，，，PPM 展望难度与履历乐成率之间仍坚持统计显著相关。。。
。 这里值得注重的是：PPM 在训练阶段学到的难度判断，，，，，并没有只停留在样本选择上，，，，，还可以迁徙到测试阶段，，，，，用来决议哪些题值得分配更多采样预算。。。
。 这点很主要，，，，，由于 DS 这类基于真实评估的要领通常依赖每个 prompt 天生多条回覆；；；；；；而 PPO 可能是单响应天生设置，，，，，DS 的适配性会受到限制。。。
。GPS 依赖展望模子，，，，，不需要这种特殊真实评估，，，，，因此更容易迁徙赴任别 RLVR 流程。。。
。 在消融实验中，，，，，去掉 history-anchored diversity 会造成显着性能下降；；；；；；只去掉 inter-step exploration，，，，，也会带来一定下降；；；；；；若是把天生式 PPM 改成不含潜变量 z 简直定性 PPM，，，，，效果同样变差。。。
。 消融效果也能对应回 GPS 的设计念头：共享历史认真提升难度展望的泛化能力，，，，，batch 多样性镌汰样本冗余，，，，，潜在 difficulty context 则用于描绘训练历程中一直转变的模子状态。。。
。 对 RL 后训练来说，，，，，真正有价值的样本往往不是最简朴的题，，，，，也不是完全解不出来的题，，，，，而是那些能够爆发有用奖励差别的中等难度 prompt。。。
。GPS 用一个小模子提前识别这些样本，，，，，并在 batch 里兼顾多样性，，，，，从而让大模子少做无效 rollout。。。
。 在训练本钱越来越高的配景下，，，，，这类要领给出的启发很直接：未来的大模子后训练，，，，，可能不但是继续堆 GPU 和 rollout，，，，，而是先判断哪些题值得练、哪些盘算值得花。。。
。 曲云，，，，，清华大学自动化本科博士，，，，，在强化学习、大模子效率优化等领域揭晓顶级期刊 Nat Com 和 CCF-A 类论文 20 余篇，，，，，相关效果获得图灵奖得主及国际着名院士 / Fellow 团队引用并正面评价，，，，，并受到 Meta、Apple、千问、混元等全球领先科技企业关注。。。
。