来自清华大学与腾讯的研究者提出了Generalizable Predictive Prompt Selection（GPS）。。。GPS 的做法很直接：先训练一个小型、可泛化的 Prompt Predictive Model（PPM），，，，，让它展望差别 prompt 在目今模子下的难度；；；；再凭证难度和 batch 多样性选择训练样本，，，，，从而镌汰无效 rollout。。。 实验显示，，，，，GPS 在数学推理和逻辑推理使命上都带来了显着收益：相比 Uniform 随机采样，，，，，训练步数加速抵达1.4×–2.0×；；；；相比需要真实评估的 DS（Dynamic Sampling）Oracle 基线，，，，，GPS 在坚持相近甚至更优性能的同时，，，，，最多镌汰69% rollout 本钱，，，，，训练时间镌汰28%–47%。。。更有意思的是，，，，，这个训练历程中学到的小展望模子，，，，，还可以复用到测试时盘算分配中：在牢靠预算下最高提升3.2%，，，，，或在性能不下降的情形下最多节约36.4%推理盘算。。。 这种要领有用，，，，，但价钱很是高。。。原因很直接：每个训练 step 都需要大宗 rollout，，，，，而 rollout 需要真实挪用大模子生生长谜底，，，，，盘算和显存开销都很大。。。 若是一个题太简朴，，，，，模子险些每次都能答对，，，，，奖励没有转变，，，，，梯度信号很弱；；；；若是一个题太难，，，，，模子险些每次都答错，，，，，同样很难提供有用学习信号。。。真正有价值的，，，，，往往是那些 “模子有时能答对、有时会答错” 的中等难度 prompt。。。 一类是基于真实评估的要领，，，，，例如 Dynamic Sampling（DS）。。。它会对候选 prompt 特殊做真实 rollout，，，，，再筛掉无效样本。。。这类要领效果不错，，，，，但特殊评估自己就很是腾贵。。。 另一类是基于展望的要领，，，，，例如 MoPPS、GRESO 等。。。它们试图凭证历史奖励预计 prompt 难度，，，，，阻止大宗特殊 rollout。。。但这些要领通常把每个 prompt 当成自力工具建模：某个 prompt 被采样得多，，，，，难度预计就更准；；；；采样得少，，，，，信息就很希罕。。。更贫困的是，，，，，大模子在训练中一直转变，，，，，统一个 prompt 的难度也会随时间转变，，，，，自力建模很难跟上这种动态转变。。。 是否可以构建一个轻量但可泛化的 PPM，，，，，让它使用整个优化历史，，，，，在差别 prompt 之间共享信息，，，，，并用更好的 batch 选择战略提升 RL 后训练效率
？？？ 但模子能力的转变并不是按问题伶仃爆发的。。。训练历程中，，，，，模子在某一类题型上变强后，，，，，语义相近、结构相似的其他题也可能随之变容易。。。 为此，，，，，GPS 引入了一个全局潜变量，，，，，也就是论文中所说的 difficulty context。。。它可以被明确为一个压缩后的 “目今训练状态”，，，，，用于纪录模子在已往优化历程中积累出的难度信息。。。 论文还给出了理论剖析：在历史信息确实包括特殊展望信号时，，，，，使用完整优化历史举行展望，，，，，相比只使用 prompt-specific 历史，，，，，能够获得更低的展望均方误差。。。 第一部分是难度收益。。。GPS 更偏好乐成率靠近 0.5 的 prompt，，，，，由于在二值奖励场景中，，，，，这类样本更容易爆发非零奖励方差，，，，，也更可能给 GRPO 等算法提供有用梯度。。。 这种设计被论文称为history-anchored diversity。。。直观明确就是：既要选 “难度恰恰” 的题，，，，，也要让训练笼罩更多差别区域，，，，，阻止模子在局部题型上重复打转。。。 对特殊简朴的题，，，，，少采样就够了；；；；对险些不可解的题，，，，，多采样也未必有用；；；；真正值得投入更多盘算的，，，，，是 “有挑战但仍可能解出来” 的题。。。 GPS 训练获得的 PPM 可以展望测试 prompt 的难度，，，，，并据此把测试样天职成差别区间：容易题和近乎不可解的题少分配预算，，，，，中等偏难、仍有希望的题多分配预算。。。 Uniform：随机采样 prompt；；；；MoPPS：为每个 prompt 维护自力 Beta 后验；；；；PCL：使用 LLM 预计 prompt 难度；；；；GRESO：基于历史奖励统计举行概率过滤；；；；DS / DS Oracle：通过真实特殊评估筛选 prompt，，，，，效果强但本钱高。。。 效果显示，，，，，GPS 只需要很少训练步数，，，，，就能快速建设有用相关性；；；；随着优化历史积累，，，，，相关性继续提升，，，，，p-value 也快速降低。。；；；；痪浠八，，，，，PPM 学到的不是某几道题的伶仃纪录，，，，，而是训练历程中逐渐形成的 prompt 难度排序。。。 由于 DS 需要特殊真实评估候选 prompt，，，，，虽然它在 step 维度上是强基线，，，，，但 rollout 本钱显著更高。。。相比 DS，，，，，GPS 最多镌汰69%rollout，，，，，同时仍坚持相当甚至更好的最终效果。。。 因此，，，，，GPS 的收益不是简朴用性能换本钱。。。在这些设置下，，，，，它一边镌汰了 rollout 或训练时间，，，，，一边维持甚至提升了平均准确率。。。论文总结称，，，，，相比 Uniform，，，，，GPS 在数学使命上带来1.6–1.9 个点的平均提升，，，，，在逻辑使命上带来4.1–5.7 个点的平均提升。。。 论文在多个数学和逻辑测试集上验证了这一点。。。效果显示，，，，，在大都未见测试集上，，，，，PPM 展望难度与履历乐成率之间仍坚持统计显著相关。。。 这里值得注重的是：PPM 在训练阶段学到的难度判断，，，，，并没有只停留在样本选择上，，，，，还可以迁徙到测试阶段，，，，，用来决议哪些题值得分配更多采样预算。。。 这点很主要，，，，，由于 DS 这类基于真实评估的要领通常依赖每个 prompt 天生多条回覆；；；；而 PPO 可能是单响应天生设置，，，，，DS 的适配性会受到限制。。。GPS 依赖展望模子，，，，，不需要这种特殊真实评估，，，，，因此更容易迁徙赴任别 RLVR 流程。。。 在消融实验中，，，，，去掉 history-anchored diversity 会造成显着性能下降；；；；只去掉 inter-step exploration，，，，，也会带来一定下降；；；；若是把天生式 PPM 改成不含潜变量 z 简直定性 PPM，，，，，效果同样变差。。。 消融效果也能对应回 GPS 的设计念头：共享历史认真提升难度展望的泛化能力，，，，，batch 多样性镌汰样本冗余，，，，，潜在 difficulty context 则用于描绘训练历程中一直转变的模子状态。。。 对 RL 后训练来说，，，，，真正有价值的样本往往不是最简朴的题，，，，，也不是完全解不出来的题，，，，，而是那些能够爆发有用奖励差别的中等难度 prompt。。。GPS 用一个小模子提前识别这些样本，，，，，并在 batch 里兼顾多样性，，，，，从而让大模子少做无效 rollout。。。 在训练本钱越来越高的配景下，，，，，这类要领给出的启发很直接：未来的大模子后训练，，，，，可能不但是继续堆 GPU 和 rollout，，，，，而是先判断哪些题值得练、哪些盘算值得花。。。 曲云，，，，，清华大学自动化本科博士，，，，，在强化学习、大模子效率优化等领域揭晓顶级期刊 Nat Com 和 CCF-A 类论文 20 余篇，，，，，相关效果获得图灵奖得主及国际着名院士 / Fellow 团队引用并正面评价，，，，，并受到 Meta、Apple、千问、混元等全球领先科技企业关注。。。