来自清华大学与腾讯的研究者提出了Generalizable Predictive Prompt Selection（GPS）。。。GPS 的做法很直接：先训练一个小型、可泛化的 Prompt Predictive Model（PPM），，，，，，让它展望差别 prompt 在目今模子下的难度；；；；； ；再凭证难度和 batch 多样性选择训练样本，，，，，，从而镌汰无效 rollout。。。
实验显示，，，，，，GPS 在数学推理和逻辑推理使命上都带来了显着收益：相比 Uniform 随机采样，，，，，，训练步数加速抵达1.4×–2.0×；；；；； ；相比需要真实评估的 DS（Dynamic Sampling）Oracle 基线，，，，，，GPS 在坚持相近甚至更优性能的同时，，，，，，最多镌汰69% rollout 本钱，，，，，，训练时间镌汰28%–47%。。。更有意思的是，，，，，，这个训练历程中学到的小展望模子，，，，，，还可以复用到测试时盘算分配中：在牢靠预算下最高提升3.2%，，，，，，或在性能不下降的情形下最多节约36.4%推理盘算。。。
这种要领有用，，，，，，但价钱很是高。。。原因很直接：每个训练 step 都需要大宗 rollout，，，，，，而 rollout 需要真实挪用大模子生生长谜底，，，，，，盘算和显存开销都很大。。。
若是一个题太简朴，，，，，，模子险些每次都能答对，，，，，，奖励没有转变，，，，，，梯度信号很弱；；；；； ；若是一个题太难，，，，，，模子险些每次都答错，，，，，，同样很难提供有用学习信号。。。真正有价值的，，，，，，往往是那些 “模子有时能答对、有时会答错” 的中等难度 prompt。。。
一类是基于真实评估的要领，，，，，，例如 Dynamic Sampling（DS）。。。它会对候选 prompt 特殊做真实 rollout，，，，，，再筛掉无效样本。。。这类要领效果不错，，，，，，但特殊评估自己就很是腾贵。。。
另一类是基于展望的要领，，，，，，例如 MoPPS、GRESO 等。。。它们试图凭证历史奖励预计 prompt 难度，，，，，，阻止大宗特殊 rollout。。。但这些要领通常把每个 prompt 当成自力工具建模：某个 prompt 被采样得多，，，，，，难度预计就更准；；；；； ；采样得少，，，，，，信息就很希罕。。。更贫困的是，，，，，，大模子在训练中一直转变，，，，，，统一个 prompt 的难度也会随时间转变，，，，，，自力建模很难跟上这种动态转变。。。
是否可以构建一个轻量但可泛化的 PPM，，，，，，让它使用整个优化历史，，，，，，在差别 prompt 之间共享信息，，，，，，并用更好的 batch 选择战略提升 RL 后训练效率？？？？
但模子能力的转变并不是按问题伶仃爆发的。。。训练历程中，，，，，，模子在某一类题型上变强后，，，，，，语义相近、结构相似的其他题也可能随之变容易。。。
为此，，，，，，GPS 引入了一个全局潜变量，，，，，，也就是论文中所说的 difficulty context。。。它可以被明确为一个压缩后的 “目今训练状态”，，，，，，用于纪录模子在已往优化历程中积累出的难度信息。。。
论文还给出了理论剖析：在历史信息确实包括特殊展望信号时，，，，，，使用完整优化历史举行展望，，，，，，相比只使用 prompt-specific 历史，，，，，，能够获得更低的展望均方误差。。。
第一部分是难度收益。。。GPS 更偏好乐成率靠近 0.5 的 prompt，，，，，，由于在二值奖励场景中，，，，，，这类样本更容易爆发非零奖励方差，，，，，，也更可能给 GRPO 等算法提供有用梯度。。。
这种设计被论文称为history-anchored diversity。。。直观明确就是：既要选 “难度恰恰” 的题，，，，，，也要让训练笼罩更多差别区域，，，，，，阻止模子在局部题型上重复打转。。。
对特殊简朴的题，，，，，，少采样就够了；；；；； ；对险些不可解的题，，，，，，多采样也未必有用；；；；； ；真正值得投入更多盘算的，，，，，，是 “有挑战但仍可能解出来” 的题。。。
GPS 训练获得的 PPM 可以展望测试 prompt 的难度，，，，，，并据此把测试样天职成差别区间：容易题和近乎不可解的题少分配预算，，，，，，中等偏难、仍有希望的题多分配预算。。。
Uniform：随机采样 prompt；；；；； ；MoPPS：为每个 prompt 维护自力 Beta 后验；；；；； ；PCL：使用 LLM 预计 prompt 难度；；；；； ；GRESO：基于历史奖励统计举行概率过滤；；；；； ；DS / DS Oracle：通过真实特殊评估筛选 prompt，，，，，，效果强但本钱高。。。
效果显示，，，，，，GPS 只需要很少训练步数，，，，，，就能快速建设有用相关性；；；；； ；随着优化历史积累，，，，，，相关性继续提升，，，，，，p-value 也快速降低。。。；；；； ；痪浠八担，，，，PPM 学到的不是某几道题的伶仃纪录，，，，，，而是训练历程中逐渐形成的 prompt 难度排序。。。
由于 DS 需要特殊真实评估候选 prompt，，，，，，虽然它在 step 维度上是强基线，，，，，，但 rollout 本钱显著更高。。。相比 DS，，，，，，GPS 最多镌汰69%rollout，，，，，，同时仍坚持相当甚至更好的最终效果。。。
因此，，，，，，GPS 的收益不是简朴用性能换本钱。。。在这些设置下，，，，，，它一边镌汰了 rollout 或训练时间，，，，，，一边维持甚至提升了平均准确率。。。论文总结称，，，，，，相比 Uniform，，，，，，GPS 在数学使命上带来1.6–1.9 个点的平均提升，，，，，，在逻辑使命上带来4.1–5.7 个点的平均提升。。。
论文在多个数学和逻辑测试集上验证了这一点。。。效果显示，，，，，，在大都未见测试集上，，，，，，PPM 展望难度与履历乐成率之间仍坚持统计显著相关。。。
这里值得注重的是：PPM 在训练阶段学到的难度判断，，，，，，并没有只停留在样本选择上，，，，，，还可以迁徙到测试阶段，，，，，，用来决议哪些题值得分配更多采样预算。。。
这点很主要，，，，，，由于 DS 这类基于真实评估的要领通常依赖每个 prompt 天生多条回覆；；；；； ；而 PPO 可能是单响应天生设置，，，，，，DS 的适配性会受到限制。。。GPS 依赖展望模子，，，，，，不需要这种特殊真实评估，，，，，，因此更容易迁徙赴任别 RLVR 流程。。。
在消融实验中，，，，，，去掉 history-anchored diversity 会造成显着性能下降；；；；； ；只去掉 inter-step exploration，，，，，，也会带来一定下降；；；；； ；若是把天生式 PPM 改成不含潜变量 z 简直定性 PPM，，，，，，效果同样变差。。。
消融效果也能对应回 GPS 的设计念头：共享历史认真提升难度展望的泛化能力，，，，，，batch 多样性镌汰样本冗余，，，，，，潜在 difficulty context 则用于描绘训练历程中一直转变的模子状态。。。
对 RL 后训练来说，，，，，，真正有价值的样本往往不是最简朴的题，，，，，，也不是完全解不出来的题，，，，，，而是那些能够爆发有用奖励差别的中等难度 prompt。。。GPS 用一个小模子提前识别这些样本，，，，，，并在 batch 里兼顾多样性，，，，，，从而让大模子少做无效 rollout。。。
在训练本钱越来越高的配景下，，，，，，这类要领给出的启发很直接：未来的大模子后训练，，，，，，可能不但是继续堆 GPU 和 rollout，，，，，，而是先判断哪些题值得练、哪些盘算值得花。。。
曲云，，，，，，清华大学自动化本科博士，，，，，，在强化学习、大模子效率优化等领域揭晓顶级期刊 Nat Com 和 CCF-A 类论文 20 余篇，，，，，，相关效果获得图灵奖得主及国际着名院士 / Fellow 团队引用并正面评价，，，，，，并受到 Meta、Apple、千问、混元等全球领先科技企业关注。。。
在“十五五”规划的美好生活蓝图中，“好房子”不仅是安居的载体，更是民生的温度计、时代的刻度尺。当城市发展从“有没有”转向“好不好”，人们对理想居所的期待，已从单一的空间需求，升维为对文化归属、精神栖息与品质服务的全方位渴求。如今，在对阵英格兰的关键战役中，斯卡洛尼再次选择相信这些熟悉的名字，而他们也帮助阿根廷完成了一场令人难忘的逆转。糖心vlog尽管如此，米兰城这几天仍在流传一种抗议方式：一辆挂着横幅的卡车，车身写着针对俱乐部所有者和杰里-卡尔迪纳莱的标语。在亚特兰大的赛场英格兰再度遭遇大赛心碎时刻。球队一度领先，距离常规时间结束仅剩五分钟，最终却1-2不敌阿根廷惨遭淘汰。英格兰取得领先后没有乘胜追击扩大优势，反而全线退守，图赫尔换下进球功臣戈登，换上中后卫孔萨，龟缩防线后被阿根廷逆转。
20260717 ? 这届首尔 ICML，北美前沿实验室来的华人面孔其实不多，一位研究员替缺席的同事解释：很多在 OpenAI、Anthropic 工作的中国研究员，还没拿到绿卡，由于签证问题，如果出一次境，可能就回不去了：“他们可以合法地待在 ‘屋子’ 里，但没有钥匙。如果你出去了，门就自动关了，你可能就回不来了。”9.1精选推荐比赛的第81分钟，在比分落后的情况下，斯卡洛尼再次换上了劳塔罗。在恩佐远射破门为阿根廷追平比分之后，劳塔罗补时第2分钟头球冲顶破门，打入了制胜球。
20260717 ? 北京时间7月15日，针对《The Rich Eisen Show》主持人克里斯-布罗克曼声称，无论詹姆斯最终签约哪支球队，他新赛季都将无关紧要，詹姆斯本人用一串苦笑表情作出回应。尤物的自我刷新(完)by完txt百度网盘和同时教练看得长远，他清楚若想在半决赛击败阿根廷，后续还要对阵西班牙与法国的胜者争夺冠军，英格兰必须大幅提升整体状态。这番不加掩饰的批评虽带着赛后压抑不住的情绪，实则是点醒全队、督促队员调整状态的警示。
京公网安备11010202000001号
