这项由华东师范大学、哈尔滨工业大学、北京航空航天大学、华中科技大学、香港科技大学（广州）、中关村学院等多家机构联合开展的研究，，，，，，以预印本形式宣布于2026年7月7日，，，，，，论文编号为arXiv:2607.06442，，，，，，有兴趣深入相识的读者可以通过该编号盘问完整论文，，，，，，代码也已在GitHub上果真。。 说到机械人，，，，，，大大都人脑海中浮现的画面是工厂流水线上的机械臂，，，，，，或者科幻影戏里的人形机械。。而现在，，，，，，研究职员正在训练一类更智慧的机械人——它们不但能"看懂"画面，，，，，，还能"听懂"语言，，，，，，最终把这些明确转化为现实的操作行动。。这类机械人背后依赖的手艺叫做"视觉-语言-行动模子"，，，，，，可以明确为一套把视觉感知、语言明确与肢体控制融合在一起的大脑。。 训练这样的大脑，，，，，，需要大宗机械人演示数据——就像教一个孩子叠衣服，，，，，，你得让他重复看大人怎么做。。但问题随之而来：数据越多，，，，，，真的越好吗？？
？现真相形是，，，，，，现有的机械人演示数据集往往充满着大宗重复操作、质量狼籍不齐的树模，，，，，，甚至保存显着过失的行动片断。。一味堆砌数据，，，，，，不但铺张盘算资源，，，，，，还可能让机械人学到一堆坏习惯。。 正是为相识决这个"多而不精"的逆境，，，，，，研究团队提出了一套名为SIEVE（中文可明确为"筛子"）的数据筛选要领。。这套要领的焦点思绪是：与其让机械人看遍所有演示，，，，，，不如精挑细选出那些"含金量最高"的片断，，，，，，让机械人在更少的数据上学到更多可复用的行为纪律。。实验效果相当亮眼——仅用50%的演示数据和50%的训练步数，，，，，，SIEVE筛选出的子集竟然能让机械人体现凌驾使用所有数据的训练效果。。 现在最主流的要领叫"模拟学习"，，，，，，更详细地说叫"行为克隆"。。原理很是直白：给机械人看大宗人类或其他机械人完成使命的演示，，，，，，然后训练模子去模拟这些演示中的行动。。每一条演示数据就像一段教学视频，，，，，，机械人重复寓目，，，，，，试图内化这些行动纪律。。 但现实中的演示数据集保存三个严重问题。。第一个问题是大宗重复：同样把胡萝卜放到盘子里这个行动，，，，，，数据集里可能有几百条险些一模一样的演示，，，，，，机械人重复学习这些高度相似的片断，，，，，，既铺张时间，，，，，，收益也微乎其微。。第二个问题是质量良莠不齐：有些演示是人类随手操作的，，，，，，行动迟疑、路径弯曲，，，，，，基础不是值得学习的范本，，，，，，把这些"坏树模"也喂给机械人，，，，，，会让它爆发杂乱的学习信号。。第三个问题是笼罩不均：某些简朴使命的演示群集如山，，，，，，某些重大行动的演示却寥寥无几，，，，，，导致机械人对差别使命的掌握水平差别悬殊。。 已有的数据筛选要领试图解决这些问题，，，，，，但大多落入了两种极端。。一种是从整条轨迹的角度看数据，，，，，，把每条演示压缩成一个总体评分，，，，，，然后凭证评分决议留或不留。。这种方式就像只看一本书的封面和简介来判断书的价值，，，，，，容易忽略书中某些精彩的详细章节。。另一种是从单个行动帧的角度逐帧筛选，，，，，，这相当于把一整段舞蹈剖析成一个个静止的姿势来评判，，，，，，虽然详尽，，，，，，却失去了连贯行动序列的整体逻辑。。 SIEVE的出发点是：这两个粒度都不敷理想，，，，，，机械人真正需要学习的，，，，，，是介于"单帧行动"和"整条轨迹"之间的工具——那些在差别使命中重复泛起的、可以被复用的行为片断，，，，，，以及这些片断之间的衔接方式。。 研究团队的灵感泉源于一个信息论中的经典头脑，，，，，，叫做"最小形貌长度原则"。。这个原则乍听起来很笼统，，，，，，但换个方式明确就很直观：若是你要向朋侪形貌一首歌，，，，，，最好的方式不是一句一句地原文复述歌词，，，，，，而是先提炼出歌曲的旋律纪律，，，，，，然后用这套纪律来压缩形貌。。纪律越多、越可复用，，，，，，形貌就越精练。。 换到机械人学习的语境里，，，，，，这个原则意味着：一个好的训练数据集，，，，，，应该富含可以被机械人"压缩"进大脑的行为纪律。。那些在多条演示里重复泛起的行为片断，，，，，，正是这样的纪律——机械人学会了这些片断，，，，，，就相当于掌握了一套行为"子程序"，，，，，，面临新使命时可以无邪调取和组合。。 详细到机械人操作使命，，，，，，研究团队发明，，，，，，一条完整的操作演示往往由若干个更基础的行为单位组成。。以"把鸡蛋放进篮子"为例，，，，，，整个使命可以拆解为：移动到鸡蛋旁边、抓取鸡蛋、移动到篮子上方、释放鸡蛋。。每一段都是相对自力且可复用的行为单位，，，，，，研究团队将其称为"原语"（primitives）。。而毗连两个相邻原语的过渡时刻——好比从"移动"切换到"抓取"——则被称为"转换接口"（transitions）。。 SIEVE的焦点主张是：筛选数据时，，，，，，应当优先保存那些能让机械人接触到更多样化的原语和转换接口的演示，，，，，，而不是盲目追求数目。。 SIEVE的事情流程可以用一个生动的比喻来明确：把它看成一个精明的图书馆员，，，，，，面临群集如山的书籍，，，，，，他不但要搞清晰每本书讲了什么故事，，，，，，还要确保图书馆的藏书笼罩种种类型的情节和转折，，，，，，同时每种类型都只留最具代表性的版本。。 第一步是发明原语，，，，，，也就是搞清晰"有哪些基本故事情节"。。关于数据集中的每一条演示轨迹，，，，，，SIEVE会先找到自然的分段点。。这些分段点以机械人最后执行器（通俗说就是机械人的"手"或"手指"）的状态转变为依据——好比夹爪从张开酿成闭合（捉住了工具），，，，，，或者从闭合酿成张开（铺开了工具）。。这些要害时刻就像句子中的标点符号，，，，，，将一段一连行动自然切割成若干片断。。为了扫除无意的颤抖滋扰，，，，，，只有一连凌驾五帧的状态转变才会被视为真正的分段界线。。 切割出片断之后，，，，，，系统用一个预训练的视频明确模子对每个片断举行"读解"，，，，，，提取其视觉语义特征。。详细做法是从每个片断中匀称取出8帧，，，，，，然后重点抓取起始帧、中心帧和竣事帧的特征，，，，，，将三者拼接成一个综合体现，，，，，，既捕获了片断的内容，，，，，，也纪录了简陋的时间演变。。为了降低噪声并提高后续处理效率，，，，，，特征还会被压缩到256维。。 有了这些片断特征之后，，，，，，系统对所有片断举行聚类——就像把图书馆里的书凭证主题分类一样，，，，，，把行为相似的片断归入统一个"原语种别"。。为了自动确定最合适的种别数目，，，，，，系统同时考量两个指标：一是差别演示在经由原语体现后是否仍然坚持足够的区分度（若是所有演示看起来都一样，，，，，，说明分类太粗了）；；；；；二是每个发明的原语是否在足够多的演示中重复泛起（若是某个种别只在一两条演示中泛起，，，，，，说明这不是一个普遍纪律）。。系统在这两个指标之间寻找最佳平衡点，，，，，，自动选出最合适的种别数目。。 第二步是分配筛选预算，，，，，，也就是决议"每种故事情节留几多本书"。。完成原语发明后，，，，，，每条演示轨迹都被体现为一个有序的原语序列，，，，，，称为"组合模式"。。相同组合模式的演示被归为一组。。此时系统面临的焦点问题是：在总共只能保存一半数据的约束下，，，，，，应该从每种组合模式中各取几多条演示？？
？ SIEVE设计了一个"结构袒露目的"往返覆这个问题。。这个目的函数同时权衡两件事：保存的演示中泛起了几多种差别的原语，，，，，，以及泛起了几多种差别的转换接口。。泛起在更多种组合模式中的原语和转换，，，，，，会获得更高的权重——由于它们更具普遍性，，，，，，学会了这些，，，，，，机械人就能在更普遍的场景中无邪应对。。 与此同时，，，，，，目的函数引入了"边际效益递减"的设计：统一种原语或转换已经被许多条已选演示笼罩了之后，，，，，，再增添包括相同元素的演示，，，，，，获得的特殊收益就会越来越小。。这迫使系统自动寻找那些能笼罩到新的原语和转换的演示，，，，，，而不是把预算所有砸在最常见的几种模式上。。 预算分配的历程是贪心的Ｔ媚课把一个名额分配给目今能带来最大边际收益的组合模式，，，，，，云云重复直到总预算用完。。这个战略在盘算效率和分配质量之间取得了优异平衡。。 第三步是在每种组合模式内部挑选最具代表性的演示，，，，，，也就是"在每种类型的书里选最好的版本"。。预算分配决议了每种组合模式应保存几条演示，，，，，，但详细留哪几条，，，，，，还需要进一步甄别。。 这一步的要害思绪是：相同组合模式的演示，，，，，，行动逻辑是一样的，，，，，，但详细执行细节可能因人而异，，，，，，有的流通标准，，，，，，有的拖泥带水。。关于机械人学习来说，，，，，，最好的范本是那些最"中庸"、最具代表性的演示——它们既不是异常误差的outlier，，，，，，也不会带来前后矛盾的学习信号。。 为了找到这样的演示，，，，，，系统盘算每条演示轨迹的整体特征体现，，，，，，然后在统一组合模式内部找出与其他演示平均相似度最高的那条，，，，，，称之为"中值演示"。。其余演示凭证与中值演示的距离排序，，，，，，最靠近中心的那些被优先保存。。这个战略确保了选出的演示既具有代表性，，，，，，又提供稳固一致的学习信号。。 第一个场景基于Bridge-V2数据集，，，，，，这个数据集包括约5.3万条由WidowX机械臂完成的真实天下演示，，，，，，使命涉及叠方块、把胡萝卜放到盘子上、把汤匙放到桌布上、把茄子放进篮子等日常操作。；；；；；等苏铰缘钠拦涝谀Ｄ馇樾沃芯傩，，，，，，特意引入了差别的厨房配景和随机的物体摆放位置，，，，，，以测试在没见过的场景下的泛化能力——这是很是有挑战性的评估条件。。 第二个场景基于Fractal数据集，，，，，，包括约8.7万条由Google机械人完成的操作演示，，，，，，使命包括抓取可乐罐、移动物体到周围、开关抽屉等。。第三个场景基于GR00T-X-Sim数据集，，，，，，包括2.4万条由具有灵巧手的仿人机械人完成的模拟操作，，，，，，使命涵盖24种差别的桌面操作。。 实验将SIEVE与几种竞争要领举行了比照。。全量训练作为基准，，，，，，使用所有数据训练完整步数。。随机采样要领从数据集中不加甄别地随机抽取。。DemInf要领凭证状态与行动之间的互信息来评估演示价值。。SCIZOR要领通过识别冗余轨迹和低质量状态-行动对来过滤数据。。所有要领使用相同的训练超参数，，，，，，在8块NVIDIA H100显卡上举行训练。。 在Bridge-V2上的焦点实验中，，，，，，SIEVE在种种评估条件下都取得了最高的平均乐成率。。最引人瞩目的效果是：仅用50%的演示数据配合25K训练步数（相当于全量训练一半的盘算量），，，，，，SIEVE的平均乐成率抵达56.3%，，，，，，而使用所有数据训练50K步的全量基准只有51.8%。；；；；；谎灾，，，，，，SIEVE用一半的资源逾越了全量训练的效果，，，，，，而不但仅是与之持平。。 当保存预算提升到70%时，，，，，，SIEVE的优势进一步扩大，，，，，，平均乐成率抵达62.3%（35K步）和62.5%（50K步），，，，，，再次凌驾所有比照要领。。与SCIZOR的比照也颇具说明性：SCIZOR在"把茄子放进篮子"这个使命上体现精彩，，，，，，乐成率高达90%以上，，，，，，但在"叠绿色方块到黄色方块上"和"把胡萝卜放到盘子上"这两个使命上效果显着下滑。。SIEVE则在四个使命上都坚持了相对平衡的体现，，，，，，综合效果更优。。 在Fractal和GR00T-X-Sim上，，，，，，SIEVE同样以50%数据量和50%训练步数取得了所有要领中最高的平均乐成率，，，，，，划分为76.4%和54.8%，，，，，，而全量训练的对应数字是75.0%和52.7%。。在GR00T-X-Sim场景中，，，，，，由于训练和评估情形都是仿真，，，，，，随机采样也能略微凌驾全量训练，，，，，，说明这个场景自己对数据筛选不那么敏感，，，，，，但SIEVE仍然在所有要领中排名最高。。 研究团队还测试了SIEVE筛选出的数据是否在差别类型的VLA模子上都有用。。他们选用了两种差别架构的模子，，，，，，一种用流匹配要领展望一连行动，，，，，，另一种用并行一连展望配合L1损失。。效果显示，，，，，，SIEVE在两种模子上都显著凌驾了随机采样和全量训练，，，，，，说明筛选效果并不依赖于特定的模子架构。。 为了验证SIEVE各个组成部分的孝顺，，，，，，研究团队做了一系列消融实验——通俗地说，，，，，，就是把系统的某个部件换掉或拆掉，，，，，，看看效果会下降几多。。 首先是针对"结构袒露分配"阶段的测试。。若是去掉转换接口的袒露项，，，，，，只保存原语袒露，，，，，，平均乐成率从56.3%下降到50.8%，，，，，，跌幅凌驾5个百分点。。若是反过来只去掉原语袒露项，，，，，，乐成率下降到51.6%。。两项去除的影响都相当显著，，，，，，其中去掉转换接口带来的损失更大，，，，，，这说明原语之间的衔接方式关于机械人学习长序列操作同样至关主要，，，，，，不亚于原语自己。。 其次是针对"学习友好轨迹选择"阶段的测试。。若是把"选择最靠近中心的演示"改为"选择最远离中心的演示"（马上意挑选最奇异、最多样化的演示），，，，，，乐成坦率接跌至40.1%，，，，，，比随机采样还差。。这个效果很有说服力：在统一种行为模式内部，，，，，，极端情形的演示并不是好的学习范本，，，，，，反而会给机械人带来杂乱的信号。。若是在每个组合模式内部随机选择，，，，，，乐成率为53.7%，，，，，，好于最差情形但仍落伍于SIEVE的56.3%。。由此可见，，，，，，有战略地挑选代表性演示，，，，，，确实比随机选或反向选都更有用。。 研究团队还通过可视化剖析了SIEVE怎样改变数据集的组合模式漫衍。。原始Bridge-V2数据集中，，，，，，少少数高频组合模式占有了数据的绝大大都，，，，，，并且其中有许多是只包括简单原语的简朴轨迹，，，，，，组合多样性很低。。经由SIEVE筛选后，，，，，，数据漫衍变得越发平衡，，，，，，被优先保存的组合模式大多包括多个原语，，，，，，笼罩了更富厚的原语类型和转换接口。。这印证了SIEVE的设计意图：把数据的重心从"频仍但简单"的模式转向"多样且结构富厚"的模式。。 说究竟，，，，，，SIEVE告诉我们一件听起来简朴但实践中容易被忽略的事：数据的价值不在于它有几多，，，，，，而在于它展现了几多可以被复用的纪律。；；；；；等说难昂腿死嗖⑽奘抵是稹肫渲馗醋鐾骋患事，，，，，，不如在有限的训练中接触更多差别类型的行动组合，，，，，，学会无邪调取和拼接已有的手艺。。 归根结底，，，，，，这项研究提供的不但是一个工具，，，，，，更是一种思索数据价值的视角转变：从"我有几大都据"转向"我的数据展现了几多可复用的结构"。。这个视角的转变，，，，，，或许对未来机械人学习、以致更普遍的人工智能训练范式都有参考意义。。若是你对这套要领的手艺细节感兴趣，，，，，，可以通过arXiv编号2607.06442查阅完整论文，，，，，，代码也已在GitHub上果真。。 A：随机筛选只是缩减了数据量，，，，，，但没有思量哪些数据更有价值。。SIEVE的焦点是识别演示数据中重复泛起的行为片断（原语）和片断间的衔接方式（转换），，，，，，然后优先保存那些能笼罩更多差别组合模式的演示。。实验效果显示，，，，，，随机采样50%数据的平均乐成率只有39.6%，，，，，，而SIEVE用同样50%的数据抵达了56.3%，，，，，，还凌驾了使用全量数据的训练效果。。 A：SIEVE通过机械人最后执行器（机械手）的状态转变来切割演示轨迹，，，，，，好比夹爪从张开到闭合就是一个自然的分段界线。。然后用预训练视频模子提取每段的视觉特征，，，，，，再通过聚类算法把相似的片断归为统一类原语。。原语的数目由系统自动确定，，，，，，标准是让发明的原语既在足够多的演示中重复泛起，，，，，，又能区分差别轨迹的结构差别。。 A：有用。。研究团队测试了两种架构完全差别的VLA模子——一种用流匹配展望行动，，，，，，另一种用并行展望配合L1损失。。在两种模子上，，，，，，SIEVE选出的50%数据都凌驾了随机采样和全量训练的效果，，，，，，说明筛选收益来自数据自己的结构质量，，，，，，而非针对特定模子的优化。。