这项由加州大学伯克利分校、英伟达、卡内基梅隆大学和博世公司联合主导的研究，，，，，于2026年7月以预印本形式宣布在学术论文平台arXiv上，，，，，编号为arXiv:2607.05369v1。。。。。感兴趣的读者可通过该编号查找完整原文。。。。。 说到机械人，，，，，大大都人脑子里浮现的要么是工厂流水线上重复拧螺丝的机械臂，，，，，要么是科幻影戏里无所不可的人形机械。。。。。然而现实中，，，，，机械人所处的田地颇为尴尬——要么太"呆"，，，，，只会死板地重复统一个行动
；；；；要么太"笨"，，，，，面临稍微重大一点的场景就束手无策。。。。。研究团队把这两类使命划分称为"牢靠自动化"和"泛化机械人学习"，，，，，而他们真正感兴趣的，，，，，是夹在两者之间的一个重大空缺地带。。。。。 这个空缺地带有一个新名字：**变分自动化**（Variational Automation，，，，，简称VA）。。。。。以超市收银台后面的打包机械人为例，，，，，它天天面临的商品形状各异、摆放位置随机，，，，，但事情情形、货架结构、机械臂型号这些大框架是牢靠的。。。。。这类使命既不像焊接那样千篇一律，，，，，也不像"帮我去任何一个生疏家庭的厨房里做饭"那样天马行空——它们处于一个"转变有限、但转变确实保存"的区间。。。。。商业和工业场景中，，，，，这样的使命比比皆是：客栈分拣、咖啡馆调饮、三明治流水线、数据中心插拔电缆…… 目今主流的机械人学习要领在这里碰了壁。。。。。一类叫做"端到端视觉-语言-行动模子"（VLA）的要领，，，，，相当于给机械人喂大宗演示视频，，，，，让它自己探索纪律。。。。。这种要领在名堂多变的家庭情形里体现尚可，，，，，但一旦需要在统一个事情台上日复一日地坚持高可靠性，，，，，它就最先频仍蜕化——而商业场景的容错空间极其有限，，，，，一条流水线每小时出一再错，，，，，本钱就会急剧上升。。。。。另一类古板方规则是工程师手工写代码，，，，，准确到每一个枢纽角度，，，，，但这需要大宗专业人力，，，，，面临新使命险些要重新再来。。。。。 于是，，，，，研究团队提出了一套名为**GaP（Graph-as-Policy，，，，，图战略）**的新方案，，，，，焦点思绪是：让人工智能自动天生一张"使命执行地图"，，，，，然后在虚拟的模拟情形里重复排演、自我刷新，，，，，直到体现知足，，，，，再交给真实机械人去执行。。。。。 明确GaP的焦点，，，，，需要先明确一个比喻。。。。。把机械人要完成的使命想象成一首重大的交响乐。。。。。单唯一个演奏者很难同时看顾所有声部，，，，，但若是有一张曲谱，，，，，每个乐手只需认真自己的部分，，，，，整首曲子就能协调运转。。。。。GaP中的"盘算图"（Computation Graph），，，，，就饰演了这张曲谱的角色。。。。。 这张图由"节点"和"边"组成。。。。。每个节点代表机械人需要执行的一个详细行动或判断，，，，，好比"拍一张照片"、"识别眼前的物体是什么"、"计齐整条不遇到障碍物的运动路径"、"闭合夹爪抓起物体"。。。。。边则代表信息流动的偏向：上一个节点的输出，，，，，成为下一个节点的输入。。。。。有些边是"数据边"，，，，，纯粹转达信息
；；；；有些边是"控制边"，，，，，相当于"若是这一步乐成，，，，，就执行下一步
；；；；若是失败，，，，，就执行备用方案"。。。。。 这种结构有几个显著利益。。。。。第一，，，，，模？？？？榛扛鼋诘阕粤υ俗，，，，，出问题时容易定位和修复，，，，，不会由于一处过失牵连整个系统。。。。。第二，，，，，可复用——识别物体的节点今天用在打包使命里，，，，，明天可以直接搬到另一个使命里，，，，，不需要重写。。。。。第三，，，，，透明——人工智能天生的这张图是可以被人类读懂的，，，，，不是一个不可诠释的黑盒子。。。。。这一点在商业场景中至关主要：当系统蜕化时，，，，，工程师需要知道问题出在哪一步，，，，，而不是对着一个重大的神经网络束手无策。。。。。 GaP的灵感部分来自两个经典系统。。。。。一个是机械人领域普遍使用的"机械人操作系统"（ROS），，，，，它自己就是基于盘算图结构来组织各模？？？？橹渫ㄑ兜
；；；；另一个是"使命与运动妄想"（TAMP），，，，，一种通过层级图来同时处理高层决媾和底层运动的经典要领。。。。。GaP相当于在这两者的基础上，，，，，加入了人工智能自动天生和自我优化的能力。。。。。 有了曲谱框架，，，，，还需要详细的音符。。。。。GaP配套了一个名为**MORSL**（模？？？？榛呕等耸忠湛猓┑墓ぞ呦，，，，，初始版本包括51个手艺模？？？？，，，，，笼罩了机械人执行使命所需的种种能力。。。。。 这些手艺大致分为几个家族。。。。。感知类手艺认真让机械人"看清晰"天下，，，，，包括SAM2、SAM3这类支解模子（能把图像中的物体一个个勾勒出来）、Grounding DINO（能凭证文字形貌找到对应物体）、Molmo（一种视觉问答模子）等共15个工具。。。。。抓取妄想类手艺认真决议从哪个角度、以什么姿势夹住物体，，，，，包括Contact GraspNet、GraspGen这类基于深度学习的抓取方案，，，，，共5个。。。。。运动妄想类手艺认真盘算机械臂从目今位置到目的位置的无碰撞路径，，，，，使用的是cuRobo和cuRobov2这类高效的GPU并行妄想工具，，，，，共8个。。。。。别的尚有15个基于NumPy和OpenCV的二维、三维视觉处理工具，，，，，以及8个控制和验证原语。。。。。 每个手艺模？？？？槎加忻魅飞鞯"输入"和"输出"接口，，，，，就像乐高积木的凸凸和凹凹——只要接口匹配，，，，，就可以自由组合。。。。。认真协调解个系统的AI"指挥官"，，，，，在天生使命图时，，，，，会参考这些接口界说来决议哪些节点可以相互毗连，，，，，阻止把一个输出"照片"的节点，，，，，接到一个期待吸收"三维点云"输入的节点上。。。。。 MORSL的设计遵照了Anthropic公司提出的"Agent Skills"规范，，，，，使得AI署理能够自动查阅手艺说明、决议何时挪用哪个手艺，，，，，以及怎样把它接入使命图中。。。。。这套系统是开放的，，，，，随着更多手艺被加入，，，，，GaP能处理的使命规模也会一直扩大。。。。。 GaP的运作流程，，，，，可以类比为一个小型工程团队接到一个新项目时的事情方式。。。。。甲方（用户）只需要提交一份自然语言使命形貌，，，，，好比"在燃气炉上做爆米花"，，，，，再加上相关物件的三维模子文件，，，，，剩下的事情就交给GaP内部的多个AI署理来完成。。。。。 第一位进场的是"行为署理"（Behavior Agent），，，，，相当于项目司理。。。。。它阅读使命形貌，，，，，把整个使命拆解成若干个功效模？？？？，，，，，好比"感知炉灶旋钮"、"抓取旋钮并旋转"、"找到爆米花锅"、"抓取锅柄"、"把锅放到炉灶上"、"期待加热"、"移走锅"、"关闭炉灶"。。。。。关于每个模？？？？，，，，，它还会决议应该挪用MORSL中的哪类手艺。。。。。 接着，，，，，每个功效模？？？？榛岜环峙涓杂Φ"手艺署理"（Skill Agent），，，，，相当于各专业的工程师。。。。。手艺署理认真在自己认真的模？？？？槟诓，，，，，设计详细的节点序列和毗连方式——先获取图像，，，，，再运行物体检测，，，，，再盘算抓取姿态，，，，，再妄想运动路径，，，，，再执行抓取行动，，，，，依此类推。。。。。每个手艺署理只需要关注自己那一块，，，，，不需要明确整个使命的全貌，，，，，这大大降低了每个AI的事情重漂后，，，，，也镌汰了"上下文窗口"（AI能同时处理的信息量）的压力。。。。。 所有子模？？？？樘焐瓯虾，，，，，行为署理再将它们拼接成一张完整的盘算图，，，，，并举行静态验证：检查数据类型是否匹配、毗连是否正当、有没有悬挂的引用或伶仃的节点。。。。。这一验证方法能在图真正运行之前，，，，，就提前发明并报告结构性过失，，，，，阻止机械人在执行到中途时由于程序瓦解而陷入危险状态。。。。。 天生初始盘算图只是第一步。。。。。GaP的真正亮点，，，，，在于它接下来会自动进入一个重复训练和刷新的循环——这个历程被称为"基于排演的图优化"。。。。。 详细来说，，，，，GaP会挪用英伟达的Isaac物理模拟器，，，，，在其中搭建出与真实使命对应的虚拟场景。。。。。在"做爆米花"这个使命里，，，，，虚拟场景包括一个逼真的Franka机械臂、一个燃气炉（带有可旋转的旋钮）、一个JiffyPop爆米花锅。。。。。然后，，，，，GaP会从使命的"信心空间"（也就是"物件在这个使命里可能泛起的种种位置和姿态的漫衍"）中采样N个差别的初始状态，，，，，在这N个场景里同时并行运行目今版本的盘算图，，，，，视察效果。。。。。 在每个场景的每个要害节点之后，，，，，GaP都会纪录下机械人和物体的状态——夹爪的开合水平、物体的三维位置、接触点信息等。。。。。这些纪录就像考试卷的批注：哪道题做对了，，，，，哪道题在那里出了问题。。。。。 当某个节点的通过率低于预期，，，，，GaP就会把失败案例的原始数据整理成一份"反馈报告"，，，，，交给另一组AI剖析署理。。。。。剖析署剖析实验从物理层面找到基础原因——"夹爪没有接触到物体"意味着抓取位置盘算有误
；；；；"物体在夹住后仍留在桌面"意味着夹爪并没有真正抓牢
；；；；"锅没有落在炉灶外貌"意味着放置位姿需要调解。。。。。 基于这些剖析，，，，，"图更新"模？？？？榛岫耘趟阃季傩姓攵孕孕薷模禾婊灰桓鍪忠战诘悖ê帽劝汛縂raspGen抓取方案换成GraspGen与朝向困绕盒方案的混淆），，，，，调解某个节点的参数（好比修改放置目的的偏移量），，，，，或者重新设计某个感知模？？？？椋ê帽却邮侗鹫龉奈攀侗鸸奶崾郑。。。。。修改后的图会进入下一轮排演，，，，，云云往复，，，，，直到系统性能触达瓶颈不再提升，，，，，或者抵达预设的迭代次数上限。。。。。 以"做爆米花"使命为例，，，，，自我学习履历了三个阶段。。。。。第一至三轮迭代中，，，，，最大的问题是夹爪无法稳固捉住锅，，，，，模拟器反馈显示夹爪与锅体之间始终没有接触，，，，，于是GaP将纯GraspGen方案替换为混淆方案。。。。。第四轮时，，，，，GaP意识到应该抓提手而不是抓锅体，，，，，于是将感知目的从"锅"改为"锅的提手"。。。。。第四至第八轮，，，，，GaP一连微调锅放置到炉灶时的位姿偏移，，，，，直到锅能稳固落在炉灶中央。。。。。整个历程历时10轮迭代，，，，，最终在模拟情形中抵达94%的乐成率。。。。。 为了磨练GaP的现实能力，，，，，研究团队设计了八个全新的变分自动化基准使命，，，，，涵盖模拟和真实两类情形，，，，，每类各四个使命。。。。。这套基准自己也是这项研究的主要孝顺之一，，，，，由于此前学界缺乏专门针对"变分自动化"场景的标准测试集。。。。。 前三大类使命——推行杂货订单、打包杂货商品、制作爆米花——各有模拟版本（在电脑中运行）和真实版本（在现实机械臂上执行），，，，，素材取自LIBERO这个着名机械人学习基准，，，，，但做了大幅扩展。。。。。原始的LIBERO使命中，，，，，物体位置险些稳固，，，，，这导致模子很容易通过死记硬背演示轨迹来"作弊"，，，，，而GaP的测试版本引入了四种转变类型：物体在20×20平方厘米区域内随机移动、目的物体与容器交流位置、所有物体打乱顺序、以及以上所有转变混淆泛起。。。。。 在模拟情形下举行的5500次试验中（每个测试条件100次），，，，，GaP在所有转变类型下的乐成率稳固坚持在0.93到0.99之间，，，，，远高于同期的种种基线要领。。。。。比照最为鲜明的是敌手VLA模子的体现：π0.5和MolmoAct2在物体完全不动的原始LIBERO使命上乐成率高达96%和97%，，，，，一旦物体位置泛起转变，，，，，乐成率连忙跌至20%至26%的规模，，，，，与GaP的差别悬殊。。。。。 TipTop是另一个基线，，，，，它属于将大语言模子与古板使命运动妄想连系的要领，，，，，理论上具备处理空间转变的能力。。。。。然而在实验中，，，，，它经常无法为形状特殊的物体（好例如形盒子）或高度不寻常的容器（高篮子）找到可行的运动路径，，，，，最终乐成率彷徨在22%至31%之间。。。。。 GaP还展示了另一种用途：作为VLA模子的"前菜"。。。。。当GaP先把机械臂的腕部摄像头指导到目的物体正上方，，，，，再把控制权交给π0.5或MolmoAct2来执行抓取行动时，，，，，两个VLA模子的乐成率都实现了显著提升——在某些测试条件下提升了一倍以上。。。。。这是由于GaP解决了VLA模子最头疼的问题：物体不在预期位置导致的"漫衍外"瓦解。。。。。当摄像头已经瞄准了目的，，，，，VLA就似乎回到了它熟悉的训练场景，，，，，施展也就更稳固了。。。。。 在真实机械臂上，，，，，GaP同样体现精彩。。。。。推行杂货订单使命25次所有乐成（100%），，，，，而比照要领TipTop只乐成了8次（32%）。。。。。打包杂货使命中，，，，，GaP在30次实验里乐成了28次（93%）。。。。。制作爆米花使命完成20次中的18次（90%），，，，，两次失败划分源于一次逆运动学盘算过失和一次因累积误差导致的夹持失败。。。。。在执行速率上，，，，，GaP完成单次拾放操作平均需要67秒（其中14.1秒用于感知，，，，，36.4秒用于运动执行），，，，，而TipTop平均需要95秒。。。。。 第四项使命是用UR5机械臂插拔USB-C数据线，，，，，这是一个对精度要求极高的使命。。。。。六个接口排成一排，，，，，机械人需要凭证差别的语言指令（"插入奇数号接口"、"按升序插入所有接口"等）完成响应行动，，，，，同时应对接口位置在距离和角度上的转变。。。。。在130次插入实验中，，，，，GaP乐成了121次，，，，，总体乐成率0.93。。。。。GaP为这个使命天生的盘算图直接挪用了ROS系统中的原有节点，，，，，展现了它与古板工程要领无缝衔接的能力。。。。。 第五项使命是双臂协同洗箱子，，，，，两个Franka机械臂需要同时捉住一个放在堆垛上的箱子的两侧窄槽，，，，，将其抬起、翻转180度、再放到洗濯台上。。。。。这个使命需要两臂准确同步，，，，，容错率极低。。。。。研究团队以一位专家工程师手工调试的盘算图作为参照标准：手工版乐成率0.987，，，，，GaP天生的版本乐成率0.953，，，，，平均单次耗时划分为176秒和179秒，，，，，在3小时一连运行中每小时划分完成19次和18次使命。。。。。两者险些相差无几，，，，，而GaP的版本是由AI自动天生的，，，，，无需工程师逐行编写代码。。。。。 为了验证GaP各个组件的须要性，，，，，研究团队做了三组"若是去掉某个部件会爆发什么"的实验，，，，，这类实验在学术界被称为"消融实验"，，，，，类似于厨师测试哪个食材对菜肴风味最要害。。。。。 第一组实验去掉"图结构"，，，，，改为让一个简单AI直接输出Python剧本。。。。。效果乐成率跌至零。。。。。原因在于，，，，，直接写代码时，，，，，AI需要从影象里挪用底层服务接口简直切要领名和参数名堂，，，，，哪怕高层逻辑完全准确，，，，，一处细微的拼写过失或接口版本不匹配，，，，，就会让整个程序瓦解。。。。。图结构则把这些细节封装在自力节点里，，，，，阻止了这类问题。。。。。 第二组实验把多个专业署理合并为一个简单的大语言模子。。。。。效果同样是乐成率跌至零，，，，，所有试验在静态结构验证阶段就已失败。。。。。原因在于，，，，，单个AI同时需要治理全局数据流、局部逻辑设计和接口验证，，，，，凌驾了其能可靠处理的重漂后上限，，，，，频仍泛起"悬挂引用"（引用了一个不保存的节点）或"节点命名冲突"等过失。。。。。更糟糕的是，，，，，即便经由多轮反馈迭代，，，，，简单模子往往在差别类型的过失之间往返震荡，，，，，无法收敛到稳固的准确解。。。。。 第三组实验去掉图验证方法。。。。。效果显示，，，，，在"推行杂货订单"使命中，，，，，部分首次天生的子图保存过失毗连——好比"运输阶段"的输入输出被过失地接到了"释放阶段"，，，，，这类过失在运行时会导致程序瓦解。。。。。图验证方法能提前发明并报告这些问题，，，，，资助AI署理实时修正，，，，，显著提升了最终天生图的连通性和执行乐成率。。。。。 研究团队明确指出，，，，，GaP现在的执行速率仍远低于工业标准。。。。。工业场景通常要求每小时处理500个单位，，，，，折算下来每个使命约7秒，，，，，而GaP现在完成一次拾放需要67秒左右，，，，，差别悬殊。。。。。瓶颈主要来自两个环节：挪用视觉语言模子举行感知的推理时间，，，，，以及逆运动学和运动妄想的盘算时间。。。。。 在可靠性方面，，，，，GaP的体现已经令人鼓舞，，，，，但距离工业级要求（通常期望乐成率在99%以上）仍有差别，，，，，尤其是在需要高精度的使命（如数据线插拔）中，，，，，还保存因视觉预计误差或深度预计禁绝确导致的失败。。。。。 在使命多样性方面，，，，，八个基准测试都是"准静态"的拾取-放置类使命，，，，，只有数据线插拔使命用到了力传感反馈。。。。。柔性物体处理、动态目的追踪、涉及动态力的重大操作，，，，，现在还没有在GaP框架下被探索。。。。。 另一个值得关注的偏向是：GaP现在在Benchmarks I和II（杂货使命）中，，，，，首次天生的盘算图就已经抵达了很高的乐成率，，，，，因此跳过了自我学习环节。。。。。而在"做爆米花"这类更重大的使命中，，，，，自我学习的价值才充分体现。。。。。这批注，，，，，随着使命重漂后提升，，，，，GaP的自我优化能力会越来越要害。。。。。 说究竟，，，，，GaP这套系统的意义，，，，，在于它找到了一条介于"死板的古板编程"和"难以掌控的端到端学习"之间的中心蹊径。。。。。古板工程要领准确可靠，，，，，但设置本钱极高，，，，，每换一个使命都要重新投入大宗人力
；；；；端到端VLA模子无邪顺应，，，，，但在需要恒久稳固运行的商业场景中懦弱性显着。。。。。GaP用AI自动天生可诠释的盘算图，，，，，再用模拟器自我优化，，，，，试图把两者的优点连系起来。。。。。 关于可能使用工业机械人的工厂、客栈或服务业来说，，，，，这项研究描绘了一种可能的未来：当需要机械人完成一个新使命时，，，，，不再需要期待工程师花数周时间手动调试，，，，，而是提交一段使命形貌，，，，，期待系统自动天生和排演，，，，，再安排到现场。。。。。这条路离真正落地尚有距离，，，，，但偏向已经变得越发清晰。。。。。 A：工厂里古板的牢靠自动化，，，，，好比汽车焊接，，，，，每次操作的工具形状完全相同、位置完全牢靠，，，，，机械人只需重复统一套行动就行。。。。。变分自动化则处于中心地带：使命自己是牢靠的，，，，，好比"把杂货装进袋子"，，，，，但每次面临的物品种类、形状和摆放位置都纷歧样，，，，，机械人必需凭证实时视察调解行动，，，，，不可死记硬背，，，，，但又不需要像家用机械人那样应付完全生疏的情形。。。。。 A：GaP的自我学习依赖模拟器。。。。。系统先在虚拟情形里运行目今版本的使命妄想，，，，，在每个要害方法后纪录机械人和物体的状态，，，，，好比有没有真正捉住物体、物体有没有落在目的位置。。。。。遇到失败时，，，，，AI剖析署剖析从这些物理数据中推断出基础原因，，，，，然后修改妄想，，，，，好比换一个抓取算法或调解放置位置的偏移量，，，，，再次排演，，，，，云云循环。。。。。这不是机械人凭空"想出"的，，，，，而是AI连系物理反馈数据做出的结构性调解。。。。。 A：在双臂协同洗箱子这个使命中，，，，，GaP自动天生的盘算图乐成率为95.3%，，，，，而履历富厚的工程师手工调试的版本乐成率为98.7%，，，，，两者差别约3个百分点，，，，，执行时间也基本持平（179秒对176秒）。。。。。关于一个完全由AI自动天生、无需人工逐行调试的系统来说，，，，，这个靠近水平已经相当有说服力，，，，，但距离某些工业场景要求的99%以上可靠性仍有差别，，，，，研究团队也坦承这一点。。。。。