当通用智商主要通过大界限预磨练取得之后，下一阶段的重要在于让如故具备通用智商的模子，在果真部署环境中握续进化。

这是智元机器东说念主首席科学家罗剑岚博士在接受量子位采访时给出的结论。

2025 年机器东说念主领域最火的 VLA 让机器东说念主通过预磨练具备了十分的通用性，但与此同期，机器东说念主能否万古刻，踏实，高效地完成任务仍是一个问号。

基于此，当机器东说念主走出实验室，走向灵通、复杂且握续变化的果真宇宙时，一个更中枢的问题随之出现：若何着实杀青通用机器东说念主的界限化部署与智能化运行。

为此，智元机器东说念主具身究诘中心提倡SOP（ScalableOnlinePost-training）——一套面向果真宇宙部署的在线后磨练系统。

这是业界初次在物理宇宙的 VLA 后磨练中，系统性地交融在线学习、分散式架构与多任务通才性，使机器东说念主集群大要在果真环境中握续进化，让个体教化在群体中高效复用，从而将"界限"调节为"智能"。

果真宇宙中的界限化智能增长挑战

要在果真宇宙中大界限运行，通用机器东说念主必须同期清闲两个看似矛盾的条目：

在复杂多变的环境中保握踏实性与可靠性。

在处理各异深广的任务时，仍具备致密的泛化智商。

现存 VLA 预磨练模子如故提供了苍劲的通用性。但果真宇宙的部署受困于更高的任务专精度条目，以及离线数据网罗风景的边缘效益递减，时常需要通事后磨练取得更高的任务得胜率。

缺憾的是，当前主流的 VLA 后磨练关节仍受离线、单机、串行网罗等身分制约，难以因循高效、握续的果真宇宙学习。

这些放纵并非源自具体算法，而是来自学习范式自己。

SOP：分散式在线后磨练框架

SOP 的中枢蓄意，是让机器东说念主在果真宇宙中杀青分散式、握续的在线学习。究诘将 VLA 后磨练从"离线、单机、限定"重构为"在线、集群、并行"，造成一个低延伸的闭环系统：多机器东说念主并行试验→云表联接在线更新→模子参数即时回流。

SOP 架构假想

△SOP 架构假想图

SOP 汲取 Actor – Learner 异步架构：

Actor（机器东说念主侧）并行教化网罗

多台部署了吞并 policy 模子的机器东说念主（actors）在不同场所同期试验种种任务，握续网罗得胜、失败以及东说念主类给与产生的交互数据。每台机器东说念主的教化数据被汇总传输至云表 Experience Buffer 中。

Learner（云表）在线学习

总计交互轨迹及时上传至云表 learner，造成由在线数据与离线民众示教数据构成的数据池。系统通过动态重采样政策，把柄不同任务的性能推崇，自合乎调治在线 / 离线数据比例，以更高效地运用果真宇宙教化。

即时参数同步

更新后的模子参数在分钟级别内同步回总计机器东说念主，杀青集群一致进化，保管在线磨练的踏实性。

SOP 自己是一套通用的框架，不错即插即用的使用放荡后磨练算法，让 VLA 从在线教化数据中获益。

究诘中式 HG-DAgger（交互式师法学习）与 RECAP（离线强化学习）看成代表性算法，将其接入 SOP 框架以进化为分散式在线磨练。

重要上风

高效情状空间探索：分散式多机器东说念主并行探索，显赫擢升情状–动作遮掩率，幸免单机在线学习的局限。

缓解分散偏移：总计机器东说念主恒久基于低延伸的最新政策进行推理网罗，擢升在线磨练的踏实性与一致性。

在擢升性能的同期保留泛化智商：传统的单机在线磨练时常会使模子退化为只擅长单一任务的"民众"，SOP 通过空间上的并行而非时刻上的串行，在擢升任务性能的同期保留 VLA 的通用智商，幸免退化为单任务民众。

实验评估：性能、遵循与 ScalingLaw

究诘围绕三个问题系统评估 SOP：

SOP 能为预磨练 VLA 带来多大性能擢升？

实验收尾讲解，在种种测试场景下，结合 SOP 的后磨练关节均得到了显赫的性能擢升。

比拟预磨练模子，结合 SOP 的 HG-Dagger 关节在物品繁芜词语的商超场景中杀青了 33% 的详尽性能擢升。

关于奢睿操作任务（叠穿着和纸盒安装），SOP 的引入不仅擢升了任务的得胜率，结合在线教化学习到的特殊规复智商还能光显擢升政策操作的蒙眬量。

结合 SOP 的 HG-Dagger 关节让叠穿着的比拟 HG-Dagger蒙眬量跃升 114%。

SOP 让多任务通才的性能普遍擢升至近乎竣工，不同任务的得胜率均擢升至 94% 以上，纸盒安装更是达到 98% 的得胜率。

SOP 性能擢升

为了进一步测试真机 SOP 磨练后 VLA 模子是否达到民众级性能，究诘让 SOP 磨练的 VLA 模子进行了长达 36 小时的持续操作，模子展现出了惊东说念主的踏实性和鲁棒性，大要灵验应酬果真宇宙中出现的种种疑难杂症。

36h 持续叠纸盒（50 倍速）

36h 持续叠穿着（50 倍速）

机器东说念主界限若何影响学习遵循？

究诘使用了三种机器东说念主戎行数目（单机、双机、四机成就），在雷同的数据传送总量的基础上，进行了比较。实验收尾标明，在疏浚的总磨练时现时，更普遍量的机器东说念主带来了更高的性能推崇。

在总磨练时刻为 3 小时的放纵下，四机进行学习的最终得胜率达到了 92.5%，比单机独特 12%。

究诘觉得，多机网罗不错灵验拦阻模子过拟合到单机的特定特征上。

同期，SOP 还将硬件的蔓延调节为了学习时长的大幅裁汰，四机器东说念主集群比拟单机大要将模子达到蓄意性能的磨练速率增至 2.4 倍。

SOP 学习遵循擢升

不同预磨练界限下 SOP 是否踏实灵验？

临了，究诘议论了 SOP 和预磨练数据之间的关系。

究诘把总量为 160 小时的多任务预磨练数据分为了三组：20 小时，80 小时和 160 小时，分袂磨练一组启动模子后再进行 SOP。

究诘发现，预磨练的界限决定了基座模子和后磨练擢升的轨迹。SOP 能为总计启动模子带来踏实的擢升，且最终性能与 VLA 预磨练质料正干系。

同期，对比 80 小时和 160 小时实验成果，究诘也不错光显忽闪到，在处置特定失败情况时，在轨政策教化带来了相配显赫的边缘成果。

SOP 在三小时的在轨教化下就取得了约 30% 的性能擢升，而 80 小时额外东说念主类民众数据只带来了 4% 的擢升。

这讲解在预磨练出现边缘效应递减的情况下，SOP 大要高效突破 VLA 性能瓶颈。

△SOP 在不同预磨练数据界限下的对比

部署即进化：重塑机器东说念主人命周期

临了究诘将机器东说念主戎行放到了预磨练模子莫得见到的果真新环境下试验任务，并使用 SOP 进行在线磨练。

当机器东说念主被置于不同的环境时，即等于雷同的任务，开端得胜率和蒙眬量如预期般下跌，但在 SOP 介入只是几个小时后，机器东说念主的性能便显赫回升，大要鲁棒地试验相对复杂的内容任务。

SOP 改革的不仅是磨练范式，更是机器东说念主系统的人命周期。

究诘信托机器东说念主不应当是"性能固定的标品"，而是"在果真宇宙中握续擢升的人命体"。部署不是时候迭代的非常，而是更大界限学习的起程点。

要是说 VLA 让机器东说念主第一次具备了通用相识与举止智商，那么 SOP 所作念的是让边远机器东说念主的教化共同驱动智能的快速成长。磨练不被锁死在夙昔，智能成长在当下。

论文博客：https://www.agibot.com/research/sop_zh

一键三连「点赞」「转发」「留心心」

接待在辩驳区留住你的思法！

—  完  —

咱们正在招聘别称眼疾手快、眷注 AI 的学术剪辑实习生  � �

感风趣的小伙伴接待眷注 � �  了解笃信

� � 点亮星标 � �

科技前沿进展逐日见开云体育(中国)官方网站