机器人前瞻10月19日报道，近日，哈佛大学、英伟达、加州大学伯克利分校、麻省理工学院和斯坦福大学的研究团队，推出开源框架RAX（Robot Agent eXploration，机器人智能体探索）。
RAX的核心思路是扩大机器人的自主探索规模。智能体通过在线获取经验，并将有效经验转化为可执行程序，不断提升自身能力。
简单来说，RAX让一个会写代码的通用智能体，在真实或仿真环境里“边干边试”，把尝试的有效做法写成可反复运行的程序。
▲《Scaling Online Exploration for Robot Agents》
比如，在机器人执行开空气炸锅任务时，智能体一开始要边看深度相机，边写分析脚本，边试动作，花了44分钟，写了23个分析脚本才完成第一次抓取。
但一旦摸索出“怎么定位把手、怎么抓、怎么分步拉开抽屉、怎么放香蕉、怎么关上”的有效决策序列，智能体就能把这套流程编译成模块化程序，之后机器人就能快速自动执行。
基于RAX，该团队研究了如何扩大在线探索规模，以及这种方法在不同机器人本体和任务中的表现。
实验结果表明，随着探索规模扩大，机器人在未见过的环境中，其泛化能力得到持续提升。在仿真实验中，RAX的平均表现比表现最好的基线模型高出37.4%。
据悉，该论文共同第一作者黄润晗，本科毕业于清华大学姚班，今年6月获计算机科学工学学士学位，同年8月加入哈佛大学攻读计算机科学博士。他的研究主要聚焦机器人学、生成模型和智能体。
另一位共同第一作者Xiangcheng Zhang，同样在哈佛大学攻读计算机科学博士。
01.
智能体直接上手写程序，
让机器人学会自主操作空气炸锅
VLA模型和WAM模型，分别用大规模遥操作数据，对预训练的VLM和视频生成模型进行微调。但将系统部署至新机器人，或让其执行新任务，通常仍需专门采集遥操作数据。
这类策略本质上受限于所模仿的示范数据，即使机器人能交互，测试时有额外算力，也难以实现泛化和自我改进。
这一局限引出了一个核心问题：机器人能否通过自主在线经验和主动探索，实现自我改进，并学会发现新的技能？
研究团队提出一个新的思路，让智能体直接为机器人编写程序，这样，整个过程不需要人工设计动作原语（ action primitives）。
此次提出的RAX，是一种面向机器人智能体的认知架构。在RAX中，通用编码智能体拿到的是自然语言指令、至多几张目标图像或视觉示范，外加一个探索回合预算。
随后，智能体直接通过机器人的感知和控制接口，与机器人交互。整个过程不需要人工遥操作，也不依赖价值函数指导。
底层语言模型的参数始终保持固定，系统不会进行策略训练。同时，系统通过持续更新一个可长期保存的工作空间来实现学习。该工作空间包含程序、笔记和经过验证的技能。
智能体会将成功的交互过程，转化为可自主执行的代码程序，并保存可供后续实验和任务复用的知识。
而随着探索规模扩大，研究团队也观察到系统逐渐展现出多种能力。
1、多模态感知
为了构建符合真实物理世界的模型，团队为智能体提供多模态传感器输入，包括RGB图像、深度图、相机参数和力信号。
借助这些信息，智能体可以利用深度数据构建三维世界模型，并通过力反馈控制接触过程。
在机器人开空气炸锅任务中，智能体打开空气炸锅抽屉，将一根香蕉放入炸篮，再关闭抽屉。
智能体首先将RGB-D相机采集的观测数据转换为点云，并统一到机器人基座坐标系中。然后，它利用自身测量得到的数据，构建空气炸锅的几何模型。
面对新的场景布局时，智能体会通过鲁棒估计方法，拟合空气炸锅的轴线和手柄方向，从而确定其位置和姿态。
由于抽屉可以移动，模型需要表示物体的关节结构。该模型由固定机身和一个抽屉组成。
智能体以此模型为基础，规划每一个动作，包括抓取、拉动和松手，并检查每段运动轨迹是否会发生碰撞。
2、规划与控制
建立准确的世界模型后，智能体便可以直接在三维空间中规划机器人动作，并利用机器人控制软件开发工具包（SDK）和运动学求解器执行规划。
为了连接智能体与实体机器人，团队将机器人的控制SDK封装为模型上下文协议（MCP）工具，同时提供逆运动学（IK）求解器、机器人URDF模型等辅助工具。
借助这些工具，智能体可以规划每个动作，并搜索可行的运动轨迹。规划过程中，它会考虑机器人的姿态、碰撞风险和关节限位。
以空气炸锅任务为例，抽屉手柄顶部有一段较短的水平杆，杆的末端向下延伸出一个供抓握的部分。
如果像人一样从正面抓住这段握柄，智能体拉动抽屉时，靠近水平杆根部的关节几乎没有足够的活动余量。
因此，如图中动作1和2所示，智能体选择从上方抓住较短的水平杆，并以每次3厘米的步长逐步拉开抽屉。
接下来是放入香蕉的操作。香蕉长18厘米，而炸篮长19厘米，几乎没有多余空间。
如果将香蕉保持水平，直接从手中松开，香蕉就会碰到空气炸锅顶部。同时，张开的手指也可能撞到机身。
如图中动作3所示，为了解决这个问题，智能体将手部绕香蕉的轴线倾斜60°，使香蕉凹陷的一侧朝向空气炸锅。随后，它在香蕉中部刚刚越过炸篮中心的位置松手，将香蕉放入篮中。
这些动作都是智能体在探索过程中，通过搜索和尝试不同的控制工具自行发现的，没有接受人工建议，也没有使用人工示范。
3、从探索到自主机器人程序
每次动作都依赖大语言模型进行推理，成本较高，执行速度也较慢。
为了实现高频闭环规划，智能体会将决策过程自动转化为自主机器人程序，程序能够通过代码直接执行任务。
RAX智能体能够不依赖预训练策略或人工编写的动作原语，直接控制机器人。
在探索过程中，控制权逐步从高层推理，转移到自主执行的代码程序中。最终，智能体通过自身生成的代码实现自主决策。
在初始阶段，智能体通过调用工具控制机器人，并依靠大语言模型感知场景。
当任务成功完成后，智能体会将这些决策编译成代码程序。此后，程序便可以独立运行，无须每一步都等待主智能体进行推理。
例如，在识别物体的形状和几何特征后，智能体会生成三维物体模型。当遇到新的物体布局时，程序可以利用深度数据生成的点云，自动估计物体的位置和姿态。
这样就不需要主智能体反复处理原始图像，大幅减少了感知过程的时间开销和计算成本。
智能体还会将任务拆分为多个阶段，并通过程序实现模块化技能。每项技能都包含执行前检查、动作执行和结果验证。
探索过程中测得的数据，例如移动距离、抓取方向等，也会被转化为程序参数。
智能体会在探索过程中反复测试不同版本的程序，并根据各个阶段的失败情况，判断需要修改哪项具体技能。
这种设计能够将每次失败直接对应到某个具体阶段，便于定位问题并进行修正。
当程序达到足够的可靠性后，智能体会让它在新的场景中进行无人值守测试。程序具备异常处理机制，智能体则会监控程序生成的日志，以便在紧急情况下介入。
如果开放环境中出现较大变化，导致感知或规划失败，程序就会抛出异常。此时，智能体可以重新介入，感知当前环境，并做出必要调整。
通过在探索阶段大规模测试和调试程序，系统最终能够生成完整的自动化程序。即使面对未见过的场景，程序也能自主完成感知、决策和动作执行。
4、基于记忆的持续学习
机器人智能体和人类一样，遵循着类似的认知过程，即反复练习单项技能，熟练掌握后，再将这些技能组合起来，完整演练复杂的长时序任务。
研究团队让智能体通过反复练习生成并改进技能，再逐步复用技能库中的已有能力，完成越来越复杂的任务。
以家庭场景为例，该团队让智能体练习不同的子任务，例如抓取和放置箱子与桶，或对桌面物品进行分类整理。
在练习过程中，智能体会开发自主执行程序，并通过端到端的反复演练提高程序的鲁棒性。最终，经过验证的程序会被存入多任务技能库。
当执行由多个子任务组成的长时序任务时，智能体可以直接复用这些技能。同时，它还会检查技能的执行记录和适用前提，以应对练习阶段未曾遇到的环境变化。
这种技能获取和练习过程，也可以在多台机器人及多个任务之间并行开展，从而实现多机器人系统之间的协同学习。
02.
前后端分离设计，
一套架构适配多种机器人
RAX 使用统一的智能体架构，其支持仿真环境和真实世界中的多种机器人本体，包括单臂机械臂、双臂机器人、灵巧手、移动操作机器人和人形机器人。
为实现该目标，在设计上，RAX采用了软件工程中常见的前后端分离设计，将前端与为其提供服务的后端分开。
在RAX中，后端负责机器人的物理系统，包括硬件驱动程序、仿真器、底层控制器、传感器处理流程，以及相关的安全防护机制。
它运行厂商提供的驱动程序和实时控制器，输出经过标定的RGB-D图像，以及相应相机的内参和位姿。后端还会持续记录机器人的传感器数据和状态。这样，智能体就能在动作执行后查看实际结果。
前端从系统中接收的内容，只有工具和技能两类。
工具尽可能开放后端提供的功能，包括环境观测、底层控制，以及基于模型的辅助功能。
例如，正向运动学和逆运动学求解、平台支持的运动规划，以及仅在机器人模型上执行候选动作的预演功能。该预演不包含实际环境场景。
工具还提供构建感知系统所需的几何基础功能，包括将图像像素反投影为，具有实际尺度的三维点、获取相机在机器人坐标系中的位姿，以及获取从各个相机到末端执行器的运动学链。
技能则以文档形式说明如何使用这些工具。内容包括机器人的坐标系、动作空间、控制频率、各项限制和失效模式，以及感知规范、探索流程和记忆机制。
这些技能围绕四个维度组织：任务策略、协同控制、感知，以及机器人专用控制。
系统会根据机器人本体和观测模式，将相应技能组合到每次实验使用的独立工作空间中，智能体可以在这里观察环境、制定决策并执行动作，同时编写用于实现决策逻辑的程序。
前后端只通过工具接口连接。这种前后端分离设计，从架构上，就让RAX具备了支持多种机器人本体的能力。
同一个前端可以连接不同平台的后端，包括真实的Franka和Rainbow RB-Y1机器人，以及各类仿真基准环境。
03.
六类基准评测，
五组对比平均领先37.4分
在仿真测试上，团队将RAX放在RoboDojo、BEHAVIOR-1K、HumanoidArena、DexJoCo、LIBERO和LIBERO-Pro六个基准上进行评估，覆盖单臂、双臂、灵巧、移动和人形本体。五个基准上平均超过此前最强模型37.4分。
在不使用任何专家动作轨迹的情况下，RAX还在RoboDojo、BEHAVIOR-1K、DexJoCo和LIBERO-Pro上取得了最好成绩，分别领先53.4、38.3、31.4和21.2个百分点。
1、RoboDojo评测
团队使用双臂ARX X5，设置了七个覆盖域随机化、精度、记忆、长时程和开放指令的任务。
在最大预算下RAX在全部七个任务上超过所有基线，平均成功率为78.3%，排行榜最强策略VPP2为24.9%。sweep blocks random上RAX达71.7%、最佳基线仅8.0%；pour by language上所有学习策略均失败，RAX达100.0%。
2、BEHAVIOR-1K测试
在BEHAVIOR-1K上，多个协作智能体使用Galaxea R1 Pro，在并行环境中探索六个长时程家庭任务。每个任务的探索预算为128个回合。
在练习时，RAX只给智能体任务描述、RGB-D观测，以及任务完成后的图像序列作为参考，不给动作示范。
练完后，RAX把智能体摸索出的程序、笔记和技能冻结。评估时，RAX会启动一个新的智能体副本，让它带着这套冻结成果去跑十个官方公开测试场景。评分看每个任务完成了多少目标条件，完全成功才给满分。
结果显示，RAX在这个基准上比此前最好成绩高38.3分。
3、HumanoidArena
面对Unitree G1配Dex3手的七项任务，RAX的平均成功率达到89.8%，比世界动作模型WB-WAM高出7.9个百分点。两者使用的示范数据量也不同，RAX每项任务仅获得3段遥操作示范，而基线方法使用了100段。
4、DexJoCo
研究团队进一步测试了灵巧手操作能力。该基准包含11项任务，其中6项使用单臂，5项使用双臂。机器人需要使用搭载16自由度Allegro灵巧手的Franka机械臂，去完成任务。
随着探索从2个回合增加到8个回合、再增加到32个回合，RAX 在11项任务上的平均成功率，从31.9%升至86.9%，最终达到96.7%。
在32个回合的设置下，RAX 在每项任务上的成功率，均超过论文所比较的既有最优结果。
5、LIBERO和LIBERO-Pro
在LIBERO基准中，研究团队使用单臂Franka Panda机械臂和两指平行夹爪。
在标准LIBERO场景中，RAX 的平均成功率达到98.5%，且没有使用动作示范数据。作为对照，经过示范数据训练的世界动作模型Cosmos Policy，平均成功率同样为98.5%。
如上图所示，在没有针对扰动场景进行额外探索的情况下，RAX 的平均成功率达到76.0%，高于采用示范训练的VPP2模型的42.3%。在此基础上，RAX再进行最多5个探索回合的适应，平均成功率提升至84.4%，比未进行适应时提高8.4个百分点。
04.
结语：不靠示范数据的RAX，
真机上的技能复用仍待验证
RAX 提供了一种不同于传统机器人策略训练的技术路径，即让智能体在限定的机器人控制接口和安全机制下，通过在线探索寻找操作方法，再将有效经验保存为可执行程序和可复用技能。
从实验结果看来，RAX在多类仿真基准上取得了较好的成绩，在部分场景扰动测试中也展现出一定的适应能力。
对于机器人行业来说，这条路线的价值在于，有机会减少部分任务对专门动作示范数据，和重复策略训练的依赖。
但目前，RAX 仍需要通过探索来获得任务经验，在线推理和真实机器人试错也会带来时间与计算成本。仿真环境中的优势并不能带到真实世界中，不同任务的自动化程度、人工介入情况的差异，都会让智能体在实际部署中有不一样的表现。
因此，RAX能否进一步降低探索成本，并在真实场景中稳定复用这些技能，仍然需要持续关注。
本文来自微信公众号“机器人前瞻”，作者：刘俐杉，编辑：许丽思，36氪经授权发布。
围绕yy易游官网，yy易游持续打磨更优质的服务。