星空体育·(中国)官方网站XK SPORT星空体育·(中国)官方网站XK SPORT
您当前位置：
「OpenAI机器人」一出世惊艳众人！最近，李飞飞团队打造了一个开源便携式手部动捕系统——DexCap，成本仅3600美元，就能让机械灵巧手完成花样任务。
而今天，真正「开源版」的擎天柱/Figure 01诞生了，而且背后团队还将成本打了下来。
它拥有一双灵巧手，就比如泡茶，先是拧开瓶盖，再拿茶镊将茶叶挑进杯中，并放回原位。
快看，它能一手拿着剪刀，一手拿着便利签纸，执行人类剪纸这一动作。（不过剪断的这个过程好难）
与前段时间爆火的炒虾机器人不同的是，「灵巧手」并非通过远程操控完成任务。
是因为，凭借一副特制的手套，它可以通过各种传感器捕捉到手部精确的运动数据。
这正是由Chen Wang、李飞飞和Karen Liu等人提出的「便携式手部动作捕捉系统」——DexCap。
DexCap是一套基于SLAM、电磁场，以及对环境的3D观察，便能实时追踪手腕和手指运动的系统。
与此同时，他们还设计了全新的模仿算法DEXIL，才用了逆运动学和基于点云的模仿学习。
当手部动作数据收集完成，DexCap就会利用背包中的迷你PC，通过RGB-D相机重建3D场景。
然后将运动数据与之对齐，这样，就可以得到非常精确的手部动作模型，可用于进一步的机器人训练。
值得一提的是，在对具体6项操作任务评估中，DexCap展现出卓越的完成能力。
而且，它还可以从野外动捕数据中有效学习，为未来灵巧操作的数据收集方法提供了方法。
Jim Fan认为DexCap是「低配版的Optimus」，关键只要3600美元，一般人也能买得起。
还有网友称，「DexCap绝对震撼，我们正在进入个人机器人与个人AI的下一阶段」。
具体来说，正面设计的胸部相机架上，配备了一个RGB-D激光雷达摄像头和三个SLAM追踪摄像头。
背面的背包中，有一个迷你PC，以及电源为系统供电。大约可进行40分钟的数据收集。
然后在具体数据收集过程中，将摄像头从校准架上取下，安装到特制的手部支架上。
再来看数据采集吞吐量，DexCap可以实现与人类自然运动同水平的效果，而且是远程操作的3倍。
VR头显使用了基于视觉的手部追踪方法，却因严重遮挡而无法准确追踪手部动作。
研究人员的目标是利用DC记录的人手动作捕捉数据，来训练灵巧机器人策略，这个过程中会面临3个问题：
为了应对这些挑战，研究人员引入了DexIL，一个使用人机械阀门隔膜阀手动作捕捉数据训练灵巧机器人的三步框架。
最后一步，可以采用人机交互来进行校正，旨在解决策略执行期间出现的意外行为。
LEAP手比人手大了约50%，这种尺寸差异使得很难将手指运动直接转移到机器人硬件上。
为了解决这个问题，研究人员使用指尖逆向运动学（IK）来计算16维关节位置，并使用动捕手套跟踪人体手指的运动，手套根据电磁场（EMF）测量手指相对于手掌的3D位置。
观察和状态表示选择对于训练机器人策略至关重要。为了进一步弥合人手和机器人手之间的视觉差距，研究人员使用正向运动学生成机器人手的点云网格，并将其添加到点云观察中。
使用相机参数将DCdata中LiDAR相机捕获的RGB-D图像转换为点云。这种额外的转换提供了两个显著的好处。
首先，由于DEXCAP允许人体躯干在数据采集过程中自然移动，因此直接使用RGB-D输入需要考虑移动的相机帧。
而通过将点云观测转换为一致的世界坐标系，可以隔离并消除躯干运动，从而实现稳定的机器人观察。
其次，点云提供了与机器人操作空间对齐的灵活性。由于在野外捕获的一些运动可能超出了机器人的运动范围，所以需要调整点云观测和运动轨迹的位置来确保操作范围的可行性。
为了简化在人和机器人之间切换相机系统的过程，相机机架的背面集成了一个快速释放带扣，可以在不到20秒的时间内快速更换相机。
通过上述设计机械阀门隔膜阀，DexIL可以直接从DCdata学习复杂的灵巧操作技能（比如拾取、放置、双手协调等），而无需机器人数据。
根据上面的分析，首先通过RGB-D观测构建3D点云，并转换到机器人的操作空间，将DexCap数据重定位到机器人实例中。
基于这些数据，学习扩散策略，将点云作为输入，并输出一系列未来目标位置作为机器人动作。
上图展示了DC以3D形式捕捉详细手部运动的能力，将人类动作与所有视图中的对象点云对齐。
黄色列表示重定位后的机器人手部动作，我们可以看到它们与蓝色列在同一3D空间中精确对齐。
上图中，将DC与最先进的基于视觉的手部姿态估计方法HaMeR进行了比较机械阀门隔膜阀，从相似的角度观察它们的性能。
HaMeR在严重遮挡的情况下表现不佳，要么无法检测到机械阀门隔膜阀手，要么无法准确估计指尖位置。相比之下，DC在这些条件下表现出良好的鲁棒性。
下图的捡球任务，只使用30分钟的人类动作捕捉数据来学习策略，无需任何远程操作。
DexCap系统在执行任务时提供了两种便捷的人在回路纠正，让用户能够根据需要灵活调整机器人的动作：
系统会实时捕捉用户手腕的微小位移变化，并将这些变化作为额外的动作指令加入到机器人的动作中，从而实现精细控制。这种模式可以实现最小的运动，但需要用户进行更精确地控制机械阀门隔膜阀。
通过逆向运动学算法，用户的手部动作会被转化为机器人末端执行器的相应动作，适用于需要全面控制机器人的场景，但相对而言需要用户付出更多的努力。用户可以通过简单地踩下脚踏板来在这两种模式之间自由切换。
最后，这些纠正动作会被记录并保存在一个新的数据集中，并与原始训练数据一起进行均匀采样，从而更好地调整机器人的行为策略。
为了确保打印出的零件能够顺畅运作，建议将滑槽部分的打印角度保持在与Z轴的倾斜角度在45度以内。
论文一作Chen Wang是斯坦福大学CS的一名博士生，导师是李飞飞教授和C. Karen Liu。
