Magpie 具身操作系统

Magpie 系统架构与端云协同链路

技术细节

技术栈：ROS 2 | Python | VLM | FoundationPose | Cutie | EKF | UR RTDE | Ruckig

自然语言驱动的具身操作

• 多模态任务理解

  VLM 结合用户指令与相机画面，识别目标并拆解为 moveTo、grip、release 等原子动作

• 开放物体感知

  替换掉通过 SAM-HQ + Hunyuan3D 自动完成目标分割与三维建模，无需提前准备 CAD 模型

VLM 任务解析与开放物体三维建模

双源 6D 位姿跟踪

• 高低频感知融合

  本地 Cutie 提供高频位置，远程 FoundationPose 提供完整 6D 姿态

• 15 状态 EKF

  融合位置、速度、旋转、角速度与传感器偏移，提升动态目标位姿的连续性

RViz 同步展示工作空间、FoundationPose 6D 包围盒与 Cutie 掩码跟踪发现相机位置比较极限，物体容易受到遮挡发现相机位置比较极限，物体容易受到遮挡

动态抓取姿态规划

• 基于物体几何规划

  根据 6D 朝向与三维包围盒，动态计算机械臂下探方向和夹爪开合方向

• 抓取可行性判断

  通过目标截面与夹爪开口匹配，过滤不可执行的抓取姿态

• 工作空间保护

  使用三维凸包限制运动范围，避免机械臂越界

纸盒抓取、搬运与放置全过程（真机演示关键帧）

UR5 实时闭环控制

• RTDE 直连机械臂

  无需 MoveIt，通过 servoL / servoJ 持续跟踪动态目标

• Ruckig 在线轨迹生成

  对连续更新的目标进行速度、加速度与 Jerk 约束，保证真机运动平滑