Manipulation / Dexterous Hand / VLA

RabbitRobot × OmniHand 2025

从会移动,到会理解,再到会操作

这是我在真实机器人路线上的新一段:把智元 OmniHand 灵动款 2025 接进 RabbitRobot 的具身操作研究线。当前以双手桌面台架为起点,围绕动作姿态、关节控制、左右手切换和后续触觉感知,逐步把灵巧手从“能动”推进到“可观察、可复现、可评估”的 VLA 实验对象。视频记录的是今天的真实双手操作过程,页面只写已经看到和已经确认的部分。

Time · 2026.08.20 Hardware · OmniHand 灵动款 2025 Control · 10 active axes / USB / CANFD Status · Active hardware bring-up
2026.08.20 原始 MP4:页面加载后静音自动播放并循环,保留控件供访问者暂停、拖动和查看完整双手动作。当前仍是实机 bring-up 证据,不把演示视频包装成已经完成的 VLA 闭环。

Current Evidence

先看这条灵巧手研究线已经站在哪里

产品规格、动作配置和现场视频分别承担不同的证据角色:规格说明“它能做什么”,配置说明“我如何控制它”,视频说明“今天真实发生了什么”。

双手实机台架 视频记录左右两只 OmniHand 2025 同处桌面环境,能看到手指与拇指的真实多关节动作。

10 轴控制面 产品手册对本型号上位机控制按 1–10 号主动轴组织,动作配置也以 10 轴位置数组保存。

握拳 / 打开 本地动作库已包含左右手“握拳”“打开”姿态,序列模板支持动作引用与延迟编排。

Active / 未夸大 当前是实机 bring-up 与操作研究阶段;触觉闭环、示教数据和 VLA 评估仍在推进。

Control Chain

从姿态文件到真实手指动作

我先把灵巧手当作一个可观测、可复现的执行器,再把它接进后续的操作策略和数据闭环。这样做的目的不是堆协议名词,而是让每一次动作都能追溯。

动作与序列 actions.json 保存左右手握拳、打开等姿态;sequence_template.json 支持 10 轴位置数组与 delay_ms。
人机界面 上位机可连接设备、编辑单关节位置、查看实时位置/速度/电流曲线,并保存自定义动作。
OmniHand 2025 双手桌面台架
真实关节动作
VLA 操作入口
底层通信 产品手册提供 CANFD、RS485 与 USB 通信路径;USB 上位机链路使用 460800 波特率。
下一层研究 触觉读数、视觉观察、语言任务、示教轨迹与真实执行结果,逐步组织成可评估的操作数据。
OmniHand 灵动款 2025 10-axis action control CANFD / RS485 / USB 握拳 / 打开 触觉交互 桌面操作 VLA / Embodied Manipulation RabbitRobot

Product Facts

把产品能力与当前研究状态分开记录

维度 公开资料 / 本地文件 对当前研究的意义
结构与自由度 产品资料标称 16 自由度,总长约 180 mm、重量约 500 g;上位机控制按 10 个主动轴组织。 紧凑尺寸适合桌面级人形/操作实验;研究侧先以 10 轴动作接口建立可复现控制。
触觉交互 手册描述覆盖手心、手背和五指的 400+ 点触觉感应,并支持指尖、手心、手背数据读取。 后续可以把接触状态纳入视觉语言动作闭环,而不是只依赖 RGB 画面。
动作配置 本地 omnihand_2025_default_actions.json 含左右手握拳/打开;序列模板支持动作引用、内联 positions 和延迟。 动作可以从一次性手势升级为可回放的实验片段,为示教和失败复盘留接口。
通信路径 产品资料提供 CANFD、RS485、USB 连接方式;CANFD 仲裁域 1M、数据域 5M,USB 串口为 460800。 底层通信、动作层和上层策略可以解耦,便于将来接入 ROS 2、数据采集和安全控制。

What I Am Building

我不是只把手摆在桌面上,而是在搭一条操作研究线

动作可复现

先用握拳、打开和自定义姿态验证 10 轴位置接口,再逐步补充速度、时间和左右手组合,避免“视频里动过”就算完成。

  • assets/action/omnihand_2025/
  • assets/sequence/omnihand_2025/
  • 动作引用与 delay_ms 编排

观察与接触

把视觉观察和触觉反馈放在同一条记录链里,关注手指是否到位、物体是否接触、动作是否需要停止或恢复。

  • 指尖 / 手心 / 手背触觉接口
  • 关节位置、速度、电流与故障
  • 真实桌面场景与失败样例

从 VLN 延伸到 VLA

机器狗和 AMR 负责“到哪里”,灵巧手负责“怎么拿、怎么放、怎么接触”。两条线最终汇合到真实具身智能系统。

  • 语言目标与桌面任务
  • 视觉 / 触觉条件
  • 动作策略与执行反馈

安全边界先于演示

手册明确限制负载、冲击、尖锐物体和液体环境;我的公开记录也会区分产品能力、现场动作与尚未完成的闭环验证。

  • 低速、低风险桌面操作
  • 限位与异常停止
  • 实机数据优先于概念包装

Visual Evidence

今天的真实操作记录

首页使用同一段现场视频生成轻量 GIF;本详情页保留 1280×720 原始 MP4,用于查看完整动作变化和桌面实验语境。

左右两只 OmniHand 2025 灵巧手在 RabbitRobot 实验桌上的实拍封面
双手实机台架:左右手、供电线束、控制电脑与产品资料共同出现在同一实验场景中。
OmniHand 2025 灵巧手手指和拇指进行动作演示的动态记录
动态记录:动作演示只作为当前 bring-up 证据;后续会继续补充协议日志、动作回放和任务级评估。

Research Positioning

这只手在我的路线里承担什么角色

1. Real hardware

先把左右手、供电、通信和关节动作放到真实桌面环境里,建立可靠的硬件起点。

2. Action primitives

把打开、握拳和自定义姿态变成可命名、可回放、可比较的动作原语。

3. Observation

同步视觉、关节反馈和触觉区域,记录动作过程中的接触、偏差与异常。

4. VLA task

将语言目标和桌面物体组织成小任务,逐步接入示教、策略和动作数据。

5. Verifiable execution

用成功率、动作误差、接触状态和恢复过程评价系统,而不是只展示一次成功动作。

Honest Status

当前状态与下一步

阶段 当前公开状态 进入下一阶段的判据
已记录 2026.08.20 双手 OmniHand 2025 桌面动作视频;封面 GIF 与静态图已整理。 保留原始视频语境,补充更清晰的分段动作和现场日志。
正在推进 围绕 10 轴动作、左右手姿态、动作序列与底层通信建立稳定的可回放控制链。 完成连续回放、位置/速度/电流记录和异常停止验证。
待接入 把触觉区域、视觉观察和语言任务统一到桌面操作数据结构。 形成带时间戳的观察—动作—反馈样例,并能复盘失败原因。
研究目标 从机器狗 / AMR 的 VLN 执行链,延伸到灵巧手的 VLA 操作链。 用可重复任务、动作误差、接触状态和恢复成功率评估真实操作能力。