Jinghai Li portrait

你好,我是 Jinghai

控制工程硕士研究生 · 研究长程视觉语言导航中的偏航诊断与恢复
从自建 AMR 出发,集成底盘与传感器,适配 ROS 2 / Nav2,开发 Web 调试工具。
关注历史观测何时可信,以及如何用这些证据支持导航诊断与恢复。

项目

以自建 AMR 与调试工具为工程基础,延伸到现有模型部署、操作硬件联调和数据采集。以下记录个人工作与验证范围。

R1 Pro 轮式双臂机器人机身姿态实拍 GIF

R1 Pro · 轮式双臂 VLN 实验平台

我将上游 MiniCPM-RobotTrack 迁移到轮式双臂平台的本体 GPU,在独立环境中检查实采图像回放、历史窗口与会话重置,并梳理差速底盘接口。当前验证的是保存图像的本体推理,尚未接入实时传感器与运动闭环。

ROS 2 · RGB-D · 2WDMiniCPM-RobotTrack
技术细节

部署与回放:核对 179 个源码及模型文件的 SHA-256;将 32 帧实采头部相机图像保存后,在本体 RTX 4090 Laptop GPU 上回放。34 次检查覆盖轨迹输出、31 帧历史窗口与两次会话重置,并非导航成功次数。

验证边界:八点预测轨迹仅写入文件,推理测试未创建 ROS 运动发布器。相机到机身 TF、控制权归属、深度距离约束与失效停车仍需联调;平台移动与姿态视频不代表模型自主导航。

DAS Ego × UMI · 具身操作采集链

我完成 DAS Ego 与 UMI 的佩戴、配对和双手桌面操作记录,正在整理第一视角观察与末端动作片段。视觉、姿态、夹持与接触事件的时间对齐仍在推进;现有实操素材尚不等于经过质量验证的训练数据集。

6-camera RGB · ~270° FOV6-axis IMU · MCAP format
技术细节

设备背景:六路 RGB、约 270° 水平视野、六轴 IMU 与 MCAP 格式来自产品资料;这些规格说明采集入口,不代表已完成的同步或数据质量评测。

整理工作:核对视觉、姿态与双手动作时间戳,组织可复盘片段。动作切片、接触标注、VLA 示教数据与策略评估仍需进一步建立和验证。

RabbitRobot × OmniHand 2025

我围绕 OmniHand 双手台架开展供电、通信和左右手姿态配置联调,记录了真实关节动作。连续动作回放、反馈记录与异常停止仍需系统验证;视觉与触觉接入是后续操作研究的方向。

2026.08.20 real-hand recordActive hardware bring-up
技术细节

台架与动作:整理左右手握拳、打开等姿态及序列配置,围绕 USB 上位机检查动作接口。10 个主动轴与 CANFD 通信支持均为设备规格。

研究边界:设备的 400+ 触觉点属于产品规格。触觉采集、视觉同步、连续动作评估与 VLA 策略接入尚未形成已验证结果。

Go2X × MiniCPM-RobotTrack

我为上游 MiniCPM-RobotTrack 适配 Go2X 的 RGB-D 与里程计输入,分开处理彩色图像和测距深度,并检查跨机传输、时间戳及数据新鲜度。已有短时 Shadow(仅推理、不下发运动控制)记录;相机外参、深度保护与真机闭环仍待验证。

RGB-D · Odom · ROS 2Shadow · 不下发运动控制
技术细节

输入适配:rclpy 中继与 rosbridge 传输 RGB-D / Odom,YAML 明确机器人接口。RGB 使用压缩与图像缩放;深度解析 compressedDepth、保留 16UC1 并以最近邻缩放,避免插值改变测距值。

限定测试:18 秒 Shadow 样本完成 140 次推理,未记录模型或传感器故障。31 帧上下文与八点轨迹来自上游模型;该样本不证明长期连接可靠性,控制桥保持锁定,视频不作为模型自主行走证据。

RabbitRobot Platform

AMR2 是我的主要工程实验平台:从机械、电控、线束和传感器安装,接到底盘 CAN、ROS 2 与导航接口。我对齐 CAD / 显示模型、TF 和规划轮廓,适配覆盖路径与 Nav2。已有真车转向记录及指令链路空跑检查,完整自主任务尚待现场验收。

Self-built AMRNav2 空跑验证
技术细节

平台接口:连接差速底盘通信与传感器数据,将 CAD / Web 显示模型、传感器 TF 和 Nav2 footprint 对照;覆盖规划输出接入标准 ROS 路径与导航接口,接口适配不保证精确覆盖执行。

配置与检查:点云转二维地图、定位与局部规划配置,以及速度平滑、碰撞监控到 CAN 的指令链路已有记录。Nav2 导航桥的 dry-run 不下发真实任务;软件保护模块接入不等于安全认证。

EDULITE A3 robotic arm hardware and control bring-up

EDULITE A3 LeRobot VLA Testbed

基于 RobStride EDULITE_A3 上游 SDK 与驱动,我完成 3D 打印机械臂装配、CAN 通信适配、关节反馈接入及控制联调,并接入 ROS 2 Control / MoveIt 2 规划调试。LeRobot / pi0.5 仍在接入,尚无 VLA 训练或自主操作评测结果。

Hardware bring-upLeRobot · WIP
技术细节

装配与控制:3D 打印结构、接线及 CAN 联调,结合关节反馈检查方向、限位和轨迹执行约束。使用上游 SDK 与驱动,个人工作集中在实臂接入和控制调试。

实验入口:通过 ROS 2 Control 与 MoveIt 2 / RViz 查看关节状态和规划过程。LeRobot / pi0.5 的视觉、语言与动作接口仍在调试,任务数据、执行误差和策略评估尚未完成。

RabbitRobot architecture diagram

RabbitRobot AMR Foundation

这份工程档案回看底盘迭代、多传感器建图与导航工具实践。我整理 LiDAR、RGB-D、IMU 数据接入、TF 对齐及地图和路径检查记录,为 AMR2 提供可查阅的接口与方法依据;其中的 RViz 跟随记录不等于真车任务验收。

Engineering archiveMapping · ROS interfaces
技术细节

档案内容:AMR 原型与底盘迭代、传感器配置、SLAM / Nav2 接口,以及 Web 和覆盖路径图文记录。它记录工程积累,各模块的验证范围需分别查看。

可复用方法:点云转占据栅格、已知可通行区域裁剪、障碍膨胀和路径检查。已有 RViz / fake follower 记录;跨平台仍需适配传感器坐标、footprint 与控制接口。

RabbitRobot ROS 2 Web 控制台主界面:地图、机器人状态与任务队列

RabbitRobot ROS 2 Web 控制台

为支持机器人现场调试,我将地图、传感器、TF、路径与状态接入浏览器,实现图层切换、目标与初始位姿交互、状态和日志展示,并对照 RViz 检查显示。单点、多点及手动控制是操作入口,目标下发不等于导航任务完成。

Map · TF · PointCloudNav2 goals · Relocalize
技术细节

数据与显示:通过 rosbridge WebSocket 接入 ROS 2,使用 React 19 与 Three.js 组织地图、激光、点云、路径和机器人模型图层,提供 2D / 3D 对照视图。

交互与核对:设置导航目标、初始位姿并查看状态与日志;调试时检查坐标系、TF 和图层对应关系。导航执行结果需结合机器人反馈确认,界面操作或截图不能替代任务验收。

研究与工程记录

记录导航诊断的研究问题,以及坐标适配、路径检查和现场调试中的具体工作。

Rabbit-RobotNav 研究框架:以指令、视觉观测与语义空间历史研究一致性诊断和恢复锚点选择。

2026 · Long-horizon Vision-Language Navigation

Rabbit-RobotNav: History-Aware Error Diagnosis and Recovery Anchors for Vision-Language Navigation

我的硕士论文关注长程 VLN 中的三个问题:历史观测何时可信,如何借助历史与空间一致性诊断偏航,以及哪个历史状态适合作为恢复参考。正在研究历史感知语义映射、一致性诊断与恢复锚点选择。

公开记录截至 2026-10-09:MP3D 受控回放仍有偏航漏检,CMA 导航对照尚未证明指标增益;真机感知与房间采集记录尚不支持可靠语义地图或恢复锚点。真机自主恢复尚未验证。

硕士论文项目进行中 · 尚未发表
查看论文研究主页与实验记录

RabbitRobot 工程档案

回看底盘与传感器配置、SLAM / Nav2 接口,以及地图和路径检查图文;分别标明原型实拍、界面记录与 RViz 跟随证据。

AMR2 导航集成记录

对照 CAD / 显示模型、TF 与规划轮廓,查看覆盖路径和 Nav2 接口配置,以及速度指令链路的 dry-run 检查范围。

覆盖规划验证记录

查看选区与已知可通行地图裁剪、footprint 余量、分块连接和路径检查。输出标准 ROS 路径;当前以 RViz / fake follower 验证,不代表真车覆盖验收。

机器人开发工具

查看 ROS 2 浏览器控制台、R550 节点 / 话题字典,以及 SSH / SFTP 增量同步工具的界面与配置说明。

研究方向

长程视觉语言导航 研究历史观测进入可信记忆的条件,结合指令、历史与空间转移检查偏航,并考察恢复参考状态的选择依据。

真实移动机器人系统 从底盘通信、传感器时间戳和 TF 到导航接口,逐层核对输入、坐标与状态反馈,用日志和现场记录定位问题。

建图与实验验证 关注地图几何、跨视角物体关联与位姿不确定性,将感知记录、规划输出和实际执行分开核验,为后续恢复实验建立依据。

工具链: ROS 2, Nav2, SLAM, LiDAR, RGB-D, VLM / VLA, Web tools.

研究概况
  • 方向长程 VLN、可信历史与恢复参考状态
  • 进度受控回放、真机感知与地图输入检查
  • 工程AMR 搭建、机械臂联调与 ROS 2 / Nav2 / Web 工具

时间线

–

R1 Pro · 长程 VLN 验证计划

10—12 月计划:基于 R1 Pro 联调实时感知与差速控制,逐步验证长程导航、偏航诊断与恢复。目前已完成保存实采图像的本体回放推理;在线控制与自主恢复仍待验证。

技术实践

机器人集成

ROS 2Nav2SLAMMoveIt 2

感知与建图实践

LiDARRGB-DIMUMulti-sensor Mapping

硬件与接口

AMRCAN / CANFDUSBPython SDK

具身智能研究 / 接入

VLN researchVLM / VLA · WIPLeRobot · WIPpi0.5 · WIP

Web 调试工具

React 19Three.jsrosbridgeWebSocket

联系我

GitHub / Email / Bilibili / CSDN

社交平台与二维码
小红书:理想主义的焊工日记,账号 RabbitRobot2025

小红书

理想主义的焊工日记 · 小红书号:RabbitRobot2025

微信:理想主义的焊工日记二维码

微信

扫码添加我为朋友