|
| ------------------------------------------------------------ | ------------------------------------------------------------ |
# 三、通过ROS2 + Movelt2整合实现RoArm-M2-S机械臂物品抓取功能
- ## 流程图
```SCSS
┌───────────┐ image_raw ┌────────────┐ PoseStamped ┌─────────────┐
│ Camera │ ─────────────> │ camera │ ─────────────> │ pick_place │
│ node │ │ node │ │ (MoveIt2) │
└───────────┘ └────────────┘ └─────────────┘
↑ │
│ ▼
calibration GripperCmd (topic/service)
```
- ## 启动硬件驱动
```bash
ros2 run roarm_driver roarm_driver serial_port:=/dev/ttyUSB0
ros2 launch roarm_description display.launch.py
ros2 launch roarm_moveit interact.launch.py
```
- ## 创建 ROS 2 工作空间
```bash
sudo mkdir -p ljhroarm_ws/src
cd ~/ljhroarm_ws
colcon build
source install/setup.bash
```
- ### 在 ROS 2 环境安装 ultralytics
```bash
pip install ultralytics opencv-python cv_bridge
sudo apt install ros-jazzy-cv-bridge ros-jazzy-image-transport
```
- ## 将RoArm-M2-S机械臂添加到Lerobot，并使用SmolVLA
> [!important]
>
> 没事想写的，就是想突出强调一下，这可能是全网第一个且唯一实现的方法
>
> Author：算个文科生吧 @2025年6月17
```shell
```
# 四、通过SmolVLA 实现RoArm-M2-S机械臂 的视觉抓取物品功能
> [!note]
>
> ## 🧠 VLA — Vision‑Language‑Action 模型
>
> - **全称**：Vision‑Language‑Action，即“**视觉–语言–动作”**模型。
> - **作用**：融合视觉感知、语言理解与动作控制于一体，输入图片（或视频）和指令文本，直接输出机器人动作命令，能让机器人“看+听+做”在一个模型中完成。
> - **为什么重要**：不再把感知、规划、控制拆解成独立模块，而是通过一个统一Transformer结构来端到端处理，使机器人能更灵活地理解新任务和不熟悉环境。
>
> ## 🧩 SmolVLA — 轻量级版本的 VLA
>
> - **全称**：SmolVLA（small + VLA），是 LeRobot 发布的一种轻量（≈450M 参数）VLA 模型。
> - **设计定位**：
> - 专为普通 GPU、甚至无 GPU 的用户设计。
> - 提供视觉语言编码器（SmolVLM-2） + 动作专家网络（Transformer架构)。
> - 支持异步推理、跨模态推理，并尽可能保持性能。
> - **优势**：
> - **高效轻量**：参数量少，能在消费级硬件上运行，但在抓取放置任务上性能不输大模型。
> - **开源完整**：模型、训练代码、LeRobot 集成环境都公开供使用者快速上手。
> - **最佳场景**：适合嵌入式机器人和真实机械臂，用于实现视觉语言驱动的抓取任务。
>
> ## 🧮 ACT算法
>
> - ACT算法（Adaptive Computation Time / Action Chunking with Transformers）是人工智能领域中多种技术的统称，其核心思想是通过自适应机制优化计算过程或动作规划。
>
> - ### ⏱️ **一、自适应计算时间（Adaptive Computation Time, ACT）**
>
> **目标**：动态调整模型在每一步的计算复杂度，优化资源分配
>
> - ### **🤖 二、动作分块（Action Chunking with Transformers, ACT）**
>
> **目标**：解决机器人模仿学习中的复合误差问题，提升动作连贯性
>
> - ### 👀 **三、自适应压缩跟踪（Adaptive Compressive Tracking）**
>
> **目标**：在视频序列中实现高效鲁棒的目标跟踪
- ## 3D打印机械臂
- ## 安装 Miniconda
- ### 对于Jetson / Pi5
```bash
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh
chmod +x Miniconda3-latest-Linux-aarch64.sh
./Miniconda3-latest-Linux-aarch64.sh # environment location: /home/lijinghai/miniconda3
source ~/.bashrc
```
- ### 对于 X86 Ubuntu 22.04
```bash
mkdir -p ~/miniconda3
cd miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm ~/miniconda3/miniconda.sh
source ~/miniconda3/bin/activate
conda init --all
```
- ### 换源
```bash
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --set show_channel_urls yes
conda update -n base -c defaults conda
channels:
- defaults
show_channel_urls: true
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
auto_activate_base: false
```
- ### 创建并激活一个新的 conda 环境用于 lerobot
```bash
conda create -y -n ljhlerobot python=3.10 && conda activate ljhlerobot
```
|  |
|
| ------------------------------------------------------------ | ------------------------------------------------------------ |
- ## 安装pytorch
```bash
pip install torch==2.5.0+cu118 torchvision==0.16.0+cu118 torchaudio==2.5.0 --extra-index-url https://download.pytorch.org/whl/cu118
```
- ## 安装LeRobot
```bash
git clone https://gitee.com/Marlboro1998/lerobot_seeed_version.git
# 切换集成奥比中光Orbbec Gemini2深度相机，发现单个深度相机效果优于2个RGB相机
git checkout orbbec
conda install ffmpeg -c conda-forge
# 官方
git clone https://github.com/huggingface/lerobot.git
cd lerobot
git fetch origin pull/820/head:pr-820
git checkout pr-820
python3 -m pip install --user roarm-sdk==0.1.0
pip install -e .
pip install -e ".[aloha, pusht]"
pip install -e ".[smolvla]"
```
- ## 校准舵机
```bash
ls /dev/ttyACM*
sudo chmod 666 /dev/ttyACM0
python lerobot/scripts/configure_motor.py \
--port /dev/ttyACM0 \
--brand feetech \
--model sts3215 \
--baudrate 1000000 \
--ID 1
```
|  |
|
| ------------------------------------------------------------ | ------------------------------------------------------------ |
- ## 组装机械臂
|  |  |  |
| ----------------------------------------------------- | ----------------------------------------------------- | ----------------------------------------------------- |
|  |  |  |
|  |  |  |
|  | | |
- ## 校准机械臂
```bash
# follower 机械臂校准
python lerobot/scripts/control_robot.py \
--robot.type=so101 \
--robot.cameras='{}' \
--control.type=calibrate \
--control.arms='["main_follower"]'
```
|
|  |  |
| ------------------------------------------------------------ | ------------------------------------------------------------ | ------------------------------------------------------------ |
- ## 遥操作
```bash
python lerobot/scripts/control_robot.py \
--robot.type=so101 \
--robot.cameras='{}' \
--control.type=teleoperate
```
- ## 添加摄像头
```bash
python lerobot/scripts/control_robot.py \
--robot.type=so101 \
--control.type=teleoperate \
--control.display_data=true
```
- ## 配置Wandb.ai 进行要使用[权重和偏差](https://docs.wandb.ai/quickstart)进行实验跟踪，
网站： https://wandb.ai/home
配置`WANDB_API_KEY` [环境变量](https://docs.wandb.ai/guides/track/environment-variables/)。
```shell
export WANDB_API_KEY=a15a27fc5ebc435af2ddf401623e75b80880be1b
```
安装`wandb`库并登录。
```bash
pip install wandb
wandb login
```
- ## 安装并启动机械臂摄像头(USB) 节点
```bash
# 1. 安装 camera_ros
source /opt/ros/jazzy/setup.bash
sudo apt update
sudo apt install ros-jazzy-usb-cam
```
- ## 连接HuggingFace
- ## 录制数据集
> [!tip]
>
> - 可以先收集一个较小的数据集（比如 5 条）熟悉整个操作流程，熟悉之后就可以创建一个更大的数据集用于训练。
> - 一个好的开始任务是将一个有颜色的长方块物体抓到盒子中，抓取物体应该有较明显的颜色标识，比如黄色，长方体便于机械臂抓取且不会被机械臂遮挡视野。
> - 建议至少记录 50 个场景，每个位置 10 个场景，保持相机固定，并在整个录制过程中保持一致的抓取行为。
```bash
# 采集数据
python lerobot/scripts/control_robot.py \
--robot.type=so101 \
--control.type=record \
--control.fps=30 \
--control.single_task="把药放在篮子里" \
--control.repo_id=lijinghai/ljh_robot \
--control.tags='["so101","tutorial"]' \
--control.warmup_time_s=5 \
--control.episode_time_s=30 \
--control.reset_time_s=30 \
--control.num_episodes=50 \
--control.display_data=true \
--control.push_to_hub=true
```
- ## 上传到HugginFace
- ### 检查登录状态
```bash
huggingface-cli whoami
```
- ### 创建数据集仓库
```bash
huggingface-cli repo create ljh_robot --type dataset
```
- ### 上传本地数据
```bash
# 进入你的数据目录
cd "C:\Users\lijinghai\.cache\huggingface\lerobot\lijinghai"
# 上传数据到 HuggingFace Hub
huggingface-cli upload lijinghai/ljh_robot . --include "**/*"
```
- ## 训练
```bash
python lerobot/scripts/train.py --dataset.repo_id=lijinghai/ljh_robot --policy.type=act --output_dir=outputs/train/act_ljh_robot --job_name=act_ljh_robot --policy.device=cuda --wandb.enable=true
```
## 接入ROS2
```bash
https://github.com/Pavankv92/lerobot_ws.git
```
# 五、遇到的问题
> [!warning]
>
> - ## 在树莓派中进行编译Moveit2时，直接陷入卡死状态
### 原因是：Moveit2默认编译是4个进程同步进行
### 解决方法：构建编译时候通过参数设置==2个线程==
```shell
colcon build --parallel-workers 2 # 方法一
colcon build --packages-select moveit_servo --parallel-workers 1 # 方法二
```
| 
|
| ------------------------------------------------------------ | ------------------------------------------------------------ |
# 三、通过ROS2 + Movelt2整合实现RoArm-M2-S机械臂物品抓取功能
- ## 流程图
```SCSS
┌───────────┐ image_raw ┌────────────┐ PoseStamped ┌─────────────┐
│ Camera │ ─────────────> │ camera │ ─────────────> │ pick_place │
│ node │ │ node │ │ (MoveIt2) │
└───────────┘ └────────────┘ └─────────────┘
↑ │
│ ▼
calibration GripperCmd (topic/service)
```
- ## 启动硬件驱动
```bash
ros2 run roarm_driver roarm_driver serial_port:=/dev/ttyUSB0
ros2 launch roarm_description display.launch.py
ros2 launch roarm_moveit interact.launch.py
```
- ## 创建 ROS 2 工作空间
```bash
sudo mkdir -p ljhroarm_ws/src
cd ~/ljhroarm_ws
colcon build
source install/setup.bash
```
- ### 在 ROS 2 环境安装 ultralytics
```bash
pip install ultralytics opencv-python cv_bridge
sudo apt install ros-jazzy-cv-bridge ros-jazzy-image-transport
```
- ## 将RoArm-M2-S机械臂添加到Lerobot，并使用SmolVLA
> [!important]
>
> 没事想写的，就是想突出强调一下，这可能是全网第一个且唯一实现的方法
>
> Author：算个文科生吧 @2025年6月17
```shell
```
# 四、通过SmolVLA 实现RoArm-M2-S机械臂 的视觉抓取物品功能
> [!note]
>
> ## 🧠 VLA — Vision‑Language‑Action 模型
>
> - **全称**：Vision‑Language‑Action，即“**视觉–语言–动作”**模型。
> - **作用**：融合视觉感知、语言理解与动作控制于一体，输入图片（或视频）和指令文本，直接输出机器人动作命令，能让机器人“看+听+做”在一个模型中完成。
> - **为什么重要**：不再把感知、规划、控制拆解成独立模块，而是通过一个统一Transformer结构来端到端处理，使机器人能更灵活地理解新任务和不熟悉环境。
>
> ## 🧩 SmolVLA — 轻量级版本的 VLA
>
> - **全称**：SmolVLA（small + VLA），是 LeRobot 发布的一种轻量（≈450M 参数）VLA 模型。
> - **设计定位**：
> - 专为普通 GPU、甚至无 GPU 的用户设计。
> - 提供视觉语言编码器（SmolVLM-2） + 动作专家网络（Transformer架构)。
> - 支持异步推理、跨模态推理，并尽可能保持性能。
> - **优势**：
> - **高效轻量**：参数量少，能在消费级硬件上运行，但在抓取放置任务上性能不输大模型。
> - **开源完整**：模型、训练代码、LeRobot 集成环境都公开供使用者快速上手。
> - **最佳场景**：适合嵌入式机器人和真实机械臂，用于实现视觉语言驱动的抓取任务。
>
> ## 🧮 ACT算法
>
> - ACT算法（Adaptive Computation Time / Action Chunking with Transformers）是人工智能领域中多种技术的统称，其核心思想是通过自适应机制优化计算过程或动作规划。
>
> - ### ⏱️ **一、自适应计算时间（Adaptive Computation Time, ACT）**
>
> **目标**：动态调整模型在每一步的计算复杂度，优化资源分配
>
> - ### **🤖 二、动作分块（Action Chunking with Transformers, ACT）**
>
> **目标**：解决机器人模仿学习中的复合误差问题，提升动作连贯性
>
> - ### 👀 **三、自适应压缩跟踪（Adaptive Compressive Tracking）**
>
> **目标**：在视频序列中实现高效鲁棒的目标跟踪
- ## 3D打印机械臂