机器人学习笔记#

一份覆盖机器人完整知识点的学习笔记。从运动学到 SLAM，从传感器到通信协议，重点讲"为什么这么设计"（费曼式 📌 讲解），配代码实例和 RyBOS 项目真实案例。

怎么用这份笔记#

1. 学习/复习 → 顺序看正文，重点看 📌 类比和"为什么"
2. 查术语 → 翻 附录 A 速查表
3. 找模块 → 查 附录 B RyBOS 模块矩阵，直接定位代码
4. 落地 → 跟 附录 C 实战项目做一遍

图表在 /机器人学习笔记/diagrams/ 目录。图注名即原图文件名，看图注就能直接找到原图用 draw.io 编辑。

1 · 机器人概述#

1.1 什么是机器人#

机器人 = 感知 + 决策 + 执行 的自主或半自主机器系统。ISO 8373 定义：一种可编程的、具备两个或更多自由度的机构，能够在其环境中自主运动以完成预定任务。

1.2 机器人系统架构#

1.3 机器人分类#

1.4 本项目中的机器人案例#

• 地图上传下载工具 — 通过 IP 连接机器人，上传/下载 xmap 格式地图文件
• RoadInspection 道路巡检系统 — 车载巡检机器人，串口读取 GPS/IMU、实时视频采集、CORS 差分定位
• RieboCapture 无人机采集 — 地面站软件，实时监控无人机航拍状态，TCP 连接相机、视频流解码
• CommandProtocol 模块 — 从相机通信协议提炼的通用命令帧工具库，适用于机器人串口/USB 通信

2 · 坐标系与空间变换#

2.1 为什么需要坐标系#

机器人的一切运动和感知都发生在三维空间中。要描述"机器人在哪""手臂伸到哪""障碍物在哪"，必须建立统一的坐标参考系。

2.2 常用坐标系#

2.3 齐次变换矩阵#

将旋转和平移统一为一个 4×4 矩阵：

基本变换（Python / NumPy）#

import numpy as np

def translation(x, y, z):
    T = np.eye(4); T[:3, 3] = [x, y, z]; return T

def rotz(theta):
    c, s = np.cos(theta), np.sin(theta)
    return np.array([[c,-s,0,0],[s,c,0,0],[0,0,1,0],[0,0,0,1]])

# 复合变换：先绕Z转90°，再沿X前进1米
T = translation(1, 0, 0) @ rotz(np.pi/2)

2.4 欧拉角 vs 四元数 vs 旋转矩阵#

from scipy.spatial.transform import Rotation
# 欧拉角 → 四元数
q = Rotation.from_euler('ZYX', [yaw, pitch, roll]).as_quat()
# 四元数 → 欧拉角
euler = Rotation.from_quat(q).as_euler('ZYX')

2.5 RyBOS 中的坐标变换#

cpp/GeodeticConverter 处理 WGS84↔UTM↔CGCS2000，cpp/GeoTransform 做空间坐标系变换，JianYunWei/AttitudeCorrection2.0 实现了欧拉角旋转顺序转换和四元数运算。

3 · 运动学#

3.1 正运动学 vs 逆运动学#

3.2 DH 参数（Denavit-Hartenberg）#

每个关节 4 个参数：d（沿z平移）、θ（绕z旋转）、a（沿x平移）、α（绕x旋转）。

3.3 移动机器人运动学 — 差速驱动#

3.4 雅可比矩阵#

当 det(J)=0 时为奇异配置，末端某些方向无法运动（如手臂完全伸直时无法径向移动）。

4 · 动力学#

4.1 运动学 vs 动力学#

4.2 牛顿-欧拉法 vs 拉格朗日法#

4.3 PID 控制#

机器人最常用的控制策略：

5 · 传感器体系#

5.1 传感器分类#

5.2 核心传感器对比#

5.3 IMU 与航迹推算（Dead Reckoning）#

IMU 包含加速度计（测线性加速度）和陀螺仪（测角速度）。通过积分可得速度和位置：

5.4 RyBOS 传感器相关模块#

• qt/VideoPlayer — GPU加速视频流播放（FFmpeg低延迟解码，D3D11/VAAPI硬件加速）
• qt/CameraComm — 相机通信控制（串口/TCP命令帧协议）
• qt/ImageMetadata — 图像元数据解析（EXIF/GNSS位置信息提取）
• cpp/Serial — 串口通信（传感器数据读取常用接口）
• RieboPPK — GNSS PPK后处理（载波相位差分，厘米级定位）

6 · 计算机视觉基础#

6.1 相机模型#

针孔相机模型：3D 点 → 2D 像素的投影关系：

畸变：真实镜头有径向畸变（桶形/枕形）和切向畸变，需要标定后校正。

6.2 特征点法 vs 直接法#

6.3 AprilTag 视觉基准标记#

AprilTag 是一种类似二维码的视觉基准标记，用于：

• 位姿估计：已知标记大小，单目相机即可估计6DoF位姿
• 机器人导航：在地面/墙面贴标记，作为绝对定位参考
• 机械臂抓取：标记贴在物体上，视觉伺服定位

RyBOS 的 intserv 项目集成了 AprilTag 库用于视觉基准标记检测。

7 · 点云与三维感知#

7.1 点云处理流程#

7.2 点云格式#

7.3 3D Tiles 转换流水线#

RyBOS 提供完整的点云 → 3D Tiles 转换链：

• OSGB → 3D Tiles：倾斜摄影模型 → Web 可视化（cpp/Osgb3DTiles）
• LAS/PCD → 3D Tiles：点云 → 层级 LOD 瓦片（cpp/Las3DTiles · cpp/Pcd3DTiles）
• 点云裁剪与采样：cpp/PointCloudClipper · cpp/LasSampler · cpp/PcdSampler

7.4 关键算法#

8 · 多传感器融合#

8.1 为什么需要融合#

单一传感器各有局限：IMU 短期精准但长期漂移，GPS 全局定位但频率低、室内不可用，激光雷达精度高但成本高、无色彩信息。

8.2 卡尔曼滤波（Kalman Filter）#

最经典的传感器融合算法：

8.3 EKF 与 UKF#

8.4 实际应用：GPS + IMU 融合#

RyBOS 项目中的 RoadInspection 使用串口读取 GPS + IMU 数据，配合 CORS 差分定位实现组合导航。RieboPPK 实现 GNSS PPK 后处理，达到厘米级定位精度。

9 · SLAM 同步定位与建图#

9.1 SLAM 核心思想#

同时解决两个问题：定位（知道自己在地图中的位置）+ 建图（构建周围环境的地图）。鸡生蛋问题：定位需要地图，建图需要定位 → 用迭代优化同时求解。

9.2 SLAM 分类#

9.3 视觉 SLAM 通用流程#

1. 传感器数据读取 — 相机图像 / IMU / 激光
2. 前端视觉里程计 (VO) — 特征提取→匹配→运动估计→位姿
3. 后端优化 — Bundle Adjustment / 因子图优化（g2o / Ceres / GTSAM）
4. 回环检测 — 词袋模型(BoW)→检测重访→消除累积漂移
5. 建图 — 稀疏点云 / 稠密网格 / OctoMap

9.4 RyBOS 中的 SLAM 关联#

• intserv — 分布式AI任务调度（COLMAP三维重建 + Ceres优化 + CGAL/Metis网格处理）
• RoadInspection — 车载GPS/IMU串口读取 + CORS差分定位
• 地图上传下载工具 — 机器人 xmap 地图文件传输（SLAM建图后的地图管理）

10 · 路径规划#

10.1 全局 vs 局部规划#

10.2 A* 算法#

10.3 RRT (快速随机扩展树)#

1. 随机采样空间点 q_rand
2. 找树上最近节点 q_near
3. 向 q_rand 方向扩展一步 → q_new
4. 碰撞检测通过 → 加入树
5. 重复直到接近目标

适合高维空间，但路径不平滑。RRT* 改进版可渐近最优。

10.4 DWA (动态窗口法)#

在速度空间 (v, ω) 中采样 → 模拟轨迹 → 评分（目标距离 + 障碍距离 + 速度）→ 选最优执行。

11 · 运动控制#

11.1 控制层次#

11.2 Pure Pursuit（纯跟踪）#

几何跟踪方法：以前瞻距离 l_d 在参考轨迹上取目标点，控制转向使车头朝向目标点。

11.3 MPC（模型预测控制）#

在每个控制周期：预测未来 N 步状态 → 优化控制序列使代价最小 → 执行第一步 → 滚动重复。

12 · ROS 机器人操作系统#

12.1 ROS 是什么#

ROS (Robot Operating System) 不是真正的操作系统，而是运行在 Linux 上的机器人中间件框架。提供进程间通信、软件包管理、工具链和生态。

12.2 核心概念#

12.3 ROS1 vs ROS2#

13 · 通信协议与帧设计#

13.1 命令帧格式#

RyBOS cpp/CommandProtocol 模块定义的帧格式：

13.2 CRC 校验#

RyBOS: cpp/CRC（CRC8/16/32）+ cpp/CommandProtocol（CRC16/XMODEM，初始值可配置）

13.3 流式帧解析#

串口/网络数据是字节流，一帧可能分多次到达。FrameParser 实现：

• 缓冲区累积 + 帧边界检测
• 找到帧头 → 读取长度 → 验证CRC → 提取完整帧
• 支持 FAFA / FBFB 双帧头

13.4 通信方式对比#

13.5 CommandProtocol 代码示例#

#include "CommandProtocol.h"

// 1. 构建命令帧
auto frame = RyB::FrameBuilder::buildFromHex("0001000000A10AFF");

// 2. 验证 CRC
bool valid = RyB::FrameUtils::verifySendFrame(frame);

// 3. 解析接收数据
RyB::FrameParser parser;
parser.setFrameCallback([](const std::vector<uint8_t>& frame) {
    std::cout << "收到帧: " << RyB::HexUtils::toHex(frame, true, ' ') << "\n";
});
parser.feed(receivedBytes);

// 4. 执行命令序列
RyB::CommandSequence seq;
seq.add("0001000000A10AFF", 200, "获取固件版本");
seq.add("00010000009A00FF", 100, "获取SN");
seq.execute(sendFunction, delayFunction);

14 · 机器人安全#

14.1 功能安全#

14.2 常见安全机制#

• 急停 (E-Stop)：硬件级切断电源，最高优先级
• 安全光幕：人手进入危险区域时停机
• 力限制：协作机器人碰撞检测，超力立即停止
• 速度限制：人在附近时降速运行
• 安全控制器：冗余通道，独立于主控

14.3 通信安全#

机器人通信协议需要考虑：

• CRC 校验：防止数据传输错误导致误动作
• 命令认证：防止未授权控制指令
• 心跳机制：通信中断时安全停机

RyBOS 的 cpp/CommandProtocol 内置 CRC-16 校验，cpp/Crypto 提供 AES 加密。

15 · 部署与运维#

15.1 AI 推理部署#

RyBOS 项目中的 AI 推理部署架构：

• intserv — 分布式 AI 任务调度服务

  • 设备注册与心跳机制
  • GPU/CPU 资源分配
  • 任务队列与优先级调度
  • Docker 容器化部署
  • CUDA + TensorRT 推理加速

• crackservicenew — 道路裂缝 AI 检测

  • TensorRT 模型加载与推理
  • HTTP 推理服务架构
  • 图像预处理/后处理管道

15.2 机器人软件更新#

RyBOS 项目中的自动更新架构（来源：CameraToolBox）：

• 状态机驱动：检查→下载→校验→安装→回滚
• 文件变更列表差量更新
• 固件升级与软件升级分离
• 断点续传和错误恢复

附录 A · 术语速查表#

附录 B · RyBOS 机器人相关模块矩阵#

附录 C · 实战项目#

C.1 串口通信命令帧系统#

使用 cpp/CommandProtocol + cpp/Serial 构建机器人串口通信系统：

1. 用 FrameBuilder 构建命令帧
2. 通过 Serial 发送到机器人
3. 用 FrameParser 流式解析返回数据
4. CRC 校验确保数据完整性

C.2 点云处理与 3D 可视化#

使用 RyBOS 点云模块链：

1. LasFile / PcdFile 读取原始点云
2. LasSampler / PcdSampler 降采样
3. PointCloudClipper 裁剪感兴趣区域
4. Las3DTiles / Pcd3DTiles 转 3D Tiles
5. Web 端加载 3D Tiles 可视化

C.3 GPS + IMU 组合导航#

参考 RoadInspection 架构：

1. Serial 读取 GPS NMEA 报文 + IMU 数据
2. 卡尔曼滤波融合（EKF）
3. GeodeticConverter 转换坐标系
4. 输出机器人在地图坐标系中的位姿