第一部分 初识SLAM
SLAM是什么? SLAM应用有什么?
- SLAM(Simultaneous Localization and Mapping),即同时定位与地图构建。主要解决如下两个问题:
机器人在哪里
机器人周围环境如何 - SLAM可以用于手持设备定位、AR、自动驾驶等领域。
SLAM问题的数学表述
- 机器人与环境的交互包括控制和感知两部分(图2.1)。
- 控制数据带来了环境和状态的改变(不确定性的升高),感知数据则收集了环境的暂态信息(增加信息,不确定性的降低)。
- 机器人同步定位与建图的过程主要包括(满足马尔科夫假设,图2.2)
a 通过前一时刻已知状态和当前时刻控制,来推测当前时刻的状态,称为状态转移或运动
b 通过计算的当前时刻的状态,判断是否符合当前的观测,称为测量更新或观测。 - SLAM要做的即是根据控制和测量,估计状态(位姿+环境)
SLAM分类、相关理论知识、学习资源、研究方向
- 按应用场景分类
按应用场景主要分为静态环境下的SLAM和动态环境下的SLAM。
静态环境SLAM中,常见的是度量地图、拓扑地图及其混合地图下的SLAM算法。拓扑地图对于大地图下的路径规划是友好的。用的较多的是度量地图,其中,以滤波和图优化为基础的两类SLAM研究较多。
基于滤波的SLAM,考虑单一时刻的状态,较大的场景地图下,无法较好地消除误差,以此为基础的gmapping也存在大地图效果一般的情况。基于图优化的SLAM,如cartographer,效果好。 - 按传感器类型分类(见计算机视觉公众号life)
- 研究方向(见计算机视觉公众号life)
第二部分 视觉SLAM(深蓝)
视觉SLAM传感器
- 单目相机 Monocular camera
通过移动相机获取相机本身运动及场景物体结构。方式是:相邻帧的图像,通过运动产生视差,能够获得一个相对的深度,所谓相对是指尺度不确定性。 - 双目相机 Binocular camera
间接获取真实深度信息及场景物体结构。方式是:通过双目间的基线来推算。同时,其标定和配置复杂,占用计算资源大。 - 深度相机 RGB-D
直接获取真实深度信息即场景物体结构。方式是:红外结构或TOF。同时,其测量范围窄、噪声大、光干扰、透射材质以及涉及到多个RGB-D相机时的调制。
经典视觉SLAM框架
-
传感器数据
这一块实际上不是SLAM的内容。其中也会包括数据同步的问题。 -
视觉里程计(特征点法/直接法)
相邻时刻图像(传感器数据)→相邻时刻相机运动和场景空间结构→累计漂移(后端问题&回环检测)
-
后端优化
有噪声的数据(来自前端)→估计系统状态(位姿+环境)&状态不确定性(最大后验概率)→全局一致性 -
回环检测
地图漂移、累计误差→认识到重复经过某个位置,辅助构建全局一致的地图,辅助进行重定位 -
地图
度量地图(稀疏sparse/稠密dense/半稠密semi-dense)/拓扑地图,根据实际选择,考虑存储空间、一致性问题、场景等等。
另一种SLAM数学表述的思路
本质是一样的。
三维空间刚体运动
- 相机的刚体运动
相机的运动是一个刚体运动,是世界坐标系和相机移动坐标系之间的变换运动,包括平移和旋转两部分。 - 平移t
- 旋转
- 欧式变换与齐次坐标
- 相似变换/仿射变换/射影变换
李群与李代数
- 李群与李代数定义
- 李群与李代数的转换(指数与对数映射)
- 李代数求导与扰动模型
- 李群与李代数的重要数学性质:习题56
相机模型
- 全局快门/卷帘快门 https://blog.csdn.net/captain_cs/article/details/107913856
- 张正友相机单目标定
借助MATLAB
标定原理,OpenCV函数解析
非线性优化
视觉里程计
特征点法
直接法
后端
回环检测
建图
编程基础
cmake
Eigen
Sophus 李代数
OpenCV
第三部分 激光SLAM
概率机器人——滤波理论
概率机器人与递归状态估计
贝叶斯滤波
高斯/参数滤波
非参数滤波
概率机器人——运动与感知
机器人运动——状态转移
机器人感知——测量更新
激光SLAM——概述
激光SLAM——数据处理
里程计运动模型及标定
- 里程计模型
- 里程计标定
激光雷达数学模型和运动畸变去除
激光SLAM——前端配准
激光SLAM——后端
激光SLAM——建图
概率基础
参考文献
书
- 《概率机器人》 曹玉红 译 Thrun 著 机械工业
- 《视觉SLAM十四讲 从理论到实践 2》 高翔 电子工业
- 《矩阵论教程 第2版》 张绍飞 机械工业
- 《学习OpenCV3》阿丘科技 清华大学
视频
- 《激光SLAM》 曹书格 深蓝学院
- 《视觉SLAM》 高翔 深蓝学院
- 《SLAM与无人驾驶》 小象学院 哔哩哔哩
公众号
- 计算机视觉life
文章