复杂环境下的视觉同时定位与地图构建 章国锋 浙江大学 CAD&CG 国家重点实验室
SLAM: 同时定位与地图构建 机器人和计算机视觉领域的基本问题 在未知环境中定位自身方位并同时构建环境三维地图 广泛的应用 增强现实 虚拟现实 机器人 无人驾驶
SLAM 常用的传感器 红外传感器 : 较近距离感应, 常用于扫地机器人 激光雷达 : 单线 多线等 摄像头 : 单目 双目 多目等 惯性传感器 ( 英文叫 IMU, 包括陀螺仪 加速度计等 ): 智能手机标配 激光雷达 常见的单目摄像头 普通手机摄像头也可作为传感器 双目摄像头微软 Kinect 彩色 - 深度 (RGBD) 传感器手机上的惯性传感器 (IMU)
设备根据传感器的信息 SLAM 运行结果 计算自身位置 ( 在空间中的位置和朝向 ) 构建环境地图 ( 稀疏或者稠密的三维点云 ) 稀疏 SLAM 稠密 SLAM
RGB 图深度图 IMU 测量值 SLAM 系统常用的框架 输入 传感器数据 前台线程 根据传感器数据进行跟踪求解, 实时恢复每个时刻的位姿 输出 设备实时位姿 三维点云 优化以减少误差累积 后台线程 进行局部或全局优化, 减少误差累积 场景回路检测 回路检测
SLAM 应用介绍 扫地机器人 小米扫地机器人 以激光雷达为核心 戴森 360 Eye 扫地机器人 以视觉为核心 ( 顶部有全景摄像头 )
SLAM 应用介绍 无人机 大疆 Phantom4 结合双目立体视觉和超声波, 实现空中精准悬停和安全航线自动生成
SLAM 应用介绍 无人车 Google 无人车项目 Waymo 使用高精度激光雷达构建地图 MobileEye 特斯拉等自动驾驶方案 以廉价的摄像头为主
SLAM 应用介绍 虚拟 / 增强现实 :Inside-Out 方案 目前绝大多数 VR 头盔都采用 Outside-In 的定位方案, 需要在环境中放置一个或多个传感器, 活动范围受限, 不支持大范围移动的定位 The Devices of VR: Part 3 The Future of VR 基于 SLAM 技术的 VR/AR 可以实现 Inside-Out 方案 : 将传感器固定在使用者端 优点 : 不需要提前布置环境中的传感器, 且没有活动范围的限制
SLAM 应用介绍 增强现实 :Google Tango Google 的 Tango 项目演示视频 Tango 为终端开发者提供了从硬件到软件的整套 AR 开发套件
SLAM 应用介绍 混合现实 : 微软 HoloLens Hololens 宣传视频 Hololens 部分传感器 左右双目 + 前视 RGB 摄像头 + 深度传感器 HoloLens 融合了场景位置感知和头盔显示技术, 并提供了完整的软硬件解决方案
视觉 SLAM 主要传感器 单目摄像头 双目摄像头 多目摄像头 其它辅助传感器 廉价 IMU GPS 深度传感器 优势 硬件成本低廉 小范围内定位精度较高 无需预先布置场景
投影函数 基本原理 : 多视图几何
主要模块 特征跟踪 获得一堆特征点轨迹 相机姿态恢复与场景三维结构恢复 求解相机参数和三维点云
复杂环境下的主要挑战 如何处理循环回路序列和多视频序列? 如何高效高精度地处理大尺度场景? 如何处理动态场景? 如何处理快速运动和强旋转?
我们课题组的工作 面向大尺度场景的运动恢复结构 ENFT-SFM: 能够高效地处理大尺度场景下拍摄的循环回路和多 视频序列 单目视觉的同时定位与地图构建 ENFT-SLAM: 能在大尺度场景下实时稳定工作 在线回路闭合 ; RDSLAM: 能在动态场景下稳定工作 ; RKSLAM: 可以实时运行在移动设备上, 并能处理快速运动和强旋转
ENFT-SFM: Efficient Non- Consecutive Feature Tracking for Robust SFM
循环回路序列和多视频序列 如何将不同子序列上的相同特征点高效地匹配上? 如何高效地进行全局优化, 消除重建漂移问题? VisualSFM 结果
ENFT: 高效的非连续帧特征跟踪
基于两道匹配的连续帧跟踪 抽取 SIFT 特征 第一道匹配 : 比较描述量 Global distinctive
平面运动分割 估计若干个平面运动 使用第一道匹配得到的内点匹配对 (inlier matches) frame t 1 H t, t 1 2 H t, t 1 frame t+1 Alignment 3 H t, t 1 4 H t, t 1
第二道匹配 根据估计的平面运动进行匹配 Epipolar constraint Homography constraint
匹配结果比较 第一道匹配 (53 个匹配对 ) 直接极线上搜索 ( 增加了 11 个匹配对 ) 第二道匹配 ( 增加了 346 个匹配对 )
非连续帧上的特征点轨迹匹配 快速匹配矩阵估计 检测有公共内容的子序列进行特征轨迹匹配
快速匹配矩阵估计 每个轨迹有一组描述向量 特征轨迹描述量 采用分层的 K-means 方法进行轨迹描述量聚类
快速匹配矩阵估计
非连续特征轨迹匹配 同时进行图像对的特征匹配和优化匹配矩阵 根据选择的图像对的特征匹配结果对匹配矩阵进行优化 ; 根据更新的匹配矩阵更可靠地选择出有公共内容的图像对进行特征匹配
大尺度运动恢复结构的难点 全局集束调整 (Global Bundle Adjustment) 变量数目非常庞大 内存空间需求大 计算耗时 迭代的局部集束调整 大误差难以均匀扩散到整个序列 极易陷入局部最优 姿态图优化 (Pose Graph Optimization) 只优化相机之间的相对姿态, 三维点都消元掉 ; 是集束调整的一个近似, 不是最优解
基于自适应分段的集束调整 将长序列分成若干段短序列 ; 每个短序列进行独立的 SfM 并根据公共匹配对进行对齐, 每个段由 7 个自由度的相似变换控制 ; 如果投影误差比较大, 检测分裂点将序列分段, 然后优化 ; 重复上述步骤直至投影误差小于阈值或不能再分裂为止
Garden 数据集的 SfM 结果 6 段长视频序列, 将近 10 万帧, 特征匹配 74 分钟,SfM 求解 16 分钟 ( 单线程 ), 平均 17.7fps VisualSFM:SfM 求解 57 分钟 (GPU 加速 )
Garden 数据集上的比较 ENFT-SFM VisualSFM ORB-SLAM
KITTI 数据集上的定量比较
TUM 数据集上的定量比较
ENFT-SLAM: ENFT-based Large- Scale Monocular SLAM
ENFT-SLAM 特征跟踪 直接采用 ENFT 特征跟踪 回路检测与闭合 对原来的非连续特征轨迹匹配进行修改 计算当前帧与历史关键帧的相似度, 并选择相似度高的关键帧进行匹配 采用基于分段的集束调整进行优化
Garden 序列上的实时 SLAM
Garden 序列结果比较 ENFT-SLAM Non-consecutive Track Matching Segment-based BA ORB-SLAM Bag-of-words Place Recognition Pose Graph Optimization + Traditional BA
Street 序列结果比较 ENFT-SLAM Non-consecutive Track Matching Segment-based BA ORB-SLAM Bag-of-words Place Recognition Pose Graph Optimization + Traditional BA
动态场景 SLAM 的主要问题 (1) 场景逐渐在改变 可能有大量的错误匹配
动态场景 SLAM 的主要问题 (2) 视点改变造成的遮挡 运动物体造成的遮挡
RDSLAM 框架
结果与比较
RKSLAM: Robust Keyframe-based Monocular SLAM for Augmented Reality
Keyframe-based SLAM vs Filtering-based SLAM 优点 精度高 效率高 扩展性好 缺点 H. Strasdat, J. Montiel, and A. J. Davison. Visual SLAM: Why filter? Image and Vision Computing, 30:65-77, 2012. 对强旋转很敏感 共同的挑战 快速运动 运动模糊 特征不够丰富
Visual-Inertial SLAM 使用 IMU 数据提高鲁棒性 基于滤波的方法 MSCKF, SLAM in Project Tango, 基于非线性优化的方法 OKVIS, 没有真实 IMU 数据的情况下, 是否能够通过视觉的方法 来模拟 IMU 数据?
RKSLAM 基于多单应矩阵的跟踪 全局单应矩阵 三维平面单应矩阵 局部单应矩阵 基于滑动窗口的姿态优化 用整张图像对齐来估计旋转角速度 采用模拟的 IMU 数据进行姿态优化
结果与比较
TUM RGB-D 数据集上的定量比较 From left to right: RMSE (cm) of keyframes, the starting ratio (i.e. dividing the initialization frame index by the total frame number), and the tracking success ratio after initialization. Group A: simple translation Group C: slow and nearly pure rotation Group B: there are loops Group D: fast motion with strong rotation
时间统计 台式机上的计算时间 移动终端上 20~50 fps on an iphone 6.
时空一致性深度恢复 Guofeng Zhang, Jiaya Jia, Tien-Tsin Wong, and Hujun Bao. Consistent Depth Maps Recovery from a Video Sequence. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 31(6):974-988, 2009.
典型应用 三维重建 视频场景编辑
三维重建
三维重建
视频场景编辑
软件或源代码 ENFT-SFM or LS-ACTS http://www.zjucvg.net/ls-acts/ls-acts.html RKSLAM: http://www.zjucvg.net/rkslam/rkslam.html RDSLAM: http://www.zjucvg.net/rdslam/rdslam.html ACTS: http://www.zjucvg.net/acts/acts.html
总结与讨论 极度缺乏特征和大量重复纹理场景下还工作得不好 结合边跟踪或直接稠密跟踪 融合其它传感器 目前只能实现实时的稀疏重建 加速稠密深度恢复 采用 RGB-D 相机
视觉 SLAM 技术发展趋势 缓解特征依赖 结合边的跟踪 直接图像跟踪或半稠密跟踪 朝实时稠密三维重建发展 单目实时三维重建 多目实时三维重建 基于深度相机的实时三维重建 多传感器融合 结合 IMU GPS 深度相机 光流计 里程计等
未来工作展望 协同 SLAM 稠密 SLAM 场景分析和理解 在 VR/AR 机器人和无人驾驶领域 进行应用
ZJUCVG Group Website: http:www.zjucvg.net: Personal Homepage: http:www.cad.zju.edu.cn/home/gfzhang: Email: zhangguofeng@cad.zju.edu.cn