基于视觉 SLAM 的实时地图 西北工业大学 布树辉 www.adv-ci.com
西北工业大学? 西北工业大学重点研究航空 航天 航海等方面的科学与技术
内容 研究背景 实时地图系统 (RTMapper) 无人机 / 机器人 G-SLAM 地图生成 数据处理 展望未来
无人机 体积小 造价低 无人化 使用方便 对作战环境要求低 战场生存能力较强 航拍, 侦察 打击 空中平台 ( 中继等 ) 通航
无人机 自主飞行 遥控为主 工作负荷大专业训练无法控制集群 自主能力
传统导航方法?
Navigation Obstacle detection GPS/IMU Visual, etc. 导航 制导体系架构 Situational Awareness mapping Perception Object recognition State Estimation Sensing Guidance Reasoning and cognizance High-level decision-making Mission planning and execution monitoring Mid-level decision-making Path planning Low-level decision-making Waypoint sequencer and trajectory generation Control (3D position/velocity, attitude control, etc.) highest GNC capabilities (level of autonomy) lowest
不忘初心 - 我们为什么做 SLAM 与实时地图? 我们的梦想是做全自主的飞行器 机器人 Source code at http://www.adv-ci.com/blog/source/ardrone_auto/
躯如何实现自主? 眼睛 耳朵 大脑 什么功能让我们能自主? 体环境
环境感知推躯如何实现自主? 眼睛 耳朵 理知识决策体环境
未来? 已经到来! 人工智能
人工智能时代的机遇 未来 现在
人工智能时代的挑战 环境感知 SLAM 人工智能 场景理解 多数据源图像 LiDAR 红外多光谱, 高光谱 IMU MAP 推理 决策 知识 实时, 低延时 复杂环境电磁环境, 气象环境 环境感知的效能与人相比, 差距很大 SLAM 系统主要依赖几何计算 认知层面的能力较弱 SLAM 的鲁棒性 可靠性还未达到实用化程度 环境感知的结果如何存储 访问 多智能体 动态环境的环境感知有待研究 开发
SLAM? SLAM (Simultaneous Localization and Mapping), 即时定位与地图构建, 最早由美国著名学者 Smith 于 1988 年提出, 它是解决机器人视觉的关键核心技术, 被很多学者认为是实现真正全自主移动机器人的关键 由于早期 SLAM 算法设计的局限性, 以及传感器技术 计算机处理能力的限制, 未能广泛推广应用 Demo can be downloaded at: http://www.adv-ci.com/blog/source/fastslam-gui/
SLAM 自主导航 Guidance How to go? Recognition & Reasoning Localization Where am I? Needs accurate map Needs accurate position Mapping What is around me? Simultaneously minimization both error
SLAM 广阔的应用领域 Indoors Undersea Space Underground AR
SLAM 传感器 SAR SONAR LiDAR Camera
SLAM 视觉? 激光? 低成本 cm ~ km 范围 丰富的信息 精度相对低 与人类似的感知 视觉 SLAM 难度高 ( 门槛高 ) 应用前景广泛 高成本 cm ~ m 范围 只有距离信息 精度高 超人类的感知 激光 SLAM 难度低 ( 门槛低 ) 应用范围受限 视觉 激光
视觉 SLAM 基本分类 Feature Direct Semi-Direct
视觉 SLAM 基本原理 depth Left baseline Right 通过三角化两张图像上对应的点, 能够恢复物体点到相机的相对深度值
视觉 SLAM 如何计算相机的位置和姿态 射线 x 第一张图像的特征点 x 第二张图像的特征点 x 0 F, 基本矩阵 几组特征对应关系得到 F X EK FK F 矩阵和相机内参矩阵得到本征矩阵 E 相机 1 图像 相机 2 图像 E x 极线 R, t 得到第二张图像的位置, 姿态 x 相机 1 光心 C1 基线 相机 2 光心 C2 假设第一张图像位于远点, 可以得到第二张图像的位置和姿态
视觉 SLAM 特征点方法 图像队列 定位 图像输入 地图点图像特征 图像帧位姿 局部优化 三角化新地图点 特征点检测 全局最优 ( 使所有地图点投影到图像上和检测到的特征点之间的误差和最小 ) 初始化? 否 是 数据管理 初始化 计算基本矩阵 F 计算位姿 R,t 三角化得到点云 地图相机位姿
Feature Based Methods - Parallel Tracking and Mapping G. Klein, D. Murray, Parallel Tracking and Mapping for Small AR Workspaces, 2007
Feature Based Methods - Parallel Tracking and Mapping Tracking and Mapping are separated, and run in two parallel threads Mapping is based on keyframes, which are processed using bundle adjustment The map is densely intialised from a stereo pair New Points are initialised with an epipolar search Large numbers of points are mapped G. Klein, D. Murray, Parallel Tracking and Mapping for Small AR Workspaces, 2007
Feature Based Methods ORB-SLAM Raúl Mur-Artal, J. M. M. Montiel and Juan D. Tardós. ORB-SLAM: A Versatile and Accurate Monocular SLAM System, 2015
Feature Based Methods ORB-SLAM Covisibility information to operate at large scale BoW based place recognition system for relocalisation and loop closing Raúl Mur-Artal, J. M. M. Montiel and Juan D. Tardós. ORB-SLAM: A Versatile and Accurate Monocular SLAM System, 2015
Direct Based Methods Dense Tracking and Mapping (DTAM) R.A. Newcombe, S.J. Lovegrove and A.J. Davison, DTAM: Dense Tracking and Mapping in Real-Time, 2011
Direct Based Methods Dense Tracking and Mapping (DTAM) Utilizing a coarse base surface model as the initial starting point for dense reconstruction Depth map creation is pipelined, and multiple depth maps are straightforwardly fused to create complete scene reconstructions Using GPU to accelerate the speed R.A. Newcombe, S.J. Lovegrove and A.J. Davison, DTAM: Dense Tracking and Mapping in Real-Time, 2011
Direct Based Methods Large-Scale Direct Monocular SLAM (LSD-SLAM) J. Engel, T. Schops, and D. Cremers, LSD-SLAM: Large-Scale Direct Monocular SLAM, 2014
Direct Based Methods Large-Scale Direct Monocular SLAM (LSD-SLAM) Using direct image alignment coupled with filtering-based estimation of semi-dense depth maps Probabilistically consistent incorporation of uncertainty of the estimated depth into tracking J. Engel, T. Schops, and D. Cremers, LSD-SLAM: Large-Scale Direct Monocular SLAM, 2014
Semi-direct Tracking and Mapping (SDTAM) The direct method is adopted to track current motion with high-speed, followed with a motion refinement based on feature correspondences. Balance between accuracy and efficiency can be realized. Shuhui Bu, Yong Zhao, et al., Semi-direct Tracking and Mapping with RGB-D Camera for MAV, MTAP, 2016.
内容 研究背景 实时地图系统 (RTMapper) 无人机 / 机器人 G-SLAM 地图生成 数据处理 展望未来
地图? 公元前 xxx 年 (What? 世界地图?) 公元前 276 年 ( 中国在哪里?) 中世纪 ( 没有美洲 ) 现代地图 ( 卫星 )
传统方法面临的问题 一般采用遥感, 一种非接触 远距离的探测技术, 运用传感器对物体的电磁波 的辐射 反射特性的探测 面临的主要问题是实时性较弱, 无法即时得到环境地图
无人机自主飞行 环境的复杂, 无人机数据链路中断,GPS 受到干扰等情况下, 必须自主飞行 自主飞行需要对环境进行感知, 从而指导无人机的飞行 在无 GPS 的情况下, 需要多种导航手段来提供导航信息 实时地图是一种重要的导航信息源
为何需要实时地图? 感知 Sense 建图 Mapping 策略 Policy 实时建图是未来智能系统的关键技术之一 实现高智能全自主机器人系统的重要支撑
SLAM 中 Mapping 的问题 Mapping 为快速定位服务 主要是三维点云 环境表达能力较弱 有效数据存储效率低 较长时间间隔的重定位能力较弱 很多时候需要正摄影像地图 (DOM) 高程地图 (DEM), 三维模型, 矢量地图将 Mapping 增强 实时地图
实时地图的意义 智能 GIS 智能控制 为作战等提供时效性高的信息, 降低对卫星的依赖程度, 并提高地图的分辨率 简单易用的建模工具, 能够提高工程 建筑等领域的工作效率 农业植保提供简单易用的高分辨率病虫害评估报告 为机器人提供高智能程度的导航 控制功能 提供无人机 机器人等在卫星导航失效下导航定位, 并提高自主运行所需要的环境信息 全自主农业植保无人机 实时地图
实时地图架构 UAV/Robot Hardware Datalink Control Image GPS Euler G-SLAM PIK-SLAM SDTAM SIFT-SLAM SD-VIO Image SE3 Depth MapFusion 2D->DOM 3D->DEM Map Location AI Localize Change detect Object detect Route Status Current Map DOM DEM GCP Difference Sematic Map (Knowledge) DOM, DEM, 3D, Semantic
(1) 无人机平台 自动飞行控制实时数据处理 地面站 综合数据链路 手动控制 摇杆控制 高可靠性 操作简单 自动飞行 实时数据处理 G-SLAM/RTMapper 鲁棒性高
(1) 机器人平台 Hands-Free 全自主设计 优秀的架构设计 HandsFree Robot System 机器人平台 OpenRE (Open Robot Embedded) 开源系统 多传感器 : 立体视觉,LiDAR,RGB-D, 超声 Control Station SLAM / RTMapper Auto Control Mission Simulation 组件库 支持 ROS (Robot Operation System) 国内最为完整的开源机器人平台 软硬件开源 Control Message Passing MAVLINK COM Manage 3D CV SLAM OSA ROS 系统支撑库 PIL 全套开发 使用手册 RT OS Stereo Camera LiDAR Ultrasonic Boot Loader SERVO Drivers MUC Hardware Libs UART OpenRE IMU CAN I2C SPI RC
(1) 机器人平台 Hands-Free 探索 explore 成长 grow 分享 share www.hands-free.org.cn
(2) G-SLAM 架构的特点 一个框架支持多种 SLAM 统一的接口设计, 插件化设计, 复杂度隔离 使用 PIL (Pilot Intelligent Library) 系统支撑库 支持 MapFusion( 实时地图融合 ) G-SLAM 框架 / 多种实现 PIK-SLAM SIFT-SLAM SDTAM SD-VIO 各种 SLAM 实现 支持的 SLAM 实现 MapFusion G-SLAM API GUtils G-SLAM PIK-SLAM (Pilot Intelligent Keyframe SLAM) 基于特征点 / 关键帧的 SLAM SIFT-SLAM 基于 SIFT 的 SLAM 系统 SDTAM (Semi-Direct Tracking and Mapping) Control Message Passing MAVLINK COM Manage 3D CV Graphics OSA PIL 半直接的 RGBD SLAM SD-VIO (Semi-Direct Visual Inertial Odometry) 半直接的视觉惯导里程计 https://github.com/zdzhaoyong/gslam https://github.com/zdzhaoyong/pil2 https://github.com/zdzhaoyong/map2dfusion
(2) G-SLAM: PIK-SLAM Pilot Intelligent Keyframe SLAM (PIK-SLAM) 高速处理 : 1080p 图像能够达到 30 Hz 自动拟合 GPS 信息 : 视觉与 GPS 数据融合 实时正射影像生成 : 使用自适应加权方法融合多帧图像 大规模数据支持 : 支持数据网格划分, 数据热交换
Data Prepare (2) G-SLAM: PIK-SLAM Tracking Mapping Pop VP Queue Initialize Push KF Queue Get Image Lost? Relocalization Keyframe? Pop KF Queue Motion Model Track LastFrame TrackSubMap Compute BOW Image Undistort Global Bundle Create New Points Fit Plane GPS Fitting Global Bundle Feature Extractor Data Management Add to Map Grid Processing Hotswap/Database Hashing Data Association Prepare GPS data High Quality Mapping GPS/SLAM Fusion Tracking Fitting Optimization 2D/3D Map Generation Local Bundle Push to VP Queue GUI/Rendering Prepare Texture DrawThings Event Handle Inference Embedded Deep Network
(2) G-SLAM: SDTAM Semi-direct Tracking and Mapping 使用直接法实现快速跟踪 定位, 然后使用特征点法优化位姿 定义了融合深度和几何测量误差的误差函数, 能够取得更好精度和鲁棒性 能够取得更好的精度与速度平衡 Shuhui Bu, Yong Zhao, et al., Semi-direct Tracking and Mapping with RGB-D Camera for MAV, MTAP, 2016.
(2) G-SLAM: SDTAM Experiments on TUM dataset Shuhui Bu, Yong Zhao, et al., Semi-direct Tracking and Mapping with RGB-D Camera for MAV, MTAP, 2016.
(2) G-SLAM: SIFT-SLAM SIFT-SLAM 支持大的基线距离 专门针对实时地图设计, 能够处理超大尺寸的图像 (40M 像素以上 ) 替代 SfM, 能够高速成图 半稠密点云 实时地图融合
(2) G-SLAM: SD-VIO Camera IMU Semi-Direct Visual Inertial Odometry Direct Tracking Marginalization Pre Integration KeyFrame insert? Insert KeyFrame Queue modify Yes No Point detect Reprojection Triangulation BA Yes Key Frame? 使用了 Fast 特征点而没有使用描述子, 大大提升了前端速度 增加了梯度比较大的点作为弱化的线特征, 提升了整体鲁棒性 使用预积分, 将 IMU 和相机数据强耦合, 得到绝对尺度和速度的同时, 大大提升了系统的稳定性 使用了窗方法, 尽可能保留了系统运行过程的数据, 并为当前的估计提供了先验信息 针对低功耗 CPU 设计, 支持单目 / 双目等
(3) MapFusion 目标 实时二维地图 实时高程地图 实时三维地图 具备扩展能力 能够整合数据处理 分析 Shuhui Bu, Yong Zhao, et al., Map2DFusion: Real-time Incremental UAV Image Mosaicing based on Monocular SLAM, IROS, 2016 http://www.adv-ci.com/blog/projects/map2dfusion/
(3) MapFusion - 解决之道 SLAM 与 SfM 对比 SLAM 与测绘方法对比 SLAM 更多考虑图像之间的关系 SLAM 对算法做了更 SLAM 能够达到 90% 以上的精度 使用 POS 数据的方式 多的优化, 能够达到 不同,SLAM 能够进 实时 行联合优化 设计巧妙的算法能够 SLAM 对算法做了更 实时融合采集的图像得到 DOM SfM 测绘 多的优化, 能够达到实时 定位与地图生成同步 进行, 能够用到机器 人自主导航 SfM 即 Structure from Motion, 计算机视觉的三维重建方法,Pix4D 等使用的方法
(3) MapFusion 核心算法 Feature based Visual SLAM System: PIK-SLAM/SIFT-SLAM Automatic GPS and video synchronization: a graph based optimization is proposed to synchronize video time with GPS time from coarse to fine. Real-time orthoimageblender: an adaptive weighted multi-band method to blend and visualize images incrementally in real-time. Shuhui Bu, Yong Zhao, et al., Map2DFusion: Real-time Incremental UAV Image Mosaicing based on Monocular SLAM, IROS, 2016 http://www.adv-ci.com/blog/projects/map2dfusion/
(3) MapFusion 卫星地图对比 西安 西北工业大学 卫星地图 RTMapper
(3) MapFusion 相关软件对比 PhotoScan Pix4D RTMapper
(3) MapFusion 相关软件对比 PhotoScan Pix4D RTMapper
(3) MapFusion 速度对比 时间单位 : 分钟 Map2DFusion 处理所有帧,Pix4DMapper 和 Photoscan 处理关键帧 Shuhui Bu, Yong Zhao, et al., Map2DFusion: Real-time Incremental UAV Image Mosaicing based on Monocular SLAM, IROS, 2016
(4) 数据处理 场景解析 将结构化学习层显式融入深度学习 提出了空间推理特征 使用多模态学习融合表征特征与空间推理特征 Shuhui Bu, et al. Pattern Recognition, 2016.
(4) 数据处理 场景认识 使用 CNN 提取表征能力更强的特征 考虑图像中物体的空间分布关系 Qing Li, et al., Place Recognition Based on Deep Feature and Adaptive Weighting of Similarity Matrix, Neurocomputing, 2016. Part of source codes: http://www.adv-ci.com/blog/source/pi-cnn and http://www.adv-ci.com/blog/source/pi-slic
(4) 数据处理 目标识别
实时地图 RTMapper 特点 速度 实时在线 RTMapper/SLAM 非专业知识 / 全自动一定专业知识 / 操作复杂专业知识 / 操作复杂专业知识 / 操作复杂 小时 Pix4D/SfM 航摄仪 / 测绘 卫星 / 测绘 天 万 十万 百万 亿 价格性能
实时地图 RTMapper 相关方法的对比 Pix4D PhotoScan DroneDeploy 航空摄影测绘倾斜摄影测量 本系统 RTMapper 实时性 离线计算 ( 数小时 ) 网络云计算 ( 需要联网 ) 离线计算 ( 数天 ) 在线实时 安全性 一般 较低 一般 高 测量精度 中 中 高 中 多信息源融合 无 无 具备 具备 地面站整合能力 无 无 无 具备 系统硬件要求低较低高较低 二次开发能力无无无具备 使用成本高高很高低 功能 DEM,DOM, 三维重建 DEM,DOM, 三维重建 DEM,DOM, 三维重建 DEM,DOM, 三维重建地图构建 无 GPS 导航定位
实时地图 RTMapper 应用领域 抗震救灾 ( 灾害评估 ) 农业植保 ( 病虫害评估 ) 自动驾驶, 智慧城市 民用 军用 其他 特定区域持续监视侦查, 无人机作战集群作战, 过饱和攻击
Machine Learning 阶段成果 Smart Machines Computer Vision
相关开源 :NPU Drone-Map Dataset & Sourcecode Source code: https://github.com/zdzhaoyong/map2dfusion Dataset: http://www.adv-ci.com/blog/source/npu-drone-map-dataset/ Shuhui Bu, Yong Zhao, et al., Map2DFusion: Real-time Incremental UAV Image Mosaicing based on Monocular SLAM, IROS, 2016
相关开源 : NPU RGB-D Dataset http://www.adv-ci.com/blog/source/npu-rgb-d-dataset/ Shuhui Bu, Yong Zhao, et al., Semi-direct Tracking and Mapping with RGB-D Camera for MAV, MTAP, 2016.
相关开源 : Hands-Free http://www.hands-free.org.cn
内容 研究背景 实时地图系统 (RTMapper) 无人机 / 机器人 G-SLAM 地图生成 数据处理 展望未来
未来之路 环境感知 SLAM 多数据源图像 LiDAR 红外多光谱, 高光谱 IMU MAP 人工智能 场景理解 推理 决策 知识 实时, 低延时 复杂环境电磁环境, 气象环境 鲁棒性高 精度高的 SLAM 语义层面的地图 基于深度学习的场景理解方法 推理 策略的学习 智能多机协同系统
地图与机器 地图不仅仅是为人提供空间信息的工具 更多是为机器提供空间信息, 导航定位 环境感知 智能机器不仅仅是地图的使用者, 也是地图的生成者, 两者相互依赖 要求更高的实时性, 更多样的表达形式 智能机器 机器地图 影像地图 三维点云地图 语义地图
SLAM 的发展方向 语义层面的信息能够实现更大规模 更可靠的 SLAM 系统 基于直接优化的方法, 基于深度学习的光流 SLAM 为深度学习提供学习数据 端到端的学习实现导航 制导, 全神经网络的机器人系统 实现无人机 机器人的全自主导航
关于我们 西北工业大学智能系统实验室 我们的理念 http://www.adv-ci.com Hands Free 开源社区 探索 explore 成长 grow 分享 share http://www.hands-free.org.cn 智能系统实验室 舞蹈机器人基地 中国人民解放军信息工程大学
THANK YOU Detailed information can be found at http://www.adv-ci.com and http://www.hands-free.org.cn