2016 年中国智能车大会暨国家智能车发展论坛 李必军 2016.10
目录 智能汽车发展趋势 无人驾驶地图 实时测图技术 研究成果及展示 总结
第一部分自动驾驶汽车未来趋势 商业化前期 : 高速公路自动驾驶和低速无人驾驶 国外知名 OEM 计划 2016 年,AUDI 推出商用车辆, 可以在车辆低速运行时实现自动转向和加减速控制, 以及交通堵塞的情况下, 车辆辅助驾驶 ;TESLA 和 ME 合作解除 ;9 月新加坡推出 6 辆无人出租车 ;9 月 19, 美国政府颁布首个联邦自动驾汽车政策文件, 旨在指导测试与部署无人车 ; 2017 年,GM 宣布将在 2017 年推出具有 Super Cruise Control 功能的商用车辆, 实现车道保持和自适应巡航控制 ; 2017 年,GOOGLE 预计实现 Level 4 的自主驾驶技术, 并推出其商用车 ; 2018 年,NISSAN 在多车道高速公路上实现自主变道决策和控制 ; 2019 年, TESLA 将推出全自主驾驶车辆 ;
第一部分自动驾驶汽车未来趋势 国外知名 OEM 计划 2020 年,VOLVO 预计使用自主驾驶技术, 并实现 零伤亡 ; GM Mercedes-Benz AUDI BMW 雷诺公司实现部分路段的自主驾驶 ; GM 的阿兰 陶伯估计这一年自动驾驶系统将成为汽车标准配置 ; 2025 年,Daimler 和 Ford 公司推出全自主驾驶车辆 ; 2025 年,GM 旗下大部分新车将具有自主驾驶和车间通信 V2V 功能 ; 2035 年,IHS Automotive 预计无人驾驶汽车将会实现全自主驾驶功能 ;
典型无人驾驶汽车地图感知传感器构成 洪荒之力
高精度地图背景 从世界主要汽车强国来看, 高精度地图是重要的 不可获取的 技术, 并且逐步成为了自动驾驶领域研究的热点 日本 : 图商和部件商共同参与组建的 Dynamic Map Planning 公司 在 2020 年前绘制出日本的 3D 道路地图, 服务于东京夏季奥运会
高精度地图背景 欧盟 :HERE 博世等正在研发自动驾驶地图 同时, 组织全球力量, 组建 NDS 协会, 主导欧洲高精度地图标准 美国 :Google 基于 Google Map, 打造一套适用于自动驾驶的高精度地图 ;
高精度地图背景 中国 : 四维图新 百度等企业加入了 NDS 协会, 参与制定高精度地图 ISO 标准
高精度地图内容 相较于传统导航电子地图, 精细高精度地图主要包含 :
高精度地图内容 1) 道路级别数据 道路边线 道路中心线 路口交叉点
高精度地图内容 2 ) 车道级别数据 左右车道线形 线宽等 车道中心线
高精度地图内容 3 ) 拓扑数据 虚拟车道线 道路连接线
高精度地图内容 4 ) 路口数据 停止线 人行横道 路口区域
高精度地图内容 5 ) 附属设施数据 交通灯 交通标志标牌
高精度地图内容 6 ) 安全辅助数据 坡度 转弯半径
智能车发展总结 国外主流 OEM 厂商 IT 巨头均将无人驾驶作为公司战略性进行研发 ; 国外主流 OEM 厂商在车联网方面开展较早, 已经取得了一定的市场占有率 ; 互联网对传统行业渗透速度的加快,OEM 厂商与互联网巨头合作开发未来的智能汽车 ; 北汽与乐视共同打造 超级汽车 上汽与阿里巴巴合作, 启动 互联网汽车 战略 腾讯与富士康以及和谐汽车结盟, 开发 互联网 + 智能电动车 百度在芜湖建立测试基地 上海嘉定无人驾驶测试基地开放 中国制造 2025 将机器人 智能装备作为发展重点 高精度地图成为当前研究和生产的热点 ; 2030 年 50% 的车辆无人驾驶?
第二部分无人驾驶地图 信号灯相机 激光扫描仪 POS 定位 第一代无人车 (2010) 车道线相机 轮速传感器 武汉大学感知平台及构成 途智号 无人车 (2014-2016)
武汉大学感知平台及构成 电机转向 OBD 转向拉线制动 OBD 制动电机换档 OBD 换档 OBD 自动转向 制动 档位和油门
武汉大学感知平台及构成 途 e 号 途智号
智能车 : 地图 + 感知 + 决策和控制 导航地图是无人驾驶的重要技术基础 感知信息和已有真实道路地理信息的配准融合 组合定位 驾驶敏感目标实时定位 分类与构图 I. 自车位置 II. 车道线 红绿灯 交通标志等 III. 动静态障碍物 ( 行人 车辆等 ) IV. 道路几何参数 目标 : 实时建立道路驾驶场景
地图发展趋势 互联网 + 移动 物联网
无人驾驶, 我们需要什么样的地图? 地图 根据一定的数学法则, 使用地图语言, 通过地图综合, 表示地理空间事物的空间分布 联系及在时间中的发展变化状态的图形 无人驾驶地图 是以安全出行为基础, 动态关联道路上各种信息, 全面反映位置本身及其与所在道路相关的各种特征 事件或事物的场景地图
驾驶场景 ---- 交通规则 ( 路网拓扑关系 ) 车道车道线车道数道路中线道路宽度 信号灯障碍物交通标志车道标志
驾驶场景 ---- 地图引导
驾驶场景地图特点 车道级高精度地图 车道几何形状及道路几何参数 车道属性 交通标牌 红绿灯 路口等全要素 车道及要素间挂接与关联关系 车道级拓扑 动 静态障碍物 精度 10cm 实时交通信息
第三部分 : 实时测绘技术 Advanced Driver Assistant System (ADAS) 定位 : 组合定位 ( 里程计 DGPS\CORS\POS) 单目相机 : 车道偏离告警 Lane Departure Warning (LDW) 前车检测(PCW) 行人识别告警 Pedestrian Detection Warning (PDW) 交通信号及标志牌识别 Road Sign Recognition (RSR) 双目相机 : 立体视觉激光雷达 : SLAM 目标识别与分类规划与控制 :RRT PID
核心技术路线 前方车辆识别 车道级实时交通信息计算 视觉传感器 核心算法 车道线提取 交通信号及标志牌识别 地图快速生产工具 视觉图像预处理 行人检测 ADAS 功能
3.1 组合定位 ( 绝对定位 + 相对定位 )
3.2 视觉图像预处理 1) 视频图像超分辨率技术 2) 模糊图像场景复原技术 3) 含雾图像场景重建技术 4) 全景图像拼接
1). 视频图像超分辨率技术 提升车载图像传感器视觉性能, 增强交通标志符的识别水平等方面
2). 模糊图像场景复原技术 本项技术可以用于前车识别 交通标志识别的预处理过程
3). 含雾图像场景重建技术 在烟雨雾霾等恶劣成像环境下, 图像的对比度急剧下降, 视觉导航的性能无法得到保证 该项技术基于辐射传输理论, 快速自动的实现图像真实场景的重建, 增强视觉的 透视 功能 本项技术可以提升无人驾驶汽车的全天候 全天时视觉导航性能
3). 含雾图像场景重建技术
3). 含雾图像场景重建技术
4). 全景图拼接 日常拍照 航拍 图像拼接技术可以将普通相机拍摄的若干幅具有一定重叠区域的小视域图片进行拼接, 得到高清晰度的宽视角图片, 并且看不出拼接痕迹
4). 全景图拼接 关键技术 1: 图像配准 SURF 特征匹配实验 SURF 特征匹配结果示意图
4). 全景图拼接 关键技术 2: 图像融合 区域图像 图像融合处理过程图
4). 全景图拼接 实验效果 武汉大学老图书馆全景图 1 2 3 4 5 6 7
3.3 单目视觉的常用技术方法 Method (FCW\PDW) Haar+adaboost Problems of Haar Sensitive to illumination change and small offset No stronger robustness Problems of adaboost 训练样本量大 实时计算量大 Depth Neural Network (DNNs) Method (LDW) HOG+SVM Resolution 640X480 Training set Positive samples:1000 Negative samples:1000 Detecting difficulties The contradiction between the speed and precision of detection Resolution Tracking inter frames
信号灯检测 实际道路场景 红绿灯信息复杂 难以准确识别当前车道对应的红绿灯
交通灯检测 positioning Detection and filter
信号灯识别与定位 根据地图信息, 对复杂路口红绿灯信息进行网格定位 在网格数据中识别出当前车道红绿灯状态 视频图像与路网数据相结合
3.4 基于激光的环境感知 基于多源历史数据融合的目标跟踪 (TLD) 基于地图 SLAM 的局部地图场景构建
动态目标提取和道路通可行区域建模 动态目标提取 车道提取
激光扫描与视觉的集成融合 识别与跟踪
融合多尺度特征的多类型地物要素自动化提取 原始数据 地面点识别路面提取交通标志线提取 非地面点 目标提取 点云分割 目标识别 逐点分类 多规则区域生长 区域层次化合并
基于激光点云与影像的场景感知与建模 点云的稳健配准 多层次分割与分类点云与影像的配准与融合地物目标的自动提取几何目标的三维重建
3.5 地图模型 无人驾驶地图创建 基于车道的路网拓扑自匹配 基于 SLAM 的地图拼接
智能驾驶导航地图构建 基于自适应路网的虚拟车道构建
技术总结 基于动态序列影像的道路场景实时建模技术 融合地理与视觉信息的车道级定位技术 基于移动智能终端的的高精度实时测图技术
第四部分研究成果及展示 源自于无人驾驶汽车的视觉感知技术, 实现快速精确的前撞预警和车道偏离预警 通过算法授权的方式, 装有公司 ADAS 产品的智能行车记录仪已经在 2016 年上市 智能行车记录仪
第四部分研究成果及展示 行车辅助 APP APP 产品 基于智能手机终端的行车辅助安全应用, 实现车载导航与行车辅助的有效结合
研究进展展示 行人碰撞预警 前车碰撞预警 研究成果 100% 车道偏离预警 无人智能驾驶 平行泊车 垂直泊车 激光测图 功能测试 媒体报道
基于视觉的技术问题 CCD 传感器易受光照环境的影响 路面标线破损 遮挡都会影响系统稳定性 复杂道路环境下目标识别难度加大
第五部分总结 ADAS 是无人驾驶的基础 感知 + 地图无人驾驶的重要途径 是否需要高精度地图? 无人驾驶面临的科学 技术 规则 伦理问题 无人驾驶离我们还有多远?
谢谢! 2016 年中国智能车大会暨国家智能车发展论坛