Presentation title (on one or two lines)

Size: px

Start display at page:

Download "Presentation title (on one or two lines)"

伐岑
4 years ago
Views:

1 基于图像识别的 ADAS 解决方案微信课堂专用 China Automotive Marketing Dept. Jul.28 th Toshiba Corporation 東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD.

2 What s ADAS 高级驾驶辅助系统前车避撞预警系统 FCW 行人检测报警系统 PDW 全景鸟瞰泊车辅助系统 EPA 前车启步提醒 Stop-Go 自动车灯检测系统 Auto Light 车道偏离预警系统 LDW 疲劳驾驶检测系统 FDD 限速标志识别系统 SLSR 交通标志识别系统 TSRS 夜视辅助系统 Night Vision 東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 2

3 ADAS 市场发展停车辅助会占比大前车检测, 盲区检测增长率高東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 3

4 NCAP 各国碰撞法规对 ADAS 的要求 Europe 2014 Euro NCAP 测试项目增加 Autonomous Emergency Braking (AEB) City( 低速 ), AEB Interurban( 高速 ) Lane Departure Warning (LDW) / Lane Keep Assist (LKA) 2016 Euro NCAP 测试项目增加 AEB Pedestrian (Forward Pedestrian Detection) Speed Assist System (SAS) 100% ( 限速标志识别 ) 2018 Euro NCAP 测试项目增加 AEB Pedestrian: Night and low light condition AEB Cyclists USA 2013 Regulation -- The Cameron Gulbransen, Kids and Cars Safety Act Rear Visibility of Vehicles (Originally it required a back-over detection standard that will alert drivers to the presence of a child behind the vehicle) 2018 年 5 月后生产的汽车 (4.5 顿以下 ), 必须装备東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 4

5 ADAS 装车量预测 2020 全市场 ADAS 装机超过 28M 台, 中国大致 7% 但是随着各国 NCAP 碰撞法规的推动, 装机量会上升随着 ADAS 市场参与者的增加, 方案成本的下降 -- 装机量会明显放大東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 5

6 Visconti Demo Video 東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 6

7 Visconti TM Family Road Map Non NDA xxx Camera resolution MP: 2017/E Visconti4 -Quartetto ENCAP 2018 Under planning Next 1080p Under planning Next High Range 720p 1080p 2004~ Visconti- Trio MPE x3 Video In x3 From 2013 Visconti2 -Quartetto From 2013 Visconti2 -Duetto ENCAP 2016 VGA 720p Small PKG(11mm ) Now Visconti2 -Solo 2014 US KT Law Under development Visconti4 -Solo ENCAP p 1080p Mid Range High Mid Range Low Toshiba Corporation 7

8 Visconti 芯片的特点多核并发架构并行处理, 实时响应低功耗, 高效能独有的图像加速 + 算法加速 = 减轻软件开发负担图形处理加速算法优化加速产品成熟, 已量产投放全球市场业界大厂 Denso( 电装 ) 已选用, 并大量投产后续产品, 不断升级東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 8

Visconti2 系统方框图 4 相机检测车辆周围的障碍物 NOR Flash NOR Flash 16-bit 2CS 主存储器控制器 DDR2-533 DDR2 SDRAM DRAM 16-bit x 2 片上 2MB RAM 多内核结构实现了多个应用 ( 最多 4 个 ) 的轻松实施 32 位 RISC CPU 行人车道 & 车辆交通标志 Visconti2 视频输出 I/F

9 Visconti2 系统方框图 4 相机检测车辆周围的障碍物 NOR Flash NOR Flash 16-bit 2CS 主存储器控制器 DDR2-533 DDR2 SDRAM DRAM 16-bit x 2 片上 2MB RAM 多内核结构实现了多个应用 ( 最多 4 个 ) 的轻松实施 32 位 RISC CPU 行人车道 & 车辆交通标志 Visconti2 视频输出 I/F RGB888 / 565 WVGA LCD 板前端相机后端相机左侧相机右侧相机 RGB888 / 666 / 565 YCbCr422 BT.656 Y8 Y 位 Bayer 视频输入 I/F 媒体处理引擎 (MPE) #1 #2 #3 #4 加速器仿射变换过滤器 1 直方图匹配加速器有助于实现非常高性能的图像处理, 比如行人检测等过滤器 2 HOG 外围设备定时器 Serial I/F GPIO PCM I/F CAN MCU I/F PCI Express 插槽 RGB888 / 565 GPIO I 2 S 8 输入捕捉 / 输出比较 /PWM UART / SPI / I2C LED (7-seg) MediaLB/ MOST CAN CAN MCU 扬声器 CAN 其它 ECU 東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 9

10 并行处理, 实时响应 Visconti2 实现了多种基于视觉的 ADAS( 高级驾驶辅助系统 ), 比如 LDW( 车道偏离报警 ),FCW( 前方碰撞报警 ), PD( 行人检测 ) 和使用 TSR( 交通标志识别 ) 的超速报警以辅助驾驶结合 4MPE( 媒体处理引擎 )& 硬件加速器可实现多个应用的同时进行 MPE0 MPE1 MPE2 MPE3 车道检测 ( 白线检测 )- LDW 车辆检测 - VD 交通标志识别 - TSR 行人检测 - PD HW 加速器 1 HW 加速器 2 HW 加速器 3 HW 加速器 4 HW 加速器 5 HW 加速器 6 100ms 東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 10

11 Visconti 芯片的特点多核并发架构并行处理, 实时响应低功耗, 高效能独有的图像加速 + 算法加速 = 减轻软件开发负担图形处理加速算法优化加速产品成熟, 已量产投放全球市场业界大厂 Denso( 电装 ) 已选用, 并大量投产后续产品, 不断升级東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 11

Image Recognition Technology History TOSHIBA has developed various image recognition applications last halfcentury System 1967 2001 2005 (CoHOG,TFD, ) 青字は世界 No.

12 Image Recognition Technology History TOSHIBA has developed various image recognition applications last halfcentury System (CoHOG,TFD, ) 青字は世界 No.1 技術 Voice synthesis recognition Audio/Video codec Hand gesture Histgram, Pedestrian detection Rotetion, expanse shrink Face recognition Matching, Hand writing Optical flow,... recognition Filter Feature (Median, amount Sobel, Gaussian...) SIMD VILW MeP Multi core technology Algorithm & Libraly Processor System knowhow Image recognition technology Visconti Family Cell Broadband Spurs Vision Chip Visconti Engine Engine Heterogeneous multi core architecture Only Toshiba has both original algorithm(cohog) and image recognition hardware(visconti) for high accuracy recognition. 東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 12

13 Hot Chips 24 (2012/8/27-) Recognition process time comparison (1frame) 10fps = 100 msec/frame Embedded 5x Make scaled images Make gradient images 63x Recognize using CoHOG 70x 10x Just 1.2W(typ.) for Pedestrian detection within 100ms Track & Merge 3983 msec Visconti2 266MHz 79.3 msec 50times faster Real time operation Breakdown Affine Conversion Filter HOG Matching MPE 東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 13

14 Visconti 芯片的特点多核并发架构并行处理, 实时响应低功耗, 高效能独有的图像加速 + 算法加速 = 减轻软件开发负担图形处理加速算法优化加速产品成熟, 已量产投放全球市场业界大厂 Denso( 电装 ) 已选用, 并大量投产后续产品, 不断升级 2016 Toshiba Corporation 14

电装采用 Visconti2 用于世界一流车厂前装车型 Visconti2 ADAS Toshiba s Image Recognition Processor Powers DENSO s Automotive Front-Camera-Based Active Safety System 6 Oct, 2015 TOKYO Toshiba Corporation (TOKYO: 6502)

Vehicles equipped with DENSO s camera system will reach the market in fall of 2015.

15 电装采用 Visconti2 用于世界一流车厂前装车型 Visconti2 ADAS Toshiba s Image Recognition Processor Powers DENSO s Automotive Front-Camera-Based Active Safety System 6 Oct, 2015 TOKYO Toshiba Corporation (TOKYO: 6502) today announced that DENSO Corporation (DENSO) is deploying Toshiba s TMPV7506XBG image recognition processor in its latest front-camera-based active safety system. Vehicles equipped with DENSO s camera system will reach the market in fall of The TMPV7506XBG image recognition processor IC supports multiple camera-based Advanced Driver Assistance Systems (ADAS) functions, including lane detection, vehicle detection, pedestrian detection and traffic sign recognition. It concurrently executes multiple applications with low power consumption. Toshiba is developing a family of automotive image recognition processor solutions. Products include TMPV7528XBG, which adds an ARM Cortex -A9 MPCore, and the TMPV7608XBG, which offers Toshiba s original color-based pattern recognition technology, ideal for pedestrian recognition at night. Toshiba is committed to innovations in safety and technology in automotive semiconductor solutions that meet the requirements of European New Car Assessment Programme (NCAP) and other automotive safety requirements. Visconti2-Quartetto inside 東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 15

16 Downsize image recognition camera module Visconti2-solo + 1.3M CMOS image sensor inside Feasibility Study 24 x 24 x 35 mm 東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 16

17 推动中国市场 ADAS 的普及多核并发架构并行处理, 实时响应低功耗, 高效能独有的图像加速 + 算法加速 = 减轻软件开发负担图形处理加速算法优化加速产品成熟, 已量产投放全球市场业界大厂 Denso( 电装 ) 已选用, 并大量投产后续产品, 不断升级成熟, 开发便利, 成本适中迅速提升 ADAS 的装车量提高整车主动安全水平 2016 Toshiba Corporation 17

18 下一代产品 Visconti4 前车防撞报警行人识别 ( 白天黑夜 ) 对方大灯检测交通标识识别 ( 限速等 ) 一般障碍物检测红灯信号识别车道保持报警路面标记识别 8 核架构 -- 可实时处理 8 项功能東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 18

19 最后其他车载应产品東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 19

20 Capricorn Capricorn 虚拟仪表芯片累计销售量超过 1000 万片! 東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 20

21 车载专用 MOSFET 品质保证 AEC-Q101 / TS16949 温度 175 度 ( 一般为 150 度 ) 雪崩测试 (175 度 ) 超低噪声上面図下面図 Unit: mm 東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 21

22 175 保証アハランシェ保証 AEC-Q101 (650V 系を除く ) Nch 40V MOSFET 产品线 * 計画は予告なしに変更となる可能性があります 1Q=1 月 ~3 月,2Q=4 月 ~6 月,3Q=7 月 ~9 月,4Q=10 月 ~12 月 ~13A 13B 14A 14B 15A 15B 16A 16B 17A 17B Fin. UMOSⅣ Ron A= 13.5mΩ mm2 Fin. UMOSⅧ Ron A=10mΩ mm2 Crss/Ciss 0.05 UMOSⅨ Ron A=(6) mω mm2 先頭 ES=OK CS= 15/8 次世代 Next Nch 60V Fin. UMOSⅣ Ron A= 30mΩ mm2 Fin. UMOSⅧ Ron A=18mΩ mm2 Crss/Ciss 0.05 UMOSⅨ Ron A=(12) mω mm2 先頭 ES= 15/4Q CS= 16/2Q 次世代 Nch 100V Fin. UMOSⅥ Ron A=93mΩ mm2 Fin. UMOSⅧ Ron A=37mΩ mm2 Next Fin. UMOSⅧ+Logic Level Drive Ron A=37mΩ mm2 Nch 650V Fin. DTMOSⅣ Ron A=17mΩ cm2 Next (Soft recovery diodes) Pch 40V Fin. P6 UMOSⅥ Ron A=25mΩ mm2 UMOSⅨ Ron A=(20)mΩ mm2 先頭 ES= 16/1Q CS= 16/3Q Fin. : フロセス開発完旧タイフラインアッフ展開中先頭品開発中先頭開発中構想段階 2015, Toshiba Corporation 年 7 月 Rev1.0 22

23 车用光耦 (EV/HEV) w/w No 连续 4 年全球光耦市场占有率第一 by Gartnar 東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 23

24 Line-up TLP9114B 1M Analog TLP9104 1M Logic IRMO LED MP from 2010 TLP9104A TLP9118 Topr=125 1M Logic MP Topr=125 10M Logic MP Reference MP from 2014 (High efficiency product line) TLX9304 Tj=125 1M Logic High CMR CS:OK Under development TLX9378 Under development TLX9309 Tj=125 10M Logic CS:OK Topr=125 ES:OK TLX9376 AEC-Q100 compliant (plan) Topr=125 20M Logic Totem-pole output CS:OK Under development TLX9310 5M Logic Topr=105 Totem-pole output Extremely low power consumption ES:Dec.2015 Under development Under development TLP9121 Tr coupler TLP9121A Topr=125 Tr coupler MP TLX9300 SO6 package Topr=125 New Tr chip with RBE CS:OK Under development TLX9000 SO4 package Topr=125 New Tr chip with RBE CS:OK Under development TLX9185A Tj=125 ES:OK Under development TLX9291A SO6 package SO4 package Tj=125 ES:OK Under development TLP9148J Topr=105 Photorelay VOFF=600V MP TLX9175J Topr=105 Improve ESD of detector in TLP9148J MP Photovoltaic coupler Topr=125 TLX9905 w/o discharge circuit TLX9906 w/ discharge circuit Under development ES:OK 2016 Toshiba Corporation 24

25 微信号 : Toshiba_Semicon 東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 25

26 联系方式华东地区 : yibo2.zhang@toshiba.co.jp 华北地区 : jinrong.gao@toshiba.co.jp 华南地区 : hanson.zhang@toshiba.co.jp 西南地区 : leon.zhang@toshiba.co.jp 东北地区 : lion.xue@toshiba.co.jp 東芝電子 ( 中国 ) 有限公司 TOSHIBA ELECTRONICS (CHINA) CO., LTD Toshiba Corporation 26

总第 37 期 / 2015 年 2 月车厂资讯一汽与工信部电子五所签署战略合作框架协议 1 月 29 日, 中国第一汽车股份有限公司与工业和信息化部电子第五研究所战略合作签约仪式

总第 37 期 / 2015 年 2 月车厂资讯一汽与工信部电子五所签署战略合作框架协议 1 月 29 日, 中国第一汽车股份有限公司与工业和信息化部电子第五研究所战略合作签约仪式总第 37 期 / 2015 年 2 月企业新闻新春寄语尊敬的读者朋友们 : 大家新春快乐! 羊年首场技术交流会德赛西威与昌河汽车签下战略合作协议 2 月 2 日, 德赛西威 2015 年首场与车厂的技术交流会在昌河汽车举行, 德赛西威董事长兼总经