PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

项从
4 years ago
Views:

1 在嵌入式 GPU 和 CPU 上部署深度神经网络刘海伟 2015 The MathWorks, Inc. 1

2 MATLAB 深度学习流程 Application logic Trained DNN 深度神经网络设计 + 训练应用程序设计独立部署 2

3 深度神经网络设计与训练 Model importer 在 MATLAB 中设计管理大数据集自动数据标签模型易于访问 Reference model Train in MATLAB Transfer learning Trained DNN 在 MATLAB 中训练使用 GPU 加速扩展到集群 3

4 应用设计 Preprocessing Postprocessing 4

5 深度学习多平台部署 Application logic 5

6 深度学习多平台部署 Application logic Desktop Data Center NVIDIA Jetson Raspberry pi Mobile Beaglebone 嵌入式 6

7 从算法设计到嵌入式部署流程传统方法桌面 GPU 桌面 GPU 嵌入式 GPU C++ C++ 1 功能性测试 2 单元测试部署 3 集成测试部署 4 实时测试高级语言深度学习框架大型复杂的软件堆栈 C/C++ 底层 APIs 特定应用库 C/C++ 目标优化库内存与速度优化挑战集成多个库和包验证和维护多个实现算法和供应商锁定 7

8 解决方案 : 使用 MATLAB Coder 和 GPU Coder 进行深度学习部署 Application logic GPU Coder MATLAB Coder 目标库 NVIDIA TensorRT & cudnn Libraries Intel MKL-DNN Library ARM Compute Library 8

9 解决方案 : 使用 MATLAB Coder 和 GPU Coder 进行深度学习部署 Application logic GPU Coder MATLAB Coder NVIDIA TensorRT & cudnn Libraries Intel MKL-DNN Library ARM Compute Library 9

10 深入学习部署流程推断引擎部署应用程序集成部署 Trained DNN Preprocessing Postprocessing cnncodegen codegen 可移植的目标代码可移植的目标代码 10

11 推断引擎部署流程推断引擎部署推断引擎部署的步骤 Trained DNN 1. 为训练好的模型生成代码 >> cnncodegen(net, 'targetlib, armcompute ) 2. 将生成的代码复制到目标器件上 cnncodegen 3. 生成推断引擎 >> make C./codegen f mk 4. 手写主函数, 用以调用推断引擎可移植的目标代码 5. 生成并测试可执行 exe >> make C./ 12

12 深度学习推断部署 Application logic 行人检测 GPU Coder MATLAB Coder 目标库 NVIDIA TensorRT & cudnn Libraries Intel MKL-DNN Library ARM Compute Library 14

13 深度学习推断部署 Application logic 血液涂片分割 GPU Coder MATLAB Coder 目标库 NVIDIA TensorRT & cudnn Libraries Intel MKL-DNN Library ARM Compute Library 15

14 深度学习推断部署 Application logic GPU Coder 缺陷分类与检测 MATLAB Coder 目标库 NVIDIA TensorRT & cudnn Libraries Intel MKL-DNN Library ARM Compute Library 16

15 Application logic GPU Coder 代码性能怎么样? MATLAB Coder 目标库 NVIDIA TensorRT & cudnn Libraries Intel MKL-DNN Library ARM Compute Library 18

16 生成代码的性能 Titan V GPU 上进行 CNN 推断 (ResNet-50, VGG-16, Inception V3) Jetson TX2 上进行 CNN 推断 (ResNet-50) Intel Xeon CPU 上进行 CNN 推断 (ResNet-50, VGG-16, Inception V3) 19

17 使用 Titan V cudnn 进行单图像推断 TensorFlow (1.13.0) MXNet (1.4.0) GPU Coder (R2019a) PyTorch (1.0.0) Intel Xeon CPU 3.6 GHz - NVIDIA libraries: CUDA10 - cudnn 7 - Frameworks: TensorFlow , MXNet PyTorch

18 使用 TensorRT INT8 更强大的性能 ResNet-50 Inference (Titan V) GPU Coder + TensorRT (INT8) TensorFlow + TensorRT (INT8) GPU Coder + TensorRT (FP32) TensorFlow + TensorRT (FP32) Batch Size Intel Xeon CPU 3.6 GHz - NVIDIA libraries: CUDA10 - cudnn TensorRT Frameworks: TensorFlow _rc0 21

19 Jetson TX2 上的单图像推理 ResNet-50 TensorFlow + TensorRT GPU Coder + TensorRT NVIDIA libraries: CUDA9 - cudnn 7 TensorRT Frameworks: TensorFlow

20 CPU 性能 CPU, Single Image Inference (Linux) MATLAB TensorFlow MXNet MATLAB Coder PyTorch Intel Xeon CPU 3.6 GHz - Frameworks: TensorFlow 1.6.0, MXNet 1.2.1, PyTorch

21 简要总结 DNN 库非常适合推断 MATLAB Coder 和 GPU Coder 生成的代码可以利用 : NVIDIA CUDA 库, 包括 TensorRT & cudnn 用于深度神经网络的 Intel 数学内核库 (MKL-DNN) ARM 移动平台计算库 24

22 简要总结 DNN 库非常适合推断 MATLAB Coder 和 GPU Coder 生成的代码可以利用 : 但是, 应用程序需要的 NVIDIA CUDA 库, 包括 TensorRT & cudnn 不仅仅是推断用于深度神经网络的 Intel 数学内核库 (MKL-DNN) ARM 移动平台计算库 25

23 深入学习流程 : 应用程序集成部署 Preprocessing Postprocessing codegen 可移植的目标代码 26

24 使用 YOLO v2 进行车道线和目标检测 AlexNet-based YOLO v2 车道线检测后处理目标检测最强边界框流程 : 1) 在 CPU 上的 MATLAB 进行测试 2) 在桌面 GPU 上生成代码和测试 3) 在 Jetson AGX Xavier GPU 上生成代码和测试 27

25 (1) 在 CPU 上用 MATLAB 进行测试 AlexNet-based YOLO v2 车道线检测后处理目标检测最强边界框 28

26 (2) 在桌面 GPU 上生成代码并测试 CUDA 优化代码 AlexNet-based YOLO v2 车道线检测后处理目标检测最强边界框 cudnn/tensorrt 优化代码 29

27 (3) 在 Jetson AGX Xavier GPU 上生成代码并测试 CUDA 优化代码 AlexNet-based YOLO v2 车道线检测后处理目标检测最强边界框 cudnn/tensorrt 优化代码 30

28 使用 YOLO v2 进行车道线和目标检测 CUDA 优化代码 AlexNet-based YOLO v2 车道线检测后处理目标检测最强边界框 cudnn/tensorrt 优化代码 1) CPU 上运行 2) 在桌面 GPU 上生成代码, 运行速度提高 7 倍 3) 在 Jetson AGX Xavier GPU 上生成代码和测试 31

29 访问硬件从 MATLAB 访问外设部署独立应用程序处理器在环验证 32

30 通过 Apps 和命令行实现目标硬件部署 33

31 TensorFlow (1.13.0) MXNet (1.4.0) GPU Coder (R2019a) PyTorch (1.0.0) 34

32 TensorFlow (1.13.0) MATLAB Coder 和 GPU Coder 是如何取得这些结果的? MXNet (1.4.0) GPU Coder (R2019a) PyTorch (1.0.0) 35

33 Coders 应用各类优化 MATLAB Library function mapping Scalarization.. Traditional compiler optimizations Loop perfectization Loop interchange Loop fusion Scalar replacement Loop optimizations Parallel loop creation CUDA kernel creation cudamemcpy minimization Shared memory mapping CUDA kernel lowering CUDA code emission 36

34 Coders 应用各类优化 MATLAB Library function mapping 优化的库 Scalarization.. 传统的编译器优化 Loop perfectization Loop interchange Loop fusion Scalar replacement 循环优化网络优化 Parallel loop creation CUDA kernel creation cudamemcpy minimization 编码模式 CUDA kernel lowering Shared memory mapping CUDA code emission 37

35 生成的代码调用优化的库 cufft, cublas, cusolver, Thrust Libraries 性能 1. 优化的库 2. 网络优化 3. 编码模式 Preprocessing Postprocessing Intel MKL-DNN Library NVIDIA TensorRT & cudnn Libraries ARM Compute Library 38

36 深度学习网络优化性能 1. 优化的库 2. 网络优化 3. 编码模式 Max Pool Max Pool Max Pool buffer a buffer b conv conv Batch Norm ReLu ReLu FusedConv FusedConv BatchNormAdd FusedConv FusedConv BatchNormAdd X buffer c Reuse buffer a Add buffer d Max Pool Max Pool Max Pool X buffer e Reuse buffer b 网络层融合优化计算缓冲区最小化优化内存 39

37 cols kh 编码模式 :Stencil 内核性能 1. 优化的库 2. 网络优化 3. 编码模式自动应用于图像处理函数 (e.g. imfilter, imerode, imdilate, conv2, ) 使用 gpucoder.stencilkernel() 手动启用 Input image Conv. kernel Output image kw rows Dotprod 40

38 编码模式 :Matrix-Matrix 内核性能 1. 优化的库 2. 网络优化 3. 编码模式自动应用于很多 MATLAB 函数 (e.g. matchfeatures SAD, SSD, pdist, ) 使用 gpucoder.matrixmatrixkernel() 手动启动 41

39 MATLAB 深度学习流程 Application logic Trained DNN 深度神经网络设计 + 训练应用程序设计独立部署 42

40 MATLAB 中的深度学习流程深度神经网络设计 + 训练应用程序设计独立部署 Model importer Application logic MKL-DNN Library Coders Train in MATLAB Trained DNN TensorRT and cudnn Libraries Reference model Transfer learning ARM Compute Library 43

Presentation Title

Presentation Title MATLAB 与人工智能 : 深度学习有多远? 2017 The MathWorks, Inc. 1 术语 : 人工智能, 机器学习, 深度学习 Rule-based & brute force reasoning Spam filters learn models from data Artificial Intelligence (A.I.) for knowledge based reasoning