Presentation Title

Size: px

Start display at page:

Download "Presentation Title"

翎叹谢
5 years ago
Views:

1 MATLAB 与人工智能 : 深度学习有多远? 2017 The MathWorks, Inc. 1

2 术语 : 人工智能, 机器学习, 深度学习 Rule-based & brute force reasoning Spam filters learn models from data Artificial Intelligence (A.I.) for knowledge based reasoning in academia Deep learning drive AI BOOM 2

3 MATLAB 是什么? 4

4 5

5 6

6 7

7 机器学习 10

8 机器学习无处不在图像识别语音识别股票预测医疗诊断数据分析机器人更多 [TBD] 11

9 示例 :Classfication 学习类型 Supervised Learning 算法类型 Classification 目标 : 训练一个分类器, 通过传感器手机的数据来区分人的动作 Regression 数据 : Machine Learning 基于输入输出数据开发预测模型输入三轴加速度计三轴陀螺仪输出 Unsupervised Learning Clustering 方法 : 数据输入交互式训练并比较分类器结果仅对输入数据进行分组或解释利用新的传感器数据测试结果 12

10 示例 :Regression 学习类型 Supervised Learning 算法类型目标 : Classification 简单精确预测系统负载 Machine Learning 基于输入输出数据开发预测模型 Regression Unsupervised Learning Clustering 仅对输入数据进行分组或解释 13

11 示例 :Clustering 学习类型 Supervised Learning 算法类型 Classification 目标 : 基于发动机转速和车速数据, 识别分类 Machine Learning 基于输入输出数据开发预测模型 Regression Unsupervised Learning Clustering 仅对输入数据进行分组或解释 14

12 深度学习 15

13 为什么深度学习如此炙手可热? Human Accuracy Source: ILSVRC Top-5 Error on ImageNet 16

14 示例 1: 使用深度学习实现物体识别 Training (GPU) Prediction Millions of images from 1000 different categories Real-time object recognition using a webcam connected to a laptop 17

15 示例 2: 使用深度学习进行检测和定位 Regions with Convolutional Neural Network Features (R-CNN) Semantic Segmentation using SegNet 18

16 什么是深度学习? 训练数据特征提取测试数据机器学习模型 : 分类猫 19

17 什么是深度学习? 训练数据测试数据 Convolutional Neural Network Convolutional Neural Network 卷积神经网络 (CN)(CNN) (CNN) Feature Learning & Classification Feature Learning and 特征学习与分类 Classification 猫 20

18 深度学习是机器学习的一部分 Machine Learning 机器学习从数据中手工提取的特征, 学习任务 Deep Learning 深度学习直接从数据中提取特征和任务, 执行端到端的学习 End-to-End Learning 21

19 结构 : 卷积神经网络 (CNN) CNN 是理想的图像和视频处理网络 CNN 采用固定大小的输入并生成固定大小的输出卷积将输入图像通过一组卷积滤波器, 每一个都从图像中激活某些特征 26

20 神经网络如何工作? 边缘形状目标 27

21 深度学习工作流程 Train network Training images Training options Predict and assess network accuracy Test images Deploy results Probability Boat Plane Car 100s images 10s classes Trained Network Train 32

22 示例 : 利用 CNN 实现数字识别 What? A set of handwritten digits from 0-9 Why? An easy task for deep learning beginners How many? 7500 training images 2500 test images Best results? 99.72% accuracy = 7 33

23 创建 CNN Image Input Layer Convolutional Layer ReLU Layer Max Pooling Layer Fully Connected Layer 34

24 Set Training options 35

25 训练网络 Bayesian Optimization 36

26 训练网络 Bayesian Optimization 43

27 深度学习推动者 GPUs 加速性能可获得专家训练出的顶级深度模型 AlexNet PRETRAINED MODEL VGG-16 PRETRAINED MODEL ResNet PRETRAINED MODEL Caffe M O D E L S GoogLeNet PRETRAINED MODEL TensorFlow/Keras M O D E L S 海量已标记的公共数据集 44

28 10 行 MATLAB 代码实现深度学习 camera = webcam; % Connect to the camera nnet = alexnet; % Load the neural net while true picture = camera.snapshot; % Take a picture picture = imresize(picture,[227,227]); % Resize the picture label = classify(nnet, picture); % Classify the picture image(picture); title(char(label)); drawnow; end % Show the picture % Show the label 46

29 神经网络工具箱深度学习 47

30 迁移学习 48

31 深度学习的两种方法 1. 从头开始训练一个深度神经网络 2. 微调一个预先训练好的模型 ( 迁移学习 ) 49

network Training images Training options Predict and assess network accuracy Test images Deploy results Probability

32 迁移学习工作流程 Load pretrained network Early layers that learned low-level features (edges, blobs, colors) Last layers that learned task specific features Replace final layers New layers to learn features specific to your data Train network Training images Training options Predict and assess network accuracy Test images Deploy results Probability Boat Plane Car Train Trained Network 1 million images 1000s classes Fewer classes Learn faster 100s images 10s classes 50

33 为什么进行迁移学习? 所需数据集大幅减少, 训练时间也随之减少参考模型 ( 如 AlexNet, VGG-16, VGG-19 ) 是强有力的特征提取器以顶级研究者的最佳网络模型为基础 AlexNet PRETRAINED MODEL Caffe M O D E L S VGG-16 PRETRAINED MODEL GoogLeNet PRETRAINED MODEL ResNet PRETRAINED MODEL TensorFlow/Keras M O D E L S 51

34 转移学习演示 : 在餐厅里识别食物 AlexNet: Pre-trained Object Recognition Model Custom Food Recognition Model Transfer Learning Training Time: Days to weeks Training Time: 10 to 12 minutes 53

35 MATLAB 迁移学习 Easily modify and re-train networks: Remove last 3 layers: layers = net.layers(1:end-3); Perform transfer learning: layers(end+1) = fullyconnectedlayer (2,'Name','fc8_2') layers(end+1) = softmaxlayer layers(end+1) = classificationlayer() net = trainnetwork(trainingds, layers, opts); 55

36 训练效率与规模 56

37 在 MATLAB 中训练很快 MATLAB is more than 4x faster than TensorFlow AlexNet CNN architecture trained on the ImageNet dataset, using batch size of 32, on a Windows 10 desktop with single NVIDIA GPU 57

38 More CPUs 在 CPU,GPU, 多 GPU 和群集训练深度学习网络 H OW TO TARGET? More GPUs 58

39 推断效率与部署 59

40 GPU Coder 填补我们深入学习解决方案的空白训练推断数据获取预处理选择网络训练部署 Image Acq. Image Processing Neural Network Parallel Computing GPU Coder Automation Driving Computer Vision Text Analytics 60

41 GPU 运算更快速 30 fps 10 fps 61

42 什么是 GPU Coder 代码生成工具生成 CUDA 代码, 用于 NVIDIA GPU CUDA 扩展了 C++ 代码的并行计算结构 62

43 为什么使用 GPU Coder? 痛点 : 手写代码解决方案 : GPU Coder 不会编写 CUDA 代码推断耗时容易引入错误自动转换 MATLAB 代码到 CUDA 代码加速 CUDA 评估人工编码的错误 63

44 在 MATLAB 中访问深度学习参考模型 1. 参考模型 2. Caffe 模型导入 3. 教程 64

45 为什么是 MATLAB? MATLAB 是工程师和科研人员最易用并且最高效的开发平台 67

46 更多资源深度学习资源机器学习资源 68

47 谢谢 70

1 背景介紹許多應用科學牽涉到從資料 (data) 中分析出所需要 ( 含 ) 的資訊 (information) 希望從已知的資料中瞭解問題的本質, 進而能控制或做出預測這些資料通常有兩

1 背景介紹許多應用科學牽涉到從資料 (data) 中分析出所需要 ( 含 ) 的資訊 (information) 希望從已知的資料中瞭解問題的本質, 進而能控制或做出預測這些資料通常有兩群組分類線性迴歸與最小平方法 last modified July 22, 2008 本單元討論 Supervised Learning 中屬於類別 ( 即輸出變數 Y 是類別型的資料 ) 資料的群組分辨, 並且著重在最簡單的兩群組 (two classes) 資料判別透過幾個簡單典