PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

幕姗吕
4 years ago
Views:

1 深度学习 vs.. 机器学习方法选择与模型训练 2018 The MathWorks, Inc. 1

2 10 行 MATLAB 代码实现深度学习 camera = webcam; % Connect to the camera nnet = alexnet; % Load the neural net while true picture = camera.snapshot; % Take a picture picture = imresize(picture,[227,227]); % Resize the picture label = classify(nnet, picture); % Classify the picture image(picture); title(char(label)); drawnow; end % Show the picture % Show the label 3

3 人工智能, 机器学习和深度学习人工智能任何能让机器模仿人类智能的技术机器学习统计方法使机器能在没有明确编程的情况下从数据中 " 学习 " 任务深度学习具有许多层的神经网络, 可以直接从数据学习表示和任务在图像分类应用中, 深度学习比人类更准确 1950s 1980s 2015 FLOPS Thousand Million Quadrillion 4

4 机器学习类型算法分类学习类型监督学习分类输出是分类的结果 ( 正常不正常 ) 机器学习深度学习基于输入输出数据开发预测模型回归输出是一个数值 ( 温度股票价格 ) 无监督学习聚类没有输出 - 仅从输入数据中找到自然分组和模式仅对输入数据进行分组或解释 5

5 深度学习还是机器学习? 你有标签数据吗? 如果没有, 传统的机器学习可能是更合适是否能够接受黑盒子模型? 如果不能, 传统的机器学习可能更合适你了解你的数据吗? 如果重要的特征提取需要专业领域知识, 选择机器学习是否有 GPU 计算资源? 深度学习需要大规模计算资源你的数据规模是什么? 深度学习通常需要大规模数据集你的模型期望精度是多少? 机器学习可能会面临精度平台 6

6 机器学习 7

7 机器学习分类算法类型学习类型分类 Support Vector Machines Discriminant Analysis Naive Bayes Nearest Neighbor 监督学习支持向量机判别分析朴素贝叶斯最近邻机器学习基于输入输出数据开发预测模型回归 Linear Regression GLM SVR, GPR Ensemble Methods Decision Trees Neural Networks 线性回归支持向量回归组合方法决策树神经网络无监督学习聚类 kmeans, kmedoids Fuzzy C-Means Hierarchical Gaussian Mixture 仅对输入数据进行分组或解释 Neural Networks Hidden Markov Model K 均值分层聚类高斯混合模型神经网络隐马尔科夫模型 8

8 选择模型与算法的挑战 Classification Learner 1. 我应该选择哪个算法? 2. 需要自己开发及其学习算法吗? 3. 如何比较不同算法的结果? 4. 如何将新的数据应用到选择的模型? Regression Learner 5. 在开发过程中如何理解算法? 9

9 统计与机器学习工具箱高效易用 Classification Learner app Regression Learner app 并行计算选项额外算法 Multiclass SVM, kmediods clustering 支持大数据 Tall Array 支持代码生成如果没有这个图形 App, 我不会想要尝试机器学习 10

10 深度学习 11

11 深度学习在行动语音识别交易算法我们从何起步? 应用类型输入 / 输出类型网络结构情感分析动作判断 12

12 你需要哪种应用? 应用类型输入 / 输出类型网络结构 A. 图片 B. 视频没有图片, 怎么办? C. 语音 D. 文字遇到序列数据或者时间序列数据, 怎么办? E. 传感器 F. 以上都不是 13

13 Sequence 模型应用输入 / 输出类型应用类型 one to one one to sequence sequence to one sequence to sequence 输入 / 输出类型网络结构图像分类图片字幕时间序列分类时间序列回归 ( 预测 ) 情绪分析动作识别语言翻译自动补全 ( 下个词组补全 ) 语音到文字翻译 14

14 Sequence-to-One 类型电影评论的情感分析 ( 分类 ) This is the best movie ever 输入 : 单词序列 ( 句子 ) 发动机剩余使用时间 ( 回归 ) positive 输出 : 标签 (positve) 或 negative 130 ( 小时 ) 输入 : 传感器信号时间序列输出 : 发动机失效的时间 ( 标量 ) 15

15 Sequence-to-Sequence 类型字母级语言建模 ( 分类 ) h e l l e l l o 输入 : 字母序列发动机剩余使用时间 ( 回归 ) 输出 : 输入字母的下一个字母预测序列输入 : 传感器信号时间序列输出 : 每个时间点发动机失效的程度 16

16 结构 : 卷积神经网络 (CNN) 应用类型输入 / 输出类型网络结构 CNN 是理想的图像和视频处理网络 CNN 采用固定大小的输入并生成固定大小的输出卷积将输入图像通过一组卷积滤波器, 每一个都从图像中激活某些特征 17

17 结构 : 循环神经网络 (RNN) RNN 是连接时间的神经网络 RNN 可以处理任意输入 / 输出长度使用输入之间的依赖关系 RNN 展开 18

18 结构 : 长短期记忆网络 (LSTM) lstmlayer() LSTM 是递归神经网络 (RNN) 的延伸 LSTM 也可以通过时间连接, 它们保存了长期和短期的依赖关系是理想的文本和序列数据分析网络适用于时间序列分析 LSTM 展开 c 0 C 1 C t 19

19 关键要点数据集类型数值数据时间序列文本数据图像数据机器学习 or LSTM LSTM or CNN CNN 20

20 MATLAB 深度学习流程 Application logic Trained DNN 深度神经网络设计 + 训练应用程序设计独立部署深度神经网络推断 21

21 有了 ONNX 之后 PyTorch Caffe2 TensorFlow Deployment Export MXNet ONNX MATLAB Augmentation and Optimization Import Core ML Scikit- Learn CNTK Visualization and Debugging 22

22 深度学习 vs. 机器学习 24

23 示例学习 : 心音分类器动机 : 心跳声是复杂的信号需要受过训练的临床医生诊断 Normal Abnormal 目标 : 开发分类器并部署到便携设备 Normal 心跳声录音特征提取分类算法数据 : 心音录音 ( 心音图 ): Abnormal 来自 PhysioNet Challenge 2016 录音长度 : 5 到 120 秒训练数据 : 3240 段录音 vs 测试数据 :301 段录音标签 : Normal 或 Abnormal 25

24 第一步 : 数据访问和探索挑战 : 不同的采样率信号管理大规模数据集 ( 大数据 ) 数据探索简单可行 : 时域频域时频域信号分析仪 : 数据探索可视化 26

25 第二步 : 数据预处理挑战 : 保留峰值特征信号与噪声谱重叠自动去噪声 Wavelet Signal Denoiser MATLAB 代码生成无需编写任何代码进行信号预处理 28

26 数据预处理更简单的方法来清理凌乱的数据使用 *missing 函数查找填充和删除丢失的数据可以使用累积统计函数忽略 NaNs 使用 replace, contains, endswith 等进行更简单的文本操作使用 smoothdata 对数据进行滤波或局部回归以平滑噪声使用 isoutlier 和 filloutliers 处理离群值 30

27 第三步 : 特征提取挑战 : 查找非平稳信号的特征特征出现在不同的尺度上特征选择时域统计特征 : 平均值中值标准差音频信号频域特征 : 主频率 Mel 频率倒谱系数 (MFCC) 用小波进行倍频程分解 31

28 第四步 : 训练模型挑战 : 机器学习算法的知识扩展到大规模数据集 App 中快速训练模型定义交叉验证尝试各种常用算法性能分析 : 测试数据准确率 93% 无需重新编码即可扩展到大数据集 :Tall Array 集成学习 33

29 第四步 : 模型优化挑战 : 手动参数调整繁琐额外改进自动微调学习参数自动选择最佳特征模型迭代优化参数贝叶斯优化性能分析可视化调整不平衡 ( 数据或者错误分类的严重程度 ) 使用自动特征选择, 减少模型规模 Class Distribution Normal 75% Abnormal 25% 超参数调优 NCA: 近邻成分分析混淆矩阵 35

30 第五步 : 部署 MATLAB 挑战 : 不同的目标平台硬件需求 ( 规模, 速度, 定点等等 ) 部署选项 : MATLAB Compiler MATLAB Compiler SDK MATLAB / GPU Coder 为嵌入式系统生成代码 (C,HDL,PLC) 编译 MATLAB, 使用 MPS 进行系统扩展 Enterprise Systems MATLAB Runtime MATLAB Production Server, CUDA Embedded Hardware 37

31 Demo: 心音分类器 Normal Abnormal 38

32 关键要点数据集类型数值数据时间序列文本数据图像数据机器学习 or LSTM LSTM or CNN CNN 40

33 基于信号的深度学习使用多层神经网络进行监督分类 1. 卷积神经网络 (CNN) 多功能且灵活的深度学习方法应用于经过时频转换的信号 2. 长短期记忆网络 (LSTM) 41

34 使用神经网络实现心音信号分类步骤信号时频表示连续小波转换利用 GoogleNet 进行迁移学习结果准确度达到 90% 只需 10 行代码深度学习训练 42

35 深度学习还是机器学习? 46

36 关键要点赋予工程师数据科学的力量! 涵盖完整的工作流程 ( 探索到部署 ) 机器学习机器学习变得简单 47

37 学习更多查看 Battelle s NeuroLife 完整客户案例从 File Exchange 下载 Heart Sounds Classification 应用观看录制视频 Machine Learning Using Heart Sound Classification 阅读 : Machine Learning with MATLAB What is Deep Learning? 48

EXPO Presentation Template

EXPO Presentation Template 释放机器学习的力量阮卡佳 2015 The MathWorks, Inc. 1 机器学习推动科技创新机器人模仿复杂人类行为情绪分析在金融中的应用电网负荷预测恢复对瘫痪手臂的控制 2 Battelle 神经旁路技术恢复了瘫痪者手臂和手的运动挑战通过处理来自植入他脑组织的电极阵列的信号, 恢复手臂和手的控制使用产品 MATLAB + Wavelet Toolbox 方法和途径用 MATLAB