PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

步宓
5 years ago
Views:

1 MATLAB 与 Spark/Hadoop 相集成 : 实现大数据的处理和价值挖马文辉 2015 The MathWorks, Inc. 1

2 内容大数据及其带来的挑战 MATLAB 大数据处理 tall 数组并行与分布式计算 MATLAB 与 Spark/Hadoop 集成 MATLAB 访问 HDFS(Hadoop 分布式文件系统 ) 在 Spark/Hadoop 集群上运行 MATLAB 代码应用演示汽车传感器数据分析 2

3 大数据概述大数据的 4V 特征 : Volumes - 数据规模, 数据规模巨大互联网社交网络的普及, 全社会的数字化转型, 数据规模向 PB 级发展 Variety - 数据种类, 数据种类繁多结构化数据, 半结构化数据, 非结构化数据 Value - 数据价值, 数据价值密度低价值密度的高低与数据总量的大小成反比 Velocity - 数据处理速度, 数据处理速度需要快速数据处理速度是决定大数据应用的关键 3

4 大数据带来的挑战传统的工具和方法不能有效工作访问和处理数据变得困难 ; 需要学习使用新的工具和新的编程方式 ; 不得不重写算法以应对数据规模的增大 ; 现有处理或计算方法下的结果质量受到影响被迫只能处理一部分数据 ( 数据子集 ); 采用新的工具或重写算法会对现有生产力产生影响 ; 数据处理与分析所需时间增长数据规模增大数据复杂度增加, 增加处理难度和所需时间 ; 4

Arrays SPMD and Distributed Arrays MapReduce MapReduce (MDCS/PCT) MATLAB API for Spark

5 MATLAB 的大数据处理内存与数据访问 64-bit processors Memory Mapped Variables Disk Variables Databases Datastore ImageDatastore 编程 Streaming Block Processing Parallel-for loops GPU Arrays SPMD and Distributed Arrays MapReduce MapReduce (MDCS/PCT) MATLAB API for Spark API Tall Arrays 计算 Desktop (Multicore, GPU) Clusters Cloud Computing (MDCS on EC2) Hadoop Spark 5

6 tall arrays tall array 一种新的数据类型, 专门用于处理大数据. 用于处理数据规模超过单个机器或群集的内存承载能力的数据集合使用方式等同于 MATLAB 数组 (array) 支持数据类型包括数值型字符串时间类型表等支持众多基本的数学函数统计函数索引函数等. 支持机器学习算法包括分类聚类和回归 6

7 tall arrays Single Machine Memory tall array Process Single Machine Memory 自动将数据分解成适合内存的小块 (chunk) 计算过程中, 一次处理一个块 (chunk) 的数据对 tall 数组 (tall array) 的编程方式与 MATLAB 标准数组编程方式一致 7

8 MATLAB 本地多核并行计算计 (PCT, Parallel Computing Toolbox) MATLAB 集群之上的分布式计算 (MDCS, MATLAB Distributed Computing Server) 8

9 MATLAB 与 Spark/Hadoop 集成 MDCS 9

10 Hadoop Hadoop 是跨计算机集群的分布式大数据处理平台, 由两部分组成 : YARN (Yet Another Resource Negotiator) 资源调度模型, 实现数据跨节点的最小移动 Map/Reduce 跨节点分布式计算模型 HDFS (Hadoop Distributed File System) - 跨节点的分布式文件系统 Hadoop Ecosystem 10

11 Spark Spark 是一个流行的开源集群计算框架并行计算引擎使用广义的计算模型 Spark Core (Batch Processing) 基于内存进行计算 ( 内存计算 ) 11

Node Data Map MATLAB worker Reduce MATLAB worker Node Data map.

12 MATLAB 与 Hadoop datastore HDFS MATLAB Distributed Computing Server Node Data Map MATLAB worker Node MATLAB Distributed Computing Server Node Data Map MATLAB worker Reduce MATLAB worker Node Data map.m reduce.m Node Data Map MATLAB worker Node Reduce MATLAB worker Map MATLAB worker 12

13 MATLAB tall 与 Spark Edge Node Split 1 tall Split 2 Split 3 Master Name Node YARN (Resource Manager) Worker Node Executor Cache Worker Node Executor Cache Worker Node Executor Cache Task Task Task Data Node Data Node Data Node HDFS 13

14 Tall 支持的大数据可视化 histogram histogram2 ksdensity plot scatter binscatter 14

15 tall 支持的大数据机器学习算法 K-means Clustering (kmeans) Linear Regression (fitlm) Logistic & Generalized Linear Regression (fitglm) Discriminant Analysis Classification (fitcdiscr) Partition for Cross Validation (cvpartition) Linear Support Vector Machine (SVM) Classification (fitclinear) Naïve Bayes Classification (fitcnb) Random Forest Ensemble Classification (TreeBagger) Lasso Linear Regression (lasso) Linear Support Vector Machine (SVM) Regression (fitrlinear) Single Classification Decision Tree (fitctree) Linear Classification with Random Kernel Expansion (fitckernel) 15

16 应用演示汽车传感器数据分析 1300 trip log files 21 unique vehicles Approx 39 unique channels Data collected over 1.5 years 16

See www.mathworks.com/trademarks for a list of additional trademarks.

17 2018 The MathWorks, Inc. MATLAB and Simulink are registered trademarks of The MathWorks, Inc. See for a list of additional trademarks. Other product or brand names may be trademarks or registered trademarks of their respective holders The MathWorks, Inc. 17

Presentation Title

Presentation Title MATLAB 性能优化和仿真加速陈建平 MathWorks 2016 The MathWorks, 1 MATLAB 程序的优化 MATLAB 本地单机串行编程并行计算工具箱开发并行原型单机多核并行化 MATLAB 分布式计算服务器集群节点的单一节点调试集群多节点调试和运行 2 MATLAB 程序性能优化 3 全新 MATLAB 执行引擎重新设计的执行引擎运行 MATLAB 代码比以往更快