Presentation Title

Size: px

Start display at page:

Download "Presentation Title"

骐鱼祁
4 years ago
Views:

1 MATLAB 性能优化和仿真加速陈建平 MathWorks 2016 The MathWorks, 1

2 MATLAB 程序的优化 MATLAB 本地单机串行编程并行计算工具箱开发并行原型单机多核并行化 MATLAB 分布式计算服务器集群节点的单一节点调试集群多节点调试和运行 2

3 MATLAB 程序性能优化 3

的性能提升函数调用负担变小许多面向对象特征更加快速某些元素级的操作跟加快捷更多的参考内容 www.

4 全新 MATLAB 执行引擎重新设计的执行引擎运行 MATLAB 代码比以往更快所有的 MATLAB 代码都会执行 JIT 编译一个全新的能够进一步提升的架构对 76 个性能敏感的用户应用平均得到了 40% 的性能提升函数调用负担变小许多面向对象特征更加快速某些元素级的操作跟加快捷更多的参考内容 4

5 MATLAB 底层技术工业级商业运行库 BLAS:Basic Linear Algebra Subroutines (multithreaded) LAPACK: Linear Algebra Package etc. JIT/ 加速器提升循环性能即时产生多线程代码持续提升性能 5

6 Demo: 分块图像处理对每个格点执行函数对大图像分块进行处理对比结果评估代码性能 6

7 动态阵列的内存操作过程 >> x = 4 >> x(2) = 7 >> x(3) = x0000 0x0008 0x0010 0x0018 0x0020 0x0028 0x0030 0x0038 X(2) = 7 0x0000 0x x x0018 0x0020 0x0028 0x0030 0x0038 X(3) = 12 0x0000 0x x x x x x0030 0x0038 7

8 分块图像处理的总结使用内建的函数评估性能 >> tic >> toc 使用代码分析器搜索次优代码矩阵预分配代码矢量化 8

9 MATLAB 并行计算基础 9

10 如何解决大规模计算问题? 挑战解决方案长时间运行计算密集等待更大的计算池多核多处理器大数据集合降低运算规模更大的内存池多机器 10

11 超越串行 MATLAB TOOLBOXES BLOCKSETS 11

12 启动一个计算池 12

13 Ease of Use CPU 并行编程内建工具箱的支持 Greater Control 13

14 Demo: 基站位置优化 Parallel-enabled functions 并行工具箱已经开启了并行支持打开开关运行并行化代码打开 MATLAB 并行池 14

15 提供并行计算支持的工具箱 Optimization Toolbox, Global Optimization Toolbox Statistics Toolbox Signal Processing Toolbox Neural Network Toolbox Image Processing Toolbox TOOLBOXES BLOCKSETS Directly leverage functions in Parallel Computing Toolbox 15

16 Ease of Use CPU 并行编程内建工具箱的支持简单编程 parfor, batch, distributed Greater Control 16

17 并行化独立任务 TOOLBOXES BLOCKSETS Task 1 Task 2 Task 3 Task 4 Time Time blogs.mathworks.com/loren/2009/10/02/using-parfor-loops-getting-up-and-running/ 17

18 parfor 循环的运行机制 a = zeros(10, 1) parfor i = 1:10 a(i) = i; end a a(i) = i; a(i) = i; a(i) = i; a(i) = i; Pool of MATLAB s 18

19 Demo: 并行化 for 循环 ODE 系统的参数扫描阻尼弹性振荡不同阻尼条件和弹性系数记录每次仿真的峰值 5 m x b x k x 0 1,2,... 1,2,... 把 for 转化为 o parfor 使用 MATLAB 并行计算池 19

20 Benchmark: ODE 系统的参数扫描 Scaling case study with a compute cluster s in pool Compute time (minutes) 200 x x 12 4 x Processor: Intel Xeon E5-class v2 16 physical cores per node 20

21 分布大数据阵列 TOOLBOXES BLOCKSETS Remotely Manipulate Array from Client MATLAB Distributed Array Lives on the s 21

22 Regular MATLAB code Using Distributed Arrays 22

23 Using FORTRAN and MPI Using Distributed Arrays 23

24 Benchmark: 分布式阵列 Multiplication of 2 NxN matrices N 1 node, 16 workers Execution time (seconds) 2 nodes, 32 workers 4 nodes, 64 workers Processor: Intel Xeon E5-class v2 16 cores, 60 GB RAM per compute node, 10 Gb Ethernet 24

25 MATLAB 对 GPU 和大数据的支持 25

26 MATLAB 调用 GPU 阵列 A = magic(1000); G = gpuarray(a); %Push to GPU memory b = gpuarray.rand(1000,1); %Create on GPU F = fft(g); x = G\b; z = gather(x); %Bring back into MATLAB Full list of built-in functions that support GPUArray User s Guide GPU Computing Using GPUArray 27

27 逐元素调用 arrayfun gain = 1.5; offset = -0.1; x = gpuarray.rand(1000,1); %Create on GPU fh gain, offset); x = arrayfun(fh, x)%execute on GPU function c = mygpufun(x, gain, offset) c = (x.* gain) + offset; end Full list of functions for use with arrayfun on GPU User s Guide GPU Computing Execute MATLAB Code on a GPU 29

28 调用 CUDA Kernels % Setup kernel = parallel.gpu.cudakernel( mykern.ptx, mykern.cu ); % Configure kernel.threadblocksize = 512; kernel.gridsize = [2 2]; % Run [c, d] = feval(kernel, a, b); 32

MATLAB 对大数据支持 Memory and Data Access 64-bit processors Memory Mapped Variables Disk Variables Databases Datastores Programming Constructs Streaming Block

29 MATLAB 对大数据支持 Memory and Data Access 64-bit processors Memory Mapped Variables Disk Variables Databases Datastores Programming Constructs Streaming Block Processing Parallel-for loops GPU Arrays SPMD and Distributed Arrays MapReduce Platforms Desktop (Multicore, GPU) Clusters Cloud Computing (MDCS on EC2) Hadoop 33

30 分析大数据 mapreduce 调用 MapReduce 技术分析大数据 mapreduce 使用 datastore 处理分片能够加载到本机内存的分片对于大规模能够分片的数据非常有用 ******************************** * MAPREDUCE PROGRESS * ******************************** Map 0% Reduce 0% Map 20% Reduce 0% Map 40% Reduce 0% Map 60% Reduce 0% Map 80% Reduce 0% Map 100% Reduce 25% Map 100% Reduce 50% Map 100% Reduce 75% Map 100% Reduce 100% Mapreduce 的桌面支持增加计算能力 (Parallel Computing Toolbox) 分析数据库 (Database Toolbox) 访问 HDFS 开发运行于 Hadoop 上的算法 mapreduce 的 Hadoop 支持用 MATLAB 分布式计算服务器运行 Hadoop 任务使用 MATLAB Compiler 发布基于 Hadoop 的应用和库 34

31 从单机到集群 35

32 从桌面到集群 - Switch Your Profile 36

33 集群的任务调度 Task Result Task Job Result TOOLBOXES Results Scheduler Task BLOCKSETS Task Result Result 37

34 从桌面扩展到集群网格和云 Desktop Computer Parallel Computing Toolbox Computer Cluster MATLAB Distributed Computing Server Scheduler 38

35 Q & A 39

PowerPoint Presentation

PowerPoint Presentation MATLAB 与 Spark/Hadoop 相集成 : 实现大数据的处理和价值挖马文辉 2015 The MathWorks, Inc. 1 内容大数据及其带来的挑战 MATLAB 大数据处理 tall 数组并行与分布式计算 MATLAB 与 Spark/Hadoop 集成 MATLAB 访问 HDFS(Hadoop 分布式文件系统 ) 在 Spark/Hadoop 集群上运行 MATLAB