Microsoft PowerPoint - yxu_并行开发概述1

Size: px

Start display at page:

Download "Microsoft PowerPoint - yxu_并行开发概述1"

神陂封
5 years ago
Views:

1 并行计算的概述上海超级计算中心

2 什么是并行计算? 运行于单个处理单元顺序执行一次执行一条指令

3 什么是并行计算?

4 什么是超级计算? 超级计算机 Supercomputer 当前处理能力最强运算速度最快的一类计算机超级计算 Supercomputing 利用超级计算机所进行的计算, 通常为了解决普通计算机所不能完成的大型复杂问题

5 相对于串行计算什么是并行计算? 简单说, 是指利用多个部件共同完成计算任务柜台柜台 1 柜台 2 排队 A parallel computer is a collection of processing elements that cooperate to solve large problems fast David E. Culler U.C. Berkeley

6 为什么要并行计算? 大量应用需求的驱动有限时间内解决复杂计算问题汽车碰撞实验 :32 CPU 4 小时 ( 一个工况 ) 中尺度天气预报 :128 CPU 4 小时, 每天定时药物筛选 : 64 CPU,500 万化合物, 一年蛋白质折叠, CPU 2 个月只能算一个纳秒过程个纳秒过程宇宙大尺度结构模拟 : 256 CPU,6 个月地震层析成像药物筛选飞机设计汽车碰撞

7 为什么要并行计算? 计算机技术发展的推动? 芯片上晶体管数目每 18 个月增长一倍工艺 :90nm 65nm 32nm, 逼近极限主频 : 从 3.0GHz 到 4.0GHz, 步履艰难功耗 : 单芯片百瓦功耗,mini 型核反应堆

8 为什么要并行计算? 多核 CPU 的发展在单个芯片上内置多个处理单元 - 核每个处理器视为小型的并行计算机双核多核并行计算已经成为必然!

9 并行计算的大量应用 ( 传统应用 ) 气候环境 : 天气预报气候气象等生物技术 : 基因蛋白质药物设计能源 : 石油勘探与模拟核能模拟材料 : 纳米材料高分子材料设计制造 : 外形设计碰撞试验发动机燃烧国防和国家安全 : 密码破译先进武器制造海量数据处理

10 并行计算怎么算? 4 并行应用开发 3 并行算法设计 2 并行计算机系统软件 1 并行计算机体系结构并行算法并行应用并行通讯协议和实现操作系统网络设备和互联处理器和硬件平台

11 典型的机群系统结构

12 并行向量机主要并行计算机类型 Parallel Vector Processor, 银河 1 号, 地球模拟器对称多处理机 Symmetric Multiprocessor, 曙光 1 号,SGI Power Challenge 大规模并行处理机 Massively Parallel Processor, 神威 I,IBM IBM SP2 分布共享存储多处理机 Distributed Shared Memory,SGI Origin2000/3000 集群或集群系统 Cluster,Cluster of Workstation, 曙光 4000A, 深腾 6800

13 并行计算机体系架构 VP VP VP P/C P/C P/C LM LM LM 交叉开关总线或交叉开关 P/C P/C P/C SM SM 定制网络 (a) PVP (b) SMP, 物理上单一地址空间 (c) MPP, 物理 / 逻辑上多地址空间虚拟分布共享存储 (DSM) LM LM LM LM LM LM P/C P/C P/C P/C P/C P/C 定制网络 (d) DSM 逻辑上单一地址空间定制 / 标准网络 (e) Cluster/COW, 物理 / 逻辑上多地址空间体系架构理论模型 :UMA, NUMA, cc-numa

14 Top500 体系架构趋势 (1993 ( )

15 Top500 互联技术的发展趋势 ( )

16 当前世界主要超级计算机 TOP500,2010 年 11 月 Ra nk Site Computer Architecture t National Supercomputing Center in Tianjin,China DOE/SC/Oak Ridge National Laboratory, United States Tianhe-1A - NUDT TH MPP, X Ghz 6C, NVIDIA GPU, FT C NUDT Jaguar - Cray XT5-HE Opteron 6-core 2.6 GHz Cray Inc. National Supercomputing Nebulae - Dawning TC3600 Blade, Intel X5650, Centre in Shenzhen,(NSCS) NVidia Tesla C2050 GPU China Dawning MPP MPP Cluster GSIC Center, Tokyo Institute TSUBAME HP ProLiant SL390s G7 Xeon 6C of Technology X5670, Nvidia GPU, Linux/Windows 4 Japan NEC/HP Cluster 5 DOE/SC/LBNL/NERSC United States Hopper - Cray XE6 12-core 2.1 GHz Cray Inc. MPP

17 提纲前言并行计算机并行计算方法并行软件开发展望与挑战

18 寻找并行性数据并行 : 分解数据, 并行处理 for i=0 to 99 do a[i]=b[i]+c[i] end for 功能并行 : 分解问题, 并行处理 a=2 b=3 Task1 = (a+b)/2 Task2 = a*b Result = Task1+Task2 流水线 : 依据次序, 时域并行

19 并行算法设计三个要点寻求问题求解过程中的并行性寻求并行算法与并行计算机结构的最佳匹配合理的组织任务, 减少额外开销

20 1. 划分并行算法设计的四个步骤数据分解或功能分解 2. 通信确定通信模式 ( 局部 / 全局 ), 负载均衡, 3. 聚集依据计算机规模聚合并行化, 最小化并行开销, 可扩展性 4. 映射将任务分配给处理器

21 并行算法设计的四个步骤 Partitioning D e c o m p o s i t i o n A s s i g n m e n t O r c h p 0 p 1 e p 0 p 1 s t r a t p 2 p 3 i p 2 p 3 o n M a p p i n g P 0 P 1 P 2 P 3 Sequential computation Tasks Processes Parallel Processors program

22 Partition 分解分解, 即将大规模的计算量分解成小份 task 区域分解 domain decomposition 任务分解 functional decomposition 注意事项 check list task 数至少比并行处理器数目多每个 task 对应的计算量相当分解 task 数目要和问题规模相对应分解需要尽可能的避免不必要的通讯 / 存储

23 Communication 通讯每个子 task 可以同时 (concurrency) 在不同处理器上计算, 但是无法避免子 task 间交换数据区域分解 :task 间通讯比较难分析任务分解 :task 间通讯直接, 即 task 的数据流 Communication 注意事项 check list 子 task 间通讯平衡任务间的全局通讯计算和通讯尽量能够重叠 (overlap) 不同 task 的计算能同时 (concurrently) 进行,

24 Communication 注意事项 check list 各子 task 间通讯平衡任务间的全局通讯可能会降低并行算法的可扩展性, 稳定性计算和通讯尽量能够重叠 (overlap),, 如果不, 需要用 divide and conquer 分解算法不同 task 的计算能同时 (concurrently) 进行,

25 Agglomeration( ( 聚集 ) 将分解和通讯得到的算法具体化将子 task 聚集在一起, 增加子任务大小, 减少总的子任务数目对计算和数据的重复存放在聚集阶段, 需要面对 3 个目标减少通讯开销增加每个子任务的粒度 granularity 一定的灵活性, 保证映射阶段的可扩展性减少软件工程的开销

26 Mapping( ( 映射 ) 建立 task 和并行处理器的映射关系目标 : 减少总的执行时间增强 concurrency 将相互通讯密集的 task 放在临近的节点上映射问题有大量理论研究 (NP NP-complete) ) 针对需要负载不均衡 (load imbalance) 考虑动态负载平衡需要增加额外的通讯 / 计算开销

27 行粒问题本身不同的并行层次专业领域科学家问题本身应用层并专业领域科学家分析建模方法层度分析建模计算数学家并行算法算法层计算机专家并行实现程序层

28 提纲前言并行计算机并行计算方法并行软件开发展望与挑战

29 共享存储 CPU 两种内存模型 CPU CPU CPU CPU M M 分布式存储 CPU CPU CPU CPU CPU M M M M M M M M M M

30 共享存储并行程序实现技术自动并行化线程并行编译器制导语言,OpenMP 分布式存储 - 消息传递 MPI,Message Message Passing Interface PVM,Parallel Parallel Virtual Machine 其他数据并行,HPF 混合并行

31 串行程序自动并行化程序并行化途径编译器执行自动并行化, 只对部分应用对部分应用有效目前为止没有行之有效的方法和为止没有行之有效的方法和工具半自动化并行途径 ( 编译制导 ) 成为目前的一个重要途径使用全新的并行语言, 如 HPF 需要重写已有程序串行程序 + 并行化扩展基于已有程序进行改写当前主流的并行程序实现途径 MPI,OpenMP

32 谢谢, 欢迎提问和讨论!

HPC TOP , HPC 2004SCIDACTOPS PI David Keyes TOP100 HPC Supercomputing in China TOP500 Hans Meuer

HPC TOP , HPC 2004SCIDACTOPS PI David Keyes TOP100 HPC Supercomputing in China TOP500 Hans Meuer TOP100 State-of-the-Art Analysis and Perspectives of China HPC Development: A View from 2011 HPC TOP100 (Yunquan Zhang) GTC Asia 2011 12 14 HPC TOP100 200210, 2004 863 2007 2005 2006 2007 2004 7 2007 130HPC