PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

竿阮
7 years ago
Views:

1 并行计算潘建瑜华东师范大学数学系 1

2 主要内容并行计算介绍 Linux 操作系统与编程环境 Fortran / C 编程介绍并行编程环境 -- OpenMP 并行编程环境 -- MPI 并行程序性能评价与优化并行算法设计 ( 数值计算 ) 2

3 课程信息教材 : 以课堂讲义为主主要参考资料 : 并行计算导论, 张林波等, 清华大学出版社,2006 其它见课程主页上机安排 : 课堂通知课程主页 : 3

4 第一讲并行计算介绍 4

5 并行计算介绍什么是并行计算并行计算机的发展我国并行计算机的发展情况当今最快的超级计算机并行计算机体系结构操作系统与并行计算编程环境并行算法介绍 5

6 并行计算什么是并行计算 ( 高性能计算超级计算 ) 大任务快速求解分解协同合作多个子任务分给不同处理单元基本条件 : 硬件 ( 并行机 ) 并行算法设计并行编程环境主要目标 : 提高求解速度, 扩大问题规模 6

7 并行计算的应用需求数值天气预报全球气象中期天气预报要求在 24 小时内完成 48 小时天气预测数值模拟, 至少需 635 万个网格点, 内存需求大于 1 T, 计算性能高达 25 万亿次 / 秒核武器数值模拟美国 1996 年实施的 ASCI 计划, 分四个阶段实现万亿次十万亿次 30 万亿次和 100 万亿次大规模并行数值模拟, 实现全三维全物理过程高分辨率的核武器数值模拟天体物理航空航天油藏模拟地震数据处理密码破译新药研制生物信息处理图像处理并行计算能力已成为衡量一个国家综合实力的重要标志之一! 7

8 并行计算研究内容研究内容并行计算机的体系结构并行算法设计与分析并行实现技术 : 编程实现, 优化性能并行应用 : 开发并行应用软件 8

9 并行计算机的发展什么是并行计算并行计算机的发展我国并行计算机的发展情况当今最快的超级计算机并行计算机体系结构操作系统与并行计算编程环境并行算法介绍 9

10 第一台计算机 1946 年, 世界上第一台计算机 ENIAC 诞生 ( Electronic Numerical Integrator And Computer, 电子数值积分计算机, 美国宾夕法尼亚大学 ) 计算机之父占地约 170 平方米, 重约 30 吨, 耗电 150 千瓦运算速度 :5000 次加法 / 秒或 500 次乘法 / 秒 15 分钟换一个零件用途 : 弹道计算和氢弹研制 10

11 第一台并行计算机 1972 年, 第一台并行计算机 ILLIAC IV( 美国伊利诺依大学 ) 60 年代末开始建造,72 年建成 74 年运行第一个完整程序,76 年运行第一个应用程序 64 个处理器, 是当时性能最高的 CDC7600 机器的 2-6 倍公认的 1981 年前最快,1982 年退役可扩展性好, 但可编程性差 11

12 超级计算元年超级计算元年的标志 :Cray-1 向量机 Cray-1 原型西摩克雷 Seymour Cray ( ), 电子工程学学士, 应用数学硕士, 超级计算之父, Cray 研究公司的创始人, 亲手设计了 Cray 机型的全部硬件与操作系统, 作业系统由他用机器码编写完成 1984 年时, 公司占据了超级计算机市场 70% 的份额 1996 年 Cray 研究公司被 SGI 收购,2000 年被出售给 Tera 计算机公司, 成立 Cray 公司 2012 年 12 月全球排名第一的超级计算机由克雷公司制造的 Cray XK7 组建一般将 Cray-1 投入运行的 1976 年称为超级计算元年编程方便, 但可扩展性差以 Cray 为代表的向量机称雄超级计算机界十几载 12

13 80 年代早期 80 年代百家争鸣早期 : 以 MIMD 并行计算机的研制为主 Denelcor HEP (1982 年 ) 第一台商用 MIMD 并行计算机 IBM 年代普遍为银行所采用 Cray X-MP Cray 研究公司第一台 MIMD 并行计算机 13

14 80 年代中期中期 : 共享存储多处理机 Shared-Memory MultiProcessor SMP (Symmetrical Multi-Processing): 在一个计算机上汇集一组处理器, 各处理器对称共享内存及计算机的其他资源, 由单一操作系统管理, 极大提高整个系统的数据处理能力扩展性较差可靠性较差内存访问瓶颈 14

15 80 年代后期后期 : 具有强大计算能力的并行机通过二维 Mesh 连接的 Meiko(Sun) 系统超立方体连接的 MIMD 并行机 :ncube-2 ipsc/80 共享存储向量多处理机 Cray Y-MP 15

16 90 年代 :DSM 90 年代 : 体系结构框架趋于统一 (DSM MPP NOW) DSM (Distributed Shared Memory) 分布式共享存储以结点为单位, 每个结点有一个或多个 CPU 专用的高性能互联网络连接 (Myrinet, Infiniband, ) 分布式存储 : 内存模块局部在每个结点中单一的操作系统, 单一的内存地址空间可扩展到上百个结点, 支持消息传递共享存储并行程序设计 16

17 90 年代 :MPP MPP(Massively Parallel Processing) 大规模并行处理结构每个结点相对独立, 有一个或多个微处理器每个结点有自己的操作系统和独立内存, 避免内存访问瓶颈各个结点只能访问自己的内存模块扩展性较好 DM-MPP: 每个结点仅包含一个微处理器 ; SMP-MPP: 每个结点是一台 SMP 并行机 DSM-MPP: 每个结点是一台 DSM 并行机 17

18 90 年代 :NOW NOW(Network of Workstations) 工作站机群每个结点都是一个完整的工作站, 有独立的硬盘与 UNIX 系统结点间通过低成本的网络 ( 如千兆以太网 ) 连接每个结点安装消息传递并行程序设计软件, 实现通信负载平衡等投资风险小结构灵活可扩展性强通用性好异构能力强, 被大量中小型计算用户和科研院校所采用也称为 COW(Cluster of Workstations) NOW(COW) 与 MPP 之间的界线越来越模糊 18

19 90 年代 :NOW NOW 的典型代表 :Beowulf cluster 微机机群 : 性价比极高世界上第一台 Beowulf 集群,1994 年 19

20 2000 年至今 2000 年至今 : 前所未有大踏步发展 Cluster 机群 / 集群每个结点含多个商用处理器, 结点内部共享存储采用商用机群交换机通过前端总线连接结点, 结点分布存储各个结点采用 Linux 操作系统 GNU 编译系统和作业管理系统 Constellation 星群每个结点是一台子并行机采用商用机群交换机通过前端总线连接结点, 结点分布存储各个结点运行专用的结点操作系统编译系统和作业管理系统 MPP 专用高性能网络, 大多为政府直接支持 20

21 并行计算机发展趋势并行计算机发展趋势 2009 年国际超级计算大会主席汉斯缪尔 (Hans Meuer) 与德国 Prometeus 公司咨询专家霍斯特基尔特 (Horst Gietl) 撰文总结了目前超级计算领域的主要发展趋势, 探讨了多核 / 众核并行计算 GPU 绿色 IT 能效数据云计算等关键问题用多核 / 众核 CPU 组建大规模集群系统并行计算不可或缺, 并行编程工具的发展远远落后于硬件的发展 GPU 与多核 CPU 的竞争绿色 IT 与能耗, 如散热通过水冷回收, 由于供暖数据存储 ( 固态存储器 ) 网格计算, 云计算 21

22 我国并行计算机的发展什么是并行计算并行计算机的发展我国并行计算机的发展情况当今最快的超级计算机并行计算机体系结构操作系统与并行计算编程环境并行算法介绍 22

23 我国第一台计算机 1958 年第一台国产计算机诞生型计算机 109 丙机 (1968), 两弹一星功勋机 103 型, 运行速度 1500 次每秒 23

24 我国的并行机我国的超级计算机系列银河 : 国防科大神威 : 国家并行计算机工程技术研究中心曙光 : 中科院计算所, 曙光公司, 上海超算中心深腾 : 联想集团天河 : 国防科大 24

25 银河银河一号 : 1983 年 12 月, 我国第一台每秒运算达 1 亿次以上的计算机 1992 年, 银河 -II 问世, 每秒运算达 10 亿次 1997 年, 银河 -III 问世, 每秒运算达 130 亿次 25

26 神威神威 I:1999 年 9 月, 由国家并行计算机工程技术研究中心牵头研制成功的神威计算机系统投入运行, 峰值运算速度达每秒 3840 亿次 26

27 曙光 1993 年 10 月, 国家智能计算机研究开发中心 ( 后成立北京市曙光计算机公司 ) 研制成功曙光一号 SMP 多处理机 2000 年推出每秒 3000 亿次的曙光 3000 超级服务器 2004 年 6 月, 推出 11 万亿次的曙光 4000A 超级计算机, 排名全球第十 2008 年 6 月, 曙光 5000A 发布, 实际速度超 160 万亿次, 排名世界第十曙光 5000A 27

28 深腾 2002 年, 联想发布深腾 1800 计算机, 排名全球第 43 位, 成为首家正式进入排行榜前 100 的中国企业 2003 年, 深腾 6800 计算机发布, 列全世界 TOP500 第 14 位, 其 78.5% 的整机效率列世界通用高端计算机第一名 2008 年 12 月, 联想发布百万亿次超级计算机深腾 7000, 排名全球 19 深腾

29 天河 2009 年 10, 中国首台千万亿次超级计算机天河一号诞生, 使中国成为继美国之后世界上第二个能够研制千万亿次超级计算机的国家 2010 年 10 月, 升级后的天河一号排名世界第一 2013 年 6 月, 天河二号再次问鼎世界第一, 功耗达 24 兆瓦, 也是目前 TOP500 里功耗最大的 29

30 我国并行计算机的发展什么是并行计算并行计算机的发展我国并行计算机的发展情况当今最快的超级计算机并行计算机体系结构操作系统与并行计算编程环境并行算法介绍 30

31 世界最快超级计算机 Top 500:

32 TOP500 国家和制造商 32

33 TOP500 计算机类型与操作系统 33

34 TOP500 网络链接方式 34

35 发展趋势 35

36 我国并行计算机的发展什么是并行计算并行计算机的发展我国并行计算机的发展情况当今最快的超级计算机并行计算机体系结构操作系统与并行计算编程环境并行算法介绍 36

37 微处理器多级存储结构微机机群的一次消息传递延迟相当于次峰值浮点运算 37

38 微处理器多级存储结构微处理器主频越来越高, 内存容量越来越大, 但内存访问速度的增长较慢缓解内存墙性能瓶颈 :Cache 高速缓存 Cache 工作原理 : 略 ( 参见并行计算导论 ) 38

39 并行计算机体系结构组成要素结点 (node): 一个或多个处理器组成互联网络 (interconnetct network): 连接结点内存 (memory): 多个存储模块组成 39

40 并行计算机体系结构并行计算机体系结构示意图内存模块与结点分离并行计算机体系结构示意图内存模块位于结点内部 40

41 并行计算机体系结构并行计算机互联网络拓扑结构 : 略 ( 参见并行计算导论 ) 并行计算机内存访问模式 : 略 ( 参见并行计算导论 ) 41

42 操作系统与编程环境什么是并行计算并行计算机的发展我国并行计算机的发展情况当今最快的超级计算机并行计算机体系结构操作系统与并行计算编程环境并行算法介绍 42

43 操作系统与编程语言并行计算机主流操作系统 :UNIX / Linux AIX(IBM) HPUX(HP) Solaris(SUN) IRIX(SGI) Linux 编程语言 Fortran 77/90/95 C/C++ 43

44 进程与线程进程 (process) 运行中的程序各个进程拥有独立的执行环境进程间通信同一台处理机或不同处理机的多个进程之间交流信息通信 ( 消息传递 ) 同步聚集线程 (threads) 降低系统管理开销一个进程可以含一个或多个线程 44

45 并行编程环境常见的并行编程环境消息传递共享存储数据并行特征消息传递共享数据数据并行典型代表 MPI,PVM OpenMP HPF 可移植性所有流行并行机 SMP,DSM SMP,DSM,MPP 存储方式分布式存储共享存储共享存储学习难度较难容易偏易可扩展性好较差一般三种并行编程环境主要特征一览 45

46 并行算法什么是并行计算并行计算机的发展我国并行计算机的发展情况当今最快的超级计算机并行计算机体系结构操作系统与并行计算编程环境并行算法介绍 46

47 并行算法并行算法适合在并行机上实现的算法好的并行算法应充分发挥并行机计算机的潜在性能并行算法分类按运算对象 : 数值并行算法非数值并行算法按并行进程执行顺序 : 同步并行算法异步并行算法独立并行算法按计算任务 : 细粒度并行算法 ( 基于向量和循环级并行 ) 中粒度并行算法 ( 基于较大的循环级并行 ) 大粒度并行算法 ( 基于子任务级并行 ) 47

48 并行算法设计并行算法设计以 MIMD 为主 (Multiple Instruction Stream Multiple Data Stream) 可扩展可移植大粒度任务级并行每个进程发挥单机性能 ( 数据结构程序设计通信方式 ) 48

<453A5CBDCCD1A72DBFCEB3CC5C C4EAB4BA20B2A2D0D0BCC6CBE35C536C E65775C D E >

<453A5CBDCCD1A72DBFCEB3CC5C C4EAB4BA20B2A2D0D0BCC6CBE35C536C E65775C D E > 并行计算 Parallel Computing 主讲人孙广中 Spring, 2018 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 并行计算结构算法编程第一篇并行计算的基础第一章并行计算与并行计算机结构模型第二章并行计算机系统互连与基本通信操作第三章典型并行计算机系统介绍第四章并行计算性能评测国家高性能计算中心