并行计算 Parallel Computing 主讲人孙广中 Spring, 2018 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11
并行计算 结构 算法 编程 第一篇并行计算的基础 第一章并行计算与并行计算机结构模型 第二章并行计算机系统互连与基本通信操作 第三章典型并行计算机系统介绍 第四章并行计算性能评测 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11
第三章典型并行计算机系统介绍 3.1 共享存储多处理机系统 3.1.1 对称多处理机 SMP 结构特性 3.2 分布存储多计算机系统 3.2.1 大规模并行机 MPP 结构特性 3.3 分布共享存储多计算机系统 3.3.1 分布共享存储计算机系统特性 3.4 机群系统 3.4.1 大规模并行处理系统 MPP 机群 SP2 3.4.2 工作站机群 COW 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11
对称多处理机 SMP(1) SMP: 采用商用微处理器, 通常有片上和片外 Cache, 基于总线连接, 集中式共享存储,UMA 结构 例子 :SGI Power Challenge, DEC Alpha Server,Dawning 1 P/C P/C P/C 总线或交叉开关 SM SM I/O 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 4
大规模并行机 MPP 成百上千个处理器组成的大规模计算机系统, 规模是变化的 NORMA 结构, 高总计带宽, 相对低延迟, 定制互连 可扩放性 :Processors, Memory, Bandwidth, I/O, 平衡设计 系统成本 : 商用处理器, 相对稳定的结构,SMP 节点, 分布 通用性和可用性 : 不同的应用,PVM, MPI, 交互, 批处理, 互连对用户透明, 单一系统映象 通信要求 : 高于标准的 LAN MB MB 较大存储器和 I/O 能力 P/C P/C 现在 MPP 与 Cluster 难以区别 LM LM 例子 :Intel Option Red IBM SP2, Dawning 1000 NIC NIC 定制网络 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 5
DSM 计算机系统特性 DSM 结构特性 共享存储系统采用分布共享, 减少集中共享的冲突 采用高速缓存来缓和由共享引起的冲突和分布存储引起的长延迟 保持了共享编程的方便性和软件的可移植性 存储一致性问题 非均匀存储访问和高速缓存一致性问题 影响了一些技术的应用和系统的可扩放性 DSM 系统分类 硬件实现的共享存储 :CC NUMA NCC NUMA COMA 软件实现的共享存储 : 共享虚拟存储 (SVM) 典型机器 :SGI Origin 2000 典型软件 :JiaJia( 佳佳 )( 实现锁的高速缓存一致性协议 ) 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 6
新闻 国家最高科学技术奖获奖人金怡濂 最强大脑! 它的国防意义堪比 两弹一星 中国超算冠军宝座或难保应用远滞后于能力发展 全国人大代表吴立新 : 应尽快启动 E 级超算建设 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 7
天河二号 & 神威 太湖之光 超级计算机 天河二号 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 8 页
天河二号 (Tianhe 2/MilkyWay 2) 建造情况 网站 制造商 位置 占地面积 研发人员 耗资 http://www.nscc-gz.cn/ 国防科大 (NUDT) & Inspur 国家超算中心 ( 广州 )NSCC-GZ 约 1300 人 $390 million 首次进入 Top500 2013.6 概况 170 个机柜, 包括 125 个计算机柜 8 个服务机柜 13 个通信机柜 24 个存储机柜 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 9 页
天河二号 (Tianhe 2/MilkyWay 2) 机器情况 Hardware Architecture Processor Accelerator Cores 3,120,000 Memory Interconnect TH-IVB-FEP Cluster Intel Xeon E5-2692v2 12C 2.2GHz Intel Xeon Phi 31S1P 1,024,000 GB TH Express-2 Software Operating System Kylin Linux Compiler icc Math Library Intel MKL-11.0.0 Power Consumption Power 17,808.00 kw Performance Linpack Performance(Rmax) Theoretical Peak (Rpeak) 33,862.7 TFlop/s 54,902.4 TFlop/s Nmax 9,960,000 Upper bound on performance Measure of floating-point rate of execution 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 10 页
天河二号 (Tianhe 2/MilkyWay 2) in the Top500 33PFlop/s Performance & Rank #1 2013.6~2015.11 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 11 页
天河二号 (Tianhe 2/MilkyWay 2) in the Top500 17,808 Power 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 12 页
天河二号 (Tianhe 2/MilkyWay 2) in the Top500 61.7% Efficiency 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 13 页
天河二号 Tianhe 2/MilkyWay 2 应用 国家高性能计算中心 合肥 并行计算 孙广中 中国科学技术大学 计算机学院 2018-4-11 第 14 页
天河二号 (Tianhe 2/MilkyWay 2) 应用 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 15 页
天河二号 & 神威 太湖之光 超级计算机 神威 太湖之光 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 16 页
神威 太湖之光 (Sunway TaihuLight) 建造情况 网站 http://www.nsccwx.cn/ 制造商 国家并行计算机工程技术研究中心 (NRCPC) 位置 国家超算中心 ( 无锡, 江苏 )NSCC-Wuxi 耗资 $273 million 首次进入 Top500 2016.6 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 17 页
神威 太湖之光 (Sunway TaihuLight) 机器情况 Hardware Architecture Sunway MPP Processor Sunway SW26010 260C 1.45GHz Cores 10,649,600 Memory Interconnect 1,310,720 GB Sunway Software Operating System Parallel Programming Power Consumption Power Sunway RaiseOS MPI, OpenMP, OpenACC 15,371.00 kw Performance Linpack Performance(Rmax) Theoretical Peak (Rpeak) 93,014.6 TFlop/s 125,436 TFlop/s Nmax 12,288,000 Upper bound on performance Measure of floating-point rate of execution 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 18 页
申威 26010 众核处理器 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 )
整体设计 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 )
互连方式 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 )
软件系统 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 )
神威 太湖之光 (Sunway TaihuLight) in the Top500 93PFlop/s Performance & Rank #1 2016.6~2017.11 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 23 页
神威 太湖之光 (Sunway TaihuLight) in the Top500 15,371 Power 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 24 页
神威 太湖之光 (Sunway TaihuLight) in the Top500 74.2% Efficiency 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 25 页
神威 太湖之光 (Sunway TaihuLight) 应用 基于国产平台的国产地球系统模式 真实感动漫渲染系统 航天飞行器统一算法数值模拟 岛礁建设浮式平台 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 26 页
神威 太湖之光 (Sunway TaihuLight) 应用 超大规模云渲染 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 27 页
参考资料 https://www.top50 0.org http://www.nscc-gz.cn http://www.nsccwx.cn 神威 太湖之光宣传手册 https://en.wikipedia.org/wiki/tianhe-2 https://en.wikipedia.org/wiki/sunway _TaihuLight Visit to NUDT, Jack Dongarra http://tech.hexun.com/2013-07- 17/156240746.html 国家高性能计算中心 ( 合肥 ) 并行计算, 孙广中 ( 中国科学技术大学, 计算机学院 ) 2018-4-11 第 28 页