科研信息化技术与应用,2012, 3 (5) Wave Pseudo-potential Density Functional Theory, PWP-DFT) 方法以其高精确度和高可信度成为最常用的方法 [2] 目前材料计算两个最主要的特点是: 计算时间长和可扩展性差由于从头计算的算法复杂度高

Size: px

Start display at page:

Download "科研信息化技术与应用,2012, 3 (5) Wave Pseudo-potential Density Functional Theory, PWP-DFT) 方法以其高精确度和高可信度成为最常用的方法 [2] 目前材料计算两个最主要的特点是: 计算时间长和可扩展性差由于从头计算的算法复杂度高"

汛迈费
7 years ago
Views:

1 科研信息化技术与应用 2012, 3(5): 应用 / APPLICATION GPU 异构平台上的第一性原理计算贾伟乐 1,2, 曹宗雁 1, 付继芸 1,2 1, 王龙 1. 中国科学院计算机网络信息中心超级计算中心, 北京中国科学院大学, 北京摘要 : 平面波赝势密度泛函方法是材料科学计算中最常用的方法, 但是其 CPU 代码计算时间长并且扩展性差, 限制了其在超级计算机上的绝对速度本文综述了使用图形处理器加速第一性原理计算软件的发展, 讨论了 VASP (Vienna Ab-initio Simulation Package),Quantum Espresso,PEtot 使用的不同的加速策略, 提出了众核平台上平面波赝势方法并行机制的改进, 最后展望了使用图形处理器求解第一性原理计算的挑战和前景关键词 : 第一性原理计算 ;GPU; 量子力学 ; 电子结构 ; 密度泛函理论 ; 平面波赝势 First Principle Calculation on Multi-GPU Machines Jia Weile 1, 2, Cao Zongyan 1, Fu Jiyun 1, 2, Wang Long 1 1. Supercomputing Center, Computer Network Information Center, Chinese Academy of Sciences, Beijing , China 2. University of Chinese Academy of Sciences, Beijing , China Abstract: Keywords: Plane Wave Pseudo-potential Density Functional Theory (PWP-DFT) calculation is the most important in scientific simulations. However, its absolute speed is limited by the in-scalability of CPU PWP-DFT codes. This paper presents the development of first principle calculation on GPU platform and discusses different speedup strategies that applied in VASP, Quantum Espresso and PEtot. Based on the analysis of the new algorithm and parallel scheme, the paper gives the challenges and prospect of the ab initio calculation on many-core systems. First principle calculation; GPU; Quantum mechanics; Electronic structure; Density functional theory; Plane wave pseudo-potential 1 引言第一性原理计算是科学计算中最重要的一类计算, 它广泛应用于材料科学和量子化学领域, 对新材料研发药物研制都有重要的意义 [1] 在诸多求解薛定谔方程的方法中, 平面波赝势密度泛函 (Plane 69

2 科研信息化技术与应用,2012, 3 (5) Wave Pseudo-potential Density Functional Theory, PWP-DFT) 方法以其高精确度和高可信度成为最常用的方法 [2] 目前材料计算两个最主要的特点是: 计算时间长和可扩展性差由于从头计算的算法复杂度高 (O(N 3 )), 其计算时间随问题规模扩大呈指数式增长许多材料问题的模拟需要几天甚至几周的计算, 在全球大的超算中心中, 平面波赝势密度泛函计算占据了材料计算 50% 以上的时间 [3] 目前许多新材料如太阳能电池新型硅材料的计算都集中在几百至上千原子体系规模, 对于更大规模的物理体系 ( 如几千原子 ), 需要使用分而治之的方法进行计算 [3] 然而针对几百原子规模的计算, 最高水准的 CPU 材料计算软件如 VASP (Vienna Ab-initio Simulation Package), Qbox 也只能扩展至几千核 [4,5], 并且需要 1~2 分钟完成一步第一性原理分子动力学模拟良好的可扩展性依赖于更多的 K 点并行更大的截断能倒空间非局部投影和很大数量的电子态 [6] 但是对于普遍的材料计算, 这些都是不需要的众核计算平台, 尤其是目前通常使用的基于 NVIDIA 公司图形处理器 (Graphic Processing Unit, GPU) 加速的技术为科学计算提供了新的契机众多科学计算的应用都在最近几年使用 GPU 进行加速, 其在量子化学从头计算方面的应用极为成功由于材料计算的算法复杂且要求精度高, 并且使用与量子化学计算不同的基函数, 其发展速度一直较为缓慢然而 GPU 最近的几点发展趋势推动了计算材料软件的加速工作 :(1) GPU 的双精度浮点运算能力增强,2010 年发布的费米 (Fermi) 架构达到双精度浮点运算单卡峰值 500G flops [7], 这为对精度要求很高的第一性原理计算提供了基础条件 (2) GPU 的带宽更宽, 单卡带宽为 144 GB/s, 这使得其可以快速完成快速傅里叶变换 (Fast Fourier Transform,FFT) 这种带宽密集型计算 (3) GPU 的数值库发展迅速, 众多的数值计算库 ( 如 CUBLAS,MAGMA,CUDPP, CUFFT) 的推出对于使用 GPU 完成 PWP-DFT 计算提 [8, 供了便利条件 9] (4) 易用的编程模型统一计算架构 (CUDA) 编程模型是 NVIDIA 公司推出的类 C 语言的直观的编程工具, 并且其能被 C 语言调用 [10] 本文共分为四个部分 : 首先介绍第一性原理计算加速的必要 ; 第二节综述从头计算的 GPU 软件以及其设计思路, 分别阐述不同软件的设计思路算法以及实现细节和程序目前的功能 ; 第三节介绍在 GPU 集群上实现第一性原理计算的并行模式和面临的挑战 ; 最后简单总结并且展望基于 GPU 的第一性原理计算的光明前景 2 PWP-DFT 的 GPU 软件及其设计思路密度泛函理论应用在众多材料计算的软件中, 占据了材料计算中 3/4 的时间 [3] PWP-DFT 计算中, 求解方程 Hψ i = ε i ψ i 占了整体计算时间的 90% [3], 如何加速这部分计算成为材料计算中的热点问题下面根据不同软件使用不同的加速策略分为两部分进行阐述 2.1 部分加速方法第一种加速策略为部分加速的方法, 两个使用此类加速方法的软件分别是 VASP 和 PWSCF(Plane- Wave Self-Consister Field) [11] 他们分别针对原有的 CPU 代码进行了加速, 但是在加速过程中, 将其中计算量较大的部分移植到 GPU 上进行计算, 并没有改变其原有的并行模式和算法 VASP GPU 的设计和实现 VASP 是基于 CASTEP 1989 版开发的使用赝势和平面波基组进行从头量子力学分子动力学计算的软件包它综合了计算速度快计算精度高适用范围广等特点, 是材料计算中最常用的商业软件在 PWP-DFT 代码中, 计算主要集中在矩阵向量乘积和 FFT 中, 这些都是非常适用于 GPU 加速的工作 Maxwell Hutchinson 等人首先对 VASP 进行了加速 [12] 他们沿用了 VASP 代码的并行模式和算法结构, 对其原有的 CPU 模式没有做丝毫的改动, 其具 70

3 贾伟乐等 : GPU 异构平台上的第一性原理计算体的加速思路如图 1 所示其具体的流程如下 : 首先对 CPU 的 VASP 代码进行测试, 得到其中每个部分 ( 如 FFT,DGEMM) 的时间, 然后根据其所占比例大小将其翻译为 CUDA 代码, 之后再进行 GPU 和 CPU 代码的结果正确性对比, 如果 GPU 代码结果正确并且所用时间比 CPU 代码时间少, 则用 GPU 代码取代相应的 CPU 代码 [13] 在计算中, 他们大量使用 CUBLAS 和 MAGMA 等库函数来完成大部分工作, 这样得保证了 VASP 原有代码的结构和调用接口根据 VASP 开发人员公布的结果, 目前 GPU 版本达到了 CPU VASP 的 4~7 倍的加速比 [12] 其 GPU 版本 VASP 代码会在 2012 年夏季发布 beta 版本 PWSCF 的设计思路 PWSCF 计算软件是意大利理论物理研究中心发布的 Quantum-ESPRESSO 计算软件包中的两大模块之一 PWSCF 采用了和 VASP 类似的加速策略, 开发者通过对代码进行测试, 得到在自洽迭代 (Self- Consistent Field) 中的计算复杂部分, 然后将其放入 GPU 中进行加速 [14] PWSCF 与 VASP 加速不同的地方在于 :PWSCF 加速了计算中最重要的两个部分 : DGEMM 和 FFT 如图 2 所示, 对于从头计算而言,DGEMM 是计算时间中最多的一部分在 V A S P 中使用了 CUBLAS 来代替 CPU 上的 BLAS 库函数进行计算, 这样 CPU 在计算矩阵向量乘积时就会空闲为了能够充分利用系统的计算部件,PWSCF 开发人员重写了 DGEMM 的接口, 在计算 DGEMM 时,PWSCF 代码同时使用了 CPU 和 GPU 而在计算其他部分时, 仍然保持 CPU 进行计算另外一个部分的加速是 FFT, 传统的 CPU PWP-DFT 计算中,FFT 通常都是并行使用多个 CPU 核心进行计算 [15], 不同 CPU 核心之间使用 MPI 进行通讯由于 GPU 内存层次较深且计算能力强大, 传统的并行方式不再适用于 GPU 并行计算 PWSCF 采用了使用单个 GPU 计算 FFT 的方式这样既发挥了 GPU 的计算能力, 同时减少了不同 GPU 之间的数据传输, 测试结果显示, 通过使用异构 DGEMM 和 GPU FFT,PWSCF 得到了 3~4 倍的加速比图 1 VASP 的加速设计思路 2.2 总体设计方法相对于不需要改变程序原有并行机制和算法的局部加速策略, 总体加速的方法需要开发者更多的理解算法和相关的无力问题 SC_PEtot 软件的设计和实现则使用这这种并行加速策略 PEtot 是美国劳伦斯伯图 2 PWSCF 的测试结果 71

4 科研信息化技术与应用,2012, 3 (5) 克利国家实验室汪林望教授开发的用于平面波赝势第一性原理计算的软件包 [16] 它被设计用于在 IBM SP 机器和 NERSC 的机器上计算大规模物理系统总体设计方法的设计流程如图 3 所示其主要思想是针对众核计算平台的特点, 重新考虑和设计并行模式和算法在计算中, 使用 GPU 作为主要的计算单元, 波函数和非局部投影 (Nonlocal Projector) 都放在 GPU 的全局内存中,CPU 则作为辅助 GPU 的控制单元出现, 它主要用于不同的 MPI 任务之间进行通讯在整体的设计之初, 首先重新设计算法的并行模式, 重新考虑波函数在不同 MPI 进程之间的分配 ; 然后在 GPU 上实现相应的并行策略, 通过和 CPU 代码结果进行比较来确定其结果的正确性 ; 并且要不断测试 GPU 并行模式来寻找更适合 GPU 集群的并行模式和算法在 PWP-DFT 总体加速方法中, 由于倒空间和实空间波函数和非局部映射都存储在 GPU 全局内存中, 一个重要的问题是考虑 GPU 的全局内存大小是否够用对于一个典型的几百原子的物理系统, 其波函数的大小为 128 3, 因此其需要大概 30M 内存对于打开了 ECC 的 Fermi 架构的 GPU (ECC 占据了部分内存, 空闲内存应该为 2.5G), 可以存储几十个波函数, 这意味着可以使用几十个 GPU 计算几百原子的物理系统在 SC_PEtot 中, 作者完成了 PWP-DFT 分子动力学模拟, 针对 512 原子的 GaAs 系统, 达到了 12 s 每步分子动力学模拟的计算速度, 达到了 PEtot CPU 代码的 30 倍, 并且比商业软件 VASP 快 7 倍 [17] 本节讨论了两种使用 GPU 加速的策略和三个 GPU 第一性原理计算软件, 具体阐述了不同策略在加速时采用的设计思路和方法从结果中可以看出, 部分加速的方法不需要改变原有并行模式, 可以通过不断的测试和实现 CUDA 代码来进行加速, 其方法简单, 但是加速效果不明显总体加速的方法需要深入 PWP-DFT 计算的算法和并行模式, 根据众核平台的特点, 使用 GPU 作为主要的计算单元, 改进设计传统的算法流程, 最终能够达到 VASP 速度的 7 倍这些结果对于其他类似软件开发都有启发式作用 3 GPU 集群上的并行模式图 3 总体设计加速流程图 4 展示了 PWP-DFT 软件的并行模式 PWP- DFT 计算主要分为两个部分 : 重叠矩阵的计算和哈密顿量的求解他们主要依赖于以下两部分操作 : (1) 波函数向量的点乘 ;(2) 实空间和实空间之间的快速傅立叶变换 (FFT) 计算和非局部映射计算图 4 传统的 PWP-DFT 软件的并行模式图中的 P xy 中的 x 和 y 是指的同一组 K 点并行中的 MPI 任务的行和列号码 72

5 贾伟乐等 : GPU 异构平台上的第一性原理计算图 5 GPU 集群上 PWP-DFT 的混合并行模式在 CPU 上, 算法实现已经有了成熟的并行模式, 但是在 GPU 上, 需要重新考虑适用于众核平台的并行模式和算法 PWP-DFT 的传统的并行模式在 15~20 年前就已经趋于成熟 [18] 他主要包括三个层次的并行:K 点 (K-point) 并行, 波函数索引 (band-index) 并行, 倒易空间 (G-space) 并行 K 点波函数的其中一个索引 K ( 如图 4), 在数值计算中, 不同的 K 点之间的波函数没有相互作用, 因此 K 点并行易于实现针对目前关键的几百到上千原子的材料计算, 一般都使用一个 K 点 [6] 波函数索引并行是指波函数{ψ i } 的个索引 i 的并行, 假设如图 4, 每个 K 点中有 4 个波函数, 并且有 16 个 MPI 任务, 则每个波函数都被分配给一组 MPI 任务 ( 图中的一列 ), 不同列的 MPI 任务针对不同的波函数进行计算, 对于哈密顿量的计算, 不同的 MPI 任务组之间不需要进行数据传输 ; 但是对于重叠矩阵的计算, 则需要波函数数据在不同的任务组之间进行交换需要注意的是 : 正是这些重叠矩阵的计算使得 PWP-DFT 算法计算复杂度为 O(N 3 ), 在不同的任务组之间传输波函数, 可以使用循环传输 (round robin) 的方式最后是倒空间并行, 它是在同一组 MPI 任务间的并行, 它把不同的倒空间波函数向量分配在同组不同的 MPI 任务中在 PWP-DFT 中, 波函数被展开为不同的平面波的简单叠加在倒空间, 不同的向量在一个倒空间球体中, 但是在实空间, 它被扩展为一个 [n1, n2, n3] 的立方体在传统的并行中, 哈密顿量的求解需要在一个波函数上完成快速傅立叶变换和非局部映射的计算, 即不同的 MPI 任务共同合作完成 FFT [15], 也就是完成一个并行的 FFT 计算这需要不同的处理器分配到几乎相同的倒空间矢量并且达到不同的处理器之间数据传输最小化, 并且不同原子的非局部映射也分布存储在不同的处理器上总之, 在波函数索引和倒易空间并行时, 其 MPI 数据传输和主要计算部分大相径庭在 GPU 上完成重叠矩阵和 FFT 的计算并非易事, 为了能够快速的计算重叠矩阵, 传统的并行模式把同一个波函数放在一组 ( 如图 4 中的四个 ) 处理器上进行处理, 每个处理器只能有波函数的一部分,FFT 分成三个维度的 FFT, 在完成 X 维度的 FFT 之后, 需要转置波函数之后再进行 Y 轴方向的 FFT, 最后再转置一次做 Z 方向的 FFT [15] 但是传统的并行模式在 GPU 实现中不能够继续使用, 其主要原因是由于 GPU 内存深度更深并且 CPU-GPU 之间的内存拷贝速度严重受到 PCI-Express 的限制, 并且非常小规模的一维 FFT 操作无法发挥 GPU 的计算能力,MPI 和 CPU-GPU 内存拷贝的时间占据总时间的 90% 以上, 成为传统的并行模式无法在 GPU 集群上继续应用的瓶颈第一性原理计算 GPU 集群上的混合并行模式能够解决上述问题 [6], 这一方法是由中国科学院超算中心复旦大学和劳伦斯伯克利国家实验室共同提出的其并行模式如图 5 所示这种混合并行模式混合使用了原有的倒易空间并行和波函数索引并行, 其主要思想为 : 在计算重叠矩阵时, 使用原有的倒易空间并行方式, 此时单个波函数分为几部分, 存储在不同的处理器上, 适用于重 73

6 科研信息化技术与应用,2012, 3 (5) 叠矩阵的计算 ; 在计算哈密顿量时, 使用能够 MPI_ Alltoall 把波函数转置成为索引并行, 此时每个处理器都存储有多个完整的波函数, 这种做法没有改变原有的重叠矩阵计算部分, 但是使得在求解哈密顿量时能够使用单个 GPU 进行计算, 不用再使用以前的并行 FFT 的方式充分发挥了 GPU 计算能力强的特点这种方式被应用于 SC_PEtot 软件中, 得到了非常好的效果在 GPU 混合并行模式中, 一个潜在的问题是 : 由于在倒易空间并行和波函数索引并行之间引入了 MPI_Alltoall 操作进行波函数转置操作, 并且波函数数据量较大, 因此算法的执行非常依赖于 GPU 集群的 MPI 集合操作性能测试结果显示, 使用混合并行模式的 PEtot 能够到达原有软件的 20~30 倍加速, 这远远超过同类软件 (VASP 和 PWSCF) 的加速比 4 结语近年来由 N V I D I A 推动的众核技术在科学计算领域不断发展和进步, 材料计算领域由于其算法复杂, 并行模式难于理解而发展速度较慢自 2009 年以来, 先后有 PEtot,VASP 和 PWSCF 三个组完成了 P W P - D F T 软件的加速工作, 其中 VASP 和 PWSCF 使用了部分加速的策略, 并未重新设计在 GPU 上的并行模式和算法, 达到了原来软件的 2~4 倍加速比中科院超算中心复旦大学和劳伦斯伯克利国家实验室共同建立的 SC_PEtot 软件是从头设计和实现的, 并且达到了非常好的加速比 (20~30x) 和计算结果 NVIDIA 公司最近刚刚发布的开普勒系列架构的全局内存更大, 计算能力更强大, 并且能够拥有更多的众核性能和优点 [19], 英特尔公司推出的 MIC 也将登陆众核计算市场 [20] ; 同时还有 AMD 公司推出的使用 OPENCL 的硬件这些都会使得众核计算和应用处于一个百花齐放的繁荣局面 (Aug.2008), [2] Rapaport, D.C..The Art of Molecular Dynamics Simulation (Cambridge University Press, 2004, 2nd Ed). [3] Wang, L.W , A survey of codes and algorithms used in NERSC material science allocations, LBNL technical report, LBNL ( item/9kh2q0cd). [4] VASP: [5] Qbox: ucdavis.edu/software/qbox/index.htm. [6] Wang, L., Jia, W.L., Chi, X.B., Wu,Y., Gao W.G., Wang, L.W Large scale plane wave pseudopotential density function theory calculations on GPU clusters. The proceeding of SC11 (ACM, 2011). [7] NVIDIA_Fermi_Compute_Architecture_Whitepaper.pdf. [8] CUBLAS: CUDPP: org/developer/cudpp. [9] MAGMA: [10] CUDA: [11] PWSCF: [12] M. Hutchinson, M. Widom. VASP on a GPU: Application to exact-exchange calculations of the stability of lemental boron, Computer Physics Communications, Volume 183, Issue 7, July 2012, Pages [13] t=+&sessionevent=2&sessionyear=2012&sessionform at=#1516. [14] t=+&sessionevent=2&sessionyear=2012&sessionform at=#1508. [15] Canning, A., Shalf, J., Wang, L.W., Wasserman, H., Gajbe 参考文献 [1] Carter, E.A , Challenges in Modeling Materials Properties Without Experimental Input, Science, 321 M , A comparison of different communication structures for scalable parallel three dimensional FFTs in first principle codes, Proceed. Parco09, Lyon France. 74

7 贾伟乐等 : GPU 异构平台上的第一性原理计算 [16] Wang, L.W.. PEtot code: PEtot/PEtot.html. [17] t=+&sessionevent=2&sessionyear=2012&sessionform at=#1517. [18] Canning, A., Wang, L.W., Williamson, A., Zunger, A , Parallel empirical pseudopotential electronic structure calculations for million atom systems, J. Comp. Phys. 160, 29. [19] NVIDIA Kepler: en_us/pdf/geforce-gtx-680-whitepaper-final.pdf. 曹宗雁 : 中国科学院计算机网络信息中心超级计算中心, 助理研究员, 主要研究方向为高性能计算机系统管理与优化技术 zycao@sccas.cn 付继芸 : 中国科学院计算机网络信息中心超级计算中心, 硕士研究生, 主要研究方向为 GPU 异构集群优化技术 jyfu@sccas.cn 王龙 : 中国科学院计算机网络信息中心超级计算中心, 研究员, 博士, 主要研究方向为并行计算与并行软件 wangl@sccas.cn [20] MIC: sture-and-technology/many-integrated-core/intel-many- integrated-core-architecture.html. 收稿日期 :2012 年 6 月 26 日贾伟乐 : 中国科学院计算机网络信息中心超级计算中心, 硕士研究生, 主要研究方向是异构平台上第一性原理计算算法优化与加速 jiaweile@gmail.com 75

2007 2007 2007 CHINA SCIENCE AND TECHNOLOGY DEVELOPMENT REPORT 2007 192

2007 CHINA SCIENCE AND TECHNOLOGY DEVELOPMENT REPORT 191 2007 2007 2007 CHINA SCIENCE AND TECHNOLOGY DEVELOPMENT REPORT 2007 192 2007 CHINA SCIENCE AND TECHNOLOGY DEVELOPMENT REPORT 2007 1 17 8 2007 2007

科研信息化技术与应用,2012, 3 (5) Wave Pseudo-potential Density Functional Theory, PWP-DFT) 方法以其高精确度和高可信度成为最常用的方法 [2] 目前材料计算两个最主要的特点是: 计算时间长和可扩展性差 由于从头计算的算法复杂度高

科研信息化技术与应用,2012, 3 (5) Wave Pseudo-potential Density Functional Theory, PWP-DFT) 方法以其高精确度和高可信度成为最常用的方法 [2] 目前材料计算两个最主要的特点是: 计算时间长和可扩展性差由于从头计算的算法复杂度高