PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

祜管
4 years ago
Views:

1 机群应用开发并行编程原理及程序设计 Parallel Programming: Fundamentals and Implementation 占杰曙光信息产业有限公司并行开发环境 1/23

2 主要内容流行高性能计算机并行程序开发模式并行开发工具并行开发环境 2/23

3 高性能计算机系统目前较流行的高性能计算机系统大体分为两类 : 共享内存系统 IBM 的 P690 HP 的 SuperDome 等特点 : 多个处理器拥有物理上共享的内存分布存储系统 MPP 和集群系统特点 : 系统由多个物理上分布的结点组成, 每个结点拥有自己的内存, 结点通过高速以太网或专用高速网络连接并行开发环境 3/23

4 并行程序开发模式共享存储模型消息传递模型 HPF 并行库串行程序并行化并行开发环境 4/23

5 共享存储模型特点 : 一个并行程序由多个共享内存的并行任务组成, 数据的交换通过隐含地使用共享数据来完成一般仅需指定可以并行执行的循环, 而不需考虑计算与数据如何划分, 以及如何进行任务间通信, 编译器会自动完成上述功能 OpenMP: 目前流行的共享内存模型开发标准是 OpenMP OpenMP 定义了一套编译指导语句, 用于指定程序的并行性数据的共享 / 私有等信息其目标是为 SMP 系统提供可移植可扩展的开发接口 OpenMP 由 OpenMP Architecture Review Board 于 1997 年推出, 现在已发展到 2.0 版 OpenMP 支持的编程语言包括 Fortran C 和 C++ OpenMP 得到了工业界的广泛支持, 有大量的商业编译器和其他开发工具支持 OpenMP 的开发, 如 IBM HP Sun SGI Intel 等硬件厂商均有支持 OpenMP 的编译器产品, 另外还有一些第三方厂商的 OpenMP 编译器并行开发环境 5/23

6 特点 : 消息传递模型一个并行程序由多个并行任务组成每个并行任务拥有自己的数据并对其进行计算操作任务之间数据的交换是通过显式的消息传递语句来完成的目前广泛使用的消息传递模型 :PVM 和 MPI PVM 即 Parallel Virtual Machine( 并行虚拟机 ) MPI 即 Message Passing Interface( 消息传递界面 ) 几乎所有的高性能计算系统都支持 PVM 和 MPI 并行开发环境 6/23

7 HPF (High Performance Fortran) HPF 的思想与 OpenMP 类似, 都是通过定义编译指导语句来帮助编译器生成并行代码 HPF 的目标系统与 OpenMP 不同, 它支持 DMP 系统因此, 除了指定并行性的编译指导语句外,HPF 还指定数据划分的编译指导语句 HPF 与消息传递模型的不同之处则在于 :HPF 通过编译器自动生成通信语句, 不需要程序员手工编写 HPF 得到了工业界的广泛支持, 如 IBM HP Sun 都有 HPF 编译器第三方产品则有 PGI 的 PGHPF APR 的 Forge xhpf 等其不足是对于某些问题无法得到与手工编写的消息传递程序相同的性能并行开发环境 7/23

8 并行库基本思想是 : 用户不需要自己编写通用的并行算法代码, 而由程序库提供并行算法, 并对用户透明用户只需要根据自己的需求, 调用相应的库函数, 就可以编写出并行程序由于库函数的编写者一般经验丰富, 而且库函数会采取较为优化的算法, 并采用优化编译, 使得库函数的执行效率很高对于大量使用通用计算算法的用户来说, 使用并行库是一种高效的开发模式并行库的缺点是无法帮助那些需要自己书写非通用并行算法的用户并行开发环境 8/23

9 常用并行库目前的并行库很多, 包括 PBLAS(Parallel Basic Linear Algebra Subroutines), 以及建立在其基础上的 LAPACK 和 ScaLAPACK, 提供了一些线性代数问题的并行求解算法, 如求特征值最小二乘问题等 LAPACK 是为 SMP 系统优化的,ScaLAPACK 是为 DMP 系统优化的大多数高性能计算系统都提供在本系统上优化的 PBLAS LAPACK ScaLAPACK 另一个著名的并行库是 PETSc PETSc 是一套基于 MPI 的数据结构和库函数, 用于解决基于偏微分方程的典型科学计算问题 MATLAB 是很常用的科学计算软件很多公司和研究机构也在进行并行化 MATLAB 的工作, 如 RTExpress 并行开发环境 9/23

10 串行程序并行化优点 : 可以将现有的很多串行代码转换成并行代码并行化分为全自动并行化和交互式并行化两种模式全自动并行化的并行过程不需要人的干预, 可以自动发现程序中可并行的部分, 生成并行代码 ; 对大多数程序来说, 并行化的效果还不理想交互式并行化工具通过给用户提供程序中的有效信息, 包括相关性分析结果程序调用图性能预测结果等帮助用户进行并行化工作, 但是如何更好地结合用户和并行化工具的能力还需要进一步研究目前产品化的交互式并行化工具主要有 APR 的 Forge, 该系统支持 Fortran77 的并行化, 并同时支持 SMP 系统和 DMP 系统并行开发环境 10/23

11 开发工具调试器性能分析与预测资源管理和负载平衡系统并行开发环境 11/23

12 调试器调试是程序开发的重要部分, 并行程序尤其难调试, 更需要调试器的支持 IBM 的 pdb( 命令行方式 ) pedb(xwindow 图形界面 ) HP 的 DDE(XWindow 图形界面 ) 和 LaDebug( 用于 Alpha 系统 ) Sun 的 Prism 等 Etnus 的 TotalView 是最著名的第三方并行调试器它提供对 C C++ Fortran 程序的图形化符号调试, 可以调试 MPI PVM HPF OpenMP 程序, 支持 SGI Sun HP IBM 等几乎所有的高性能厂商的产品, 还提供对 Linux 的支持 KAI 的 Assure Thread Analyzer 是一个支持 OpenMP 的程序正确性检测工具, 用于自动发现程序中的常见错误它目前仅支持 IA32 和 IA64 上的 Linux 并行开发环境 12/23

13 性能分析与预测程序性能分析 (profiling) 可以帮助用户找到程序中最费时的部分, 从而集中精力进行改进和优化, 是改进程序性能的有效手段传统的性能分析工具一般仅提供子程序级的性能分析但对于高性能程序来说, 对于循环程序的性能分析是必不可少的现有的大部分高性能计算系统中大都具有能够进行循环级性能分析的性能分析器, 有些还提供了友好的用户界面, 如 Intel 的 VTune IBM 的 Xprofiler 等一些第三方厂商也提供性能分析工具, 比如 Pallas 的 Vampir, 它支持从 Linux PC 到 IBM HP Sun SGI 等几乎所有的高性能厂商的产品并行开发环境 13/23

14 资源管理和负载平衡系统严格地说负载平衡系统是运行时环境, 而不是开发环境对于 SMP 系统来说, 操作系统内置的任务调度器可以完成任务的调度功能对于 DMP 系统来说, 需要专门的软件来进行任务调度, 达到负载平衡负载平衡系统通过了解系统中各个结点的负载状况计算能力内存状况等, 可以合理地分配任务的执行结点, 必要时迁移现有的任务到其他结点, 从而达到提高系统吞吐量的作用著名的负载平衡系统包括 Platform 公司的 LSF(Load Sharing Facility) 和 Veridian 的 PBS(Portable Batch System) 并行开发环境 14/23

15 发展趋势 OpenMP 将成为支持 SMP 系统编程的主要标准, 将来的工作在于研究和开发更加有效的 OpenMP 编译器, 以及更加强大友好的开发调试工具 MPI 和 PVM 将仍然是 DMP 系统的主要标准并行库是很有前途的开发方式和研究方向, 随着更多的并行程序库的出现, 并行化编程会越来越容易程序自动并行化技术也能大大缩短并行程序的开发时间, 但目前的技术即使对 SMP 系统也没有达到实用的水平, 还需要技术上的突破云计算是现在的热门话题, 也是将来高性能计算的发展方向之一为云计算制定标准, 提供所需的开发环境和运行环境将是未来的发展方向并行开发环境 15/23

16 常用 MPI 程序运行方法 MPICH OpenMPI Lammpi MPICH2 并行开发环境 16/23

17 1 MPICH 特点 : 最基本的 mpi, 运行最简单, 支持 mpi1.0 标准, 用的最广泛, 但是效率不高使用 rsh 或 ssh; 安装路径 ; 通信方式 : 都是在编译的时候确定, 编译完成后不能更改使用 : 设置环境变量, 确认用 mpich export PATH=/data/software/mpi/mpich/bin:$PATH 编译程序 : #mpicc o hello hello.c 运行 : #mpirun -np 16 -machinefile mpi.hosts yourprogram -np 16 起 16 个进程 -machinefile mpi.hosts 文件写出在哪些节点上执行该命令, 格式如下 #vim mpi.hosts node1:8 node2:8 : 冒号后面的 8 代表每个节点上有 8 个 cpu 并行开发环境 17/23

18 2 OpenMPI 特点 : 支持 mpi2.0, 功能强大, 灵活, 支持 infiniband, 效率高使用 rsh 或 ssh 可以自由切换, 路径可以自己标志, 编译器也可以改, 一个版本支持多种通讯方式使用 : #export PATH=/opt/openmpi/bin:$PATH #export LD_LIBRARY_PATH=/opt/openmpi/lib:$LD_LIBRARY_PATH 因为默认的 openmpi 编译出来的库为动态库, 所有要设置 LD_LIBRARY_PATH 变量, 如果想要不设, 在编译 openmpi 时加上 -- disable-shared --enable-static 选项编译程序 : #mpicc o hello hello.c #mpicc -showme 可以看到实际调用编译器的情况并行开发环境 18/23

19 2 OpenMPI 运行 : mpirun -np 16 -machinefile ma --prefix /data/software/mpi/openmpi --mca pls_rsh_agent rsh --mca btl self,tcp yourprogram -np 16 起 16 个进程 -machinefile ma 文件写出在哪些节点上执行该命令, 格式如下 #vim ma node1 slots=8 node2 slots=8 --prefix /data/software/mpi/openmpi 如果有两个以上节点, 告诉远端机器 openmpi 的安装路径 --mca pls_rsh_agent rsh 告诉节点间通讯用 rsh --mca btl self,tcp 使用以太网 tcp/ip 通讯 self,sm 当单节点运行的时候, 使用内存通讯, 效率高 self,openib 使用 IB 通讯,(configure 时要加 --with-openib) --mca btl_tcp_if_include eth0 以太网通讯时用 eth0 通讯并行开发环境 19/23

20 3 Lammpi 特点 : 支持 mpi2.0, 功能强大, 灵活, 支持 infiniband, 效率高使用 rsh 或 ssh 可以自由切换, 路径可以自己标志, 一个版本支持多种通讯方式, 唯一不足之处是不支持 fortran90 使用 : #export PATH=/usr/bin:$PATH 编译程序 : #mpicc o hello hello.c 运行 : #lamboot -v --ssi boot rsh hostfile vim hostfile node1 cpu=8 node2 cpu=8 #lamnodes 查看节点 #mpirun --ssi rpi tcp yourprogram #lamhalt 并行开发环境 20/23

21 4 MPICH2 特点 : 支持 mpi2.0, 功能强大, 灵活, 支持 infiniband, 效率高使用 rsh 或 ssh 可以自由切换, 路径可以自己标志, 同时支持多种通讯方式, 但是目前尚不支持 fortran90 使用 : #export PATH=/usr/bin:$PATH 编译程序 : #mpicc o hello hello.c 运行 : mpdboot -f mpd.hosts -n 2 -r rsh (-n node number) vim mpd.hosts node1:8 node2:8 mpdtrace mpirun -machinefile mpd.hosts -np 4./cpi (-np must be last) mpdallexit 并行开发环境 21/23

22 谢谢! 并行开发环境 22/23

23 并行开发环境 23/23

Openmpi_wlx_gpu

Openmpi_wlx_gpu CPU-GPU 并行计算机群并行运算指南登陆 : 只能通过校内 IP 登陆到 CPU-GPU 服务器, 登陆方式为 : ssh - X UserName@222.195.76.97 ( 启用 X11 图形模型 ) ssh UserName@222.195.76.97 ( 不启用 X11 图形模型 ) 本机不是一个普通的服务器, 它是由独立的内部的计算网络和管理网络, 联合高性能服务器以及专业的网络云服务平台,