MPI编译环境的使用

Size: px

Start display at page:

Download "MPI编译环境的使用"

秘陶
5 years ago
Views:

1 MPI 编译环境的使用李会民中国科学技术大学超级计算中心 2015 年 4 月 16 日李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 1 / 25

2 1 主流 MPI 环境介绍 2 Intel MPI 环境 3 Open MPI 等主流 MPI 环境 4 联系信息李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 2 / 25

3 MPI 编译环境简介各种 MPI 编译环境实际上为 MPI 标准的不同实现利用在普通编译器 ( 比如 Intel 编译器 ) 基础上添加必要的 MPI 参数以指定 MPI 库的路径等链接 MPI 库进行编译除具体 MPI 实现的参数之外, 其调用的普通编译器的参数继续有效优化等不仅需参考此 MPI 编译环境也要参考调用的普通编译器李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 3 / 25

4 主流 MPI 环境 Intel MPI Open MPI 和 MPICH 3: 既支持 InfiniBand, 也支持以太网 MPICH 和 MPICH2: 支持以太网, 不支持 InfiniBand 网络 MVAPICH MVAPICH2: 基于 MPICH 和 MPICH2, 支持 InfiniBand 网络编译命令基本一致一些编译参数有些不同 MPI 作业提交的参数也有所不同, 当前 LSF 作业调度系统提供的 MPI 作业运行脚本 mpijob, 主要针对系统默认设置的 MPI 实现, 其它版本的 MPI 实现未必能直接使用, 需要根据具体 MPI 实现对提交作业的要求进行改编李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 4 / 25

5 当前科大超算系统部署的类型曙光 TC4600 百万亿次超级计算系统 (InfiniBand 网络 ):Intel MPI 和 Open MPI ChinaGrid 高性能计算集群群 (InfiniBand 网络 ):Intel MPI 和 Open MPI 刀片及胖节点超级计算系统 ( 千兆以太网 ):Intel MPI 和 Open MPI 联想深腾 7000G GPU 集群 (InfiniBand 网络 ):Open MPI MVAPICH MVAPICH2 QLogic MPI LAM Intel MPI 和 Open MPI 为今后系统主要部署的 MPI 环境李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 5 / 25

6 设置 MPI 编译环境 Intel MPI 和 Open MPI, 并可与不同编译器相互配合使用, 安装目录分别在 / o p t / i n t e l / impi 和 / o p t / openmpi * 1 用户可运行 mpi s e l e c t o r menu 命令按提示选择自己使用的 MPI 环境 ( 注意数字后需要加 u), 完成后最好重新登录以便生效 : C u r r e n t system d e f a u l t : i n t e l mpi _ i n t e l c ompiler C u r r e n t u s e r d e f a u l t : <none > u and s modifiers can be added to numeric and U commands to specify user or system wide 1 i n t e l mpi _ i n t e l compiler i n t e l mpi _ i n t e l compiler openmpi _gcc openmpi 1 65 _ i n t e l compiler openmpi 1 65 _ i n t e l compiler openmpi _pgi openmpi _gcc openmpi 1 82 _ i n t e l compiler openmpi 1 82 _ i n t e l compiler openmpi _pgi 1410 U Unset d e f a u l t Q Q uit S e l e c t i o n (1 10[ us ], U[ us ], Q ) : 1 具有不同版本的 Open MPI 与编译器的组合李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 6 / 25

7 查看当前 MPI 编译环境版本 which mpif90 / o p t / i n t e l / impi / / i n t e l 6 4 / b i n / mpif90 mpif90 v mpif90 for the I n t e l (R) MPI Library 5 0 Update 2 for Linux * C o p y r i g h t (C) , I n t e l C o r p o r a t i o n A l l r i g h t s r e s e r v e d Using b u i l t in specs T a r g e t : x86_64 r e d h a t l i n u x C o n f i g u r e d with : / c o n f i g u r e p r e f i x =/ u s r mandir =/ u s r / s h a r e / man i n f o d i r =/ u s r / s h a r e / i n f o Thread model : p o s i x gcc v e r s i o n ( Red Hat ) (GCC) 李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 7 / 25

8 Intel MPI 库简介是一种多模消息传递接口 (MPI) 库 50 版本实现了 MPI-30 标准 41 版本实现了 MPI-22 标准可以使开发者采用新技术改变或升级其处理器和互联网络而无需改编软件或操作环境成为可能主要包含以下内容 : 运行时环境 (RTO): 具有运行程序所需要的工具, 包含多功能守护进程 (MPD) Hydra 及支持的工具共享库 (so) 和文档开发套件 (SDK): 包含所有运行时环境组件和编译工具, 含编译器命令, 如 m p i i c c 头文件和模块静态库 (a) 调试库追踪库和测试代码主页 : 李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 8 / 25

9 编译命令 Intel MPI 与 Open MPI MPICH 等 MPI 实现不同 : m p i i c c m p i i c p c 和 m p i i f o r t 命令 : 使用 Intel 编译器 mpicc mpif90 和 m p i f c 命令 : 默认使用 GNU 编译器 Intel MPI 编译命令及其对应关系编译命令调用的默认编译器命令支持的语言支持的应用二进制接口通用编译器 mpicc gcc, cc C 32/64 bit mpicxx g++ C/C++ 32/64 bit mpifc gfortran Fortran77*/Fortran 95* 32/64 bit GNU* Compilers Versions 3 and Higher mpigcc gcc C 32/64 bit mpigxx g++ C/C++ 32/64 bit mpif77 g77 Fortran 77 32/64 bit mpif90 gfortran Fortran 95 32/64 bit Intel Fortran, C++ Compilers Versions 111 and Higher mpiicc icc C 32/64 bit mpiicpc icpc C++ 32/64 bit mpiifort ifort Fortran77/Fortran 95 32/64 bit 其中 : ia32:ia-32 架构 intel64:intel 64(x86_64, amd64) 架构移植现有的 MPI 程序到 Intel MPI 库时, 请重新编译所有源代码如需显示某命令的简要帮助, 可以不带任何参数直接运行该命令李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 9 / 25

10 编译命令参数 I -mt_mpi: 采用以下级别链接线程安全的 MPI 库 : MPI_THREAD_FUNNELED MPI_THREAD_SERIALIZED 或 MPI_THREAD_MULTIPLE 默认使用 MPI_THREAD_FUNNELED 级别线程安全库注意 : 如用 Intel C 编译器编译时添加了 -openmp 或 -parallel 参数, 则使用线程安全库如用 Intel Fortran 编译器编译时添加如下参数, 则使用线程安全库 : -openmp -parallel -threads -reentrancy -reentrancy threaded -static_mpi: 静态链接 Intel MPI 库, 并不影响其它库的链接方式 -static: 静态链接 Intel MPI 库, 将其传递给编译器, 作为编译器参数李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 10 / 25

11 编译命令参数 II -config=<name>: 使用的配置文件 -profile=<profile_name>: 使用的 MPI 分析库文件 -t 或 -trace: 链接 Intel Trace Collector 库 -check_mpi: 链接 Intel Trace Collector 正确性检查库 -ilp64: 启用 ILP64 支持对于 Fortran 程序编译时如果使用 -i8 选项, 那么也需要此 ILP64 选项 -dynamic_log: 与 -t 组合使用链接 Intel Trace Collector 库不影响其它库链接方式 -g: 采用调试模式编译程序, 并针对 Intel MPI 调试版本生成可执行程序可查看官方手册 Environment variables 部分 I_MPI_DEBUG 变量查看 -g 参数添加的调试信息采用调试模式时不对程序进行优化, 可查看 I_MPI_LINK 获取 Intel MPI 调试版本信息李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 11 / 25

12 编译命令参数 III -link_mpi=<arg>: 指定链接 MPI 的具体版本, 具体请查看 I_MPI_LINK 获取 Intel MPI 版本信息此参数将覆盖掉其它参数, 如 -mt_mpi -t=log -trace=log 和 -g -O: 启用编译优化 -fast: 对整个程序进行最大化速度优化此参数强制使用静态方法链接 Intel MPI 库 m p i i c c m p i i c p c 和 m p i i f o r t 编译命令支持此参数 -echo: 显示所有编译命令脚本做的信息 -show: 仅显示编译器如何链接, 但不实际执行 {cc,cxx,fc,f77,f90}=<compiler>: 选择使用的编译器如 : mpicc cc=i c c c t e s t c -compchk: 启用编译器设置检查, 以保证调用的编译器配置正确 -v: 显示版本信息李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 12 / 25

13 编译命令参数 IV -gcc-version=<nnn>: 设置 mpicxx 和 m p i i c p c 命令编译时采用 GNU C++ 环境的版本, 如 <nnn> 的值为 340, 表示对应 GNU C++ 34x <nnn> 值 GNU* C++ 版本 x x x x x x x x x x x 李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 13 / 25

14 环境变量 I I_MPI_{CC,CXX,FC,F77,F90}_PROFILE 和 MPI{CC,CXX,FC,F77,F90}_PROFILE: 默认分析库语法 :I_MPI_{CC,CXX,FC,F77,F90}_PROFILE=<profile_name> 过时语法 :MPI{CC,CXX,FC,F77,F90}_PROFILE=<profile_name> I_MPI_TRACE_PROFILE: 设定 -trace 参数使用的默认分析文件语法 :I_MPI_TRACE_PROFILE=<profile_name> I_MPI_{CC,CXX,F77,F90}_PROFILE 环境变量将覆盖掉 I_MPI_TRACE_PROFILE I_MPI_CHECK_PROFILE: 设定 -check_mpi 参数使用的默认分析语法 :I_MPI_CHECK_PROFILE=<profile_name> I_MPI_CHECK_COMPILER: 设定启用或禁用编译器兼容性检查李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 14 / 25

15 环境变量 II 语法 :I_MPI_CHECK_COMPILER=<arg> <arg> 为 enable yes on 1 时打开兼容性检查 <arg> 为 disable no off 0 时, 关闭编译器兼容性检查, 为默认值 I_MPI_{CC,CXX,FC,F77,F90} 和 MPICH_{CC,CXX,FC,F77,F90}: 语法 :I_MPI_{CC,CXX,FC,F77,F90}=<compiler> 过时语法 :MPICH_{CC,CXX,FC,F77,F90}=<compiler> <compiler> 为编译器的编译命令名或路径 I_MPI_ROOT: 设置 Intel MPI 库的安装目录路径语法 :I_MPI_ROOT=<path> <path> 为 Intel MPI 库的安装后的目录 VT_ROOT: 设置 Intel Trace Collector 的安装目录路径语法 :VT_ROOT=<path> <path> 为 Intel Trace Collector 的安装后的目录李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 15 / 25

16 环境变量 III I_MPI_COMPILER_CONFIG_DIR: 设置编译器配置目录路径语法 :I_MPI_COMPILER_CONFIG_DIR=<path> <path> 为编译器安装后的配置目录, 默认值为 < installdir >/<arch>/etc I_MPI_LINK: 设置链接 MPI 库版本语法 :I_MPI_LINK=<arg>,<arg> 可为 : opt: 优化的单线程版本 Intel MPI 库 opt_mt: 优化的多线程版本 Intel MPI 库 dbg: 调试的单线程版本 Intel MPI 库 dbg_mt: 调试的多线程版本 Intel MPI 库 log: 日志的单线程版本 Intel MPI 库 log_mt: 日志的多线程版本 Intel MPI 库李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 16 / 25

17 编译举例对于并行程序, 对应不同类型源文件的编译命令如下 : mpicc -o yourprog-mpi yourprog-mpic 调用默认 C 编译器将 C 语言的 MPI 并行程序 yourprog-mpic 编译为可执行文件 yourprog-mpi mpiicxx -o yourprog-mpi yourprog-mpicpp 调用 Intel C++ 编译器将 C++ 语言的 MPI 并行程序 yourprog-mpicpp 编译为可执行文件 yourprog-mpi mpif90 -o yourprog-mpi yourprog-mpif 调用 GNU Forttan 编译器将 Fortran 77 语言的 MPI 并行程序 yourprog-mpif 编译为可执行文件 yourprog-mpi mpiifort -o yourprog-mpi yourprog-mpif90 调用 Intel Fortran 编译器将 Fortran 90 语言的 MPI 并行程序 yourprog-mpif90 编译为可执行文件 yourprog-mpi 李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 17 / 25

18 与编译器相关的编译选项 MPI 编译命令实际上是调用 Intel PGI 或 GCC 编译器进行编译具体优化选项等, 请参看相关编译器手册李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 18 / 25

19 Intel MPI 调试编译时添加 -g 参数 GDB*: The GNU* Project Debugger: 运行时调试 :mpirun -gdb -n 4 /testc 调试已经在运行的程序 :mpirun n 4 -gdba <pid> TotalView* Debugger: mpirun -tv -n 4 /testc 李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 19 / 25

20 Open MPI 等主流 MPI 编译环境编译举例 Open MPI MPICH MVAPICH2 和 MVAPICH 的 MPI 编译命令主要为 :mpicc mpic++ mpicxx mpicc mpif77 和 mpif90 不同类型程序的编译命令如下 : 将 C 语言的 MPI 并行程序 yourprog-mpic 编译为可执行文件 yourprog-mpi: mpicc -o yourprog-mpi yourprog-mpic 将 C++ 语言的 MPI 并行程序 yourprog-mpicpp 编译为可执行文件 yourprog-mpi,mpicxx 也可换为 mpic++ 或 mpicc: mpicxx -o yourprog-mpi yourprog-mpicpp 将 Fortran 77 语言的 MPI 并行程序 yourprog-mpif 编译为可执行文件 yourprog-mpi: mpif77 -o yourprog-mpi yourprog-mpif 将 Fortran 90 语言的 MPI 并行程序 yourprog-mpif90 编译为可执行文件 yourprog-mpi: mpif90 -o yourprog-mpi yourprog-mpif90 编译优化等, 主要结合所使用的编译器的编译选项与具体 MPI 实现的编译选项共同设置李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 20 / 25

21 MPICH MVAPICH2 MVAPICH 主要编译选项 -show: 仅显示命令信息, 但不进行编译 -help: 给出简单帮助用指定的编译器编译命令代替默认的编译命令, 只有在编译器与 MPICH 库兼容时才可使用 -cc=name:mpicc 的参数, 指定 C 编译器 -CC=name:mpiCC 和 mpicxx 的参数, 指定 C++ 编译器 -fc=name:mpif77 的参数, 指定 Fortran 77 编译器 -f77=name:mpif77 的参数, 指定 Fortran 77 编译器 -f90=name:mpif90 的参数, 指定 Fortran 90 之后的编译器 -compile-info: 显示程序编译的过程 -link-info: 显示链接过程李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 21 / 25

22 Open MPI 主要编译选项 -showme: 仅显示命令信息, 但不进行编译 -showme:compile: 仅显示编译器编译参数信息, 但不进行编译 -showme:link: 仅显示编译器链接时的参数信息, 但不进行链接用 OMPI_value 变量控制使用的编译命令编译参数等,value 可为 : CPPFLAGS: 预处理选项 LDFLAGS: 链接选项 LIBS: 链接库选项 CC:C 编译命令 CFLAGS:C 编译选项 CXX:C++ 编译命令 CXXFLAGS:C++ 编译选项 F77:Fortran 77 编译命令 FFLAGS:Fortran 77 编译选项 FC:Fortran 9x 编译命令 FCFLAGS:Fortran 9x 编译选项如使用 gfortan 作为 Fortran 90 编译命令, 并显示编译信息 : OMPI_FC=g f o r t r a n mpif90 showme 李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 22 / 25

23 Open MPI 并行实现下的并行程序调试编译时添加 -g 参数, 如 mpif90 g yourmpi prog f 9 0 o yourmpi prog 几种运行方式 : 使用 GNU 调试命令 gdb, 不调用初始调试命令调试 : mpiexec n 4 xterm e gdb q t u i / yourmpi prog 使用 GNU 调试命令 gdb 调试, 并调用调试命令文件 dbg t x t : mpiexec n 4 xterm e gdb q t u i x dbg t x t / yourm 使用 Intel 调试命令 gdb i a, 不调用初始调试命令调试 : mpiexec n 4 xterm e gdb i a / yourmpi prog 使用 Intel 调试命令 i d b c 调试, 并调用调试命令文件 dbg t x t : mpiexec n 4 xterm e i d b c command dbg t x t / yourmp 调试命令文件 dbg t x t 内容格式, 每行一条命令, 比如 : break 13 condition 1 k==2 run 注意 :xterm 为 Linux 下的一种图形终端命令, 也可使用其它的上述调试需要图形界面, 如远程连接 Linux 系统调试, 需打开 X11 转发李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 23 / 25

24 MPI 程序出错时常用调试方式以 Intel 调试器和 Open MPI 的配合为例 : 添加 -g 参数编译设置 dbgtxt 文件内容为 run 开始调试 : mpiexec n 4 xterm e i d b c command dbg t x t / yourm 程序将会自动停止在出错的位置, 并显示对行的源代码相关文档 : 李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 24 / 25

25 联系信息中国科大超算中心 : 办公室 : 科大东区新图书馆一楼东侧 126 室电话 : 信箱 :sccadmin@ustceducn 主页 : 李会民 : 电话 : 信箱 :hmli@ustceducn 主页 : 李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2015 年 4 月 16 日 25 / 25

MPI编译环境的使用

MPI编译环境的使用 MPI 编译环境的使用李会民 hmli@ustceducn 中国科学技术大学超级计算中心 2014 年 4 月 10 日李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2014 年 4 月 10 日 1 / 24 1 主流 MPI 环境介绍 2 联系信息李会民 ( 中国科大超算中心 ) MPI 编译环境的使用 2014 年 4 月 10 日 2 / 24 MPI 编译环境简介各种 MPI