深腾7000 ＊ SGI Altix4700胖节点使用指南

Size: px

Start display at page:

Download "深腾7000 ＊ SGI Altix4700胖节点使用指南"

老任
5 years ago
Views:

1 新一代超级计算机元用户快速使用指南中国科学院计算机网络信息中心超级计算中心 2014 年 12 月 15 日

2 目录 1. 基本环境简介硬件环境软件环境上机使用系统登录和数据传输环境变量设置程序编译串行程序编译 OpenMP 程序编译 MPI 程序编译 MPI+OpenMP 程序编译资源管理和作业提交队列设置 bsub 命令提交作业使用 bsub 脚本多次提交具有相同参数的作业 bsub 命令执行结果查看作业运行情况查看运行中作业的标准 ( 屏幕 ) 输出信息挂起和释放作业挂起作业释放作业删除作业查看作业输出信息查看历史作业信息其它命令简介... 17

3 注意事项 1. 新一代超级计算机元用户快速使用指南新一代超级计算机元远程访问指南及各应用软件快速使用指南最新版可登陆元系统后到 /soft/doc 及 /soft/doc/soft 目录下载 2. 深腾 7000 HOME 数据 (2014 年 11 月 15 日之前的数据 ) 已经迁移至元 /home/.7000 下, 用户可自行将所需数据移至元系统的相应目录下, 两个目录下的数据同样占用磁盘份额, 无用数据请尽快清理 3. 程序编译和链接须在 login1-login4 上进行,MIC 程序的编译和链接请在节点 m3101 和 m3102 上运行 4. 请用 bqueues 命令查看可用队列, 用 bqueues l < 队列名查看队列具体设置对队列资源有特殊要求的用户, 可与客服部联系开通专用队列 5. 如有其它问题可发邮件至 support@sccas.cn 邮箱, 邮件中务必提供账号名出错作业号输出文件错误文件或出错信息, 关于登陆问题最好能提供截图提供的信息越明确, 越有助于问题快速解决 6. 对于不通过作业系统提交的非法程序, 资源利用率低 ( 占多用少 ) 影响其他用户作业运行影响系统正常运行的作业, 我们将随时在不通知用户的情况下予以清除

4 1. 基本环境简介 1.1. 硬件环境新一代超级计算机元一期计算系统总体计算能力 303.4Tflops, 其中 CPU 峰值 Tflops,MIC 和 GPU 协处理器峰值 Tflops, 具体分布如下 : 刀片计算系统共有 270 台曙光 CB60-G16 双路刀片,CPU 整体峰值性能达到 Tflops 每台刀片计算节点配置 2 颗 Intel E V2(Ivy Bridge 10C 2.8GHz) 处理器,64/128 GB DDR3 ECC 1866MHz 内存 GPGPU 计算系统共有 30 台曙光 I620-G15,GPU 双精度浮点峰值达到 83.64Tflops, 其中 CPU 峰值 13.44Tflops,GPU 协处理器峰值 70.2Tflops 每台 GPGPU 计算节点配置 2 块 Nvidia Tesla K20 GPGPU 卡,2 颗 Intel E V2(Ivy Bridge 10C 2.8GHz) 处理器,64/128 GB DDR3 ECC 1866MHz 内存支持 CUDA OpenACC OpenCL, 支持 GPU Direct MIC 计算系统共有 40 台曙光 I620-G15,MIC 双精度浮点峰值达到 98.8 Tflops, 其中 CPU 峰值 17.92Tflops,MIC 协处理器峰值 80.88Tflops 每台 MIC 计算节点配置 2 块 Intel Xeon Phi 5110P(8GB 内存 ) 卡,2 颗 Intel E V2(Ivy Bridge 10C 2.8GHz) 处理器,64/128 GB DDR3 ECC 1866MHz 内存支持对 Xeon Phi 的 Offload 卸载 Symmetric Native 原生模式调用系统配置 1 套采用 56Gb FDR InfiniBand, 全线速互连系统采用 Stornext 并行文件系统做用户 HOME 和公共软件区存储, 可靠性高, 用户可用容量 165TB; 采用曙光 Parastor200 做高性能工作区存储系统,I/O 带宽高, 用户可用容量为 1.3PB 用户 HOME 目录 :/home 采用 SNFS 文件系统 ; 软件安装目录 :/soft 采用 SNFS 文件系统 ; 用户工作目录 :/work1 采用曙光 Parastor200 并行存储系统

5 系统配置 4 台登陆节点, 通过均衡负载实现单 IP 登录 1.2. 软件环境目前, 除操作系统自带软件之外, 各类软件都安装 /soft 下, 大致安装路径是 : 主要分类 MPI 数学库工具软件 CUDA 应用软件付费应用软件路径 /soft/mpi /soft/mathlib /soft/tools /soft/cuda /soft/apps /soft/apps/paid 其中应用软件在本系统上的使用指南放在 /soft/doc/soft 下, 系统的部分基础工具软件安装情况及环境变量设置方法如下 : 名称版本安装目录设置环境变量 GNU Compiler /usr/bin 自动添加 Intel Compiler 2013_sp /soft/compiler/intel/composer_xe_ module load 2013_sp compiler/intel/composer_x e_2013_sp Intel MIC Compiler 2013_sp /soft/compiler/intel/composer_xe_ 2013_sp module load mic/compiler/intel/compos er_xe_2013_sp PGI Compiler 2014 (14.10) /soft/compiler/pgi module load compiler/pgi/2014 Cuda /soft/cuda/ module load cuda/ openmpi-intel /soft/mpi/openmpi/1.6.5/intel module load mpi/openmpi/1.6.5/intel mvapich2-intel 1.9 /soft/mpi/mvapich2/1.9/intel module load mpi/mvapich2/1.9/intel intelmpi /soft/mpi/impi/ module load mpi/impi/ MKL 11.1 /soft/compiler/intel/composer_xe_ 2013_sp module load mathlib/mkl/11.1 ACML /soft/mathlib/acml/5.3.1/ifort module load mathlib/acml/5.3.1/ifort

6 fftw2-float /soft/mathlib/fftw/2.1.5/float module load mathlib/fftw/2.1.5/float fftw2-double /soft/mathlib/fftw/2.1.5/double module load fftw3-float /soft/mathlib/fftw/3.3.4/float module load mathlib/fftw/2.1.5/double mathlib/fftw/3.3.4/float fftw3-double /soft/mathlib/fftw/3.3.4/double module load ATLAS /soft/mathlib/atlas/ module load mathlib/fftw/3.3.4/double mathlib/atlas/ LAPACK /soft/mathlib/lapack/3.5.0/gnu module load MAGMA /soft/mathlib/magma/1.5.0 module load mathlib/lapack/3.5.0/gnu mathlib/magma/1.5.0 BOOST /soft/mathlib/boost/1.55.0gnu module load CMAKE /soft/tools/cmake/ module load mathlib/boost/1.55.0/gnu tools/cmake/ CMAKE /soft/tools/cmake/3.0.2 module load tools/cmake/3.0.2 QT /soft/tools/qt/4.8.6 module load tools/qt/4.8.6 QT /soft/tools/qt/5.3.2 module load tools/qt/5.3.2 注 : 若提交的作业需要用到以上工具软件, 请在.bashrc 中设置相应的环境变量 2. 上机使用 2.1. 系统登录和数据传输关于新一代超级计算机元的远程登陆, 数据的上传下载请参见新一代超级计算机元远程访问指南 2.2. 环境变量设置元系统使用 module 程序管理环境变量,module 是环境变量模块化管理工具, 可以自动处理编译器及函数库的依赖具体使用方式如下 : module avail # 查看可用环境变量

7 module load XXX module list module unload XXX module purge # XXX 加载某环境变量 # 查看已加载环境变量 # XXX 卸载某环境变量 # 清除所有环境变量建议用户将平常使用的编译器和 MPI 环境变量写在自己的 ~/.bashrc 文件里例如 : 设置 Intel 编译器的环境变量 module load compiler/intel/composer_xe_2013_sp 设置 openmpi1.6.5 的环境变量 module load mpi/openmpi/1.6.5/intel 设置 intelmpi 的环境变量 module load mpi/impi/ 设置 mvapich2 1.9 的环境变量 module load mpi/mvapich2/1.9/intel 用户可以用 module avail 查看所需软件环境变量的设置路径, 然后用 module load 进行设置 2.3. 程序编译元系统提供 Intel 公司的 C/C++/Fortran 编译器 GNU 编译器, 建议用户使用 Intel 编译器进行编译注 : 程序编译和链接须在 login1-login4 上进行,MIC 程序的编译和链接请在节点 m3101 和 m3102 上运行串行程序编译设置 Intel 编译器的环境变量, 使用 icc/ifort 进行编译如 : $ module load compiler/intel/composer_xe_2013_sp $ icc o test test.c

8 $ ifort o hello hello.f90 编译器各个参数的用法参见 icc help /ifort help OpenMP 程序编译 Intel 编译器支持 OpenMP 并行, 设置 Intel 编译器的环境变量, 使用 icc/ifort 进行编译如 : $ module load compiler/intel/composer_xe_2013_sp $ icc openmp o test test.c $ ifort openmp o hello hello.f90 编译器各个参数的用法参见 icc help /ifort help MPI 程序编译目前, 元系统提供对 openmpi1.6.5 intelmpi mvapich2 1.9 的支持, 各个版本 MPI 编译情况如下 : 编译 openmpi 程序 openmpi 提供了 C/C++,Fortran 等语言的 MPI 编译器, 如下表所示 : 语言类型 C C++ Fortran77 Fortran90 MPI 编译器 mpicc mpicxx mpif77 mpif90 MPI 编译器是对底层编译器的一层包装, 通过 -show 参数可以查看实际使用的编译器比如 : $ mpicc -show icc -I/soft/mpi/openmpi/1.6.5/intel/include -pthread -L/soft/mpi/openmpi/1.6.5/intel/lib -lmpi -ldl -lm -lnuma -Wl,--export-dynamic -lrt -lnsl -lutil 编译程序示例 : $ module load mpi/openmpi/1.6.5/intel $ mpicc -o hello hello.c $ mpif90 -o hello hello.f90 编译 intelmpi 程序 intelmpi 提供了非常完整的 MPI 编译器, 如下表所示 :

9 MPI 编译器 mpicc,mpigcc mpicxx,mpigxx mpif77 mpif90 mpifc mpiicc mpiicpc mpiifort 编译器说明使用 gcc 编译 C 语言使用 g++ 编译 C++ 语言使用 g77 编译 Fortran77 语言使用 gfortran 编译 Fortran90 语言使用 gfortran 编译 Fortran77/90 语言使用 icc 编译 C 语言, 推荐使用使用 icpc 编译 C++ 语言, 推荐使用使用 ifort 编译 Fortran 语言, 推荐使用可通过 mpiicc -show 来查看具体的编译器信息 : $ mpiicc -show icc -I/soft/mpi/impi/ /intel64/include -L/soft/mpi/impi/ /intel64/lib -Xlinker --enable-new-dtags -Xlinker -rpath -Xlinker /soft/mpi/impi/ /intel64/lib -Xlinker -rpath -Xlinker /opt/intel/mpi-rt/4.1 -lmpigf -lmpi -lmpigi -ldl -lrt -lpthread 编译示例 : $ module load mpi/impi/ $ mpiicc -o hello hello.c 编译 mvapich2 程序 mvapich2 提供了 C/C++,Fortran 等语言的 MPI 编译器, 如下表所示 : 语言类型 C C++ Fortran77 Fortran90 MPI 编译器 mpicc mpicxx mpif77 mpif90 可通过 mpicc -show 来查看具体的编译器信息 : $ mpicc show icc -L/lib -Wl,-rpath,/lib -L/lib -Wl,-rpath,/lib -I/soft/mpi/mvapich2/1.9/intel/include -L/soft/mpi/mvapich2/1.9/intel/lib -lmpich -lopa -lmpl -lrt -libumad -libverbs lpthread 编译示例 : $ module load mpi/mvapich2/1.9/intel $ mpicc -o hello hello.c $ mpif90 -o hello hello.f90

10 MPI+OpenMP 程序编译 MPI+OpenMP 混合程序的编译与 MPI 程序相同, 设置相应 MPI 环境变量, 用对应的 mpicc/mpif90 或 mpiifort 进行编译, 编译时增加 -openmp 参数如 : $mpicc openmp o mpi_openmp_hello mpi_openmp_hello.c $mpif90 openmp o mpi_openmp_hello mpi_openmp_hello.f 资源管理和作业提交队列设置用 bqueues 命令查看可用队列, 用 bqueues l < 队列名查看队列具体设置目前可用队列如下 : 注意 :bqueues l 命令显示内容里 RUNLIMIT 表示作业运行最长时间限制,PROCLIMIT 表示作业运行最大核数限制,NJOBS 表示当前队列中占用的 CPU 核数而非作业数, 其中 PEND 表示排队作业占用的 CPU 核数,RUN 表示运行作业占用的 CPU 核数其它更具体的参数含义可以通过 $man bqueues 命令查看作业队计算资源节点列表节点描述节点数列 cpu 刀片计算节点 c1110-c3449 2*Intel E V2,20 CPU 核,64/128GB 内存 270 gpu GPGPU 计算节点 g3501-g3615 2*Intel E V2,20 CPU 核,64/128GB 内存, 30 2*Nvidia Tesla K20 GPGPU 卡 mic MIC 计算节点 m3101-m *Intel E V2,20 CPU 核,64/128GB 内存, 2*Intel Xeon Phi 5110P 卡

11 bsub 命令提交作业注意 : 元系统上用户使用资源统计按照作业占用节点统计 1. MPI 作业提交元系统上用 bsub 命令提交作业用法如下 : bsub -W [hour:]minute -n Z -R "span[ptile=y]" -q QUEUENAME -o OUTPUTFILE -e ERRFILE mpijob.mpitype PROGRAM 其中 : 必须用 -W 指定作业运行时间 ( 用户最好根据实际情况进行估算 ); Z 代表作业需要使用的 CPU 核心总数,Y 指定了作业在单个节点上使用的 CPU 核心个数 (1 Y 20), 如果不使用 -R "span[ptile=y]" 选项, 则 cpu 队列默认为每个节点使用 20 个 CPU 核心通过指定 QUEUENAME 可以将作业提交到不同的作业队列 ; OUTPUTFILE 是标准输出文件, ERRFILE 是错误输出文件 ; MPITYPE 指定 MPI 版本, 目前支持 openmpi intelmpi mvapich2, 各版本 MPI 加载脚本分别是 mpijob.openmpi mpijob.intelmpi mpijob.mvapich2 PROGRAM 是带路径的运行程序名例如 : $ bsub W 10 n 40 R "span[ptile=20]" q cpu o %J.out e %J.err mpijob.openmpi./test.openmpi $ bsub W 10 n 40 R "span[ptile=20]" q cpu o %J.out e %J.err mpijob.intelmpi./test.impi $ bsub W 10 n 40 R "span[ptile=20]" q cpu o %J.out e %J.err mpijob.mvapich2./test.mvapich2 2. MPI+OpenMP 作业提交 : 在用户主目录下的.bashrc 文件中添加 : export OMP_NUM_THREADS=< 每个进程派生的 OpenMP 线程数 bsub -W [hour:]minute -n Z -R "span[ptile=y]" -q QUEUENAME -o OUTPUTFILE -e ERRFILE mpijob.mpitype PROGRAM 注意 :

12 必须用 -W 指定作业运行时间 ( 用户最好根据实际情况进行估算 ); Z 代表作业使用的 CPU 核心总数, 这里 Z=<MPI 进程数 >*< 每个进程派生的 OpenMP 线程数 >; Y 指定了作业在单个节点上使用的 CPU 核心个数, 这里 Y=< 每个进程派生的 OpenMP 线程数 > 通过指定 QUEUENAME 可以将作业提交到不同的作业队列 ; OUTPUTFILE 是标准输出文件, ERRFILE 是错误输出文件 ; 这里 PROGRAM 是带路径的程序名例如 : $ cat ~/.bashrc #.bashrc # Source global definitions if [ -f /etc/bashrc ]; then. /etc/bashrc fi # User specific aliases and functions export OMP_NUM_THREADS=20 $ bsub -n 160 -q cpu -R "span[ptile=20]" -o %J.out -e %J.err mpijob.intelmpi./mpi_openmp_hello.intelmpi $ bsub -n 160 -q cpu -R "span[ptile=20]" -o %J.out -e %J.err mpijob.openmpi./mpi_openmp_hello.openmpi $ bsub -n 160 -q cpu -R "span[ptile=20]" -o %J.out -e %J.err mpijob.mvapich2./mpi_openmp_hello.mvapich2 3. OpenMP 作业提交 : bsub -W [hour:]minute -n Z -q QUEUENAME -o OUTPUTFILE -e ERRFILE PROGRAM.sh 必须用 -W 指定作业运行时间 ( 用户最好根据实际情况进行估算 ); Z 代表作业需要使用的 CPU 核心总数, 这里 Z= <OpenMP 线程数 >; 通过指定 QUEUENAME 可以将作业提交到不同的作业队列 ; OUTPUTFILE 是标准输出文件, ERRFILE 是错误输出文件 ; 这里 PROGRAM.sh 通常是一个脚本文件, 内容如下 :

13 export OMP_NUM_THREADS=< OpenMP 线程数 < 带路径的程序名 chmod +x PROGRAM.sh 增加 PROGRAM.sh 的可执行属性例如 : $cat openmp_hello.sh export OMP_NUM_THREADS=40./openmp_hello $ chmod a+x openmp_hello.sh $ bsub W 5 -n 40 -q cpu -o %J.out -e %J.err./openmp_hello.sh 4. 串行作业提交 : bsub -W [hour:]minute -n 1 -q QUEUENAME -o OUTPUTFILE -e ERRFILE PROGRAM 必须用 -W 指定作业运行时间 ( 用户最好根据实际情况进行估算 ); 通过指定 QUEUENAME 可以将作业提交到不同的作业队列 ; OUTPUTFILE 是标准输出文件, ERRFILE 是错误输出文件 ; 这里 PROGRAM 是带路径的程序名例如 : $ bsub W 5 n 1 q cpu o %J.out e %J.err./test 使用 bsub 脚本多次提交具有相同参数的作业 bsub 命令可以使用输入脚本多次提交具有相同参数的作业, 其格式为 : #BSUB -W [hour:]minute #BSUB -n Z #BSUB -R "span[ptile=y]" #BSUB -q QUEUENAME #BSUB -o OUTPUTFILE #BSUB -e ERRFILE mpijob.mpitype PROGRAM 该脚本中的参数与命令行下 : bsub -W [hour:]minute -n Z -R "span[ptile=y]" -q QUEUENAME -o OUTPUTFILE -e ERRFILE mpijob.mpitype PROGRAM 命令的参数含义相同

14 提交作业时, 仍使用 bsub 命令, 格式为 : $ bsub < bsub 脚本名推荐用户使用脚本模式提交作业使用脚本模式提交时, 在输出文件中包含提交作业的脚本信息, 便于用户分析作业的运行情况并避免多次命令行输入的误操作例如 : $ cat test.bsub #BSUB -W 10 #BSUB -n 40 #BSUB -R "span[ptile=20]" #BSUB -q "cpu" #BSUB -o %J.out #BSUB -e %J.err./mpijob.openmpi./test.openmpi $ bsub < test.bsub bsub 命令执行结果当您执行 bsub 命令成功提交一个作业之后, 系统会返回一条类似于 Job <1655> is submitted to queue <cpu>. 的信息, 这条信息显示了您所提交作业的作业号 ( 第一个尖括号里面的内容 ) 以及您的作业提交到的队列 ( 第二个尖括号中的内容 ) 建议您每次提交作业后将对应的作业名及作业号记录下来, 因为您在提交作业之后对您的作业进行操作或是在作业退出之后查看作业历史和作业输出信息时, 都必须用到这个作业号 2.5. 查看作业运行情况 bjobs 的功能是查看系统中作业的情况直接执行 bjobs 命令会得到当前用户正在排队和正在运行的作业列表 bjobs 命令的执行结果很直观地依次列出了作业的作业号用户名作业状态作业所在队列提交作业的结点作业运行所占用的结点作业名以及作业提交的时间 bjobs 命令的常用参数如下 :

15 -a: 在不加任何参数的情况下, 看到的只是自己提交的并且尚未结束的作业如果您使用了 -a 参数, 除了未完成的作业之外, 还能看到一些刚结束不久的作业的信息 -u: 如果需要查看系统中别的用户的作业情况的话, 您只需加上 -u 参数, 比如想查看用户 user1 的作业情况, 那么执行 bjobs -u user1 即可如果执行了 bjobs -u all 的话, 您将会看到所有用户的作业信息 -l: 加上 -l 参数可以查看查看某个作业的详细信息, 具体格式是 bjobs -l JOBID 下表对常见的作业状态解释 : 状态 PEND RUN DONE EXITED PSUSP USUSP SSUSP 含义作业正在队列中排队作业正在被执行作业已经执行完毕, 并且正常退出作业非正常退出作业在排队过程中被挂起作业在运行过程中被人为强制挂起作业在运行过程中被系统挂起 2.6. 查看运行中作业的标准 ( 屏幕 ) 输出信息在作业运行的过程中, 可以使用 bpeek 命令随时查看作业的标准输出信息以确定作业是否在正常的运行命令格式是 bpeek JOBID 2.7. 挂起和释放作业挂起作业作业提交之后, 在排队过程中, 可能需要暂时不让这个作业被调度执行, 或是作业已经在运行的时候, 希望它暂时停下来, 那么可以通过挂起作业来达到目的系统中挂起作业的命令是 bstop, 只需执行 bstop JOBID 即可, 如 bstop 5060 如果作业已经运行, 那么它的状态将变为 USUSP, 如果作业还尚未

16 运行, 那么它的状态则变为 PSUSP 释放作业与作业挂起操作相对应的是释放操作, 该操作能够让被挂起的作业重新被激活, 允许系统对其进行调度并执行释放作业的命令是 bresume, 命令的格式和挂起操作是一样的, 即 bresume JOBID, 对应上面的例子, 现在我们需要将 5060 号重新释放, 那么执行 bresume 5060 即可 2.8. 删除作业如果要删除某个作业, 可以很简单的通过 bkill JOBID 来杀掉作业, 不管该作业是在排队或是已经被执行 2.9. 查看作业输出信息提交作业时以 -o 参数指定了输出文件, 作业的标准 ( 屏幕 ) 输出将会保存在这个输出文件中查看历史作业信息作业运行完毕之后, 作业的相关信息会被保存在系统中, 可以用 bhist 命令随时来查看如果作业结束已经很久了, 需要用 bhist -a 才能看到它们了同 bjobs 一样, 默认情况下, 系统给出的是当前用户提交的作业的基本信息的列表, 如果需要查看别人的作业信息, 或是了解作业的详细情况, 您还需要加上 -u -l 等参数, 其功能与 bjobs 的对应参数相似

17 2.11. 其它命令简介 bqueues 命令 bqueues 命令用于查看队列信息, 默认情况下,bqueues 命令列出作业系统中定义的全部队列信息, 包括队列名优先级状态信息最大可用资源数排队作业数运行作业数等信息 brequeue 命令 brequeue 命令用于作业重新排队, 用户可以使用命令 brequeue JOBID 终止指定的隶属于自己的并正在运行的作业, 该作业将以原有的作业号重新进行排队, 重新获得调度运行 btop/bbot 命令 btop/bbot 命令用于改变处于 PEND 状态的作业获得调度的次序, 用户只能改变自己处于同一队列内的作业的相对次序,btop 使指定作业在同一队列内的, 所有同优先级的作业中最先获得调度 bbot 则相反 bhosts 命令 bhosts 命令用于查看结点状态, 处于 ok 状态的结点表示该节点可以接收用户作业结点上已经有作业运行或者负载过高都会导致 closed 状态

深腾7000 ＊ SGI Altix4700胖节点使用指南

深腾7000 ＊ SGI Altix4700胖节点使用指南深腾 7000 使用指南中国科学院计算机网络信息中心超级计算中心 2010 年 5 月 11 日注意事项 1. 深腾 7000 使用指南最新版可登陆深腾 7000 后到 /home_soft/doc 目录下载 2. 请用 bqueues 命令查看可用队列, 用 bqueues l < 队列名查看队列具体设置对队列资源有特殊要求的用户, 可与客服部联系开通专用队列 3. 胖节点部分为 IA64