机群用户手册

Transcription

1 吉林大学高性能计算中心 机群用户手册 V2015 Hmyu 2015/12/18

2 一 系统硬件信息 截至 2014 年 3 月, 中心整体计算能力 50TFlops, 存储能力 272TB 中心的高性能计算平台具有高性能 高密度 绿色节能等优点 系统规模根据校内用户调研结果按需而定, 综合平衡各项性能, 具有很高的性价比和适用性 吉林大学高性能计算平台 计算能力计算节点登录节点 CPU 核数磁盘总容量计算网络操作系统 60TFlops 150 片双子刀片 : 每刀片含两台独立的计算节点, 每节点配置 2 颗 Intel Xeon X5650 CPU,24GB ECC 内存 10 片双子刀片 : 每刀片含两台独立的计算节点, 每节点配置 2 颗 Intel Xeon X5650 CPU,48GB ECC 内存 40 片独立刀片 : 每刀片一个计算节点, 配置 2 颗 Intel Xeon E5-2692V2,64GB ECC 内存 8 片独立刀片 : 每刀片一个计算节点, 配置 2 颗 Intel Xeon E5-2650,32GB ECC 内存 ( 曙光 ) 2 台胖节点 : 每节点含 4 颗 Intel Xeon E7520 CPU,96GB ECC 内存,8*1T SATA 硬盘 4 台胖节点 : 每节点含 4 颗 Intel Xeon E CPU,96GB ECC 内存,8*1T SATA 硬盘 6 台登录节点, 每节点 2 颗 Intel Xeon X5650 CPU,24GB ECC 内存 5088 核 272TB Mellanox QDR Infiniband(40Gb) RedHat Linux AS x86_64 版本 文件系统 LUSTRE 并行文件系统 作业调度系统 Platform LSF HPC 7 Update 6-1-

3 1. 环境变量设置脚本 二 系统环境设置 环境变量设置脚本的用途是告诉系统相关的应用程序及程序依赖的 lib 文件 (.a 或.so) 所在的位置 文件名 environments intel4 gnu47 gnu48 icompiler11 icompiler13 openmpi1.6_gnu openmpi1.6_intel openmpi1.8_intel mpich3.1 /data1/env 下的预定义环境变量脚本 用途 Intel 11 的编译器和 MKL 以及 Intel MPI3.2.2 的环境变量设置 Intel 11 的编译器和 MKL 以及 Intel MPI4.0.3 的环境变量设置 GNU4.7.3 编译器环境变量设置 GNU4.8.2 编译器环境变量设置 Intel 的编译器 , 只含编译器环境变量设置 Intel 的编译器 , 含编译器环境变量设置和 MKL 的环 境变量设置 OpenMPI1.6.5+GNU compiler4.8.2, 编译器和 MPI 环境变量设置 OpenMPI1.6.5+Intel compiler13.1.1, 编译器和 MPI 环境变量设置 OpenMPI1.8+Intel compiler13.1.1, 编译器和 MPI 环境变量设置 MPICH3.1+Intel compiler13.1.1, 编译器和 MPI 环境变量设置 impi3.2 Intel MPI 版本 impi4.0 Intel MPI 版本 impi4.1 Intel MPI 版本 mkl10 Intel MKL 版本 mkl11 Intel MKL 版本 mkl13 Intel MKL 版本 fftw3.3.4 cmake 编译器设置 数学库 FFTW 版本 3.3.4, 编译时需要的环境变量设置, 含单双精度 cmake 的环境变量设置脚本 当需要部署应用程序的时候, 推荐使用源码包在本地编译部署, 这样优化等级比较高的时候应用程序的执行效率会比较高 而且可以方便的修改编译参数和源码的代码 主流的 C/C++ 编译器包括 MicroSoft 的 CL GNU 的 gcc Intel 的 icc PGI 的 pgcc 及 Codegear 的 bcc( 原来属于 Borland 公司 ) Windows 上使用最多的自然是 cl, 而在更广阔的平台上,gcc 则是 C/C++ 编译器的首选 大多数情况下,x86_64 服务器使用 intel 编译器会获得更好的数值计算速度 高版本的编译器校验会更严格, 因此有些时候用最新版本编译器 -2-

4 出现大量语法错误的源码包尝试换一个较低版本的很可能会编译成功 一般而言, 应用程序使用的编程规范会滞后于编译器的更新 因此如果不是追求新版本软件的新特性支持, 不要盲目追求高版本软件 编译环境 CC CXX F77 FC GNU gcc g++ gfortran gfortran GNU gcc44 g++44 gfortran44 gfortran44 GNU gcc g++ gfortran gfortran GNU gcc g++ gfortran gfortran Intel All Version icc icpc ifort ifort OpenMPI All Version mpicc mpicxx mpif77 mpif90 MPICH3.1 mpicc mpicxx mpif77 mpif90 红色标记的版本在使用之前需要设置环境变量 eg.source /data1/env/gnu48 某些时候需要设置不同的编译器,intel 编译器使用不同版本之前需要 source 一下对应的环境变量文件,gnu4.1 和 4.4 编译器直接部署到 login 节点的 /usr/bin 下, 因此直接引用即可, 但是不同的版本有不同版本的后缀 例如 :./configure CC=gcc44 CXX=g++44 F77=gfortran44 FC=gfortran44 3. 数学库 注意设置 LD_LIBRARY_PATH 和 PATH PATH 设置可执行文件的搜索路径 LD_LIBRARY_PATH 设置静态库和动态库的搜索路径.a.so 据厂商测试, 最新版本的 intel mkl 的效率超过 gotoblas2 和 lapack 数学库位置 Fftw3.0.1 Fftw3.1.2 Fftw3.2.2 Fftw3.3.4 Gotoblas2 Lapack3.4.2 Lapack3.5.0 mkl mkl mkl /data1/soft/libs/fftw /data1/soft/fftw3.1.2 /data1/soft/fftw /data1/soft/fftw3.3.4 子目录首字母 :i=intel g=gnu /data1/soft/gotoblas 子目录为编译器版本 /data1/soft/lapack/3.4.2 子目录为编译器版本 /data1/soft/lapack/3.5.0 子目录为编译器版本 /data1/intel/mkl/ /data1/intel/compiler/11.1/072/mkl /data1/intel/composer_xe_ /mkl -3-

5 1. 作业脚本模板 三 应用软件信息 使用 gromacs 的脚本无需用户另行设置环境变量, 脚本内直接包含, 避免同时使用多个版本的时候会出现冲突 当多个人共用一个用户帐号的时候, 推荐大家把必要的环境变量设置写到作业提交脚本里面去, 避免同时部署多个版本的软件导致冲突 abaqus.lsf dftb.lsf gaussian.lsf 文件名 gromacs454float.lsf gromacs465double.lsf gromacs465float.lsf molpro.lsf ms6.lsf ms.lsf namd.lsf pwscf.lsf siesta.lsf vasp.lsf normal-parallel.lsf intelmpi.lsf openmpi.lsf openmp.lsf 2. 应用软件部署 /data1/scripts 下的文件列表 ABAQUS 作业提交脚本模板 DFTB+ 作业提交脚本模板 Gaussian 作业提交脚本模板 用途 GROMACS4.5.4 单精度作业提交脚本模板 GROMACS4.6.5 双精度作业提交脚本模板 GROMACS4.6.5 单精度作业提交脚本模板 MOLPRO 作业提交脚本模板 MS6.0 castep 作业提交脚本模板 MS castep dmol3 discover 作业提交脚本模板 NAMD 作业提交脚本模板 PWSCF 作业提交脚本模板 SIESTA 作业提交脚本模板 VASP 作业提交脚本模板 常规并行作业提交脚本模板 IntelMPI IntelMPI 作业提交脚本模板 OpenMPI 作业提交脚本模板 Openmp 并行模式作业提交脚本模板 开源软件统一部署, 如果需要特别编译参数请事先沟通, 可以为特殊需求用户单独生成可执行文件 商业软件可以选择统一部署和自行部署 如需要统一部署商业软件, 请上传安装包 安装文档和 licenses 文件, 并提供销售商服务电话 商业软件请务必确保自己拥有合法授权, 否则发表论文的时候会遇到版权问题 如有疑问请详询系统管理员 -4-

6 四 LSF 常用命令 #BSUB 脚本常用参数 : #BSUB -q normal #BSUB -app normal #BSUB -a intelmpi #BSUB -J MYJOBNAME #BSUB -n 12 #BSUB -R "span[ptile=12]" #BSUB -R "cu[usablecuslots=12]" #BSUB -R "[hosts=1]" #BSUB -o %J.vasp-output.jlu-hpcc #BSUB -x #BSUB m c1b2 c1b3 c1b4 mpirun.lsf path/vasp.5.2 export OMP_NUM_THREADS=8 dos2unix * 作业使用的队列 queue 作业属于哪种应用程序 作业使用的 MPI 作业名 作业使用的 cpu 核数 cores 当需要跨节点计算的时候, 指定每个节点使用的 核数 每 12 核当作一个计算单元, 以 12 核为单位迚 行资源预留 确保作业丌跨节点计算, 只使用一个 host 里面 的 cpu 核 作业输出文件, 一般用于排错 独占作业节点, 即使上面还有空核也丌允许其他 作业使用 在指定节点内选择机器运行作业 MPI 并行应用程序调用诧句 openmp 并行设置并行线程数 把当前目录下所有文本文件的格式从 dos 格式 转换为 unix 格式 bsub < 脚本文件名提交作业 bjobs 查看自己的所有运行任务情况 ; 说明 : 输入 bjobs 后, 会列出当前用户正在运行的所有作业, 最左边一列数字是每个作业的 JOBID, 一些其他命令使用的时候需要调用这个 JOBID bjobs -l 查看所有运行任务的详细情况 bjobs -l JOBID 查看 JOBID 这个任务的详细情况 bpeek JOBID 查看某任务屏幕输出 bkill JOBID 终止某任务运行 bkill JOBID1 JOBID2 JOBID3 终止多个任务运行 bstop JOBID 临时挂起某个作业, 为其它作业腾出计算资源 bresume JOBID 恢复由 bstop 挂起的作业 btop JOBID 把指定作业放到队列的最前面 bbot JOBID 把指定作业放到队列的最后面 -5-

7 五 常用 linux 命令 & 后台执行作业标示符 nohup 如果你正在运行一个迚程, 而且你觉得在退出 terminal 窗口时该迚程还丌会结束, 那么可以使用 nohup 命令 该命令可以在你退出帐户 / 关闭终端乊后继续运行相应的迚程 nohup 就是丌挂断的意思 ( no hang up) nohup command & 在后台运行一个丌挂断的作业 ls 列出当前目录下的所有内容 ll 同 ls l 每行列一个文件或目录, 显示更详细的信息 cd 目录名迚入指定的目录名 cd 迚入自己的 home 目录 mkdir 目录名在当前目录下创建一个目录 rmdir 目录名删除当前目录下的一个空目录 rm 文件名删除一个文件 rm Rf 目录名强制删除一个目录, 包括目录下的文件和子目录 mv src dest 把 src 下的内容移动到 dest cp src dest 把 src 复制到 dest cp /data1/scripts/vasp.lsf. 把 /data1/scripts 下的 vasp.lsf 复制到当前目录下 export A=123 给变量 A 赋值 123 echo $A 显示变量 A 的值 man ls 显示命令 ls 的帮助, 更简单的办法是用 ls -help source 文件名把一个文件的内容当成是 shell 来执行. 作为目录的时候表示当前目录, 作为操作符在 bash 里面等同于 source -6-

8 .. 作为目录的一部分, 代表当前目录的父目录 vi 文本文件名 linux 下的文本编辑器, 很强大 vim 比 vi 更强大 dos2unix 转换 dos/win 平台下的文本文件到 unix 格式 ccmake 编译源码前的配置工具 configure 编译源码前的配置工具 make 编译源码 make install 安装源码 chmod u+x 文件名赋予文件可执行权限 chmod R 755 目录名共享目录或文件, 其他人可以查看和执行 chmod R 700 目录名防止别人看你的数据和应用程序 pwd 显示当前目录的全路径 which 文件名查找一个可执行文件是否在搜索路径里面, 前提是你有执行这个文件的权限 cat 文本文件名查看文本文件内容 more 文本文件名查看文本文件, 每屏暂停一下, 等同于 cat 文本文件名 more tail 文本文件名查看文件的末尾 10 行 tail 文本文件名 n 20 查看文件的末尾 20 行 管道操作符, 把前面命令的输出当作后面命令的输入 < > 都是重定向操作符, 分别用于重定向标准输入和标准输出 linux 下是大小写敏感的, 请特别注意!!! -7-

9 六 如何编译软件 1. 选定编译软件, 设置对应的环境变量 a) GNU 编译环境系统里面已经部署, 使用 GNU 编译环境, 免费软件 source /data1/env/gnu4.8 b) Intel 编译环境系统里面已经部署, 使用 Intel 编译器, 收费软件 source /data1/env/icompiler13 c) PGI 编译环境需要自行部署, 使用 PGI 编译器, 收费软件 d) OpenMPI 编译环境 OpenMPI 自身没有编译器, 源码安装 OpenMPI 的时候使用那个编译器来编译安装的, 就调用那个编译器 系统部署有对应 Intel Compiler 和 GNU Compiler 两种 source /data1/env/openmpi1.6_intel source /data1/env/openmpi1.6_gnu 执行以上某个环境变量后可以通过 ompi_info more 查看 OpenMPI 的相关信息, 包括编译器信息一般来说在 x86_64cpu 的平台上, IntelMPI 编译器编译速度最慢, 但是编译生成的代码执行效率最高, 特别是数值运算 目前中心的硬件环境只支持运行在 CPU 上的并行, 不支持 GPU 和 MIC 2. 编译软件 a) 自动配置软件 configure 或 cmake, 这两个命令后面会跟随大量的参数 make make install b) 手动修改配置文件,vasp vi makefile vi makefile.inc make make install c) 手动编译 icc -o hello.o hello.c icpc -o test1.o test1.cxx ifort -o test2.o test2.f77 ifort -o test3.o test3.f -8-

10 1. 选定要使用的应用软件 七 如何开始计算 系统中已经部署的开源软件可以直接使用, 没有部署的软件请自行部署或联系系统管理员协助部署 商业软件请务必确保自己具有合法授权才能使用 部署商业软件请务必确认是适合 linux 和 x86_64 平台的版本, 其他平台的软件版本无法部署在我们的计算平台 2. 编制作业脚本 使用 ssh 客户端软件如 putty 等登录到 login4 或 login5 节点, 在 HOME 目录下的 workplace 子目录里面合适的位置建立作业子目录, 进入此作业目录, 使用 vi 或 vim 软件编写作业脚本 可以从 /data1/scripts 里面寻找合适的脚本模板, 或者请系统管理员帮助, 或者自己编制作业脚本 建议命名作业脚本文件的时候使用.lsf 扩展名 作业脚本里面一般有三类格式 : 脚本首行的 #!/bin/sh 别动, 这是告诉操作系统脚本使用的 shell 的 a) 作业调度命令 : 以 # BSUB 开头的行, 是 lsf 作业调度软件的指令, 用于告诉作业调度系统你需要的资源和作业的属性 #BSUB -q normal # 使用 normal 队列 (queue) #BSUB -app normal # 应用程序是 normal 类型 #BSUB -a intelmpi # 使用 IntelMPI #BSUB -a openmpi # 使用 OpenMPI #BSUB -n 12 # 使用 12 核进行计算 #BSUB -J MYJOBNAME # 设置作业名 #BSUB -o %J.output # 作业输出文件,%J 是作业 ID b) 作业预备命令 : 包括执行必要的环境变量设置, 如 MPI 的环境变量设置, 应用程序可执行文件及库文件所在的路径信息等 export g09root=/data1/soft/gaussian09 # 设置应用程序路径 export MSVERSION=5.0 # 设置作业环境变量 dos2unix./* # 转换文本文件格式 export OMP_NUM_THREADS=n # 设置 OpenMP 并行的线程数 # 设置可执行文件的搜索路径 export PATH=$g09root/bin:$PATH # 设置库文件的搜索路径 export LD_LIBRARY_PATH=$g09root/lib:$LD_LIBRARY_PATH -9-

11 #IntelMPI source /data1/env/impi4.1 #OpenMPI source /data1/env/openmpi1.6_intel c) 作业执行命令, 与具体使用的应用程序并行模式有关 gaussian03 H10-C60H50-2.com #OpenMP 并行 mpirun.lsf./vasp.5.2 #MPI 并行 mpirun -lsb_mcpu_hosts -e "MPI_REMSH=rsh" $app $basename # 在作业执行命令里面包含环境变量设置 mpirun.lsf mdrun_mpid -s topol.tpr # 包含输入文件 3. 提交作业 借助合适的软件生成作业输入文件 使用 winscp 或 SSH Secure File Transfer Client 等软件上传作业数据文件 在作业子目录下提交作业 bsub < myjob.lsf 如上图所示, 作业的 jobid 就是 查看作业输出 bpeek 如上图所示 5. 查看作业状态 bjobs JOBID USER 作业号用户 ID -10-

12 STAT 作业状态, 一般有如下几种状态 : PEND 作业排队中 PSUSP 作业在排队状态被 bstop 挂起 RUN 作业正常运行中 USUSP 作业运行状态被 bstop SSUSP 作业运行状态因为不满足运行条件被系统自动挂起 DONE 作业正常完成, 退出码为 0 EXIT 作业非正常退出 UNKWN 作业状态异常, 多是作业节点 lsf 进程死亡或死机 WAIT 批量提交作业包在运行中, 这个作业处于等待状态 ZOMBI bkill 掉一个作业节点 UNKWN 的作业 QUEUE 作业队列名 FROM_HOST 提交作业的节点 EXEC_HOST 计算节点名称及每个节点上执行的核数 JOB_NAME 作业名称 SUBMIT_TIME 提交作业的时间 bjobs -d 可以查看最近完成或退出的作业 如果作业提交成功 30s 以后用 bjobs 看不到, 就用这个命令查看一下作业是否异常退出 EXIT, 正常结束的作业状态是 DONE 然后找这个作业的日志文件, 根据里面的错误信息进行纠错, 或寻求系统管理员获取技术支持 -11-

13 八 要注意的一些问题 1. Dos/Windows 和 unix/linux 的文本格式丌同 换行符 文件结束符 unix ^J LF 0A ^D 04 windows/dos ^M^J CR+LF 0D+0A ^Z 1A 在 win 平台下转换成 unix 格式的文本文件, 通过 ftp 上传的时候最好使用二进制方式上传, 避免出现格式问题 也可以在 linux 使用 dos2unix 命令来转换文本文件的格式 linux 里面常用的文本编辑器是 vi 或 vim 2. 提交作业有问题 在提交作业的时候系统会显示你一个作业号 jobid( 一般是 6 位数字 ), 查看提交作业的目录下是否有一个以作业号开始的文件, 然后联系管理员 ; 或者用 bjobs d 查看作业退出的原因 #BSUB -o %J.gromacs-output.jlu-hpcc 作业提交脚本有上面这样类似的一行非常重要, 这是在作业出现问题的时候提供重要信息的记录文件, 可以帮助系统管理员定位故障 3. 作业排队的原因 提交作业的参数有问题, 参数前后矛盾, 或没有足够的空余 CPU 核 还有些时候是提交作业的规模过大, 或计算软件出现重大错误, 导致计算节点死机或导致计算节点剩余的内存不足, 不能满足作业调度的条件 还要注意作业脚本里面的 #BSUB 前面的 # 是不能去掉的, 连在一起的这五个符号是保留字, 去了 # 会出错 span[ptile=12] 和 [hosts=1] 不要一起使用, 跨节点计算一般会指定每节点运行的核数 span[ptile=12], 使用单节点内的核数进行计算的时候才需要 [hosts=1] 例如 : 在一个只有 12 核的节点内想进行 24 核的计算在逻辑上是错误的, 作业也就无法运行了, 只能排队等候 4. 经常会用到的并行模式 在 lsf 调度软件环境里,MPI 并行的作业一般都是以 mpirun.lsf 来引导你的应用程序 mpirun.lsf mdrun_mpid -s topol.tpr OpenMP 并行的作业一般是直接运行你的应用程序, 这种程序一般 -12-

14 不跨节点运行 跨节点运行就需要额外的软件支持或是 MPI+OpenMP g03 H10-C60H50-2.com 5. 系统目录结构 每个用户有两个空间 : HOME 目录空间 workplace 目录空间 用户登录后就在这个目录, 每个用户 200GB, 用户自行部署软件使用执行 cd 命令或 cd ~ 命令都可以来到这里公用空间, 并行高速缓存空间, 定期清理执行 cd ~/workplace 即可来到这里 提交作业的时候一定要在 workplace 目录下, 还要注意这里面的计算结果要及时下载到你自己的机器里面去, 每个假期中心会根据 lustre 文件系统的表现决定是否重新初始化整个 lustre 系统, 这时候没有及时清理数据的用户会丢失数据 cd /data1/intel 各种编译器和 intel mkl cd /data1/soft 数学库和应用软件 cd /data1/scripts 常用的应用程序脚本模板文件 cd /data1/env 编译器 MPI mkl 的环境变量设置脚本 公共部署的应用程序和脚本等资源都在 data1 里面, 这些目录是系统动态挂载的, 想进入这些目录的时候请直接进入具体的子目录, 在 /data1 下用 ls 很可能是看不到这些子目录的 -13-

15 1. 登录 九 SSH 软件的使用 用户在 windows 或 Linux 下, 使用客户端, 通过 ssh 协议来链接 使用的客户端大家登录 login4.hpcc.jlu.edu.cn. 文本界面登陆软件 :SSH Secure Shell Client putty 外网用户登录 :login5.hpcc.jlu.edu.cn, 端口 内网用户登录 :login4.hpcc.jlu.edu.cn, 端口 222 输入服务器 IP 地址或域名 :login4.hpcc.jlu.edu.cn 用户名 :***** 密码 :****** 即可登陆服务器终端进行命令操作 外网用户如果不是教育网用户和国外用户, 请使用 VPN 拨号进入吉林大学校园网, 然后正常登录服务器即可 VPN 使用指南请看 vpn.jlu.edu.cn,vpn 服务由吉林大学网络中心提供, 仅限校内教工使用 文件传输 使用 winscp 或 SSH Secure File Transfer Client 外网用户登录 :login5.hpcc.jlu.edu.cn, 端口 内网用户登录 :login4.hpcc.jlu.edu.cn, 端口 作业提交和软件使用 用户登陆后, 用户可以在登录节点查看目录 编辑文件 查看作业 查看资源使用情况等 但是用户不允许在登录节点运行计算程序或前后处理程序, 只能以作业形式向作业调度系统提交, 由作业调度软件安排程序的具体执行节点 登录节点功能为管理用户登录等事务, 严禁在登录节点上直接运行程序, 会造成该节点很忙, 影响大家的使用 3. PUTTY 使用指南 通过 SSH 方式连接登录服务器, 用户可以使用命令行方式向 lsf 提交作业并查看作业相关信息 较小的 ssh 客户端有 putty, 绿色软件不需要安装 在吉林大学高性能计算中心 QQ 群的群共享里面可以下载相关软件和其他的文档, 群号 a) 下载 putty 软件 ( 如果是压缩文件请解压 ), 双击图标运行程序 -14-

16 b) 显示如下界面 在 hostname 位置填写登录服务器 IP 地址 c) 首次登录会出现以下对话框, 点击是 (Y) -15-

17 d) 登录界面如下, 输入在高性能计算中心申请的帐号, 回车后输入密码, 就正常登录到系统中了 e) 现在可以运行作业相关的命令或 linux 命令了 登录进来的目录就是你的 HOME 目录, 用 cd 或 cd ~ 命令可以回到你的 HOME 目录 HOME 目录下的 workplace 目录就是你计算用的目录 如果需要在 HOME 目录里面安装软件, 请建立子目录 如果要计算作业请在 workplace 里面建立子目录 如果账号多人共享, 良好的习惯是分别在 HOME 目录和 workplace 里面建立每个人姓名缩写的子目录, 然后每个人只在自己的子目录里面操作 -16-

18 十 常用的资源站点 GNU 编译器 Intel 编译器 PGI 编译器 CUDA OpenMP mpich mvapich OpenMPI FFTW GOTOBLAS2 LAPACK CSDN 论坛 CUDA 小木虫 NAMD LAMPASS WRF DFTB GAMESS

19 十一 中心联系方式办公电话 : 传真电话 : 单位主页 : 服务邮箱 QQ 群号 : 单位位置 : 吉林大学前卫南校区计算机楼 A125 通讯地址 : 长春市前迚大街 2699 号计算机楼 A125 邮政编码 :