( 注 : 在 Windows 有的终端工具在自动执行配置脚本时不出现界面, 出现登录僵死状态, 如 Xmanager, 这时可先使用其它工具如 putty 登录, 配置好之后再用原来工具登录则不会出现问题 ) 登录后如需临时更改编译环境, 可执行 : source /opt/cluster/s

Size: px

Start display at page:

Download "( 注 : 在 Windows 有的终端工具在自动执行配置脚本时不出现界面, 出现登录僵死状态, 如 Xmanager, 这时可先使用其它工具如 putty 登录, 配置好之后再用原来工具登录则不会出现问题 ) 登录后如需临时更改编译环境, 可执行 : source /opt/cluster/s"

贴缮霍
5 years ago
Views:

1 一系统环境计算化学集群服务器简明使用指南 v1.10 ( ) 1) 硬件环境 : 头结点一个, 机器名 chemistry.sccas.cn/console/node00, 双路四核 Intel Xeon E5320 处理器,1.86G 主频,2*4M 缓存,4G 内存,6 块 400G SATA 硬盘, Raid5 计算结点八个, 机器名 node01-node08 双路双核 AMD Opteron 2220 处理器, 2.8G 主频,2*1M 缓存,node01-node04 四个结点为 8G 内存,node05-node08 四个结点为 4G 内存, 一块 300G SATA 硬盘结点间通过 2 套以太网络进行连接, 一条为千兆网, 用于计算数据和文件系统, 另一套为百兆网, 用于管理通讯 2) 软件环境 : CentOS 5.1 x64 操作系统, 内核版本 el5 GNU/Intel C/C++/Fortran 编译器 MPICH1/MPICH2/IntelMPI/OpenMPI 并行编程环境 Intel MKL/IPP 数学函数库 Torque 作业资源管理系统 Ganglia 集群监控系统 3) 文件系统 : node01-node08 通过 NFS 挂载 console 的 /opt 和 /home 目录,node01- node08 本地磁盘空间尚未被利用因此本集群 I/O 性能并不可靠, 建议不要在该集群上运行会造成大规模 I/O 的程序二编译环境目前在计算化学集群服务器上推荐使用的编译器及 MPI 并行环境为以下几种组合 : 1. Intel C++/Fortran EM64T 编译器和 MPICH2; 2. Intel C++/Fortran EM64T 编译器和 IntelMPI; 3. Intel C++/Fortran EM64T 编译器和 OpenMPI 在每个用户主目录下有一个名为.compenv 的隐藏文件, 该文件保存着用户的编译环境配置如该文件被删除或不存在 ( 比如新用户 ), 则在下次登录时会自动执行配置脚本, 重新配置编译环境配置时根据提示选译上述对应的编译器和 MPI 实现版本的选项即可 ( 上述 3 项分别对应于选项 1-2/1-3/1-4, 注意不要选错 )

2 ( 注 : 在 Windows 有的终端工具在自动执行配置脚本时不出现界面, 出现登录僵死状态, 如 Xmanager, 这时可先使用其它工具如 putty 登录, 配置好之后再用原来工具登录则不会出现问题 ) 登录后如需临时更改编译环境, 可执行 : source /opt/cluster/sccas/config-compenv 执行上述语句后, 当前编译环境被改变, 但在下次登录时仍然保留原有配置如需永久改变编译环境, 可以删除主目录下的.compenv 文件, 或是执行 : source /opt/cluster/sccas/config-compenv -o ~/.compenv 要验证当前并行编译环境, 可执行以下一些命令进行判断 : which mpicc ( 检查所使用的 MPI 实现版本 ) mpicc -show ( 检查 MPI 编译器绑定所使用的编译器 ) 三作业提交运行计算化学集群服务器上目前安装的是 Torque 资源管理系统, 该系统是著名的开源系统 OpenPBS 的后续开源版本 (PBS Pro 是 OpenPBS 的商业化版本 ), 命令基本兼容于 OpenPBS 和 PBS Pro Torque 资源管理系统的官方网站是 : 在该网站上可以下载该软件的源码和配置使用文档如需进一步了解, 可自行进行下载阅读学习下面简单说明如何在计算化学集群服务器上使用 Torque 提交运行作业 : 1) 作业脚本在 Torque 中, 作业脚本用来描述运行作业 ( 程序 ) 所需执行的命令和程序, 也可以用来配置该作业的参数 ( 参数一般在提交作业时通过命令行直接指定 ) 用户通过使用 qusb 提交该作业脚本, 使脚本文件中所写的程序和命令得到执行 ( 与深腾上的 LSF 不同, bsub 直接提交可执行程序的名称, 这一点请区分开 ) 实际上, 当作业得到调度执行之后, 系统将远程登录到被分配的主计算结点并执行所提交的作业脚本中的内容特别需要注意的是, 与平时正常登录一样, 在执行作业时系统自动远程登录计算结点后的初始目录 ( 也就是开始执行作业脚本时的目录 ) 仍然是用户的主目录, 而不是用户提交作业时所在的目录而用户提交作业时所在的目录则被保存为 $PBS_O_WORKDIR 环境变量传递给执行作业的登录进程因此, 当用户提前作业时的工作目录不是用户的主目录时, 作业脚本里正式内容的第一句, 通常应该是将工作目录切换至之前提交作业的目录, 即 :

3 对于串行程序和纯 OpenMP 并行程序, 作业脚本只需按照的 shell 脚本书写方法, 在脚本中调用程序使其执行即可, 假设程序名为当前目录的 foo_se, 则脚本中可以这么写 ( 文件名请任意指定 ): # 假设该脚本文件名为 sh2 # 如果是 OpenMP 程序, 此处先设置 OpenMP 执行变量./foo_se arg1 arg2... 对于 MPI 并行程序, 在计算化学集群上的 Torque 系统中是通过 mpiexec 软件包使程序得到执行, 调用该软件包的过程已经封装在了 mpijob 这个命令脚本中 mpijob 命令默认以 MPICH1 方式执行 MPI 程序如并行环境配置使用的是 MPICH2/IntelMPI/OpenMPI 的话, 则需加上相应的 -mpich2/-intel/-openmpi 参数如 : # 假设该脚本文件名为 sh2 # 执行 MPICH1 并行程序 mpijob./foo_mpi1 arg1 arg2... # 假设该脚本文件名为 sh3 # 执行 MPICH2 并行程序 mpijob -mpich2./foo_mpi2 arg1 arg2... # 假设该脚本文件名为 sh4 # 执行 IntelMPI 并行程序 mpijob -intel./foo_mpi2 arg1 arg2... # 假设该脚本文件名为 sh5 # 执行 IntelMPI 并行程序 mpijob -openmpi./foo_mpi2 arg1 arg2... 2) 作业提交对于 Torque 系统, 使用 qsub 命令提交作业, 最常用的格式如下 : qsub -l nodes=x:ppn=y -q QUEUE SCRIPT 其中 X 代表所需结点数,Y 代表每结点使用 CPU 数,QUEUE 代表队列名,SCRIPT 是作业脚本名

4 集群中有两个队列,default 和 openmp, 一般情况下 -q 参数可以不指定, 默认提交到 default 队列目前集群总共有 8 个结点, 每结点有 4 个逻辑 CPU, 系统设置为每个提交到 default 队列的作业最多使用 24 个 (6*4)CPU, 运行时长为 15 天 openmp 队列只允许提交单结点的作业, 运行时长最大为 20 天另外, 如果程序在单结点上需要占用 4G 以上内存, 在 -l 参数后再加上 :bigmem 选项, 即 -l nodes=x:ppn=y:bigmem, 这样系统会将作业分配到 node01-node04 这四个内存为 8G 的结点中运行作业提交举例如下 ( 例中 sh1 sh2 sh3 脚本为前面举例所写的脚本 ): qsub -l nodes=1:ppn=1 sh1 (sh1 是之前所写串行程序脚本, 故使用单 CPU 执行 ) qsub -l nodes=2:ppn=4 sh2 ( 用 2 个结点每结点 4 个共 8 个 CPU 执行 MPI 程序,sh2 中指定用 MPICH1 方式执行 ) qsub -l nodes=4:ppn=1:bigmem sh3 ( 用 4 个结点每结点 1 个共 8 个 CPU 执行 MPI 程序,sh3 中指定用 MPICH2 方式执行, 并且使用大内存结点 ) qsub 提交作业后, 系统返回 '1051.node00' 类似的输出, 其中前面的数字 1051 代表作业号, 作业号是 Torque 系统中每个作业所拥有的唯一的代号需要提示的是, 如果程序执行过程中有标准输入过程 ( 比如需要从键盘输入指定变量 ), 那么建议自行使用重定向方式将其从文件输入当然,qsub 同样提供 -I 参数进行交互式作业提交, 具体使用方法在此不再详叙, 可参考官方手册自行尝试 3) 作业状态查看使用 qstat 命令, 可以看到系统中所有正在排队和运行的作业,qstat 默认输出类似以下信息 : Job id Name User Time Use S Queue node00 sh1 user1 10:02:03 R default 1057.node00 sh2 user2 25:13:27 R default 1061.node00 sh3 user4 0 R default 1062.node00 sh1 user1 0 Q default 每内代表的含义是作业号, 作业名 ( 默认为脚本名 ), 用户名, 使用 CPU 时间, 状态 ( 常用状态 :R 代表运行,Q 代表排队,E 代表退出,H 代表挂起 ), 队列名

5 如需查看指定作业号的作业, 执行 : qstat jobid1 jobid2... jobid1 和 jobid2 代表指定作业号, 可以一次查看多个作业如需查看指定用户的作业, 可以使用参数 -u: qstat -u user1 该方式输出和默认略有不同, 但大同小异如需查看特定作业详细信息, 则应使用 -f 参数 : qstat -f jobid 该命令将会输出作业号为 jobid 的作业的详细信息 4) 作业挂起释放和删除使用 qhold 命令可以挂起作业, 使其不被调度执行 ; 使用 qrls 命令可以将挂起的作业释放, 使之可以被调度执行 ; 而使用 qdel 命令即可删除作业, 不论该作业是否正在运行当中这些命令的具体格式为 : qhold jobid1 jobid2... qrls jobid1 jobid2... qdel jobid1 jobid2... 其中 jobidx 代表需要操作的作业号, 可以一次操作多个作业 5) 作业的输出结果作业运行完成或异常退出之后, 在用户提交作业的目录下会生成 'jobname'.o'jobid' 以及 'jobname'.e'jobid' 两个文件 ( 比如 sh1.o1066 和 sh1.e1066), 分别记录作业执行时写往标准输出设备和标准错误输出设备的输出信息, 其中 jobname 是作业名, 默认则是提交作业时的作业脚本名,jobid 则是作业号用户可以通过这两个文件查看和验证程序运行的结果同时, 建议在编写程序时尽量将程序运行结果输出到特定的磁盘文件而不是标准输出 ( 屏幕 ) 以上是 Torque 作业资源管理系统常用到的一些基本操作, 更加复杂的操作可以参考 Torque 官方网站上提供的文档另外, 如果遇到作业不能正常提交作业提交后不能被正常调度以及在使用 mpijob 命令配合 Torque 运行 MPI 并行程序时遇到了程序不能正确被执行的错误 ( 指的是没有得到系统的正确执行, 而非程序本身的错误 ) 等异常情况, 请及时来信或来电反馈相关信息, 谢谢大家配合该文档如有遗漏或不当之处, 请随时批评指出, 谢谢

二程序开发及调试环境 1) 基本编译环境目前在 Tesla GPU 集群上各节点均提供用于编译通用程序代码的 GCC 编译器, 能够编译 C/C++/Fortran 程序, 对应的命令为 gcc/g++/gfortran, 该编译器为系统默认安装, 安装路径位于 /usr 下另外在所有计算节点

二程序开发及调试环境 1) 基本编译环境目前在 Tesla GPU 集群上各节点均提供用于编译通用程序代码的 GCC 编译器, 能够编译 C/C++/Fortran 程序, 对应的命令为 gcc/g++/gfortran, 该编译器为系统默认安装, 安装路径位于 /usr 下另外在所有计算节点 Tesla GPU 集群服务器使用手册 v0.93 (2010-1-11) 一系统环境简介 Tesla GPU 集群服务器域名为 tesla.sccas.cn,ip 地址为 159.226.49.76( 暂定 ), 内部用户可以在办公网内直接使用 SSH 登录该集群, 外部用户同样需要经过防火墙身份认证之后 ( 认证过程请参见深腾 7000 远程登录指南 ) 再进行 SSH 登录数据的上传与下载仍然是通过