5 whuTrainee

Size: px

Start display at page:

Download "5 whuTrainee"

备旦读穆
5 years ago
Views:

1 武汉大学曙光集群培训

2 目录 Shell 编程基础 Linux 操作系统培训并行集群调试作业调度系统的使用科学计算程序的编译运行

3 Shell 编程基础 Linux 操作系统培训并行集群环境搭建作业调度系统的使用 PBS/Torque 系统简介 PBS/Torque 的安装配置作业脚本与常用命令高级功能 (Torque+Maui) 科学计算程序的编译运行

4 PBS/Torque 系统简介

5 PBS/Torque PBS (Portable Batch System) PBS 最初由 NASA 的 Ames 研究中心开发, 为了提供一个能满足异构计算网络需要的软件包, 特别是满足高性能计算的需要它力求提供对批处理的初始化和调度执行的控制, 允许作业在不同主机间的路由

6 PBS 的组成主要有用户服务器 pbs_server, 作业调度器 pbs_sched, 节点执行器 pbs_mom 三部分组成, 三者之间协同工作, 共同实现作业管理作业调度和负载平衡等工作, 原理如下图 :

9 PBS/Torque 的安装配置

10 PBS 运行的前提条件服务器与计算节点的 rsh 必须能正常使用对某个用户的配置 ${HOME}/.rhosts, 加入所有主机名对所有用户的配置计算节点 /etc/hosts.equiv 是服务器名服务器 /etc/hosts.equiv 是所有计算节点名

11 安装服务器端用源码来安装 #./configure --set-serverhome=/var/spool/pbs --set-defaultserver=server_name #make #make install

12 服务器端的目录结构

13 服务器端的配置向 /var/spool/pbs/server_name 中添加服务器节点的主机名将集群中所有计算节点的主机名加入 /var/spool/pbs/server_priv/nodes 中, 每个节点一行, 如 node01 np=2 将 /var/spool/pbs/mom_priv/config 中的, $clienthost 改为 $clienthost server_name

14 安装配置客户端客户端 server_name 与 config 的路径和配置与服务器端的完全一样加为开机自动启动 chkconfig add pbs_mom

15 服务的启动服务器端启动修改 /etc/pbs.conf 把 start_sched=0 改为 1 /etc/init.d/pbs_server start 客户端启动 /etc/init.d/pbs_mom start

16 创建队列自动创建队列 #cd /var/spool/pbs #qmgr <pbs_config.sample

17 PBS 的使用步骤准备 : 编写描述改作业的脚本, 包括作业名, 需要的资源等提交 : 使用 qsub 命令将该作业提交给 PBS 服务器排队 : 服务器将该任务排入适当的队列调度 : 服务器检查各工作节点的状态是否符合该作业的要求, 并进行调度执行 : 当条件满足时, 作业被发给相应的执行服务器执行程序运行时执行服务器会收集程序的标准输出和标准错误流, 等程序结束时, 将这些信息返回给用户

18 PBS 作业脚本

19 脚本组成说明注释, 以 # 开头 PBS 指令, 以 #PBS 开头命令, 其他开头

20 简单脚本 # test.pbs, 列出所有节点 #PBS -l nodes=16 # oe output and error as output (do not create *.e*) # eo output and error as error (do not create *.o*) #PBS -j oe # send on event # a abort # b begin e end # n never #PBS -m ae # send to following user #PBS -M dawning@dawing.com.cn NP=$(wc -l $PBS_NODEFILE awk '{print $1}') echo "using nodes ("$NP"):" cat $PBS_NODEFILE

21 MPI 作业脚本 # Sample PBS script for MPICH #PBS -l nodes=16 #PBS -j oe #PBS -m ae #PBS -M dawning@dawning.com.cn NP=$(wc -l $PBS_NODEFILE awk '{print $1}') echo "nodes ($NP cpu total):" sort $PBS_NODEFILE uniq cd $PBS_O_WORKDIR mpirun -machinefile $PBS_NODEFILE -np $NP <filename>

22 PBS 的常用命令

23 提交作业 $ qsub test.pbs -l nodes=16 -l 用于描述作业需要的资源, 例如 : nodes=4 (4 节点每节点 1 个 CPU ) nodes=2:ppn=2 (2 节点每节点 2 个 CPU) nodes=1:ppn=2+2:ppn=1 (1 个双 CPU 节点和 2 个单 CPU 的节点 )

24 当前任务状态得到 PBS 的当前状态 :qstat

25 当前节点状态 pbsnodes - {a l }] [ -s server ] -a 列出所有结点及其属性, 属性包括 state 和 properties -c 清除结点列表中的 offline 或 down 状态设置, 使结点可以被分配给作业 -l 以行的方式列出被标记的结点的状态 -o 将指定结点的状态标记为 offline 这将帮助管理员暂时停止某些结点的服务 -r 清除指定结点的 offline 状态 -s 指定服务器

26 当前节点状态节点状态节点名 CPU 数

27 其他常用命令 qselect q [ 队列名 ] qdel - Deletes a task in the queue. qdel job_identifier... qhold - Suspends a job in the queue. qhold job_identifier... qrls - Reactivates a suspended job in the queue. qrls job_identifier... qrerun 重新运作作业 qmove 目标队列作业 ID

28 PBS 服务器管理

29 PBS 服务器管理命令

30 设置服务器级的访问控制 s s acl_host_enable=true 指明是否使用 acl_hosts 属性, 缺省为 false s s acl_hosts+=hostname.domain 缺省值允许所有的主机 s s acl_user_enable=true s s acl_users+=user@hostname.domain

31 设置队列级的访问控制 s q qname acl_host_enable=true s q qname acl_hosts+=hostname.domain s q qname acl_user_enable=true s q qname acl_users+=user@hostname.domain s q qname acl_group_enable=true s q qname acl_groups=group_name,[ ] 缺省为允许所有组

32 设置服务器与队列的资源限制服务器级 s s resources_default.resource_name=value 队列级 s q qname resources_default.resource_name=value

33 资源作业执行中需要的东西例如 : 某个特定的节点某个软件包, 或者是 CPU 时间, 内存等 qsub l cput=00:10:00 script

34 资源描述 cput 作业总共需要的 CPU 时间. file 作业要创建的文件大小. nice 作业优先级 (nice 值 ). pcput 作业中单个进程需要的 CPU 时间. pmem 作业中单个进程需要的物理内存大小. pvmem 作业中单个进程需要的虚拟内存大小. vmem 作业总共需要的虚拟内存大小. walltime 作业运行的实际时间. arch 作业需要的系统体系结构. host 作业运行的节点名. nodes 作业运行需保留的节点数. other 其他资源. software 作业需要的软件的名称.

35 正在运行的作业数目限制服务器级 s s max_running=value( 最多正在运行作业的数目 ) s s max_user_run=value( 最多单个用户作业数目 ) s s max_group_run=value( 最多单个组任何用户运行的作业数目 ) 队列级 s q qname max_running=value s q qname max_user_run=value s q qname max_group_run=value

36 PBS 高级功能

37 安装 Maui 作业调度工具 tar -zxf maui-3.2.6p19.tar.gz./configure --with-pbs=/usr/local make make install 配置 service pbs_sched stop service maui.d restart

38 Maui 配置 vi /usr/local/maui/maui.cfg RMPOLLINTERVAL 00:00:10 // 资源信息更新时间 DOWNNODEDELAYTIME 48:00:00 // 设置节点离线最长时间 JOBNODEMATCHPOLICY EXACTNODE // 按照节点计算资源 NODEACCESSPOLICY SHARED // 节点可以被多个任务使用 BACKFILLPOLICY NONE // 使作业按照发送先后顺序获 // 取节点资源 RESERVATIONPOLICY CURRENTHIGHEST// 作业调度优先级 NODEALLOCATIONPOLICY CPULOAD // 根据 CPU 负载决定资源获 // 取顺序关于 MAUI 各个配置参数的意义, 请查看

39 Maui 高级配置对用户组进行修饰 USERCFG[DEFAULT] MAXJOB=16 MAXNODE=16 GROUPCFG[zxyang] MAXPROC=32 GROUPCFG[shma] MAXPROC=8 GROUPCFG[txwang] MAXPROC=8 GROUPCFG[xqdai] MAXPROC=32 对节点进行修饰 NODECFG[DEFAULT] MAXLOAD=2.5 NODECFG[node031] MAXJOB=2 PROCSPEED=600 PARTITION=small 对节点与用户进行修饰 SRCFG[tmp1] HOSTLIST=node2,node3,node4,node5,node6,node7,node8,node14,node15 SRCFG[tmp1] USERLIST=accelrys,master,doctor,wlliu,nanosun,tanxin,myl SRCFG[tmp1] PERIOD=INFINITY

40 PAM 认证设置限制用户绕过作业调度提交作业 vi /etc/security/access.conf -:ALL EXCEPT root shi:all vi /etc/pam.d/system-auth account sufficient /lib64/security/$isa/pam_pbssimpleauth.so account required /lib64/security/$isa/pam_access.so

41 作业调度记账系统 (pbsacct) 下载地址 : ftp://ftp.fysik.dtu.dk/pub/pbs/ 使用方式 : # pbsacct /var/spool/torque/server_priv/accounting/200804* 历史作业查询 : Usage: /usr/local/bin/joblist (-j Jobid -n UserName) Date joblist -j 查询 jobid 为发生于的作业情况 joblist -n bdb 查询用户 bdb 发生于的作业情况 joblist -n bdb * 采用通配符方式查询用户 bdb 的作业情况

42 Shell 编程基础 Linux 操作系统培训并行集群环境搭建作业调度系统的使用科学计算程序的编译运行数学函数库的编译与使用科学计算程序的编译运行

43 数学函数库的编译与使用

44 Index ACML BLAS 库 LAPACK 库 BLASC ScaLAPACK GOTO 库 ATLAS 库 FFTW 库

45 两种安装方式源码安装 ACML 库 tar -xzvf acml-64bit tgz 执行./install64.sh 然后按提示输入安装完毕,acml 安装在 /opt/acml2.1.0 目录下 PGI 自带 ACML 库通过安装 PGI 编译器安装 ACML 库

46 系统自带 /usr/lib64/libblas.a /usr/lib64/libblas.so 源码安装 tar xzvf blas.tar.gz 重新编辑 Makefile 文件 BLAS 执行 make, 生成库文件 libblas.a

47 源码安装 LAPACK 库安装 LAPACK 库之前, 首先系统已经安装了 BLAS 库 tar xzvf lapack.gz 从 LAPACK/INSTALL 目录下相应平台的 Make 文件到 LAPACK 目录下, 对于 Linux 平台来说, cp LAPACK/INSTALL/make.inc.LINUX LAPACK/make.inc 修改 LAPACK/make.inc 文件, 主要修改 BLAS 库的路径, 将 BLASLIB=../../blas$(PLAT).a 修改为系统中的 BLAS 库进入 LAPACK 目录, 执行 make, 生成 LAPACK 库文件 lapack_linux.a

48 源码安装 MPIBLAC BLACS 在安装 MPIBLACS 之前, 首先要确定已经在系统中成功安装了 MPI 或者 PVM 执行 tar xzvf mpiblacs.tgz, 解开压缩包执行 cd BLACS 进入 BLACS 的主目录从 BMAKES 目录下拷贝相应的 Make 配置文件到 BLACS 的主目录下, 例如, 系统是采用 Linux 操作系统并且希望采用 MPI 安装 BLASC, 则执行 cp BMAKES/Bmake.MPI-LINUX Bmake.inc 编辑 Bmake.inc 文件若是采用 Intel 编译器或 pgi 编译器, 需要修改 Bmake.inc 文件中 Fortran 转 C 语言部分参数在 BLACS 主目录下执行 make mpi

49 源码安装 ScaLAPACK 在安装 ScaLAPACK 之前, 首先要确定已经在系统中成功安装了 MPI BLAS 和 MPIBLACS, 确定在上述几个软件安装好以后, 再开始安装 ScaLAPACK 执行 tar xzvf lapack.tgz, 解开压缩包执行 cd SCALAPACK 进入 SCALAPACK 的主目录从 INSTALL 目录下拷贝相应的 Make 配置文件到 SCALAPACK 的主目录下, 例如, 系统是采用 Linux 操作系统的, 则执行 cp INSTALL/SLmake.LINUX SLmake.inc 编辑 SLmake.inc 文件若是采用 Intel 编译器或 pgi 编译器, 需要修改 SLmake.inc 文件中 Fortran 转 C 语言部分参数在 SCALAPACK 主目录下执行 make 在 SCALAPACK/TESTING/EIG 目录下执行 make 在 SCALAPACK/TESTING/LIN 目录下执行 make

50 推荐二进制安装 ATLAS 库从网站上下载相对应平台的 ATLAS 库, 然后解压缩即可性能较好

51 GOTO 库曙光 5000A Linpack 测试采用的 BLAS 库二进制版本 : 从网站上下载相对应平台的 GOTO库, 然后解压缩即可源码版本 : 执行 tar zxf GotoBLAS-1.26.tar.gz 执行 cd GotoBLAS 修改 Makefile.rule make j 8 make install

52 源码安装 FFTW 库从网站上下载 fftw 库的源代码包 fftw tar.gz 执行 tar xzvf fftw tar.gz 进行解包执行 cd fftw 进入 fftw 的目录执行./configure prefix=<install_dir>, 其中 <install_dir> 为你要安装 fftw 库的目录执行 make 执行 make install 安装完毕

53 科学计算程序的编译运行

54 DOCK 生物化学 WRF 气象环境 VASP 从头计算量子化学 LS-DYNA 显式动力分析软件

55 编译 DOCK 1 下载源包 dock.6.2_source.tar.gz 2 解压 tar xvzf dock.6.2_source.tar.gz 3 编译运行 A 进入路径 cd dock6/install B./configure gnu parallel C export MPICH_HOME=your-MPICH D make 生成 grid 文件 pbs 提交作业

56 DOCK pbs 脚本 #PBS -N dock #PBS -l nodes=8:ppn=4 cd /data1/user/test/dock/dock6/tutorials/mpi_demo/4_dock/ time /data1/openmpi.static.pgi/bin/mpirun -np 32 --mca btl tcp,self,sm../../../bin/dock6.mpi -i mpi.in -o mpi.out

57 编译安装 WRF 首先环境变量设置, 运行./en.sh 解压缩 netcdf 输入./configure --prefix=/opt/netcdf export NETCDF=/opt/netcdf make;make install 解压缩 WRF 进入 wrf 文件夹./configure, 里面会有选择, 选择 3 就可以了./comepile em_real 运行 pbs 作业提交

58 pbs 脚本 #PBS -N wrf #PBS -l nodes=1:ppn=4 WRF cd /data1/user/test/wrfv2/test/em_real time /data1/openmpi.static.pgi/bin/mpirun --mca btl tcp,self,sm -np 4./wrf.exe

59 VASP 编译安装解压源码包编译 lib 修改 Makefile 编译 vasp 运行修改 Makefile pbs 作业提交

60 pbs 脚本 #PBS -N vasp #PBS -l nodes=2:ppn=4 VASP cd /data1/user/test/vasp.hg time /data1/openmpi.static.pgi/bin/mpirun --mca btl tcp,self,sm -np 8./vasp

61 安装不需要编译运行 pbs 作业调度提交 pbs 脚本 #PBS -N lsdyna LS-DYNA #PBS -l nodes=node3:ppn=4+node4:ppn=4+node5:ppn=4+node6:ppn=4 cd $PBS_O_WORKDIR NODEFILE=`sort $PBS_NODEFILE uniq -c awk '{ printf("%s:%s:", $2, $1); }'` time ansys110 -lsdynampp -np 16 i=j.k -machines $NODEFILE memory=200m

62 欢迎提问!

资源管理软件TORQUE与作业调度软件Maui的安装、设置及使用

资源管理软件TORQUE与作业调度软件Maui的安装、设置及使用 TORQUE Maui hmli@ustc.edu.cn 2008 1 1 TORQUE 2 1.1 TORQUE........................... 2 1.2 TORQUE...................... 2 1.3 TORQUE.......................... 4 1.4 TORQUE........................... 4