脚本文件中定义的参数默认是以 #PBS 开头的其中 : -N 定义的是 job 名称, 可以随意 -o 定义程序运行的标准输出文件, 如程序中 printf 打印信息, 相当于 stdout; -e 定义程序运行时的错误输出文件, 相当于 stderr -l 定义了申请的结点数和 gpus 数量

Size: px

Start display at page:

Download "脚本文件中定义的参数默认是以 #PBS 开头的其中 : -N 定义的是 job 名称, 可以随意 -o 定义程序运行的标准输出文件, 如程序中 printf 打印信息, 相当于 stdout; -e 定义程序运行时的错误输出文件, 相当于 stderr -l 定义了申请的结点数和 gpus 数量"

尘倍庞
5 years ago
Views:

1 多媒体计算与通讯实验室 GPU 集群 Torque 排队系统使用手册袁平波本实验室新购进 24 块 K80 tesla GPU 为了充分利用 GPU 计算资源, 我们利用 Torque 来管理同学们的计算任务队列头结点的 IP 是下面说明使用本 GPU 集群的几个步骤 1. 申请帐号. 本集群有一个头结点和多个服务结点构成, 因此提交计算作业需要在头结点上拥有帐号, 需要使用集群的学生需要给我发一个申请邮件, 同时 cc 给自己的导师, 在导师批准后相应的帐号会被建立 2. 建立 job 脚本文件 Torque 管理系统不能直接提交二进制可执行文件, 需要编写一个文本的脚本文件, 来描述相关参数情况一个示例脚本文件 myjob1.pbs 如下 : #PBS -N myjob1 #PBS -o /home/username/myjob1.out #PBS -e /home/username/myjob1.err #PBS -l nodes=1:gpus=1:s #PBS -r y cd $PBS_O_WORKDIR echo Time is `date` echo Directory is $PWD echo This job runs on following nodes: cat $PBS_NODEFILE cat $PBS_GPUFILE./my_proc

2 脚本文件中定义的参数默认是以 #PBS 开头的其中 : -N 定义的是 job 名称, 可以随意 -o 定义程序运行的标准输出文件, 如程序中 printf 打印信息, 相当于 stdout; -e 定义程序运行时的错误输出文件, 相当于 stderr -l 定义了申请的结点数和 gpus 数量 nodes=1 代表一个结点, 一般申请一个结点, 除非采用 mpi 并行作业 ; gpus=1 定义了申请的 GPU 数量, 根据应用实际使用的 gpu 数量来确定,S 表示 job 类型, 后面有详细描述队列系统的默认 job 请求时间是一周, 如果运行的 job 时间估计会超过, 则可以使用下面的参数 : #PBS -l nodes=1:gpus=1:s,walltime=300:00:00 表示请求 300 小时的 job 时间 -r 表示 job 立即执行 my_proc 是用户的可执行程序需要通过 scp 或 winscp 复制到自己的 home 目录如果程序运行过程中需要读取数据文件和生成数据文件, 也需要在运行前后上传和下传后面的 cat 和 echo 信息是打印出时间路径运行节点及 GPU 分配情况等信息, 便于调试 3. 提交作业 :qsub $qsub myjob1.pbs myjob1.pbs 是前一步骤生成的脚本文件相应可执行

3 文件和数据文件也必须就位 4. 查看作业 :qstat -n 上图中 165 是 jobid 运行状态有以下几种状态 : C - Job 已经运行结束 E - Job 运行结束后退出 H - Job 被挂起 Q - job 被排队, 可被手动启动或路由 R - job 在运行中. T - job 被移动 W - job 等待其执行时间到来 (-a 选项设置 job 启动时间 ) 其中 -n 参数可以列出运行 job 的结点其他常用命令 : 1) 挂起作业 :qhold Qhold 命令可以挂起作业, 被挂起的作业将暂时停止执行, 可以让其余的作业优先得到资源运行, 被挂起的作业在 qstat 中显示为 H 状态, 下面的命令将挂起 id 为 165 的 job $qhold 165 2) 取消挂起 :qrls 被挂起的作业可以重新被运行, 如下面的命令将重新运行 id 为 165 的 job $qrls 165 3) 终止作业 :qdel 如果用户想放弃一个作业的执行, 可以使用 qdel 命令,

4 下面的命令将终止 id 为 165 的 job $qdel 165 4) 查看结点 pbsnodes $pbsnodes 5) 查看空闲结点 pbsnodes -l free $pbsnodes l free 5. 关于集群环境的说明应同学要求, 集群的每一个结点都安装了 caffe 深度学习的环境包括 Gcc4.8.5, cmake 3.1.3, python 2.7.5, blas3.4.2, numpy 1.9.1,opencv3.0.0 头结点 torqueserver 没有编译环境, 也没有 GPU 卡, 如果需要测试自己的代码是否能在集群环境下运行, 可以先写一个简单程序在第 7 结点上试运行 : $ssh Gpu107 $./myproc.sh # 在这里运行你自己的测试程序另外,/opt/ 下面有下载好的 caffe-master.zip, 可以复制到自己目录下 :( 以下步骤可以在 Gpu107 上完成 ) $cp /opt/caffe-master.zip ~/. a) 解压 : $unzip caffe-master.zip b) 配置并修改 config 文件

5 $cp Makefile.config.example Makefile.config $vi Makefile.config 修改如下参数 BLAS := atlas BLAS_LIB := /usr/lib64/atlas PYTHON_INCLUDE:=/usr/include/python2.7 /usr/lib/python2.7/dist-packages/numpy/core/include PYTHON_LIB := /usr/lib64 c) 编译 $make all j12 $make test j 12 $make runtest d) 获取数据 $ sh data/mnist/get_mnist.sh e) 重建 lmdb $ sh examples/mnist/create_mnist.sh f) 训练数据 $ sh examples/mnist/train_lenet.sh 也可以直接复制已经解压编译好并下载了数据的文件夹 ( 复制过程中有权限错误, 忽略不会影响后序过程 ), 这样可以免去 a-d) 步骤的编译和数据下载, 直接进行 e f), 如下 : $cp /opt/caffe-master ~/. -R $ sh examples/mnist/create_mnist.sh # 重建 lmdb

6 $ sh examples/mnist/train_lenet.sh # 训练 6. 关于 GPU 集群的存储问题用户登录 pbs 头节点 ( ) 后默认的路径是 /home/$user, 但 /home 下的总空间只有 1T, 主要用于存放代码等重要文档, 同学们在运行代码过程中用到的数据文件尽量不要放在 /home 下, 目前可以用于存放数据的 mount 点有 /data /data1 /data2 /data3 /data4 /data5 /data6 /data7, 每个 mount 点约 1.5T 空间 ( 使用 df h 查看 ) 同学们可以在 /data$i($i=1..7) 下建立自己的用户名为子目录, 对于一些公共测试数据, 可以不放在用户子目录下, 而直接放在 /datai 下, 供大家使用, 避免存放大量重复的数据尤其是同一导师的学生, 尽量减少重复下载和存储测试数据 /data$i($i=1..7) 是挂接在 Gpu10$i 结点上的存储,/data 挂接在头结点本地因此如果有大量数据需要读写并且对 IO 速度有要求的应用, 可以考虑把数据存放于某个 mount 点, 比如 /data3, 然后提交 job 时使用参数 #PBS -l nodes=gpu103:gpus=1 则可以使 job 运行在 Gpu103 结点这样数据和代码运行于同一节点,IO 会避开 nfs 网络操作但指定节点操作削弱了 pbs 系统的排队功能, 可能会导致任务失败因此除非有特殊要求, 一般不建议这么做 7. 关于 GPU 集群多核心使用情况

7 使用 GPU 多核心进行运算, 可以让 job 缩短完成时间, 避免过长的等待时间, 从而充分发挥 GPU 的集群优势但经过测试表明, 如果对显存没有特别大的要求, 使用单核心的效率还是比多核心要高, 因此大家应根据实际情况决定申请 job 类型另使用多核心需要注意以下几点 : 1) 在申请脚本文件里加入资源申请参数以及打印相应分配的 gpu 情况, 便于调试 : #PBS -l nodes=1:gpus=2:d echo This job runs on following nodes and gpus: cat $PBS_NODEFILE cat $PBS_GPUFILE 以上是申请一个结点 2 个 GPU 核心的参数 2) 在运行的程序脚本中加入调用多 GPU 参数, 例如 caffe 中需要加入 -gpu=all 这样的参数 : $caffe train -solver solver.txt -gpu=all 如果不加此参数, 可能会导致请求的 gpu 数和实际使用的 gpu 数不一致, 影响排队系统的工作 3) 提交 job 后可以使用 chk_gpu 查看占用的 GPU 情况, 使用 chk_gpuused < 节点名 > 查看结点 GPU 使用率和显存使用情况, 节点名为 Gpu101( 或 101) 等

4) 如果发现请求的 gpu 数和实际使用的 gpu 数不一致的 job 将被清除 5) ( 本节内容自 2016.12.

8 4) 如果发现请求的 gpu 数和实际使用的 gpu 数不一致的 job 将被清除 5) ( 本节内容自后已经调整, 不再启用 ) 由于多个 GPU 核心是不同的 CPU 控制, 因此在不同的 CPU 控制的 GPU 核心之间是 socket 连接的, 不是 PCIe 桥接或 PCI 内部交换的, 而 caffe 等软件目前可能不支持 socket 连接的多 GPU 核心运算为了解决这个问题, 目前做如下规定 : (a) 使用单核的 job 必须加参数 S, 如 : #PBS -l nodes=1:gpus=1:s (b) 使用双核的 job 必须加参数 D, 如 : #PBS -l nodes=1:gpus=2:d (c) 使用 >=3 核的 job 必须加参数 M, 如 : #PBS -l nodes=1:gpus=6:m

9 可以采用命令 chk_gpu 来查看各个结点已经使用的 GPU 核心详细情况由于服务器两 CPU 管理的 GPU 并不平均,0-1 核心是一个 CPU 管理,2-7 核心是另一个 CPU 管理因此, 为了防止 job 跨不同 CPU 管理的核心, 作以下要求 : 对于 S D 类型的 job 可以随时提交队列进行排队 ; 对于 M 类型的 job ( 仅 5,6,7 结点支持 ) 不能轻易排队, 必须要看 chk_gpu 显示的 detail 情况, 来决定提交 2:M 还是 6:M 类型 job 具体申请原则规定如下 : a)s D 类型 job 可以随时提交排队 ; b) 对 M 类型节点, 如果有 0,1 位 GPU 空闲, 则可提交 2:M 类型 job; 如果有 3~7 位 GPU 空闲, 则可提交 6:M 类型 job; 如果 0~7 位 GPU 都空闲, 则必须先提交 2:M 类型 job, 再提交 6:M 类型 job, 次序不可颠倒 b) 如果有 6:M 类型 job 排队, 则 M 型节点 2~7 位 GPU 原则上是不允许提交 2:M 型 job 的, 如果是暂时占用, 那么当 6:M 所需要的资源满足时, 暂时占用的 job 即使没有完成, 也会被删除

10 更新日志 : 增加了新的结点 Gpu108 和 Gpu109, 每个结点 8 块 K80 卡,16 个 GPU 核心增加了存储空间 /data8 和 /data9 结点类型做如下调整, 取消 M 类型作业 : 1) 为 S 型单核, 提交时使用参数 nodes=1:gpus=1:s 2) 为 D 型双核, 提交时使用参数 nodes=1:gpus=2:d 3)108 为 Q 型 4 核, 提交时使用参数 nodes=1:gpus=4:q 4)109 为 E 型 8 核, 提交时使用参数 nodes=1:gpus=8:e 取消 M 型结点另外, 提请大家注意, 近来发现 NFS 服务消耗网络带宽非常大, 因此大家尽量把计算数据存放到相应类型的结点, 比如使用 1S job 类型的计算数据尽量存放在 S 结点上增加了新的结点 Gpu110, 8 块 K80 卡,16 个 GPU 核心结点类型做如下调整 : 1) 为 S 型单核, 提交时使用参数 nodes=1:gpus=1:s 2) 为 D 型双核, 提交时使用参数 nodes=1:gpus=2:d 3)109 为 Q 型 4 核, 提交时使用参数 nodes=1:gpus=4:q 4)110 为 E 型 8 核, 提交时使用参数 nodes=1:gpus=8:e 增加了新的结点 Gpu111 Gpu112, 每个结点 8 块 K80 卡,16 个 GPU 核心考虑到 S 类型结点需求较大, 故结点类型做如下调整 : 1) 为 S 型单核, 提交时使用参数 nodes=1:gpus=1:s 2) 为 D 型双核, 提交时使用参数 nodes=1:gpus=2:d 3)111 为 Q 型 4 核, 提交时使用参数 nodes=1:gpus=4:q 4)112 为 E 型 8 核, 提交时使用参数 nodes=1:gpus=8:e 增加了新的结点 Gpu113, 8 块 K80 卡,16 个 GPU 核心结点类型安排如下 : 1) 为 S 型单核, 提交时使用参数 nodes=1:gpus=1:s 2) 为 D 型双核, 提交时使用参数 nodes=1:gpus=2:d 3)111 为 Q 型 4 核, 提交时使用参数 nodes=1:gpus=4:q 4) 为 E 型 8 核, 提交时使用参数 nodes=1:gpus=8:e 到目前为止, 集群共拥有 72 块 K80,144 核心扩展了 chk_gpu 命令, 增加帐号名作为参数列出用户使用 GPU 情况

11 新增命令 whois < 帐号名 >, 查询帐号对应的人员姓名为了避免 107 结点运行较大较长时间测试程序, 影响正常作业的提交, 新增了守护进程, 限制 Gpu107 运行的测试程序不能超过 15 分钟增加了存储 /data10 /data11 安装了 torch 框架提供网页查看 job 使用 GPU 情况 : 查看个人 job: 查看全部 job: 增加了存储 /data12 /data13 升级 cuda 从 7.5 到 8.0, 同时升级了卡驱动升级 tensorflow 从到增加了新的结点 Gpu114,4 块 Nvidia Tesla K80,8 核心至此, 集群共有 76 块 Nvidia tesla K80,152 核心安装了 python3.4.5 环境, 并安装了相应的支持 CPU 加速功能的兼容 SSE4.1 SSE4.2 AVX AVX2 和 FMA 的 tensorflow python 和 pip 两个版本均有对应命令 pip2/pip3 和 python2 /python3, 请使用是注意版本解决了提交超出个人最大数量限制的 job 会假死的 bug 可以提交任意数量的 job 进行排队为了解决 IO 频繁的应用因 nfs 带来的性能下降问题, 集群支持应用使用每个结点的 tmpfs( 内存虚拟的文件系统 ), 使用方法是 : 在运算开始前, 将数据文件从 /datai 位置 copy 到 /dev/shm 由于 tmpfs 是多用户竞争使用, 故使用前需要检测 tmpfs 是否足够存放自己的数据文件, 可以在脚本文件中加入如下代码 : avl_size=`df grep "/dev/shm" awk '{printf "%d",$4/1024}'` [ $avl_size -lt 2000 ] && echo "not enough tmpfs!" && exit //here copy your data to /dev/shm/. //here run your main program. 上例是数据文件为 2G 的示例, 实际使用时用数据文件的实际大小取代 2000, 单位是 M 由于 tmpfs 空间有限,Gpu101-Gpu102 为 32G,Gpu103-Gpu107,Gpu114 为 63G,Gpu108-Gpu113 为 252G 因此如果对 IO 没有特殊要求的 job 无需使用此空间做缓存

增加命令 chk_tmpfs [nodename], 用于查询每个结点可用的 tmpfs 大小, 单位 M 如 : $chk_tmpfs Gpu108 查询 Gpu108 结点的可用 tmpfs 空间, 如不带参数则列出全部结点增加命令 clean_tmpfs [nodename] 用于删除本用户在目标结点 tmpfs 中的全部文件如 : $clean_tmpfs Gpu108 清除

12 增加命令 chk_tmpfs [nodename], 用于查询每个结点可用的 tmpfs 大小, 单位 M 如 : $chk_tmpfs Gpu108 查询 Gpu108 结点的可用 tmpfs 空间, 如不带参数则列出全部结点增加命令 clean_tmpfs [nodename] 用于删除本用户在目标结点 tmpfs 中的全部文件如 : $clean_tmpfs Gpu108 清除 Gpu108 结点中本用户在 /dev/shm 下的全部文件如果不带参数, 则清除全部结点的 tmpfs 文件本命令在有 job 运行阶段慎用, 尤其是不带参数的命令, 有可能会删除正在用的数据一般在 qdel 删除 job 后可以用本命令清除运行结点的 tmpfs 缓存数据增加命令 ls_tmpfs [nodename] 用于列出目标结点 tmpfs 中文件详细情况如 : $ls_tmpfs Gpu 调整 Gpu101 节点为调试节点, 原调试节点 Gpu107 关闭调试功能结点类型调整到结点名称后的括号内显示如 108(D) 表示结点 Gpu108 的 job 类型是 D 双核为了解决集群的多环境问题, 在集群中引入 Docker 容器技术集群采用 docker-ce 社区版本在调试节点使用 docker 环境的方法是 : $startdocker P <program path> [-D <data path>] -s <prog> <dockerimage> 其中 :-P 是可执行文件或配置文件所在的路径的祖先节点, 必须有 -D 是数据文件输入输出路径, 可以没有, 如和 -P 参数一样则必须省略 -s 是可执行二进制或脚本文件名, 可以给出绝对路径或相对于 -P 的相对路径脚本文件可以是 shell 脚本或 python, 需要在第一行加入 :#!/bin/sh 或 #!/bin/python -c 是执行命令行, 和 -s 的区别是本参数不会处理相对路径, 只解释为命令行, 和 -s 两者中只能出现一个例如 :/home/xxx/pro1/proc.sh 是要执行的文件, 数据输出为 /data2/xxx/prox1/proc.log,docker 镜像为 mcc:5000/tf_py3, 则可以使用 :

13 $startdocker P /home/xxx -D /data2/xxx -s pro1/proc.sh mcc:5000/tf_py3 -D 和 P 参数只需要是数据或程序的路径祖先目录即可, 但不能是文件 $startdocker P /home/xxx -D /data2/xxx -c echo hello mcc:5000/tf_py3 可以使用 $docker images 查看当前所有的 docker images, 目前提供的 image 有 : mcc:5000/cuda 是 cuda8.0-cudnn6-centos7 环境 ; mcc:5000/tf_py3 是在前一镜像基础上安装了 python3 和 tensorflow_gpu _1.4.0, 可以使用下面命令查看镜像的环境 : $docker inspect mcc:5000/tf_py3 grep Comment 在 pbs 中调用 docker, 只需要把 $startdocker 语句放进 pbs 的 script 文件即可在内网增加了查看计算结点资源使用的方式使用浏览器打开 : 结点 ip>:61208 其中结点 ip 是 ~ 例如查看 110 结点的资源情况 : 由于本服务的后台本身会占用内存和 CPU 资源, 所以不需要查看时请关闭浏览器进程

资源管理软件TORQUE与作业调度软件Maui的安装、设置及使用

资源管理软件TORQUE与作业调度软件Maui的安装、设置及使用 TORQUE Maui hmli@ustc.edu.cn 2008 1 1 TORQUE 2 1.1 TORQUE........................... 2 1.2 TORQUE...................... 2 1.3 TORQUE.......................... 4 1.4 TORQUE........................... 4