1 软件介绍 NAMD 是一个用于生物大分子大规模分子动力学的并行软件, 支持 Charmm Namd 和 Amber 等多种力场, 由美国 Illinois 大学生物物理系和计算机系联合开发, 旨在开发出高效的分子动力学并行程序, 可支持 Charm++ 并行目前 NAMD 还支持在 GPU 加

Size: px

Start display at page:

Download "1 软件介绍 NAMD 是一个用于生物大分子大规模分子动力学的并行软件, 支持 Charmm Namd 和 Amber 等多种力场, 由美国 Illinois 大学生物物理系和计算机系联合开发, 旨在开发出高效的分子动力学并行程序, 可支持 Charm++ 并行目前 NAMD 还支持在 GPU 加"

债简
5 years ago
Views:

1 1 软件介绍 NAMD 是一个用于生物大分子大规模分子动力学的并行软件, 支持 Charmm Namd 和 Amber 等多种力场, 由美国 Illinois 大学生物物理系和计算机系联合开发, 旨在开发出高效的分子动力学并行程序, 可支持 Charm++ 并行目前 NAMD 还支持在 GPU 加速器上的运算 NAMD 具有非常强的大规模并行计算能力, 已经实现了在上千个处理器上的并行计算, 对包含超过三十万个原子的大分子系统进行模拟 NAMD 注册后可以免费下载使用 : 2 软件依赖 Fortran90 编译 : 操作系统自带的 GCC 编译器 ; 单精度 FFTW3 数学库 : fftw3, 编译时加 --enable-float 选项 ; GPU 节点 CUDA 驱动 ; 还依赖以下系统盘自带的安装包 : tcl el6.x86_64 tcl-devel el6.x86_64 numactl-devel el6.x86_64 操作系统 :Ubuntu 安装步骤 3.1 CUDA 到下载对应操作系统的 cuda 安装包下载后执行 : chmod +x cuda_ _384.81_linux.run # 使之具有可执行权限 sudo sh cuda_ _384.81_linux.run 装手册然后按照相关的提示输入安装路径即可, 本文选择默认路径详细安装步骤可以参考 CUDA 9 安环境变量 : cat /etc/profile.d/cuda-env.sh 1

2 export PATH=/usr/local/cuda/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH export C_INCLUDE_PATH=/usr/local/cuda/include:$C_INCLUDE_PATH 4 NAMD 编译和运行下载 NAMD 文件 : 在 NAMD 官方网站可以下载, 链接如下 : 在 release note 中, 介绍了该版本的 NAMD 一些新特性, 点击 download site 即可进入下载页面, 注册后即可下载 4.1 multicore CUDA 版二进制 NAMD 可执行文件我们在 NAMD 官网下载 2.13 版本的 multicore CUDA 版 NAMD, 下载链接如下 : 点击 Linux-x86_64-multicore-CUDA (NVIDIA CUDA acceleration) 即可下载由于版本的 Linux-x86_64-multicore-CUDA 是在 CUDA 8.0 下编译的二进制可执行文件, 如果运行平台也是 CUDA 8.0, 可以直接运行, 如果是更高的版本, 需要从源码编译安装, 请参考下面的安 2

3 装方法 4.2 编译 GPU 版 NAMD 解压缩 NAMD: tar xvf NAMD_Git _Source.tar.gz # 此文件实际为 tar, 没有 gz 后缀, 因此参数为 xvf, 不需要 xzvf NAMD 压缩文件中包含 Charm, 继续解压 : cd NAMD_Git _Source tar xvf charm tar 下载并安装依赖库下载 TCL 和 FFTW, 下载链接如下 : wget wget wget 安装命令如下 : tar xzf fftw-linux-x86_64.tar.gz mv linux-x86_64 fftw tar xzf tcl*-linux-x86_64.tar.gz tar xzf tcl*-linux-x86_64-threaded.tar.gz mv tcl*-linux-x86_64 tcl mv tcl*-linux-x86_64-threaded tcl-threaded 编译 charm++ 并行库 charm++ 编译 tar xvf charm tar cd charm-6.8.2/./build charm++ verbs-linux-x86_64 gcc smp --with-production # 分布式计算模式 3

4 ./build charm++ multicore-linux64 gcc --with-production # 单节点 multicore 模式可这里选择的是 gcc 编译器, 也可以使用其他编译器, 如 icc, 将上面的命令中的 gcc 替换为 icc 即编译 GPU 版 NAMD 主程序生成编译时参数如果编译单节点模式 :./config Linux-x86_64-g++ --charm-arch multicore-linux64-gcc --with-cuda --cuda-prefix /usr/local/cuda cd Linux-x86_64-g++/ make 如果编译多节点并行模式 :./config Linux-x86_64-g++ --charm-arch verbs-linux-x86_64-smp-gcc --with-cuda --cudaprefix /usr/local/cuda cd Linux-x86_64-g++/ make 开始编译程序 make # 编译完成后会生成 charmrun,namd2 等文件 4.3 NAMD 基于 NGC Docker 安装在 NVIDIA GPU Cloud(NGC) 中, 包含 Namd 的 docker 镜像文件, 可以直接下载, 导入 Linux docker 环境就可以使用 4

5 注册 NGC 填写注册信息 : 5

6 登录 NGC 系统注册 NGC 后, 登录 NGC 系统, 就可以看到下图中所有的 HPC Apps 的 docker image 镜像 Docker image 下载下载 image 镜像之前, 先要获取 API key: 点击 Get API Key, 即可获得 : 6

7 点击 Generate API Key, 并点击弹出对话框中的 Confirm, 系统会生成一个 API Key 作为 nvcr.io 的登录密码, 并复制该 Password, 用于登录 : 在 Linux 客户端登录方式如下, 作者是在 DGX-1 平台下,Ubuntu 的系统演示的, 如下 : 7

8 登录成功以后, 就可以进行 Namd 容器下载, 如下 : 将命令 docker pull nvcr.io/hpc/namd: 复制到 Linux terminal: 启动 docker 并运行 Namd 使用 nvidia-docker 命令查看 Namd 容器镜像信息 8

启动 docker 镜像 : dgxsa@dgx1:~$ nvidia-docker run --name MyNamd -v /home/dgxsa/chengyi/share:/data -it nvcr.io/hpc/namd:2.

9 启动 docker 镜像 : dgxsa@dgx1:~$ nvidia-docker run --name MyNamd -v /home/dgxsa/chengyi/share:/data -it nvcr.io/hpc/namd: /bin/bash docker run Options -i -t or -it : 交互式, 连接到一个 "tty" --name : 给容器命名 -v /home/dgxsa/chengyi/share:/data : 将 host 主机的 /home/dgxsa/chengyi/myshare 存储目录映射到容器的 data 目录启动容器以后, 就可以像在一台 Linux 服务器上操作了, 里面已经配置好了所有运行环境, 如果需要安装其他软件, 可以使用命令 :apt-get install xxxx 进行安装如果想退出容器, 可以使用命令 :Ctrl+D 如果想删除容器, 可以使用命令 :nvidia-docker rm fd6c96ca0779; fd6c96ca0779 为 docker-id 如果想退出容器登录界面, 但保持容器后台运行, 可以使用命令 :Ctrl+P, 然后 Ctrl+Q Tips: 也可以将 NAMD 的 container 中 /opt/namd 文件夹下的可执行文件拷贝下来直接运行 9

10 4.4 运行 GPU 版 NAMD 配置 NAMD 文件使用 NAMD 网站上的标准算例, 例如 apoa1, 然后修改算例的输入文件注释掉 par_all22_prot_lipid.xplor,cuda 版 NAMD 不支持 NBFIX 修改 apoa1.namd 控制文件 numsteps 1000 # 总共模拟 1000 步 outputtiming 100 # 每 100 步输出一次时间信息 outputenergies 100 # 每 100 步输出一次能量, 小于 60 时不能跑在 GPU 上命令运行 NAMD 在 GPU 节点上运行 namd 程序当 namd 程序在 GPU 节点上运行的时候, 每个进程都会在 GPU 上启动相应的线程在 GPU 上, 使用 nvidia-smi 程序查看 NAMD 程序在 GPU 上的运行状态 multicore 运行 /opt/namd/namd-multicore +p40 +setcpuaffinity +idlepoll /namd_bench/apoa1/apoa1.namd 跨节点运行创建 nodelist 文件, 按照如下的格式写如果是单个节点 16 核 charmrun 并行, 格式如下 : 10

11 cat nodelist /raid/chengyi/share/software/namd/charmrun ++nodelist nodelist ++p 16 ++ppn 16 /raid/chengyi/share/software/namd/namd verbs +setcpuaffinity +pemap 1-7,9-15 +commap 0,8 +devices 0,1,2,3 apoa1.namd 8 个节点计算, 每个节点 2 个进程, 如下 : dgxsa@dgx1:/raid/chengyi/share/test/apoa1$ cat nodelist host node01 host node01 host node02 host node02 host node03 host node03 host node04 host node04 host node05 host node05 host node06 host node06 host node07 host node07 host node08 host node08 跨界点运行 namd 程序, 命令如下 : /raid/chengyi/share/software/namd/charmrun ++nodelist nodelist ++p 16 ++ppn 2 /raid/chengyi/share/software/namd/namd verbs +setcpuaffinity +pemap 1-7,9-15 +commap 0,8 apoa1.namd 11

12 {charmopts} 的参数说明 : ++nodelist {nodelistfile} 多节点运行需要指定的节点列表文件 Charm++ 也支持 ++mpiexec 参数, 用于作业调度系统. ++p $totalpes 指定总的 PE 线程数 ++ppn $pesperprocess 每个节点的线程数, 推荐 : #ofcorespernode/#ofgpuspernode 1, 即 [( 每节点核数 )/( 每节点 GPU 数 )]-1, 留一个核心用于通信总进程数为 $totalpes/$pesperprocess {namdopts} 的参数说明 : NAMD 继承 {charmopts} 后面设置的参数, 如 :'++p','++ppn','+p' 如果没有 {charmopts}, 采用 multi-core 计算, 使用 '+p' 设置计算的核数. '+setcpuaffinity' 选项是为了核绑定, 不会到处跳动 '+pemap #-#' 这是设置 thread 线程和 CPU 核心的映射 '+commap #-#' 这是设置通信线程的范围范例 : 双 CPU, 每 CPU 16 核心, 参数设置如下 : +setcpuaffinity +pemap 1-15, commap 0,16 GPU 选项 : '+devices {CUDA IDs}' 指定 NAMD 调用的 GPU ID 作业运行脚本 Slurm 脚本范例 #!/bin/bash #SBATCH --job-name namdtest #SBATCH --partition longqueue #SBATCH --nodes 2 12

13 #SBATCH --ntasks-per-node 20 #SBATCH --time 00:10:00 #SBATCH --output namd-test.${slurm_jobid}.out # choose version of NAMD to use export NAMD_DIR=/projects/username/NAMD/NAMD_2.11_Linux-x86_64-ibverbs-smp export PATH=$PATH:$NAMD_DIR cd /scratch/bhaddad/namd/coeus_test # generate NAMD nodelist for n in `echo $SLURM_NODELIST scontrol show hostnames`; do echo "host $n ++cpus 19" >> nodelist.$slurm_jobid done # calculate total processes (P) and procs per node (PPN) PPN=`expr $SLURM_NTASKS_PER_NODE - 1` P="$(($PPN * $SLURM_NNODES))" charmrun ++mpiexec ++remote-shell srun /home/bhaddad/namd_2.12_linux-x86_64-verbs-smp/namd2 ++p $P ++ppn $PPN +setcpuaffinity +isomalloc_sync test.conf PBS 脚本范例 #!/bin/bash #PBS -q gpuqueue #PBS -l nodes=2:ppn=4 #PBS -l walltime=100:00:00 #PBS -e ${PBS_JOBID}.err #PBS -o ${PBS_JOBID}.out cd $PBS_O_WORKDIR chmod +x job.sh./job.sh job.sh: #!/bin/sh -x PROC_NUM=20 #number_of_procesor_same_as_in_pbs echo "*****************************************************************" echo "Running on: $HOSTNAME" echo "*****************************************************************" if [ "x$pbs_nodefile"!= "x" ] ; then echo "PBS Nodefile: $PBS_NODEFILE" HOST_NODEFILE=$PBS_NODEFILE fi if [ "x$host_nodefile" = "x" ]; then echo "No hosts file defined. Exiting..." exit fi echo "Creating host file..." export NODES=`cat $PBS_NODEFILE` export NODELIST=nodelist 13

14 echo group main > $NODELIST for node in $NODES ; do echo host $node ++shell ssh >> $NODELIST done echo "Nodelist file:" cat $NODELIST export NAMD_DIR=/projects/chengyi/NAMD/NAMD_2.13_Linux-x86_64-ibverbs-smp export PATH=$PATH:$NAMD_DIR charmrun ++remote-shell ssh ++nodelist $NODELIST +p$proc_num namd2 apoa1.namd 4.5 标准算例测试测试环境 NVIDIA DGX-1 平台, 操作系统 :ubuntu 无盘 CPU:Intel(R) Xeon(R) CPU E GHz 内存 :512G DDR 4 内存 GPU:8*Tesla V100 SXM2 硬盘 : 480G SSD GPU 驱动 :CUDA-9.0 算例 :apoa1 标准算例和 VDPV1 算例测试结果由于 Apoal 算例比较小,GPU 利用率较低, 所以加速效果不明显, 对于计算规模更大的算例, 可以获得明显的加速 CPU 进程数 +GPU 数 Walltime(s) Speedup

15 下面是另外一个测试算例 VDPV1, 共 33 万个原子, 计算量而比较大 : CPU 进程数 +GPU 数 Walltime(s) speedup 40CPU CPU CPU CPU CPU

16 从这个算例可以发现,1 块 V100 可以获得 5.2 倍的加速, 加速效果非常明显, 此时通过 nvidia-smi 查看发现,GPU 的实际利用率大约 70~80%,2 块 GPU 就只能获得 6 倍的加速, 此时每块 GPU 的实际利用大约时候 40-50% 当 4 块以上 GPU 并行时,GPU 的利用率只有 20% 左右, 因此不能获得更高的加速, NAMD 计算时, 计算量和 GPU 数量匹配很重要在 Apoal 算例中,GPU 的利用率都在 10% 以下, 因此加速效果不是很明显注 :NAMD 在物理服务器上直接运行性能较好, 使用 apaol 算例,40 核,8 块 GPU, 和物理机相比, docker container 会有 11% 左右的损失 16

1 软件介绍 Gromacs 是一个开源的高效的基于标准 MPI 并行环境设计的大规模分子动力学并行程序, 基于 Gromacs 分子力场, 由荷兰的 Groningen 大学 Department of Biophysical Chemistry 开发 Gromacs 主要执行生物大分子如蛋白

1 软件介绍 Gromacs 是一个开源的高效的基于标准 MPI 并行环境设计的大规模分子动力学并行程序, 基于 Gromacs 分子力场, 由荷兰的 Groningen 大学 Department of Biophysical Chemistry 开发 Gromacs 主要执行生物大分子如蛋白 1 软件介绍 Gromacs 是一个开源的高效的基于标准 MPI 并行环境设计的大规模分子动力学并行程序, 基于 Gromacs 分子力场, 由荷兰的 Groningen 大学 Department of Biophysical Chemistry 开发 Gromacs 主要执行生物大分子如蛋白质核酸磷脂等物质的计算, 也可研究非生物的有机大分子系统, 如高分子多聚体等 Gromacs 可免费下载使用,