1 软件介绍 Gromacs 是一个开源的高效的基于标准 MPI 并行环境设计的大规模分子动力学并行程序, 基于 Gromacs 分子力场, 由荷兰的 Groningen 大学 Department of Biophysical Chemistry 开发 Gromacs 主要执行生物大分子如蛋白

Size: px

Start display at page:

Download "1 软件介绍 Gromacs 是一个开源的高效的基于标准 MPI 并行环境设计的大规模分子动力学并行程序, 基于 Gromacs 分子力场, 由荷兰的 Groningen 大学 Department of Biophysical Chemistry 开发 Gromacs 主要执行生物大分子如蛋白"

伯邑应
5 years ago
Views:

1 1 软件介绍 Gromacs 是一个开源的高效的基于标准 MPI 并行环境设计的大规模分子动力学并行程序, 基于 Gromacs 分子力场, 由荷兰的 Groningen 大学 Department of Biophysical Chemistry 开发 Gromacs 主要执行生物大分子如蛋白质核酸磷脂等物质的计算, 也可研究非生物的有机大分子系统, 如高分子多聚体等 Gromacs 可免费下载使用, 详情参阅 : 2 安装环境 Gromacs 版本 :GROMACS 2018 操作系统 :Ubuntu 编译器 :GCC cuda: 9.0 fftw: cmake: mpi: openmpi-3.0-gnu 3 安装步骤 3.1 CUDA 到下载对应操作系统的 cuda 安装包下载后执行 : sh NVIDIA-Linux-x86_ run 然后按照相关的提示输入安装路径即可, 本文选择默认路径详细安装步骤可以参考 CUDA 9 安装手册环境变量 : cat /etc/profile.d/cuda-env.sh export PATH=/usr/local/cuda-9.0/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib:/usr/local/cuda- 9.0/lib64:$LD_LIBRARY_PATH 3.2 fftw 库从 FFTW 开始, 应该添加参数 --enable-avx2, 如果 CPU 支持 512 位宽, 添加参数 --enableavx512 单精度编译 :

2 ./configure --prefix=/public/software/mathlib/fftw337-float --enable-float --enable-avx2 --enable-shared make make install 双精度编译 :./configure --prefix=/public/software/mathlib/fftw337-double --enableavx2 --enable-shared make make install 3.3 cmake Gromacs 要求 cmake 要在版本或者以上上传 cmake tar.gz 安装包到 /public/sourcecode 下 tar zxvf cmake tar.gz cd cmake /configure --prefix=/public/software/cmake make make install 环境变量 : cat /public/software/profile.d/cmake-env.sh export PATH=/public/software/cmake-3.4.3/bin:$PATH 3.4 mpi 编译器和 openmpi gnu 安装目前 gromacs 在 gpu 环境下选择 openmpi-3.0-gnu 可以安装成功, 没有 gpu 环境的时候选择 openmpi gnu 和 openmpi intel 都可以 3.5 Gromacs 源码编译下载 gromacs tar.gz 安装包到 /public/sourcecode 下, 下面可以登录网页 : 目前最新版为 Gromacs 然后在此目录下执行如下命令 : tar zxvf gromacs tar.gz cd gromacs mkdir build-gmx-single # 此目录名可以随便取 cd build-gmx-single # 到此目录下编译 source /public/software/profile.d/cmake-env.sh # 选择 cmake source /public/software/profile.d/openmpi-gnu-env.sh # 选择 mpi

3 cmake 编译 : cmake../ \ -DCMAKE_INSTALL_PREFIX=/public/software/gromacs \# 安装目录 -DGMX_MPI=on \ # 开启 mpi -DGMX_GPU=on \ # 这一行和下一行为 gpu 选项, 没有 gpu 的时候去掉这两行 -DCUDA_TOOLKIT_ROOT_DIR=/usr/local/cuda \ -DCMAKE_C_COMPILER=mpicc \ -DCMAKE_CXX_COMPILER=mpicxx \ -DFFTWF_INCLUDE_DIR=/public/software/mathlib/fftw337-float/include \ # 选择 3.2 节安装的 fftw337 库 -DFFTWF_LIBRARY=/public/software/mathlib/fftw337-float/lib/libfftw3f.so 或者使用下面的命令直接运行,DGMX_BUILD_OWN_FFTW=ON 会自动下载并编译 FFTW, 注意更改 cuda 的安装路径 : cmake.. -DGMX_MPI=on -DGMX_GPU=on -DCUDA_TOOLKIT_ROOT_DIR=/usr/local/cuda -DCMAKE_C_COMPILER=mpicc -DCMAKE_CXX_COMPILER=mpicxx - DGMX_BUILD_OWN_FFTW=ON -DREGRESSIONTEST_DOWNLOAD=ON make 编译 : make j N #N 为可用的 cpu 进程数 make install 安装成功后会在 /public/software/gromacs /bin 下生成可执行文件, 包括 gmx_mpi 等创建环境变量 : vi /public/software/profile.d/gromacs env.sh GMX_INSTALL_DIR=/public/software/gromacs export PATH=${GMX_INSTALL_DIR}/bin:$PATH export LD_LIBRARY_PATH=${GMX_INSTALL_DIR}/lib:$LD_LIBRARY_PATH 3.6 Gromacs 基于 NGC Docker 安装在 NVIDIA GPU Cloud(NGC) 中, 包含 Gromacs 的 docker 镜像文件, 可以直接下载, 导入 Linux docker 环境就可以使用注册 NGC

4 填写注册信息 : 登录 NGC 系统注册 NGC 后, 登录 NGC 系统, 就可以看到下图中所有的 HPC Apps 的 docker image 镜像

5 Docker image 下载下载 image 镜像之前, 先要获取 API key: 点击 Get API Key, 即可获得 :

6 点击 Generate API Key, 并点击弹出对话框中的 Confirm, 系统会生成一个 API Key 作为 nvcr.io 的登录密码, 并复制该 Password, 用于登录 : 在 Linux 客户端登录方式如下, 作者是在 DGX-1 平台下,Ubuntu 的系统演示的, 如下 :

7 登录成功以后, 就可以进行 Gromacs 容器下载, 如下 : 将命令 docker pull nvcr.io/hpc/gromacs: 复制到 Linux terminal: 启动 docker 并运行 Gromacs 使用 nvidia-docker 命令查看 Gromacs 容器镜像信息

启动 docker 镜像 : dgxsa@dgx1:~$ nvidia-docker run --name MyGromacs -v /home/dgxsa/chengyi/share:/data -it nvcr.io/hpc/gromacs:2016.

/home/dgxsa/chengyi/myshare 存储目录映射到容器的 data 目录启动容器以后, 就可以像在一台 Linux 服务器上操作了, 里面已经配置好了所有运行环境, 如果需要安装其他软件, 可以使用命令 :apt-get install xxxx

8 启动 docker 镜像 : dgxsa@dgx1:~$ nvidia-docker run --name MyGromacs -v /home/dgxsa/chengyi/share:/data -it nvcr.io/hpc/gromacs: /bin/bash docker run Options -i -t or -it : 交互式, 连接到一个 "tty" --name : 给容器命名 -v /home/dgxsa/chengyi/share:/data : 将 host 主机的 /home/dgxsa/chengyi/myshare 存储目录映射到容器的 data 目录启动容器以后, 就可以像在一台 Linux 服务器上操作了, 里面已经配置好了所有运行环境, 如果需要安装其他软件, 可以使用命令 :apt-get install xxxx 进行安装如果想退出容器, 可以使用命令 :Ctrl+D 如果想删除容器, 可以使用命令 :nvidia-docker rm 408eaf27213c ; 408eaf27213c 为 docker-id 如果想退出容器登录界面, 但保持容器后台运行, 可以使用命令 :Ctrl+P, 然后 Ctrl+Q

9 4 标准算例 4.1 准备算例使用普通用户运行 : su test mkdir gmx-test cd gmx-test wget # 或者上传算例包 gromacs-gpubench-dhfr.tar.gz 到此 tar zxvf gromacs-gpubench-dhfr.tar.gz cd dhfr source /public/software/profile.d/openmpi-gnu-env.sh source /public/software/profile.d/gromacs env.sh # 加载环境变量 OpenMPI 的环境变量配置文件 : MPI_HOME=/home/chengyi/software/openmpi-3.1 export PATH=${MPI_HOME}/bin:$PATH export LD_LIBRARY_PATH=${MPI_HOME}/lib:$LD_LIBRARY_PATH export C_INCLUDE_PATH=${MPI_HOME}/include:$C_INCLUDE_PATH export MANPATH=${MPI_HOME}/share/man:$MANPATH gromacs env.sh 的配置文件 : GMX_HOME=/mnt/gromacs/gromacs /buildgpu export PATH=${GMX_HOME}/bin:$PATH export LD_LIBRARY_PATH=${GMX_HOME}/lib:$LD_LIBRARY_PATH 4.2 手动运行算例运行命令如下 : cd dhfr/gpu/dhfr-solv-pme.bench/ gmx_mpi grompp -f gpu-pme.mdp mpirun --allow-run-as-root -np 8 gmx_mpi mdrun -ntomp 5 -nb gpu -nsteps s topol.tpr 或 : mpirun --allow-run-as-root -np 2 gmx_mpi mdrun -ntomp 5 -gpu_id 0,1 - nsteps s topol.tpr ntomp: 表示每个 cpu 进程启动的 OpenMP 线程数 gpu_id: 表示选择的 gpu, 本例为 gpu_id 后面 0,1 表示使用 GPU ID 为 0,1 的 GPU; 若使用所有 gpu, 使用 -nb gpu 本例表示 : 启动 8 个 cpu 进程, 每个 cpu 进程启动 5 个线程

10 运行 nvidia-smi 会看到启动了八个 gpu 进程 testverlet: 是这个算例的需要 -maxh: 最大允许的计算时间 -g : 输出的日志文件更多的参数可以运行 gmx_mpi mdrun -h 查阅 Gromacs 运行 shell 脚本如下, 黄色部分是需要修改的地方 #!/bin/bash #export CUDA_VISIBLE_DEVICES=0,1,2,3 DIR_ROOT=/mnt/software/gromacs2018 source $DIR_ROOT/bin/GMXRC IDIR=/mnt/test/water-cut1.0_GMX50_bare/1536 IFILE=$IDIR/topol.tpr ODIR=/tmp LDIR=$ODIR/run/logs LFILE_ROOT=1536 WDIR=$ODIR/run/job mkdir -p $WDIR mkdir -p $LDIR cd $WDIR NSTEPS=10000 #NGPUS=`nvidia-smi grep Tesla wc -l` NGPUS=4 LASTCORE=$(lscpu grep On-line cut -f3 -d"-") THREADSPER=$(lscpu grep Thread cut -f2 -d":") export OMP_NUM_THREADS=$(( ( ((LASTCORE+1)/NGPUS) / THREADSPER) )) LOGFILE=${LDIR}/${LFILE_ROOT}.${NGPUS}.log # initialize if needed if [! -f ${IFILE} ] ; then cd ${IDIR} gmx_mpi grompp -f pme.mdp fi mpirun --allow-run-as-root -bind-to none -np ${NGPUS} gmx_mpi mdrun -g ${LOGFILE} -pin on -resethway -v -noconfout -nsteps ${NSTEPS} -s ${IFILE}

11 4.3 PBS 脚本范例 su test cd gmx-test/dhfr/gpu/dhfr-solv-pme.bench/ 建立提交脚本 gromacs-gpu-single.pbs #!/bin/bash #PBS N gromacs-gpu-single #PBS q gpu #PBS l nodes=node-with-gpu:ppn=4 #PBS l walltime=100:00:00 source /public/software/profile.d/openmpi-gnu-env.sh source /public/software/profile.d/gromacs env.sh cd $PBS_O_WORKDIR NP=`cat $PBS_NODEFILE wc -l` NN=`cat $PBS_NODEFILE uniq c wc l` # 节点数 PPN=`cat $PBS_NODEFILE uniq -c sed -n '1,1p' awk '{print $1}'`# 每个节点的进程数, 本例中 PPN=4 GPUID=`printf %.${PPN}d 0` # 本例中 GPUID=0000 mpirun np $NP hostfile $PBS_NODEFILE gmx_mpi mdrun -multi $NN -nb gpu g md.log -nsteps s topol.tpr 提交作业, 并查看是否正确运行 qsub gromacs-gpu-single.pbs qstat 4.4 Slurm 脚本范例 su test cd gmx-test/dhfr/gpu/dhfr-solv-pme.bench/ 建立提交脚本 batch.gromacs-gpu-single #!/bin/bash #SBATCH --job-name=gromacs_test #SBATCH --nodes=1 #SBATCH --tasks-per-node=32 #SBATCH --gres=gpu:2 #SBATCH --ntasks-per-node=4 #SBATCH --cpus-per-task=8 #SBATCH --mem-per-cpu=4000 #SBATCH --time=24:00:00 # number of Nodes # number of MPI processes per node # memory limit per CPU (megabytes) # time limit (D-HH:MM:ss) module load gcc/6.4.0 openmpi/2.1.1 gromacs/ export OMP_NUM_THREADS="${SLURM_CPUS_PER_TASK:-1}" srun gmx_mpi mdrun -deffnm md -maxh 24 提交作业, 并查看是否正确运行

12 5 Benchmark 测试测试算例 water-cut1.0_gmx50_bare/1536, 共 1.536M 个水分子,4.608M 个原子, NSTEPS=10000 NVIDIA DGX-1 服务器配置 : 2*Intel(R) Xeon(R) CPU E GHz 8*Tesla V100-SXM2 512GB DDR4 Memory CPU 进程数 * 每进程的 Performance(ns/day) Walltime(s) 加速比线程数 +GPU 进程数 GPU 的加速效果分析 : 相同的 CPU 计算核数时的性能相比,GPU 可以可以显著提升计算性能

1 软件介绍 NAMD 是一个用于生物大分子大规模分子动力学的并行软件, 支持 Charmm Namd 和 Amber 等多种力场, 由美国 Illinois 大学生物物理系和计算机系联合开发, 旨在开发出高效的分子动力学并行程序, 可支持 Charm++ 并行目前 NAMD 还支持在 GPU 加

1 软件介绍 NAMD 是一个用于生物大分子大规模分子动力学的并行软件, 支持 Charmm Namd 和 Amber 等多种力场, 由美国 Illinois 大学生物物理系和计算机系联合开发, 旨在开发出高效的分子动力学并行程序, 可支持 Charm++ 并行目前 NAMD 还支持在 GPU 加速器上的运算 NAMD 具有非常强的大规模并行计算能力, 已经实现了在上千个处理器上的并行计算, 对包含超过三十万个原子的大分子系统进行模拟

1 软件介绍 Gromacs 是一个开源的 高效的 基于标准 MPI 并行环境设计的大规模分子动力学并行程序, 基于 Gromacs 分子力场, 由荷兰的 Groningen 大学 Department of Biophysical Chemistry 开发 Gromacs 主要执行生物大分子如蛋白

1 软件介绍 Gromacs 是一个开源的高效的基于标准 MPI 并行环境设计的大规模分子动力学并行程序, 基于 Gromacs 分子力场, 由荷兰的 Groningen 大学 Department of Biophysical Chemistry 开发 Gromacs 主要执行生物大分子如蛋白