中国科学技术大学超级计算中心刀片及胖节点超级计算系统使用指南

Transcription

1 中国科学技术大学超级计算中心 刀片及胖节点超级计算系统使用指南 李会民 2016 年 5 月 27 日 目录 1 前言 4 2 刀片及胖节点超算系统概述 5 3 用户登录与文件传输 7 4 串行及 OpenMP 程序编译 编译器简介 Intel C/C++ Fortran 编译器简介 PGI C/C++ Fortran 编译器简介 GNU C/C++ Fortran 编译器简介 C/C++ 程序的编译 输入输出文件后缀与类型的关系 Intel C/C++ 编译器重要编译选项 PGI C/C++ 编译器重要编译选项 GNU C/C++ 编译器 GCC 重要编译选项 C/C++ 程序编译举例 Fortran 程序的编译 输入输出文件后缀与类型的关系

2 目录 Intel Fortran 编译器重要编译选项 PGI Fortran 编译器重要编译选项 GNU Fortran 编译器重要编译选项 Fortran 程序编译举例 OpenMP 程序的编译与运行 MPI 并行程序编译 MPI 并行程序的编译 MPI 并行程序的运行 MPI 并行程序调试 数值函数库 Intel MKL MKL 主要内容 MKL 目录内容 链接 MKL 作业管理系统 查看队列情况 :bqueues 提交作业 :bsub 提交到特定队列 :bsub -q 运行串行作业 :bsub -q serial 指明所需要的 CPU 核数 :bsub -n 运行 MPI 作业 :bsub -n NUM mpijob 运行 OpenMP 共享内存作业 :bsub -q 运行 MPI 和 OpenMP 共享内存混合并行作业 运行排他性作业 :bsub -x 指明输出 输出文件运行 :bsub -i -o -e 交互式运行作业 :bsub -I 使用 fat48 和 fat64 大共享内存队列 终止作业 :bkill

3 目录 挂起作业 :bstop 继续运行被挂起的作业 :bresume 设置作业最先运行 :btop 设置作业最后运行 :bbot 修改排队中的作业选项 :bmod 查看作业的排队和运行情况 :bjobs 查看运行中作业的屏幕正常输出 :bpeek 查看各节点的运行情况 :lsload 查看各节点的空闲情况 :bhosts 查看用户信息 :busers 运行 Gaussian 等大 IO 程序注意事项 47 9 联系方式 48

4 1 前言 4 1 前言 本用户使用指南主要将对在中国科学技术大学超级计算中心刀片及胖节点超级计 算系统上进行编译以及运行作业做一基本介绍, 详细信息请参看相应的指南 为了便于查看, 主要排版约定如下 : 命令 :command parameters 文件 :/path/file 脚本文件 : export OPENMPI=/opt/openmpi-1.4.3_intel export PATH=$OPENMPI/bin:$PATH export MANPATH=$MANPATH:$OPENMPI/share/man 命令输出 : QUEUE_NAME PRIO STATUS MAX JL/U JL/P JL/H NJOBS PEND RUN SUSP serial 50 Open:Active fat48 43 Open:Active fat64 43 Open:Active long 40 Open:Active normal 30 Open:Active 由于受水平和时间所限, 错误和不妥之处在所难免, 欢迎指出错误和改进意见, 本人将尽力完善 请从中国科大超算中心主页 ( 上下载更 新后的手册

5 2 刀片及胖节点超算系统概述 5 2 刀片及胖节点超算系统概述 中国科大超级计算中心刀片及胖节点超级计算系统, 主要由曙光 CB60-G 刀片 CB60-G2 刀片 联想 B710 刀片 曙光 A950 服务器 曙光 I620r-G 服务器 曙光 I420r-G 服务器 浪潮 TS850 服务器 联想万全 R630G7 服务器 HP DL580 G7 服务器构成, 共计 105 个计算节点 1528 个 CPU 核心, 总双精度峰值计算能力为每秒 万亿次 具体参数为 : 管理和用户登录节点 : 节点名为 sugon 用户主登录节点, 可以进行编译与通过作业调度系统提交作业 禁止直接在此节点上运行作业 曙光 I620 机架式服务器一台,2 颗主频 2.40GHz 的 Intel Xeon E5620 x86_64 4 核 CPU( 共 8 核 ),8GB DDR3 1333MHz 内存 计算节点 : 刀片或机架式计算节点 : 用户都可使用 节点名 型号 数量 CPU 内存 (GB) node1-node40 曙光 CB60-G 40 Intel Xeon X5650, 共 12 核, 主频 2.66GHz 24 node41-node60 曙光 CB60-G2 20 Intel Xeon X5650, 共 12 核, 主频 2.66GHz 24 node61-node70 联想 B Intel Xeon X5650, 共 12 核, 主频 2.66GHz 24 node71-node80 曙光 CB60-G2 10 Intel Xeon X5650, 共 12 核, 主频 2.66GHz 48 node93-node103 曙光 CB60-G 或 I620r-G 11 Intel Xeon E5620, 共 8 核, 主频 2.4GHz 16 node104-node105 曙光 I420r-G 2 Intel Xeon E5620, 共 4 核, 主频 2.4GHz 8 胖计算节点 : 更多 CPU 核大共享内存节点, 数量有限, 需要特殊申请使用 节点名 型号 数量 CPU 内存 (GB) node81-node83 浪潮 TS850 3 Intel Xeon E7540, 共 48 核, 主频 2.0GHz 128 node84-node85 浪潮 TS850 2 Intel Xeon E7-8837, 共 64 核, 主频 2.66GHz 256 node86-node87 曙光 A950 2 AMD Opteron 8431, 共 48 核, 主频 2.40GHz 128 node88 曙光 A620r-G 1 AMD Opteron 6168, 共 24 核, 主频 1.90GHz 32 node89-node90 联想 R630G7 2 Intel Xeon E7430, 共 16 核, 主频 2.13GHz 64 node91-node92 HP DL580G7 2 Intel Xeon E7-4807, 共 24 核, 主频 1.87GHz 96

6 2 刀片及胖节点超算系统概述 6 存储 13TB曙光DS600-F20 SAS磁盘阵列 用户主目录/home所用存储 磁盘配额 用户默认50GB 如需更大空间 请提出申请 计算网络 千兆以太网 操作系统 x86_64架构的64位centos 6.5 Linux操作系统 编译器 Intel PGI GNU等C/C++ Fortran编译器1 数值函数库 Intel MKL 并行环境 Open MPI 支持MPI并行程序 各节点内的CPU为共享内存 节点内 既支持分布式内存的MPI并行方式 也支持共享内存的OpenMP并行方式 同时 支持在节点内部共享内存 节点间分布式内存的混合并行模式 资源管理和作业调度 Platform LSF 常用公用软件安装目录 /opt 请自己查看有什么软件 有些软件需要在自 己 /.bashrc等配置文件中设置后才可以使用 图 1: 刀片及胖节点超算系统 1 Intel PGI编译器为试用版

7 3 用户登录与文件传输 7 3 用户登录与文件传输 本系统的操作系统为 x86_64 的 CentOS 6.2, 不支持 TELNET 方式登录, 用户需以 SSH 方式 ( 在 MS Windows 下可利用 putty SSH Secure Shell Client 等支持 SSH 协议的客户端软件 2 ) 登录到用户登录节点 (sugon,ip 为 ) 后进行编译 提交作业等操作, 用户数据可以利用 FTP 和 SFTP 协议进行数据传输 为了安全, 短时间内 5 次密码错误登录时的 IP 将被自动封锁 10 分钟, 可以换个 IP 登录, 或联系我们解封 用户可以在登录节点上运行 passwd 命令修改密码 ( 利用 passwd 命令在登录节点之外的节点上修改密码无效 ) 请不要设置简单密码和向无关人员泄漏密码, 以免造成您的损失 用户登录进来的默认语言环境为中文 zh_cn.utf-8, 以方便查看登录后的中文提示 如果希望使用英文或 GBK 中文, 可以在 /.bashrc 中添加 export LC_ALL=C 或 export LC_ALL=zh_CN.GBK 针对 zh_cn.utf-8 的 putty 客户端配置修改如下 3 : 打开 putty 主程序, 选择 SESSION 登入到服务器 点击左上角 change setting..., 打开设置面板 选择 window > Appearance > Font settings > Change..., 选择 Fixedsys 字体, 字符集选择 CHINESE_GB2312 在 window > Appearance > Translation 中,Received data assumed to be in which character set 中, 把 Use font encoding 改为 UTF-8 切换到 session 选项, 选中常用的那个, 点击 SAVE, 把这些设置保存在 session 里面 ( 否则下次打开又不支持中文 ) 账户开设时, 默认 50GB 磁盘存储空间, 请及时清除不需要的文件, 以便释放空间 运行 quota 命令可以查看当前自己的磁盘空间使用情况,du -hs 目录可以查看目录占用的空间 如需要更大存储空间, 请与管理人员联系 超算中心无法提供数据备份服务, 数据一但丢失将无法恢复, 请及时下载保存自己的数据 2 putty 下载 : putty 客户端中文设置请参考 :

8 3 用户登录与文件传输 8 超算系统可从校内 IP 登录, 校外一般无法直接访问 如果需要从校外等登录, 可以使用学校的 VPN( 教师网络通带有此功能, 学生的不带 ), 也可联系我们放开此校外 IP ( 如不清楚自己在校外当前使用的 IP, 可利用 获取当前使用的 IP), 或者申请超算中心 VPN( 此 VPN 设置了只能访问超算服务器, 无法访问校内外其它资源 CentOS(Community ENTerprise Operating System) 是 Linux 主流发行版之一, 它来自于 Red Hat Enterprise Linux 依照开放源代码规定释出的源代码所编译而成 由于出自同样的源代码, 因此有些要求高度稳定性的服务器以 CentOS 替代商业版的 Red Hat Enterprise Linux 使用 两者的不同在于 CentOS 并不包含封闭源代码软件 一般来说可以用 man 命令或者命令加 -h 或 help 等选项来查看该命令的详细用法, 详细信息可参考 CentOS Red Hat Enterprise Linux AS 手册或通用 Linux 手册

9 4 串行及 OPENMP 程序编译 9 4 串行及 OpenMP 程序编译 在本系统上可运行 C/C++ Fortran 的串行程序, 以及与 OpenMP 和 MPI 结合的并行程序 用户只需在登录节点 (sugon) 上以相应的编译命令和选项进行编译即可 ( 用户不应到其余节点上进行编译, 以免影响系统效率, 其它节点一般只设置了运行作业所需要的库路径等, 未必设置了编译环境 ) 当前安装的编译环境主要为: C/C++ Fortran 编译器 :Intel PGI 和 GNU 编译器, 支持 OpenMP 并行 MPI 并行环境 :Open MPI 并行环境 行 用户可以单独设置自己所需的串行编译环境 ( 如在 /.bashrc 中设置 ), 也可直接运 mpi-selector-menu 4 命令按照提示选择自己使用的 MPI 和串行编译环境, 注意数字后需要 加 u, 设置完成后最好重新登录以便设置生效 : Current system default : openmpi-1.4.5_intel Current user default : openmpi u and s modifiers can be added to numeric and U commands to specify user or system-wide. 1. openmpi-1.4.3_intel openmpi-1.4.4_intel openmpi-1.4.5_intel openmpi-1.4.5_pgi U. Unset default Q. Quit Selection (1-4[us], U[us], Q): 介绍 本节主要介绍串行程序和 OpenMP 并行程序的编译,MPI 并行程序的编译将在后面 4.1 编译器简介 Intel C/C++ Fortran 编译器简介 Intel C/C++ Fortran 编译器是一种主要针对 Inetl 平台的高性能编译器, 可用于开发 复杂且要进行大量计算的程序 4 此命令虽然是针对 MPI 设计的, 但设置后会更改串行的编译环境

10 4 串行及 OPENMP 程序编译 10 系统已经安装并设置默认使用 64 位的 版本的 Intel 编译器, 目录为 /opt/ intel/composer_xe_2011_sp , 用户直接使用即可, 无需自己设置 系统还安装有 64 位 ( 未装 32 位的 ) 版本的编译器, 安装的目录为 /opt/intel/ Compiler/11.1/073, 用户如想使用, 可以在自己的 /.bashrc 之类环境设置文件中添加代 码 ( 表示空格 ):. /opt/intel/compiler/11.1/073/bin/ifortvars.sh intel64 Intel 编译器编译 C 和 C++ 源程序的编译命令分别为 icc 和 icpc; 编译 Fortran 源程序 的命令为 ifort icpc 命令使用与 icc 命令相同的编译器选项, 利用 icpc 编译时将后缀 为.c 和.i 的文件看作为 C++ 文件, 而利用 icc 编译时将后缀为.c 和.i 的文件则看作为 C 文件 用 icpc 编译时, 总会链接 C++ 库, 而用 icc 编译时, 只有在编译命令行中包含 C++ 源文件 时才链接 C++ 库 官方手册目录 : 版本 :/opt/intel/composer_xe_2011_sp /documentation 版本 :/opt/intel/compiler/11.1/073/documentation PGI C/C++ Fortran 编译器简介 PGI C/C++ Fortran 编译器是一种针对多种 CPU 与操作系统的高性能编译器, 可用于开发复杂且要进行大量计算的程序 当前安装的版本为 2010 v10.6, 安装在 /opt/pgi/ linux86-64/10.6 PGI 编译器编译 C C++ Fortran 77 源程序的命令分别为 pgcc pgcc 和 pgf77, 编译 Fortran 90( 为了描述方便, 本文中将 Fortran 标准统称为 Fortran 90) 的源程序的命令有 pgf90 pgf901 pgf902 pgf90_ex pgf95 和 pgfortran 官方手册目录 :/opt/pgi/linux86-64/10.6/doc GNU C/C++ Fortran 编译器简介 GNU C/C++ Fortran(GCC) 编译器为系统自带的编译器, 当前安装的版本为 和 3.4.6, 默认为 版本, 用户无需特殊设置即可使用 GNU 编译器编译 C C++ 源程序的命令分别为 版本的 gcc 和 g++ 及 版本的 gcc34 和 g++34;4.4.6 版本的 gfortran 可以直接编译 Fortran 源程序 版本的 g77 只能编译 F77 程序, 不可编译 Fortran 90 源程序

11 4 串行及 OPENMP 程序编译 C/C++ 程序的编译 本节主要介绍 C/C++ 源程序的常用编译方式 建议采用性能较好的 Intel 编译器, 用 户也可以选择适合自己程序的编译器, 以获取更好的性能 输入输出文件后缀与类型的关系 见表 1 编译器默认将按照输入文件的后缀判断文件类型, 输入文件的后缀与类型的关系 表 1: 输入文件后缀与类型的关系 文件名 解释 动作 filename.c C 源文件 传给编译器 filename.c filename.cc filename.cc C++ 源文件 传给编译器 filename.cpp filename.cxx filename.a filename.so 库文件 传递给链接器 filename.i 已预处理的文件传递给标准输出 filename.o 目标文件传递给链接器 filename.s 汇编文件传递给汇编器 表 2 编译器默认将输出按照文件类型与后缀相对应, 输出文件的后缀与类型的关系见 文件名 表 2: 输出文件后缀与文件类型的关系 解释 filename.i filename.o filename.s a.out 已预处理的文件, 由使用 -p 选项生成目标文件, 由添加 -c 选项生成汇编文件, 由添加 -s 选项生成默认生成的可执行文件

12 4 串行及 OPENMP 程序编译 Intel C/C++ 编译器重要编译选项 -Bdynamic: 在运行时动态链接所需要的库 -Bstatic : 静态链接用户生成的库 -c: 仅编译成目标文件 (.o 文件 ) -fast: 最大化整个程序的速度 这里是所谓的最大化, 还是需要结合程序本身使用合适的选项, 默认不使用此选项 -g: 包含调试信息 -ip: 在单个文件中进行过程间优化 (Interprocedural Optimizations-IPO) -ipo[n]: 在多文件中进行过程间优化, 非负整数 n 为可生成的目标文件数 -I< 头文件目录 >: 指明头文件的搜索路径 -L< 库目录 >: 指明库的搜索路径 -l< 库文件 >: 指明所需链接的库名, 如库名为 libxyz.a, 则可用 -lxyz 指定 -o file: 指定生成的文件名 -openmp: 编译 OpenMP 程序 注意 : 在本系统上只能在同一个节点内的 CPU 上运行 OpenMP 程序, 提交作业时请结合相应选项, 以保证在同一个节点运行 -O< 级别 >: 设定优化级别, 默认为 O2 O 与 O2 相同, 推荐使用 ;O3 为在 O2 基础之上增加更激进的优化, 比如包含循环和内存读取转换和预取等, 但在有些情况下速度反而慢, 建议在具有大量浮点计算和大数据处理的循环时的程序使用 -p: 进行概要导向优化 (Profile Guided Optimization-PGO) -shared: 生成共享目标而不是可执行文件, 必须在编译每个目标文件时使用 -fpic 选项 -static : 静态链接所有库 -std=< 标准 >: 标准可以为 c89 c99 gnu89 gnu++98 或 c++0x, 分别对应相应标准 -w: 编译时不显示任何警告, 只显示错误 -wall: 编译时显示所有警告

13 4 串行及 OPENMP 程序编译 13 -x < 类型 >: 类型可以为 c c++ c-header cpp-output c++-cpp-output assembler assembler-with-cpp 或 none, 分别表示 c 源文件等, 以使所有源文件都被 认为是此类型的 建议仔细看看编译器手册中关于程序优化的部分, 特别是 IPO PGO 和 HLO 部分, 多加测试, 选择适合自己程序的编译选项以提高性能 PGI C/C++ 编译器重要编译选项 PGI 编译器选项非常多, 下面仅仅是列出一些本人认为常用的关于编译 C 程序 的 pgcc 命令的重要选项 编译 C++ 程序的 pgcc 命令有稍微不同, 建议仔细查看 PGI 相关 资料 一般选项 : -#: 显示编译器 汇编器 链接器的调用信息 -c: 仅编译成目标文件 (.o 文件 ) -defaultoptions 和 -nodefaultoptions: 是否使用默认选项, 默认为使用 -flags: 显示所有可用的编译选项 -help[=option]: 显示帮助信息,option 可以为 groups asm debug language linker opt other overall phase phase prepro suffix switch target 和 variable -Minform=level: 控制编译时错误信息的显示级别 level 可以为 fatal file severe warn inform, 默认为 -Minform=warn -noswitcherror: 显示警告信息后, 忽略未知命令行参数并继续进行编译 默认显示错误信息并且终止编译 -o file: 指定生成的文件名 -show: 显示现有 pgcc 命令的配置信息 -silent: 不显示警告信息, 与 -Minform=severe 等同 -v: 详细模式, 在每个命令执行前显示其命令行 -V: 显示编译器版本信息 -w: 编译时不显示任何警告, 只显示错误 优化选项 : -fast: 编译时选择针对目标平台的普通优化选项 用 pgcc -fast -help 可以查看等价的开关 优化级别至少为 O2, 参看 -O 选项

14 4 串行及 OPENMP 程序编译 14 -fastsse: 对支持 SSE 和 SSE2 指令的 CPU( 如 Xeon) 编译时选择针对目标平台的优化选项 用 pgcc -fastsse -help 可以查看等价的开关, 优化级别至少为 O2, 参看 -O 选项 -fpic 或 -fpic: 编译器生成位置无关代码, 以便可用于生成共享目标文件 ( 动态链接库 ) -Kpic 或 -KPIC: 与 -fpic 或 -fpic 相同, 为了与其余编译器兼容 -Minfo[=option[,option, ]]: 显示有用信息到标准错误输出, 选项可为 all autoinline inline ipa loop 或 opt mp time 或 stat -Mipa[=option[,option, ]] 和 -Mnoipa: 启用指定选项的过程间分析优化, 默认为 -Mnoipa -Mneginfo=option[,option ]: 使编译器显示为什么特定优化没有实现的信息 选项包括 concur loop 和 all -Mnoopenmp: 当使用 -mp 选项时, 忽略 OpenMP 并行指令 -Mnosgimp: 当使用 -mp 选项时, 忽略 SGI 并行指令 -Mpfi: 生成概要导向工具, 此时将会包含特殊代码收集运行时的统计信息以用于子序列编译 -Mpfi 必须在链接时也得使用 当程序运行时, 会生成概要导向文件 pgfi.out -Mpfo: 启用概要导向优化, 此时必须在当前目录下有概要文件 pgfi.out -Mprof[=option[,option, ]]: 设置性能功能概要选项 此选项可使得结果执行生成性能概要, 以便 PGPROF 性能概要器分析 -mp[=option]: 打开对源程序中的 OpenMP 并行指令的支持 -O[level]: 设置优化级别 level 可设为 , 其中 4 与 3 相同 -pg: 使用 gprof 风格的基于抽样的概要刨析 调试选项 : -g: 包含调试信息 预处理选项 : -C: 预处理时保留 C 源文件中的注释 -D<name[=def]>: 预处理时定义宏 name 为 def -dd: 打印源文件中已定义的宏及其值到标准输出 -di: 打印预处理中包含的所有文件信息, 含文件名和定义时的行号 -dm: 打印预处理时源文件已定义的宏及其值, 含定义时的文件名和行号 -dn: 与 -dd 类似, 但只打印源文件已定义的宏, 而不打印宏值

15 4 串行及 OPENMP 程序编译 15 -E: 预处理每个.c 文件, 将结果发送给标准输出, 但不进行编译 汇编或链接等操作 -I< 头文件目录 >: 指明头文件的搜索路径 -M: 打印 make 的依赖关系到标准输出 -MD: 打印 make 的依赖关系到文件 file.d, 其中 file 是编译文件的根名字 -MM: 打印 make 的依赖关系到标准输出, 但忽略系统头文件 -MMD: 打印 make 的依赖关系到文件 file.d, 其中 file 是编译的文件的根名字, 但忽略系统头文件 -P: 预处理每个文件, 并保留每个 file.c 文件预处理后的结果到 file.i -U<name>: 去除预处理中的任何 name 的初始定义 链接选项 : -Bdynamic: 在运行时动态链接所需的库 -Bstatic: 静态链接所需的库 -Bstatic_pgi : 动态链接系统库时静态链接 PGI 库 -g77libs: 允许链接 GNU g77 或 gcc 生成的库 -l< 库文件 >: 指明所需链接的库名 如库为 libxyz.a, 则可用 -lxyz 指定 -L< 库目录 >: 指明库的搜索路径 -m: 显示链接拓扑 -Mrpath 和 -Mnorpath: 默认为 -rpath, 以给出包含 PGI 共享目标的路径 用 - Mnorpath 可以去除此路径 -pgf77libs: 链接时添加 pgf77 运行库, 以允许混合编程 -r: 生成可以重新链接的目标文件 -R<directory>: 对共享目标文件总搜索 directory 目录 -pgf90libs: 链接时添加 pgf90 运行库, 以允许混合编程 -shared: 生成共享目标而不是可执行文件, 必须在编译每个目标文件时使用 -fpic 选项 -soname<name>: 生成共享目标时, 用内在的 DT_SONAME 代替指定的 name -u<name>: 传递给链接器, 以生成未定义的引用 语言选项 : -B: 源文件中允许 C++ 风格的注释, 指的是以 // 开始到行尾内容为注释 除非指定 -C 选项, 否则这些注释被去除

16 4 串行及 OPENMP 程序编译 16 -c8x 或 -c89: 对 C 源文件采用 C89 标准 -c9x 或 -c99: 对 C 源文件采用 C99 标准 平台相关选项 : -Kieee 和 -Knoieee: 浮点操作是否严格按照 IEEE 754 标准 使用 -Kieee 时一些优化处理将被禁止, 并且使用更精确的数值库 默认为 -Knoieee, 将使用更快的但精确性低的方式 -Ktrap=[option,[option] ]: 控制异常发生时 CPU 的操作 选项可为 divz fp align denorm inexact inv none ovf unf, 默认为 none -Msecond_underscore 和 -Mnosecond_underscore: 是否对已有 _ 的 Fortran 名字添加第二个 _ 为与 g77 兼容时使用, 因 g77 默认符号后添加第二个 _ -mcmodel=small medium: 使内存模型是否限制目标小于 2GB(small) 或允许数据块大于 2GB(medium) medium 时暗含 -Mlarge_arrays 选项 -tp target:target 可以为 nehalem-64 等, 默认与编译时的平台一致 建议仔细看看编译器手册中关于程序优化的部分, 多加测试, 选择适合自己程序 的编译选项以提高性能 本系统采用的是 Intel Xeon X5650(Westmere 核心架构 )CPU, 需要仔细选择, 特别是保证结果的正确性 GNU C/C++ 编译器 GCC 重要编译选项 GNU 编译器 GCC 是 Linux 系统自带的编译器, 系统安装的版本为 和 3.4.6, 选项 非常多, 下面仅仅是列出一些针对 本人认为常用的重要选项, 建议仔细看 GCC 相 关资料 控制文件类型的选项 : -x language: 明确指定而非让编译器判断输入文件的类型 language 可为 : * c c-header c-cpp-output * c++ c++-header c++-cpp-output * objective-c objective-c-header objective-c-cpp-output * objective-c++ objective-c++-header objective-c++-cpp-output * assembler assembler-with-cpp * ada * f95 f95-cpp-input * java

17 4 串行及 OPENMP 程序编译 17 * treelang 当 language 为 none 时, 禁止任何明确指定的类型, 其类型由文件名后缀决定 -c: 仅编译成目标文件 (.o 文件 ), 并不进行链接 -o file: 指定生成的文件名 -v: 详细模式, 显示在每个命令执行前显示其命令行 -###: 显示编译器 汇编器 链接器的调用信息但并不进行实际编译, 在脚本中可以用于捕获驱动器生成的命令行 help: 显示帮助信息 target-help: 显示目标平台的帮助信息 version: 显示编译器版本信息 C 语言选项 : -ansi:c 模式时, 支持所有 ISO C90 指令 在 C++ 模式时, 去除与 ISO C++ 冲突的 GNU 扩展 -std=: 控制语言标准, 可以为 c89 iso9899:1990 iso9899: c99 c9x iso9899:1999 iso9899:199x gnu89 gnu99 gnu9x c++98 gnu++98 -B: 在源文件中允许 C++ 风格的注释, 指的是以 // 开始到行尾内容为注释 除非指定 -C 选项, 否则这些注释被去除 -c8x 或 -c89: 对 C 源文件采用 C89 标准 -c9x 或 -c99: 对 C 源文件采用 C99 标准 警告选项 : -fsyntax-only: 仅仅检查代码的语法错误, 并不进行其它操作 -w: 编译时不显示任何警告, 只显示错误 -Wfatal-errors: 遇到第一个错误就停止, 而不尝试继续运行显示更多错误信息 调试选项 : -g: 包含调试信息 -ggdb: 包含利用 gbd 调试时所需要的信息

18 4 串行及 OPENMP 程序编译 18 优化选项 : -O[level]: 设置优化级别 优化级别 level 可以设置为 s 预处理选项 : -C: 预处理时保留 C 源文件中的注释 -D name: 预处理时定义宏 name 的值为 1 -D name=def: 预处理时定义 name 为 def -U name: 预处理时去除的任何 name 初始定义 -undef: 不预定义系统或 GCC 声明的宏, 但标准预定义的宏仍旧被定义 -dd: 显示源文件中定义的宏及其值到标准输出 -di: 显示预处理中包含的所有文件, 包括文件名和定义时的行号信息 -dm: 显示预处理时源文件中定义的宏及其值, 包括定义时文件名和行号 -dn: 与 -dd 类似, 但只显示源文件中定义的宏, 而不显示宏值 -E: 预处理各.c 文件, 将结果发给标准输出, 不进行编译 汇编或链接 -I< 头文件目录 >: 指明头文件的搜索路径 -M: 打印 make 的依赖关系到标准输出 -MD: 打印 make 的依赖关系到文件 file.d, 其中 file 是编译文件的根名字 -MM: 打印 make 的依赖关系到标准输出, 但忽略系统头文件 -MMD: 打印 make 的依赖关系到文件 file.d, 其中 file 是编译的文件的根名字, 但忽略系统头文件 -P: 预处理每个文件, 并保留每个 file.c 文件预处理后的结果到 file.i 链接选项 : -pie: 在支持的目标上生成位置无关的可执行文件 -s: 从可执行文件中去除所有符号表 -rdynamic: 添加所有符号表到动态符号表中 -static: 静态链接所需的库 -shared: 生成共享目标而不是可执行文件, 必须在编译每个目标文件时使用 -fpic 选项 -shared-libgcc: 使用共享 libgcc 库 -static-libgcc: 使用静态 libgcc 库 -u <symbol>: 确保符号 symbol 未定义, 强制链接一个库模块来定义它

19 4 串行及 OPENMP 程序编译 19 -I< 头文件目录 >: 指明头文件的搜索路径 -l< 库文件 >: 指明所需链接的库名, 如库为 libxyz.a, 则可用 -lxyz 指定 -L< 库目录 >: 指明库的搜索路径 -B< 路径 >: 设置寻找可执行文件 库 头文件 数据文件等路径 Intel 386 和 AMD x86-64 平台相关选项 : -mtune=cpu-type: 设置优化针对的 CPU 类型, 可为 :generic core2 k8 opteron 等,core2 为针对本系统至强 Xeon CPU 的 -march=cpu-type: 设置指令针对的 CPU 类型,CPU 类型与上行中一样 -mieee-fp 和 -mno-ieee-fp: 浮点操作是否严格按照 IEEE 标准 约定成俗的选项 : -fpic: 生成位置无关的代码以用于共享库 -fpic: 如果目标机器支持, 将生成位置无关的代码 -fopenmp: 编译 OpenMP 并行程序 -fpie 和 -fpie: 与 -fpic 和 -fpic 类似, 但生成的位置无关代码, 只能链接到可执行文件中 建议仔细看看编译器手册中关于程序优化的部分, 多加测试, 选择适合自己程序 的编译选项以提高性能 C/C++ 程序编译举例 Intel C/C++ 编译器编译举例 : icc -o yourprog yourprog.c 将 C 程序 yourprog.c 编译为可执行文件 yourprog icpc -o yourprog yourprog.cpp 将 C++ 程序 yourprog.cpp 编译为可执行文件 yourprog icc -o yourprog-omp -openmp yourprog.c 将 OpenMP 指令并行的 C 程序 yourprog-omp.c 编译为可执行文件 yourprog-omp PGI C/C++ 编译器编译举例 : pgcc -o yourprog yourprog.c 将 C 程序 yourprog.c 编译为可执行文件 yourprog

20 4 串行及 OPENMP 程序编译 20 pgcc -o yourprog yourprog.cpp 将 C++ 程序 yourprog.cpp 编译为可执行文件 yourprog pgcc -o yourprog-omp -mp yourprog.c 将 OpenMP 指令并行的 C 程序 yourprog-omp.c 编译为可执行文件 yourprog-omp GNU C/C++ 编译器编译举例 : gcc -o yourprog yourprog.c 将 C 程序 yourprog.c 编译为可执行文件 yourprog g++ -o yourprog yourprog.cpp 将 C++ 程序 yourprog.cpp 编译为可执行文件 yourprog gcc -o yourprog-omp -fopenmp yourprog.c 将 OpenMP 指令并行的 C 程序 yourprog-omp.c 编译为可执行文件 yourprog-omp 4.3 Fortran 程序的编译 输入输出文件后缀与类型的关系 编译器默认将按照输入文件的后缀判断文件类型, 输入文件的后缀与类型的关系见表 3 编译器默认将输出按照文件类型与后缀相对应, 输出文件的后缀与类型的关系见表 Intel Fortran 编译器重要编译选项 -Bdynamic: 运行时动态链接所需要的库 -Bstatic : 静态链接用户生成的库 -c: 仅编译成目标文件 (.o 文件 ) -convert [ 关键字 ]: 转换无格式数据的类型, 比如关键字为 big_endian 和 little_ endian 时, 分别表示无格式的输入输出为 big_endian 和 little_endian 格式, 更多格式类型, 请看编译器手册 -cpp: 对源代码进行预处理, 等价于 -fpp -extend-source[size]: 指明固定格式的 Fortran 源代码宽度, 选项 size 可为 和 132 也可直接用 和 -132 指定, 默认为 72 字符

21 4 串行及 OPENMP 程序编译 21 表 3: 输入文件后缀与文件类型的关系 文件名 解释 动作 filename.a 目标库文件 传给编译器 filename.f filename.for filename.ftn filename.i filename.fpp filename.fpp 固定格式的 Fortran 源文件 被 Fortran 编译器编译 filename.f 固定格式的 Fortran 源文件自动被 Fortran 编译器预处理后再被编译 filename.for filename.ftn filename.f90 filename.i90 自由格式的 Fortran 源文件 被 Fortran 编译器编译 filename.f90 自由格式的 Fortran 源文件 自动被 Fortran 编译器预处理后再被编译 filename.s 汇编文件 传递给汇编器 filename.so 库文件 传递给链接器 filename.o 目标文件 传递给链接器 表 4: 输出文件后缀与类型的关系 文件名 解释 生成方式 filename.o 目标文件 编译时添加 -c 选项生成 filename.so 共享库文件 编译时指定为共享型, 如添加 -shared, 并不含 -c filename.mod 模块文件 编译含有 MODULE 声明时的源文件生成 filename.s 汇编文件 编译时添加 -S 选项生成 a.out 默认生成的可执行文件 编译时没有指定 -c 时生成

22 4 串行及 OPENMP 程序编译 22 -fast: 最大化整个程序的速度 这里是所谓的最大化, 还是需要结合程序本身使用合适的选项 -fixed: 指明 Fortran 源代码为固定格式, 默认由文件后缀决定格式类别 -fpic: 生成位置无关代码, 当编译成共享目标文件时必须使用此选项, 等价于 -fpic, 默认为 -fno-pic -free: 指明 Fortran 源程序为自由格式, 默认由文件后缀决定格式类别 -g: 包含调试信息 -ip: 在单个文件中进行过程间优化 (Interprocedural Optimizations-IPO) -ipo[n]: 在多文件中进行过程间优化, 非负整数 n 为可生成的目标文件数 -I< 头文件目录 >: 指明头文件的搜索路径 -implicitnone: 指明默认变量名为未定义, 建议在写程序时添加 implicit none 语句, 以避免出现由于默认类型造成的错误 -L< 库目录 >: 指明库的搜索路径 -l< 库文件 >: 指明所需链接的库名, 如库文件为 libxyz.a, 则可用 -lxyz 指定 -nofree: 指明 Fortran 源程序为固定格式 -openmp: 编译 OpenMP 指令并行程序, 注意 : 在本系统上只能在同一个节点内 CPU 上运行 OpenMP 程序, 提交作业时请结合相应选项, 以保证在同一个节点上运行 -O< 级别 >: 设定优化级别 默认为 O2,O 与 O2 相同, 推荐使用 O3 为在 O2 基础之上增加更激进的优化, 比如包含循环和内存读取转换和预取等, 但在有些情况下速度反而慢, 建议在具有大量浮点计算和大数据处理的循环时的程序使用 -p: 进行概要导向优化 (Profile Guided Optimization-PGO) -shared: 生成共享目标而不是可执行文件, 必须在编译每个目标文件时使用 -fpic 选项 -stand < 标准 >: 以指定 Fortran 标准进行编译, 编译时显示源文件中不符合此标准的信息 标准可为 f03 f90 f95 和 none, 分别对应显示不符合 Fortran 的代码信息和不显示任何非标准的代码信息, 也可写为 -std< 标准 >, 此时标准不带 f, 可为 static: 静态链接所有库

23 4 串行及 OPENMP 程序编译 23 -unroll[n]: 循环最大可展开的层数, 与性能相关 -us: 编译时给外部用户定义的函数名添加一个下划线, 等价于 -assume underscore, 如果编译时显示 _ 函数找不到时也许添加此选项即可解决 -w: 编译时不显示任何警告, 只显示错误 -wall: 编译时显示所有警告 -X: 编译时不用默认的头文件搜索目录, 与 -I 结合可使用指定的头文件目录 建议仔细看看编译器手册中关于程序优化的部分, 特别是 IPO PGO 和 HLO 部分, 多加测试, 选择适合自己程序的编译选项以提高性能 另外 Intel 手册是针对 IntelCPU 写的, 本系统采用的是 AMD Opteron BarcelonaCPU, 因此参数未必合适, 建议参考 Intel XeonCPU 的编译参数, 并仔细选择, 首先是保证结果的正确性 PGI Fortran 编译器重要编译选项 PGI 编译器选项非常多, 下面仅仅是列出一些本人认为常用的编译 Fortran 9x 程序 的 pgf90 重要选项, 编译 Fortran 77 程序的 pgf77 等编译命令也许有部分不同, 建议仔细 看 PGI 相关资料 一般选项 : -#: 显示编译器 汇编器 链接器的调用 -c: 仅编译成目标文件 (.o 文件 ) -defaultoptions 和 -nodefaultoptions: 是否使用默认选项, 默认为使用 -flags: 显示所有可用的编译参数 -help[=option]: 显示帮助信息,option 可以为 groups asm debug language linker opt other overall phase phase prepro suffix switch target 和 variable -Minform=level: 控制编译时错误信息的显示级别,level 可以为 fatal file severe warn inform, 默认为 -Minform=warn -noswitcherror: 显示警告信息后, 忽略未知命令行参数继续进行编译 ; 默认为显示错误信息并终止编译 -o file: 指定生成的文件名 -show: 显示现有 pgf90 命令的配置信息 -silent: 不显示警告信息, 与 -Minform=severe 等同

24 4 串行及 OPENMP 程序编译 24 -v: 详细模式, 显示在每个命令执行前显示其命令行 -V: 显示编译器版本信息 -w: 编译时不显示任何警告, 只显示错误 优化选项 : -fast: 编译时选择针对目标平台的普通优化参数, 用 pgf90 -fast -help 可以查看等价的开关 优化级别至少为 O2, 参看 -O 参数 -fastsse: 对支持 SSE 和 SSE2 指令的 CPU( 如 Opteron) 编译时选择针对目标平台的普通优化参数, 用 pgcc -fastsse -help 可以查看等价的开关 优化级别至少为 O2, 参看 -O 参数 -fpic 或 -fpic: 编译器生成位置无关代码, 以便可以用于生成共享目标文件 ( 动态链接库 ) -Kpic 或 -KPIC: 与 -fpic 或 -fpic 相同, 为了与其余编译器兼容 -Minfo[=option[,option, ]]: 显示有用的信息到标准错误输出, 选项可以为 all autoinline inline ipa loop 或 opt mp time 或 stat -Mipa [=option[,option, ]] 和 -Mnoipa: 对过程间分析启用和指定参数, 默认为 -Mnoipa -Mneginfo=option[,option ]: 使编译器生成关于为什么特定优化没有实现的信息 选项包括 concur loop 和 all -Mnoopenmp: 当使用 -mp 选项时, 忽略 OpenMP 指令 -Mnosgimp: 当使用 -mp 选项时, 忽略 SGI 并行指令 -Mpfi: 生成概要导向工具, 此时将会包含特殊代码以收集运行时的统计信息以用于子序列的编译中 -Mpfi 必须在链接时也得使用 当程序运行时, 会生成概要导向文件 pgfi.out -Mpfo: 启动概要导向优化, 此时必须在当前目录下存在概要文件 pgfi.out -Mprof[=option[,option, ]]: 设置性能功能概要选项 用此选项可使结果执行生成性能概要, 以便 PGPROF 性能概要器可以分析 -mp[=option]: 打开对源程序中的 OpenMP 并行指令的支持 -O[level]: 设置优化级别 level 可设为 , 其中 4 与 3 相同 -pg: 使用 gprof 风格的基于抽样的概要刨析 调试选项 : -g: 包含调试信息 预处理选项 :

25 4 串行及 OPENMP 程序编译 25 -C: 预处理时保留 C 源文件中的注释 -D<name[=def]>: 预处理时定义 name 为 def -dd: 显示源文件中定义的宏及其值到标准输出 -di: 显示预处理中包含的所有文件, 包括文件名和定义时的行号信息 -dm: 显示预处理时源文件中定义的宏及其值, 包括定义时文件名和行号 -dn: 与 -dd 类似, 但只显示源文件中已定义的宏, 而不显示宏值 -E: 预处理各.c 文件, 将结果发给标准输出, 不进行编译 汇编或链接 -I< 头文件目录 >: 指明头文件的搜索路径 -M: 显示 make 的依赖关系到标准输出 -MD: 显示 make 的依赖关系到文件 file.d, 其中 file 是编译文件的根名字 -MM: 显示 make 的依赖关系到标准输出, 但忽略系统头文件 -MMD: 显示 make 的依赖关系到文件 file.d, 其中 file 是编译的文件的根名字, 但忽略系统头文件 -P: 预处理每个文件, 并保留每个 file.c 文件预处理后的结果到 file.i -U<name>: 预处理去除时 name 的初始定义 链接选项 : -Bdynamic: 运行时动态链接所需的库 -Bstatic: 静态链接所需的库 -Bstatic_pgi : 对动态链接系统库时静态链接 PGI 库 -g77libs: 允许链接 GNU g77 或 gcc 生成的库 -l< 库文件 >: 指明所需链接的库名, 如库为 libxyz.a, 则可用 -lxyz 指定 -L< 库目录 >: 指明库的搜索路径 -m: 显示链接拓扑 -Mrpath 和 -Mnorpath: 默认为 -rpath, 以设置包含 PGI 共享目标的路径 用 - Mnorpath 可以去除此路径 -pgf77libs: 链接时添加 pgf77 运行库, 以允许混合编程 -r: 生成可以重新链接的目标文件 -R<directory>: 对共享目标文件总搜索 directory 目录 -pgf90libs: 链接时添加 pgf90 运行库, 以允许混合编程 -shared: 生成共享目标而不是可执行文件, 必须在编译每个目标文件时使用 -fpic 选项

26 4 串行及 OPENMP 程序编译 26 -soname<name>: 生成共享目标时, 用内在的 DT_SONAME 代替指定的 name -u<name>: 传递给链接器, 以生成未定义的引用 语言选项 : -byteswapio 或 -Mbyteswapio: 对无格式 Fortran 数据文件在输入输出时从大端 (big-endian) 到小端 (little-endian) 交换比特, 或者相反 此选项可以用于读写 Sun 或 SGI 等系统中的无格式的 Fortran 数据文件 -i2: 将 INTEGER 变量按照 2 比特处理 -i4: 将 INTEGER 变量按照 4 比特处理 -i8: 将默认的 INTEGER 和 LOGICAL 变量按照 4 比特处理 -i8storage: 对 INTEGER 和 LOGICAL 变量分配 8 比特 -Mallocatable[=95 03]: 按照 Fortran 95 或 2003 标准分配数组 -Mbackslash 和 -Mnobackslash: 将反斜线 (\) 当作正常字符 ( 非转义符 ) 处理, 默认为 -Mnobackslash -Mnobackslash 导致标准的 C 反斜线转义序列在引号包含的字串中重新解析 -Mbackslash 则导致反斜线被认为和其它字符一样 -Mextend: 设置源代码的行宽为 132 列 -Mfixed -Mnofree 和 -Mnofreeform: 强制对源文件按照固定格式进行语法分析, 默认.f 或.F 文件被认为固定格式 -Mfree 和 -Mfreeform: 强制对源文件按照自由格式进行语法分析, 默认.f90.F90.f95 或.F95 文件被认为自由格式 -Mi4 和 -Mnoi4: 将 INTEGER 看作 INTEGER*4 -Mnoi4 将 INTEGER 看作 INTEGER*2 -Mnomain: 当链接时, 不包含调用 Fortran 主程序的目标文件 -Mr8 和 -Mnor8: 将 REAL 看作 DOUBLE PRECISION, 将实 (REAL) 常数看作双精度 (DOUBLE PRECISION) 常数 默认为否 -Mr8intrinsics [=float] 和 -Mnor8intrinsics: 将 CMPLX 看作 DCMPLX, 将 REAL 看作 DBLE 添加 float 选项时, 将 FLOAT 看作 DBLE -Msave 和 -Mnosave: 是否将所有局部变量添加 SAVE 声明, 默认为否 -Mupcase 和 -Mnoupcase: 是否保留名字的大小写 -Mnoupcase 导致所有名字转换成小写 注意, 如果使用 -Mupcase, 那么变量名 X 与变量名 x 不同, 并且关键字必须为小写 -Mcray=pointer: 支持 Cray 指针扩展 -module directory: 指定编译时保存生成的模块文件的目录 -r4: 将 DOUBLE PRECISION 变量看作 REAL

27 4 串行及 OPENMP 程序编译 27 -r8: 将 REAL 变量看作 DOUBLE PRECISION 平台相关选项 : -Kieee 和 -Knoieee: 浮点操作是否严格按照 IEEE 754 标准, 默认为不 使用 - Kieee 时一些优化处理被禁止, 并且使用更加精确的数值库, 默认为 -Knoieee, 将使用更快的但精确性低的方式 -Ktrap=[option,[option] ]: 控制异常发生时,CPU 的操作 选项可以为 divz fp align denorm inexact inv none ovf unf, 默认为 none -Mlarge_arrays 和 -Mnolarge_arrays: 是否允许数组大于 2GB, 默认不允许 当使用 -mcmodel=medium 时暗含 -Mlarge_arrays 选项 -mcmodel=small medium: 使用内存模型是否限制目标小于 2GB(small) 或允许数据块大于 2GB(medium),medium 时暗含 -Mlarge_arrays 选项 -Msecond_underscore 和 -Mnosecond_underscore: 是否对已经有 _ 的 Fortran 名字添加第二个 _ 主要在与 g77 兼容时使用,g77 默认给符号添加第二个 _ -Mvarargs 和 -Mnovarargs: 是否生成从 Fortran 调用 C 程序时用变量参数调用序列, 默认为否 -tp target:target 可以为 amd64 amd64e barcelona barcelona-64 k8-32 k8-64 k8-64e x64 等, 默认与编译时的平台一致 建议仔细看看编译器手册中关于程序优化的部分, 特别是 IPA PGA 等部分, 多 加测试, 选择适合自己程序的编译选项以提高性能 本系统采用的是 AMD Opteron BarcelonaCPU, 需仔细选择, 首先要保证结果的正确性 GNU Fortran 编译器重要编译选项 GNU Fortran 编译器是 Linux 系统自带的 Fortran 编译器, 系统安装的版本为 4.4.6, 支 持大部分 gcc 选项, 下面仅仅是列出一些针对 的 gfortran 本人认为常用的重要选项, 建议仔细看 GNU Fortran 和 gcc 的相关资料 控制 Fortran 语言类型的选项 : -ffree-form 和 -ffixed-form: 声明源文件是自由格式还是固定格式, 默认从 Fortran 90 起的源文件为自由格式, 之前的 Fortran 77 等的源文件为固定格式 -fdefault-double-8: 设置 DOUBLE PRECISION 类型为 8 比特 -fdefault-integer-8: 设置 INTEGER 和 LOGICAL 类型为 8 比特 -fdefault-real-8: 设置 REAL 类型为 8 比特

28 4 串行及 OPENMP 程序编译 28 -fno-backslash: 将反斜线 (\) 当作正常字符 ( 非转义符 ) 处理 -ffixed-line-length-<n>: 设置固定格式源代码的行宽为 n -ffree-line-length-<n>: 设置自由格式源代码的行宽为 n -fmax-identifier-length=<n>: 设置名称的最大字符长度为 n,fortran 95 和 200x 的长度分别为 31 和 65 -fimplicit-none: 禁止变量的隐式声明, 所有变量都需要显式声明 -fcray-pointer: 支持 Cray 指针扩展 -fopenmp: 编译 OpenMP 并行程序 -std=<std>: 指明 Fortran 标准,std 可以为 f95 f2003 legacy -M<dir> 和 -J<dir>: 指定编译时保存生成的模块文件目录 -fconvert=<conversion>: 指定对无格式 Fortran 数据文件表示方式, 其值可以为 :native, 默认值 ;swap, 在输入输出时从大端 (big-endian) 到小端 (littleendian) 交换比特, 或者相反 ;big-endian, 用大端方式读写 ;little-endian, 用小端方式读写 一般选项 : -c: 仅编译成目标文件 (.o 文件 ), 并不进行链接 -o file: 指定生成的文件名 -v: 详细模式, 显示在每个命令执行前显示其命令行 -###: 显示编译器 汇编器 链接器的调用信息但并不进行实际编译, 在脚本中可以用于捕获驱动器生成的命令行 help: 显示帮助信息 target-help: 显示目标平台的帮助信息 version: 显示编译器版本信息 警告选项 : -fsyntax-only: 仅仅检查代码的语法错误, 并不进行其余操作 -w: 编译时不显示任何警告, 只显示错误 -Wfatal-errors: 遇到第一个错误就停止, 而不尝试继续运行 调试选项 : -g: 包含调试信息 -ggdb: 包含利用 gbd 调试时所需要的信息

29 4 串行及 OPENMP 程序编译 29 优化选项 : -O[level]: 设置优化级别 优化级别 level 可以设置为 s 预处理选项 : -C: 保留预处理的 C 源文件中的注释 -D name: 在预处理中定义宏 name 的值为 1 -D name=def: 在预处理中定义 name 为 def -U name: 去除预处理中的任何 name 初始定义 -undef: 不预定义系统或 GCC 声明的宏, 但标准预定义的宏仍旧被定义 -dd: 显示源文件中定义的宏及其值到标准输出 -di: 显示预处理中包含的所有文件, 包括文件名和定义时的行号 -dm: 显示预处理时源文件中定义的宏及值, 含定义时文件名和行号 -dn: 与 -dd 类似, 但只显示源文件中定义的宏, 而不显示宏值 -E: 预处理各文件, 将结果发给标准输出, 不进行编译 汇编或链接 -I< 头文件目录 >: 指明头文件的搜索路径 -M: 打印 make 的依赖关系到标准输出 -MD: 打印 make 的依赖关系到文件 file.d, 其中 file 是编译文件的根名字 -MM: 打印 make 的依赖关系到标准输出, 但忽略系统包含 -MMD: 打印 make 的依赖关系到文件 file.d, 其中 file 是编译的文件的根名字, 但忽略系统头文件 -P: 预处理每个文件, 并保留每个 file.c 文件预处理后的结果到 file.i 链接选项 : -pie: 在支持的目标上生成位置无关的可执行文件 -s: 从可执行文件中去除所有符号表 -rdynamic: 添加所有符号表到动态符号表中 -static: 静态链接所需的库 -shared: 生成共享目标而不是可执行文件, 必须在编译每个目标文件时使用 -fpic 选项 -shared-libgcc: 使用共享 libgcc 库 -static-libgcc: 使用静态 libgcc 库 -u <symbol>: 确保符号 symbol 未定义, 强制连接一个库模块来定义它

30 4 串行及 OPENMP 程序编译 30 -I< 头文件目录 >: 指明头文件的搜索路径 -l< 库文件 >: 指明所需链接的库名, 如库为 libxyz.a, 则可用 -lxyz 指定 -L< 库目录 >: 指明库的搜索路径 -B< 路径 >: 设置寻找可执行文件 库 头文件 数据文件等路径 Intel 386 和 AMD x86-64 平台相关选项 : -mtune=cpu-type: 设置优化针对的 CPU 类型, 可为 :generic core2 k8 opteron 等,core2 为针对本系统至强 Xeon CPU 的 -march=cpu-type: 设置指令针对的 CPU 类型,CPU 类型与上行中一样 -mieee-fp 和 -mno-ieee-fp: 浮点操作是否严格按照 IEEE 标准 约定成俗的选项 : -fno-automatic: 将每个程序单元的本地变量和数组声明具有 SAVE 属性 -ff2c: 与 g77 和 f2c 生成的代码兼容 -fno-underscoring: 不在名字后添加 _ 注意:gfortran 默认行为与 g77 和 f2c 不兼容, 为了兼容需要加 -ff2c 选项 除非使用者了解与现有系统环境的集成, 否则不建议使用 -fno-underscoring 选项 -funderscoring: 对外部名字没有 _ 的加 _, 以与一些 Fortran 编译器兼容 -fsecond-underscore: 默认 gfortran 对外部名称添加一个 _, 如果使用此选项, 那么将添加两个 _ 此选项当使用-fno-underscoring 选项时无效 此选项当使用 -ff2c 时默认启用 -fpic: 生成位置无关的代码以用于共享库 -fpic: 如果目标机器支持, 将生成位置无关的代码 -fpie 和 -fpie: 与 -fpic 和 -fpic 类似, 但生成的位置无关代码只能链接到可执行文件中 建议仔细看看编译器手册中关于程序优化的部分, 多加测试, 选择适合自己程序 的编译选项以提高性能 Fortran 程序编译举例 Intel Fortran 编译器编译举例 : ifort -o yourprog yourprog.for 将 Fortran 77 程序 yourprog.for 编译为可执行文件 yourprog

31 4 串行及 OPENMP 程序编译 31 ifort -o yourprog -static yourprog.f90 将 Fortran 90 程序 yourprog.f90 静态编译为可执行文件 yourprog ifort -o yourprog-omp -openmp yourprog.f90 将 OpenMP 指令并行的 Fortran 90 程序 yourprog-omp.f90 编译为可执行文件 yourprogomp PGI Fortran 编译器编译举例 : pgf77 -o yourprog yourprog.for 将 Fortran 77 程序 yourprog.for 编译为可执行文件 yourprog pgf90 -o yourprog -static yourprog.f90 将 Fortran 90 程序 yourprog.f90 静态编译为可执行文件 yourprog pgf90 -o yourprog-omp -mp yourprog.f90 将 OpenMP 指令并行的 Fortran 90 程序 yourprog-omp.f90 编译为可执行文件 yourprogomp GNU Fortran 编译器编译举例 : g77 -o yourprog yourprog.for 将 Fortran 77 程序 yourprog.for 编译为可执行文件 yourprog gfortran -o yourprog -static yourprog.f90 将 Fortran 90 程序 yourprog.f90 静态编译为可执行文件 yourprog gfortran -o yourprog-omp -fopenmp yourprog.f90 将 OpenMP 指令并行的 Fortran 90 程序 yourprog-omp.f90 编译为可执行文件 yourprogomp 注意 :g77 不支持 OpenMP, 也不支持 Fortran 90 标准 4.4 OpenMP 程序的编译与运行 Intel PGI GNU 编译器支持 OpenMP 并行, 只需利用编译命令结合必要的 OpenMP 编 译选项编译即可, 对应此三种编译器的 OpenMP 选项分别为 -openmp -mp -fopenmp Intel 编译器 : icc -openmp -o yourprog-omp yourprog.c 将 OpenMP 的 C 程序 yourprog-omp.c 编译为可执行文件 yourprog-omp ifort -openmp -o yourprog-omp yourprog.f90 将 OpenMP 的 Fortran 90 程序 yourprog-omp.f90 编译为可执行文件 yourprog-omp

32 4 串行及 OPENMP 程序编译 32 PGI 编译器 : pgcc -mp -o yourprog-omp yourprog.c 将 OpenMP 的 C 程序 yourprog-omp.c 编译为可执行文件 yourprog-omp pgf90 -mp -o yourprog-omp yourprog.f90 将 OpenMP 的 Fortran 90 程序 yourprog-omp.f90 编译为可执行文件 yourprog-omp GNU 编译器 : gcc -fopenmp -o yourprog-omp yourprog.c 将 OpenMP 的 C 程序 yourprog-omp.c 编译为可执行文件 yourprog-omp gfortran -fopenmp -o yourprog-omp yourprog.f90 将 OpenMP 的 Fortran 90 程序 yourprog-omp.f90 编译为可执行文件 yourprog-omp OpenMP 的运行一般是通过在运行前设置环境变量 OMP_NUM_THREADS 来控制进程数, 比如在 bash 中利用 export OMP_NUM_THREADS=12 设置十二个进程运行 注意, 本系统为节点内共享内存节点间分布式内存的架构, 因此只能在一个节点上的 CPU 之间运行 OpenMP 程序, 在提交作业时需要使用相应选项以保证在同一个节点运行 )

33 5 MPI 并行程序编译 33 5 MPI 并行程序编译 本系统的通信网络千兆以太网, 系统默认设置使用的 Intel 12 系列的编译器与 Open MPI 的组合, 其安装目录为 /opt/openmpi-1.4.5, 建议使用 用户也可以运行 mpi-selector-menu 命令按照提示选择自己使用的 MPI 环境, 注意数 字后需要加 u, 设置完成后最好重新登录以便设置生效 : Current system default : openmpi-1.4.5_intel Current user default : openmpi u and s modifiers can be added to numeric and U commands to specify user or system-wide. 1. openmpi-1.4.3_intel openmpi-1.4.4_intel openmpi-1.4.5_intel openmpi-1.4.5_pgi U. Unset default Q. Quit Selection (1-4[us], U[us], Q): 上述选项的格式 :MPI 实现名 -MPI 实现版本 _ 编译器名 - 编译器版本, 以上述为例, 如果想使用 Open MPI 与 PGI 的配合, 那么就输入 4u 5.1 MPI 并行程序的编译 Open MPI 的编译命令主要为 : C 程序 :mpicc C++ 程序 :mpic++ mpicxx mpicc Fortran 77 程序 :mpif77 mpif90 Fortran 90 程序 :mpif90 对于并行程序, 对应不同类型源文件的编译命令如下 : mpicc -o yourprog-mpi yourprog-mpi.c 将 C 语言的 MPI 并行程序 yourprog-mpi.c 编译为可执行文件 yourprog-mpi

34 5 MPI 并行程序编译 34 mpicxx -o yourprog-mpi yourprog-mpi.cpp 将 C++ 语言的 MPI 并行程序 yourprog-mpi.cpp 编译为可执行文件 yourprog-mpi, 也可换为 mpic++ 或 mpicc mpif77 -o yourprog-mpi yourprog-mpi.f 将 Fortran 77 语言的 MPI 并行程序 yourprog-mpi.f 编译为可执行文件 yourprog-mpi mpif90 -o yourprog-mpi yourprog-mpi.f90 将 Fortran 90 语言的 MPI 并行程序 yourprog-mpi.f90 编译为可执行文件 yourprog-mpi MPI 编译环境的编译命令实际上是调用 Intel PGI GCC 编译器进行编译, 具体优 化选项等, 请参看 Open MPI 以及 Intel PGI 和 GCC 编译器手册 5.2 MPI 并行程序的运行 在本系统上,MPI 并行程序需结合作业调度系统 TORQUE 和 Maui 的作业提交命 令 qsub 来调用作业脚本运行, 请参看后面的作业调度系统介绍 5.3 MPI 并行程序调试 并行程序调试比比较困难, 并行程序的调试一般来说只能利用显示语句来逐步定位错误, 建议利用尽量少的进程数来调试以方便进行追踪 Intel 编译器带有调试器 : 命令行的 idbc 和图形界面的 idb, 并且可以调试 OpenMP 和 MPI 并行程序, 进入后运行 help 命令可以查看具体命令

35 6 数值函数库 35 6 数值函数库 本系统上安装的数值函数库主要有 Intel Math Kernel Library(MKL), 用户可以直接 调用, 以提高性能 加快开发 6.1 Intel MKL 当前安装的 MKL 版本为 和 , 分别安装在 /opt/intel/compiler/ 11.1/073/mkl 和 /opt/intel/composer_xe_2011_sp 版本只安装有 em64t(amd64) 版本 ( 未安装针对 i386 的 32 位版本 ), 对应的目录为 MKL 主目录下的 lib/em64t 子目录, 版本的, 具有 em64t 和 i386 版本 ( 因为 版本的 Intel 编译器没有安装 32 位的, 建议使用 Intel 编译器编译时不要使用 i386 版本, 版本的编译器安装有 em64t 和 i386 版本, 编译器版本和 MKL 版本最好别混用, 以免出现错误 ) 以下将以 针对 em64t 系统的版本为例介绍 在 bash 下可以通过在 /.bashrc 之类的环境变量设置文件中添加下面代码设置 MKL 所需的环境变量 INCLUDE LD_LIBRARY_PATH 和 MANPATH 等 : 版本的编译器和 MKL:. /opt/intel/composer_xe_2011_sp /bin/compilervars.sh intel 版本 :. /opt/intel/compiler/11.1/073/mkl/tools/environment/mklvarsem64t.sh MKL 主要内容 MKL 主要包含如下内容 : 基本线性代数子系统库 (BLAS) 离散基本线性代数库 (Sparse BLAS) 线性代数库 (LAPACK) 可扩展性线性代数库 (ScaLAPACK) 离散求解程序 (Sparse Solver routines) 向量数值库函数 (Vector Mathematical Library functions) 向量统计库函数 (Vector Statistical Library functions)

36 6 数值函数库 36 傅立叶变换程序 (Fourier Transform functions (FFT)) 集群版傅立叶变换程序 (Cluster FFT) 区间求解程序 (Interval Solver routines) 三角变换程序 (Trigonometric Transform routines) 泊松 拉普拉斯和哈密顿求解程序 (Poisson, Laplace, and HelMHzoltz Solver routines) 优化 ( 信赖域 ) 求解程序 (Optimization (Trust-Region) Solver routines) MKL 目录内容 MKL 的主要目录内容见表 链接 MKL 为了在程序中链接 MKL 库中的 libyyy.a 或 libyyy.so, 可以采用两种方式 : 如以下环 境变量已经设好 : MKLROOT=/opt/intel/composer_xe_2011_sp MKLPATH=$MKLROOT/lib/intel64 MKLINCLUDE=$MKLROOT/include 那么可以 : 在链接行中, 列举含有相对或绝对路径的库名, 比如 : <ld> myprog.o -L$MKLPATH -I$MKLINCLUDE -Wl, start-group \ $MKLPATH/libmkl_intel_lp64.a $MKLPATH/libmkl_intel_thread.a \ $MKLPATH/libmkl_core.a -Wl, end-group -liomp5 -lpthread 其中,<ld> 为链接命令, 如 ld,myprog.o 是用户的目标文件 首先列举所需的 MKL 库, 然后跟着系统库 libpthread: 在链接行中, 利用 -L<path> 列举含有相对或绝对路径的库名 ( 指明搜索库的路径 ), 和 -I<include>( 指明搜索头文件的路径 ) 如果已经利用前面所说的 compilervars.sh 设置好 MKL 环境变量, 上面则可以简化 为无需指定库所在的绝对路径, 只需要利用 -l< 库名 > 指明所需要的库即可

37 6 数值函数库 37 目录 <mkl_dir> <mkl_dir>/benchmarks/linpack <mkl_dir>/benchmarks/mp_linpack <mkl_dir>/doc <mkl_dir>/examples <mkl_dir>/include <mkl_dir>/interfaces/blas95 <mkl_dir>/interfaces/lapack95 <mkl_dir>/interfaces/fftw2xc <mkl_dir>/interfaces/fftw2xf <mkl_dir>/interfaces/fftw3xc <mkl_dir>/interfaces/fftw3xf <mkl_dir>/interfaces/fftw2x_cdft <mkl_dir>/lib/intel64 <mkl_dir>/lib/em64t <mkl_dir>/man/man3 <mkl_dir>/tests <mkl_dir>/tools/builder <mkl_dir>/tools/environment <mkl_dir>/tools/support 表 5: MKL 目录内容内容 MKL 主目录, 比如 /opt/intel/composer_xe_2011_sp /mkl 包含 OpenMP 版的 LINPACK 的基准程序包含 MPI 版的 LINPACK 的基准程序 MKL 文档目录一些例子, 建议用户参考学习含有 INCLUDE 文件包含 BLAS 的 Fortran 90 封装及用于编译成库的 makefile 包含 LAPACK 的 Fortran 90 封装及用于编译成库的 makefile 包含 2.x 版 FFTW(C 接口 ) 封装及用于编译成库的 makefile 包含 2.x 版 FFTW(Fortran 接口 ) 封装及用于编译成库的 makefile 包含 3.x 版 FFTW(C 接口 ) 封装及用于编译成库的 makefile 包含 3.x 版 FFTW(Fortran 接口 ) 封装及用于编译成库的 makefile 包含 2.x 版 MPI FFTW( 集群 FFT) 封装及用于编译成库的 makefile 较新系列版本 MKL 路径, 包含 EM64T 架构的静态库和共享目标文件较久系列版本 MKL 路径, 包含 EM64T 架构的静态库和共享目标文件 MKL 的 man 文档一些测试文件包含用于生成定制动态可链接库的工具包含用于设置环境变量的 shell 脚本包含使用 Intel Premier 支持时所需要的包 ID 和许可代码等信息

38 6 数值函数库 38 或者采用链接 MKL 库时指明库的路径和库名方式, 如下 : -L<MKL path> -I<MKL include> [-I<MKL include>/{ia32 intel64 {ilp64 lp64}}] [-lmkl_blas{95 95_ilp64 95_lp64}] [-lmkl_lapack{95 95_ilp64 95_lp64}] [ <cluster components> ] -lmkl_{intel intel_ilp64 intel_lp64 intel_sp2dp gf gf_ilp64 gf_lp64} -lmkl_{intel_thread gnu_thread pgi_thread sequential} -lmkl_core -liomp5 [-lpthread] [-lm] 注意 : 上面是动态链接的命令, 如果想静态链接, 需要将含有 -l 的库名用含有库文件的路径来代替, 比如用 $MKLPATH/libmkl_core.a 代替 -lmkl_core, 其中 $MKLPATH 为用户定义的指向 MKL 库目录的环境变量 注 :[] 内的表示可选, 表示其中之一 {} 表示含有

39 7 作业管理系统 39 7 作业管理系统 本系统利用 Platform 公司的 LSF 进行资源和作业管理, 所有需要运行的作业均必须 通过作业提交命令 bsub 提交, 提交后可利用相关命令查询作业状态等 为了利用 bsub 提 交作业, 需要在 bsub 中指定各选项和需要执行的程序 注意 : 不要在登录节点直接运行作业 ( 编译等日常操作除外 ), 以免影响其余用户的正 常使用 如果不通过作业调度系统直接在计算节点上运行将会被监护进程直接杀掉 7.1 查看队列情况 :bqueues 利用 bqueues 可以查看现有队列信息, 例如 : bqueues QUEUE_NAME PRIO STATUS MAX JL/U JL/P JL/H NJOBS PEND RUN SUSP QUEUE_NAME PRIO STATUS MAX JL/U JL/P JL/H NJOBS PEND RUN SUSP mem64 59 Open:Active mem96 58 Open:Active mem48 55 Open:Active serial 50 Open:Active fat48 43 Open:Active fat64 43 Open:Active long 40 Open:Active cpu 36 Open:Active normal 30 Open:Active 其中, 主要列的含义为 : QUEUE_NAME: 队列名 PRIO: 优先级, 数字越大优先级越高 STATUS: 状态 Open:Active 表示已激活, 可使用 ;Closed:Active 表示已关闭, 不可使用 MAX: 队列对应的最大 CPU 核数,- 表示无限, 以下类似 JL/U: 单个用户同时可以的 CPU 核数 NJOBS: 排队 运行和被挂起的总作业所占 CPU 核数

40 7 作业管理系统 40 PEND: 排队中的作业所需 CPU 核数 RUN: 运行中的作业所占 CPU 核数 SUSP: 被挂起的作业所占 CPU 核数 其中 :fat48 fat64 mem48 mem64 mem96 队列对应大共享内存服务器, 数量 有限, 仅供真正有需求的用户使用, 需要单独申请才可以使用 7.2 提交作业 :bsub 用户需要利用 bsub 提交作业, 其基本格式为 bsub [options] command [arguments] 其中 options 设置队列 CPU 核数等的选项, 必需在 command 之前, 否则将作为 command 的参数 ;arguments 为设置作业的可执行程序本身所需要的参数, 必须在 command 之后, 否则将作为设置队列等的选项 下面将给出常用的几种提交方式 提交到特定队列 :bsub -q 利用 -q 选项可以指定提交到哪个队列, 作业队列会针对运行情况进行修改, 请注 意参看登录后的提示或运行 bqueues -l 命令查看, 现有的队列为 : normal: 所需要的 CPU 核数不超过 12 个时, 作业将在 node1 - node70 上运行, 此为默认队列 long: 所需要的 CPU 核数超过 12 个时, 作业将在 node1 - node70 上运行 serial: 所需要的 CPU 核数为一个时, 作业将在 node88 上运行 fat48: 提交到此队列上的作业可运行于 node81 - node83,node86 - node87 节点上, 大共享内存服务器, 需要特殊申请使用权限 fat64: 提交到此队列上的作业可运行于 node84,node85 节点上, 大共享内存服务器, 需要特殊申请使用权限 比如想提交到 serial 队列运行串行程序 executable1, 可以 : bsub -q serial executable1 或 bsub executable1 如果提交成功, 将显示类似下面的输出 : Job <79722> is submitted to default queue <serial >. 其中 为此作业的作业号, 以后可利用此作业号来进行查询及终止等操作

41 7 作业管理系统 运行串行作业 :bsub -q serial 运行串行作业, 请使用串行队列 serial, 比如 : bsub -q serial executable-serial 作业将在 node88 运行 指明所需要的 CPU 核数 :bsub -n 利用 -n 选项指定所需要的 CPU 核数 ( 一般来说核数和进程数一致 ), 比如下面指定利用 12 个 CPU 核 ( 由 -n 12 指定 ) 运行 MPI( 由 mpijob 指明为运行 MPI 程序 ) 程序 : bsub -q normal -n 12 mpijob executable-mpi1 如需要的核数多于 12 个, 需利用 -q long 或 -q fat48 -q fat64 指明使用 long 或 fat48 fat64 等队列 运行 MPI 作业 :bsub -n NUM mpijob 如果需要运行 MPI 作业, 需要利用 mpijob 调用 MPI 可执行程序, 并用 -n 选项指定所 需的 CPU 核数, 比如下面指定利用 24 颗 CPU 核运行 MPI 程序 executable-mpi1: bsub -q long -n 24 mpijob executable-mpi 运行 OpenMP 共享内存作业 :bsub -q 本系统只能在同一个节点内部运行 OpenMP 共享内存的作业, 此时需要添加利用 -q 参数指定队列 (normal fat48 fat64 队列会自动保证只在单个节点内运行,long 队列跨节点运行, 要除外 ) 选项 : bsub -q normal -n 12 executable-omp 运行 MPI 和 OpenMP 共享内存混合并行作业 理人员 需要针对需求利用 LSF 环境变量特殊处理, 如果自己不清楚怎么处理, 请联系管 运行排他性作业 :bsub -x 如果需要独占节点运行, 此时需要添加 -x 选项 : bsub -x -q normal -n 8 executable-omp1

42 7 作业管理系统 42 注意 : 排他性作业在运行期间, 不允许其余的作业提交到运行此作业的节点, 并且只有在某节点没有任何其余的作业在运行时才会提交到此节点上运行 如果不需要采用排他性运行, 请不要使用此选项, 否则将导致作业必须等待完全空闲的节点才会运行, 也许将增加等待时间 指明输出 输出文件运行 :bsub -i -o -e 作业的正常屏幕输入文件 ( 指的是类似命令 < 输入文件方式的文件 ) 正常屏幕输出到的文件和错误屏幕输出的文件可以利用 -i -o 和 -e 选项来分别指定, 运行后可以通过查看指定的这些输出文件来查看运行状态, 文件名可利用 %J 与作业号挂钩 比如指定 executable1 的输入 正常和错误屏幕输出文件分别为 :executable1.input executable- 作业号.log 和 executable1- 作业号.err: bsub -i executable1.input -o executable1-%j.log -e executable1-%j.err executable1 建议打开 -o 和 -e 参数, 以便查看作业为什么出问题等, 如果需要管理人员协助解决, 请告知这些输出, 以及运行目录, 怎么运行的等, 以便管理人员能获取足够的信息及时处理 交互式运行作业 :bsub -I 如果需要运行交互式的作业 ( 如在运行期间需要手动输入参数等进行交互 ), 需要结合 -I 参数, 建议只是在调试期间使用, 平常作业还是尽量不要使用此选项, 类似选项还有 -Ip 和 -Is: bsub -I executable 使用 fat48 和 fat64 大共享内存队列 fat48 fat64 队列对应大共享内存服务器, 数量有限, 仅供真正有需求的用户使用, 需要单独申请经工作人员批准设定好权限后才可使用 提交时需要利用 -R rusage[mem=xxx] 参数设定所需要的内存, 其中 xxx 为单核所需要的内存 ( 单位为 MB), 即此作业所需要内存总数除以所需要的核数 如提交一个 32 进程的大共享内存作业 openmp-job 到 fat48 队列运行, 申请使用 64GB 内存, 需指定 rusage[mem=2000], 即总申请内存 / 申请进程数 :64000/32=2000: bsub -q fat48 -n 32 -o %J.log -e %J.err -R rusage[mem=2000]./openmp-job 7.3 终止作业 :bkill 利用 bkill 命令可以终止某个运行中或者排队中的作业, 比如 :

43 7 作业管理系统 43 bkill 运行成功后, 将显示类似下面的输出 : Job <79722> is being terminated 7.4 挂起作业 :bstop 利用 bstop 命令可临时挂起某个作业以让别的作业先运行, 例如 : bstop 运行成功后, 将显示类似下面的输出 : Job <79727> is being stopped. 此命令可以将排在队列前面的作业临时挂起, 以让后面的作业先运行 虽然也可以作用于运行中的作业, 但并不会因为此作业被挂起而允许其余作业占用此作业所占用的 CPU 运行, 实际资源不会释放, 因此建议不要随便对运行中的作业进行挂起操作, 如果运行中的作业不再想继续运行, 请用 bkill 终止 7.5 继续运行被挂起的作业 :bresume 利用 bresume 命令可继续运行某个挂起某个作业, 例如 : bresume 运行成功后, 将显示类似下面的输出 : Job <79727> is being resumed. 7.6 设置作业最先运行 :btop 利用 btop 命令可最先运行排队中的某个作业, 例如 : btop 运行成功后, 将显示类似下面的输出 : Job <79727> has been moved to position 1 from top. 7.7 设置作业最后运行 :bbot 利用 bbot 命令可设定最后运行排队中的某个作业, 例如 :

44 7 作业管理系统 44 bbot 运行成功后, 将显示类似下面的输出 : Job <79727> has been moved to position 1 from bottom. 7.8 修改排队中的作业选项 :bmod 利用 bmod 命令可修改排队中的某个作业的选项, 比如想将排队中的运行作业号为 的作业的执行命令修改为 executable2 并且换到 fat48 队列, 可以 : bmod -Z executable2 -q fat Parameters of job <79727> are being changed. 7.9 查看作业的排队和运行情况 :bjobs 利用 bjobs 可以查看作业的运行情况, 比如有哪些作业在运行, 哪些在排队, 某个 作业运行在哪个节点上, 以及为什么没有运行等, 例如 : bjobs JOBID USER STAT QUEUE FROM_HOST EXEC_HOST JOB_NAME SUBMIT_TIME hmli RUN normal sugon 2*node31 *executab1 Mar 12 19:20 1*node18 1*node hmli PEND long sugon *executab2 Mar 12 19:20 上面显示作业 在运行, 分别在 node31 node18 和 node4 上运行 个进程 ; 而作业 处于排队中尚未运行, 查看未运行的原因可以利用 : bjobs -l Job Id <79727>, sugon <hmli>, Project <default >, Status <PEND>, Queue <long>, Command <executab2> Sun Mar 12 14:15:07: Submitted from host <sugon>, CWD <$HOME>, Requested Resources <type==any && swp>35>; PENDING REASONS: SCHEDULING PARAMETERS: r15s r1m r15m ut pg io ls it tmp swp mem loadsched loadstop 以下为另外几个常用参数 :

45 7 作业管理系统 45 -u username: 查看某用户的作业, 如 username 为 all, 则查看所有用户的作业 -q queuename: 查看某队列上的作业 -m hostname: 查看某节点上的作业 7.10 查看运行中作业的屏幕正常输出 :bpeek 利用 bpeek 命令可查看运行中作业的屏幕正常输出, 例如 : bpeek << output from stdout >> Radius(nm): 如果在运行中用 -o 和 -e 分别指定了正常和错误屏幕输出, 也可以通过直接查看指 定的文件的内容来查看屏幕输出 如果想连续查看某个作业的输出, 请添加 -f 参数 7.11 查看各节点的运行情况 :lsload 利用 lsload 命令可查看当前各节点的运行情况, 例如 : lsload HOST_NAME status r15s r1m r15m ut pg ls it tmp swp mem node10 ok % M 4000M 16G node11 locku % M 4000M 16G ut 列表示利用率 status 列中的 locku 表示在进行排他性运行 7.12 查看各节点的空闲情况 :bhosts 利用 bhosts 命令可查看当前各节点的空闲情况, 例如 : bhosts HOST_NAME STATUS JL/U MAX NJOBS RUN SSUSP USUSP RSV node12 closed node10 ok STATUS 列中的 ok 表示可以接收新作业,closed 表示已经被占满

46 7 作业管理系统 查看用户信息 :busers 利用 busers 可以查看用户信息, 例如 : busers hmli USER/GROUP JL/P MAX NJOBS PEND RUN SSUSP USUSP RSV hmli

47 8 运行 GAUSSIAN 等大 IO 程序注意事项 47 8 运行 Gaussian 等大 IO 程序注意事项 因为 Gaussian 程序临时存盘文件非常大, 对系统的 IO( 磁盘的输入输出 ) 压力非常 大, 主存储无法满足需要, 请务必将利用 GAUSS_SCRDIR 变量其临时存盘文件目录设 置为 /tmp 或者 /tmp/ 用户名, 这样会使用计算节点的本地硬盘, 不仅不会影响其他用户, 而且自己的作业效率也高 设置方式为在 /.bashrc 中添加 : export GAUSS_SCRDIR=/tmp 或 export GAUSS_SCRDIR=/tmp/$USER $USER 为 Linux 系统下的环境变量, 代表用户账户名 如果在日志中只有下面类似信息显示, 而无其它信息, 一般是 /tmp 目录中无对应 用户的目录, 请按照上述方式设置 Entering Gaussian System, Link 0=g09 Input =CF3-CH3-radical.com Output=CF3-CH3-radical.log PGFIO/stdio: No such file or directory PGFIO-F-/OPEN/unit=11/error code returned by host stdio - 2. file name = /tmp/ 用户名 /Gau inp in source file ml0.f, at line number traceback not available 一般是设置了 GAUSS_SCRDIR=/tmp/ 用户名, 但计算节点无对应用户的文件夹 ( 计算节点重启后, 此目录会被系统删除, 需要重新建立 ) 解决办法: 在出错节点建立对应文件夹, 比如利用 ssh node10 mkdir /tmp/$user 在 node10 上建立 为了保险最好检查一下所有计算节点, 在没有的节点上建立此文件夹, 或者运行 /opt/bin/mktmpdir $USER 在所有节点上建立 关于 Gaussian 等专业软件本身的问题, 更应该用户自己去学习 Gaussian 手册, 管理人员能力和精力有限, 也不是这个专业的, 不可能对专业业软件了解很多 Gaussian 官方手册 :

48 9 联系方式 48 9 联系方式 超算中心 : 电话 : 信箱 :sccadmin@ustc.edu.cn 主页 : 办公室 : 中国科大东区新图书馆一楼东侧超级计算中心 126 室 李会民 : 电话 : 信箱 :hmli@ustc.edu.cn 主页 :