LSF作业调度系统的使用

Size: px

Start display at page:

Download "LSF作业调度系统的使用"

妹肯车
5 years ago
Views:

1 LSF 作业调度系统的使用河南师范大学高性能计算中心 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

2 1 LSF 作业管理系统简介 2 查看队列情况 :bqueues 3 高性能计算系统现有队列 4 查看计算节点信息 :lsload bhosts 5 查看用户信息 :busers 6 提交作业 :bsub 7 查看作业情况 :bjobs bpeek 8 查看作业历史统计信息 :bacct 9 管理作业 :bkill bstop bresume btop bbot bmod 10 联系信息 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

3 作业调度系统的用途资源管理器 : 管理超算系统的硬件资源及认证信息等队列管理器 : 管理当前已经提交但还未完成的作业调度器 : 为作业分配资源主要作用 : 根据用户作业提出的需求分配对应的资源给作业, 告诉作业给它分配哪些节点等避免作业之间无序干扰, 尽量让整个系统的负载一致保证用户占用资源的长期内公平 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

4 LSF 作业管理系统的简介注意 : 当前河南师大高性能计算中心的高性能计算系统采用 IBM Platform LSF V91 进行资源和作业管理所有需要运行的作业均必须通过作业提交命令 bsub 提交为了利用 bsub 提交作业, 需在 bsub 中指定各选项和要执行的程序应提交到合适的队列提交后可利用相关命令查询作业状态等登录节点 ( 节点名 :login) 主要用于日常操作, 如提交作业查看作业运行情况编辑编译压缩 / 解压缩等不要在登录节点不通过作业调度系统直接运行作业, 以免影响其余用户的正常使用 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

5 查看队列情况 :bqueues I 利用 bqueues 可以查看现有队列信息, 例如 :bqueues QUEUE_NAME PRIO STATUS MAX JL /U JL / P JL /H NJOBS PEND RUN SUSP nc 30 Open : Active chem 30 Open : Active math 30 Open : Active other 30 Open : Active phy_long 30 Open : Active phy_7days 30 Open : Active phy_1day 30 Open : Active QUEUE_NAME: 队列名 PRIO: 优先级, 数字越大优先级越高 STATUS: 状态 Open: 队列开放, 可以接受提交新作业 Active: 队列已激活, 队列中未开始运行的作业可以开始运行 Closed: 队列已关闭, 不接受提交新作业 Inact: 队列未激活, 可接受提交新作业, 但队列中的等待运行的作业不会开始运行 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

6 查看队列情况 :bqueues II QUEUE_NAME PRIO STATUS MAX JL /U JL / P JL /H NJOBS PEND RUN SUSP chem 30 Open : Active MAX: 队列对应的最大作业槽数 (Job Slot, 一般与 CPU 核数一致, 以下通称 CPU 核数 ),- 表示无限 JL/U: 单个用户同时可以使用的 CPU 核数 JL/P: 每个处理器可以接受的 CPU 核数 JL/H: 每个节点可以接受的 CPU 核数 NJOBS: 排队运行和被挂起的总作业所占 CPU 核数 PEND: 排队中的作业所需 CPU 核数 RUN: 运行中的作业所占 CPU 核数 SUSP: 被挂起的作业所占 CPU 核数 RSV: 为排队作业预留的 CPU 核数 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

7 查看队列详细情况 :bqueues -l I 队列也许会调整, 利用 bqueues l [ 队列名 ] 查看各队列的详细情况 QUEUE: phy_1day For phy_1day p r i o r i t y j o b s PARAMETERS/ STATISTICS PRIO NICE STATUS MAX JL /U JL / P JL /H NJOBS PEND RUN SSUSP USUSP RSV 30 0 Open : Active I n t e r v a l f o r a h o s t t o a c c e p t two j o b s i s 0 s e c o n d s RUNLIMIT min of manager PROCLIMIT SCHEDULING PARAMETERS r15s r1m r15m ut pg io l s i t tmp swp mem loadsched l o a d S t o p USERS : ugroupphy / HOSTS : groupphy_1day / ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

8 查看队列详细情况 :bqueues -l II QUEUE: 队列名, 跟着的下一行是描述 PRIO: 优先值, 越大越优先 NICE: 作业运行时的 nice 值, 即作业运行时的操作系统调度优先值, 从 -20 到 19, 越小越优先 RUNLIMIT: 作业单 CPU 运行时间限制, 以系统中的 manager 节点为基准, min 表示可以运行一天 (60*24) CPULIMIT: 单个作业运行机时 ( 核数 * 墙上时间 ) 限制, 以系统中的 manager 节点作为参考, 目前未限制 PROCLIMIT: 单个作业核数限制,2 4 8, 表示使用此队列时, 最少使用 2 个核, 最多使用 8 核, 如提交时没用 -n 指定具体核数, 则使用默认 4 核, 目前未限制 PROCESSLIMIT: 单个作业最大核数限制, 目前未限制 MEMLIMIT: 每个进程能使用的内存数, 默认以 KB 为单位, 目前未限制 THREADLIMIT: 作业最大线程数, 目前未限制 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

9 现有队列 nc: 所有用户可使用 chem:ugroupchem 组内用户可使用 1, 运行在 groupchem 节点上 2 math:ugroupmath 组内用户可使用, 运行在 groupmath 节点上 other:ugroupmath 组内用户可使用, 运行在 groupother 节点上 phy_long:ugroupphy_long 组内用户可使用, 运行在 groupphy_long 节点上 phy_7days:ugroupphy_7days 组内用户可使用, 运行在 groupphy_ 7days 节点上 phy_1day:ugroupphy_1day 组内用户可使用, 运行在 groupphy_ 1day 节点上建议以 16 的倍数申请核数, 以尽量独占单个节点, 避免作业间相互干扰 1 bugroup ugroupchem 可以查看组内成员 2 bhosts groupchem 可以查看节点名 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

10 查看各节点的运行情况 :lsload 利用 lsload 命令可查看当前各节点的运行情况, 例如 : lsload HOST_NAME s t a t u s r15s r1m r15m ut pg l s i t tmp swp mem c01n10 ok % M 4000M 16G c01n11 l o c k u % M 4000M 16G ut 列表示利用率 status 列 : ok: 表示可以接受新作业, 只有这种状态可以接受新作业 closed: 表示系统在运行, 但已被调度系统关闭, 不接受新作业 locku: 表示在进行排他性运行 busy: 表示负载超过限定 unavail -ok: 作业调度系统服务有问题 r15s r1m r15m 列 : 分别表示 15 秒 1 分钟 15 分钟利用率平均 tmp:/tmp 目录大小 swp:swp 虚拟内存大小 mem: 内存大小 io: 硬盘读写 (-l 选项时才出现 ) 查看 c01n02 节点 : lsload c01n02 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

11 查看各节点的空闲情况 :bhosts 利用 bhosts 命令可查看当前各节点的空闲情况, 例如 : bhosts HOST_NAME STATUS JL / U MAX NJOBS RUN SSUSP USUSP RSV c01n01 c l o s e d c02n03 ok STATUS: ok: 表示可以接收新作业, 只有这种状态可以接受新作业 closed: 表示已被作业占满, 不接受新作业 unavail 和 unreach: 系统停机或作业调度系统服务有问题查看 c01n02 节点 :bhosts c01n02 查看 groupchem 节点组 :bhosts groupchem bhosts l 会显示节点详细信息, 其中 slots 表示目前最大可以接受作业槽数 ( 默认一般与 CPU 核数一致 ) ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

12 查看用户信息 :busers 利用 busers 可以查看用户信息, 例如 : busers hmli USER / GROUP JL / P MAX NJOBS PEND RUN SSUSP USUSP RSV hmli MAX 最大可以同时运行的核数 NJOBS 当前所有运行和待运行作业所需的核数 PEND 排队等待运行的作业所需要的核数 RUN 已经开始运行的作业占据的核数 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

13 提交作业 :bsub 用户需要利用 bsub 提交作业, 其基本格式为 : bsub [ options ] command [arguments] command 之前的 options: 设置队列 CPU 核数等 LSF 的选项 command 之后的 arguments: 设置作业的可执行程序本身所需要的参数作业提交后, 应经常检查一下作业的 CPU 内存等利用率, 判断实际运行效率可以 ssh 到对应运行作业的节点运行 top 命令查看 Ganglia 系统监控 : 请不要 ssh 到节点后直接运行作业, 以免影响作业调度系统分配到此节点的作业 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

14 提交到特定队列 :bsub -q queue 利用 q 选项可以指定提交到哪个队列如不加 q, 那么将提交到系统设置的默认队列 3 提交到 other 队列运行串行程序 executable1: bsub q other executable1 如提交成功, 将显示类似下面的输出 : Job <79722> i s s u b m i t t e d t o queue < o t h e r > 其中为此作业的作业号, 以后可利用此作业号来进行查询及终止等操作如提交不成功, 则显示相应提示 3 除非了解哪个是默认队列, 且默认队列适合此作业, 否则不要这么做 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

15 指明所需要的 CPU 核数 :bsub -n min_proc[,max_proc] 利用 n min_proc[,max_proc] 选项指定所需要的 CPU 核数 ( 一般来说核数应和进程数或线程数一致 ), 如 : 采用 16 CPU 核运行 :bsub n 16 最少采用 16 最大采用 64 CPU 核数运行 :bsub n 16,64 注 : 当作业调度尝试开始运行时如空闲资源满足 64 CPU 核, 那么将采用 64 CPU 核运行如空闲资源不满足 64 CPU 核, 但满足 16 CPU 核, 则用 16 CPU 核运行为了用户作业间不相互干扰, 申请的核数最好为系统节点内 CPU 核数的整数倍, 以便同一个作业占据整个节点以上仅仅是建议, 具体申请核数应考虑作业实际情况 4 4 即使同一个计算软件, 在计算不同条件时, 也有可能不一样, 请务必仔细研究自己所使用的软件 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

16 提交到特定节点 :bsub -m host_name 利用 m 选项可以指定作业在特定节点上运行, 如 : bsub m c01n01 c02n03 如非必要, 建议不要添加此选项, 以免导致作业无法及时运行 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

17 MPI 作业的提交 :bsub mpijob MPI 作业一般需要用提交时使用 mpijob 来执行 MPI 程序指定利用 16 CPU 核 ( 由 n 16 指定 ) 运行 MPI 程序 : bsub q other n 16 mpijob executable mpi1 注 :mpijob 命令 : 适合不通过作业调度系统时直接以 mpirun 或 mpiexec 方式运行的作业不是 mpirun 或 mpiexec 方式运行的作业不能直接这么使用如您了解所使用的 MPI 环境与 LSF 的配合, 也可不用 mpijob 提交, 如直接用 mpirun 等命令运行 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

18 给作业起个名字 :bsub -P project_name 提交时可以利用 P 选项给作业起个名字方便查看, 如 : bsub P VASPJOB ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

19 OpenMP 等共享内存作业提交 :bsub OMP_NUM_THREADS 只能共享同一节点内的内存, 需要保证在同一个节点内运行, 如 Gaussian 程序程序启动前利用 OMP_NUM_THREADS 设定指定的线程数, 一般应与申请的核数一致 5 指定利用 8 CPU 核运行 OpenMP 程序 : bsub q other n 8 R span[hosts=1] OMP_NUM_THREADS=8 execu 注 : R span[hosts=1] 保证在同一个节点内 5 有些程序可以在输入文件中设置, 那么可以不填加 OMP_NUM_THREADS ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

20 指明需要某种资源作业提交 :bsub -R R res_req [ R res_req ] 可以使得作业在需要满足某种条件的节点上运行, 如 : R span[hosts=1] : 指定需要在同一个节点内运行 R 1*{mem>5000} + 9*{mem>1000} : 一个 CPU 核需要至少 5GB 内存, 另外 9 个每个至少需要 1GB 内存 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

21 串行作业的提交 :bsub -n 1 运行串行作业, 请指明 n 1: bsub q other n 1 executable serial ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

22 运行排他性运行作业 :bsub -x 如果需要独占节点运行, 此时需要添加 x 选项 : bsub x q other n 4 executable omp1 注意 : 排他性运行在运行期间, 不允许其余的作业提交到运行此作业的节点, 并且只有在某节点没有任何其余的作业在运行时才会提交到此节点上运行如果不需要采用排他性运行, 请不要使用此选项, 否则将导致作业必须等待完全空闲的节点才会运行, 也许将增加等待时间另外使用排他性运行时, 哪怕只使用某节点内的一个 CPU 核, 也将按照此节点内的所有 CPU 核数进行机时计算 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

23 指明输入输出文件运行 :bsub -i -o -e 作业的屏幕输入文件正常屏幕输出到的文件和错误屏幕输出的文件可以利用 i o 和 e 选项来分别指定, 运行后可以通过查看指定的这些输出文件来查看运行状态, 文件名可利用 %J 与作业号挂钩屏幕输入文件指的是存储程序运行时需要手动在屏幕上输入的内容的, 其内容可以利用 < 将此文件中的内容重定向以代替手动屏幕输入传递给可执行程序的, 并不是指的程序本身自带的输入文件, 如不通过作业调度系统时的提交方式为 : exec1 < file1, 可用 bsub i file1 exec 方式提交 exec1 file1 或 exec1 -i file1 等, 则不可用 bsub i file1 exec 方式提交如指定 exec1 的屏幕输入正常和错误屏幕输出文件分别为 exec1input exec1-%jlog 和 exec1-%jerr: bsub i exec1 input o exec1 %Jlog e exec1 %Jerr exec1 o 和 e 及变种 oo 和 eo: -o: 如日志原文件存在, 正常屏幕输出将追加到原文件后 -oo: 如日志原文件存在, 正常屏幕输出将覆盖原文件 -e: 如日志原文件存在, 出错时屏幕输出将追加到原文件后 -eo: 如日志原文件存在, 出错时屏幕输出将覆盖原文件 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

24 指明输出目录提交 :bsub -outdir output_directory 默认情况下, 屏幕输出等存放在提交作业时的目录下如想将其放到其它目录可以采用 bsub outdir output_directory 方式如 :bsub outdir %U/%J_%I myprog 常用变量 : %J: 作业号 %JG: 作业组 %I: 作业组中的索引 %EJ: 执行作业号 %EI: 作业组中的执行作业索引 %P: 作业名 %U: 用户名 %G: 用户组名 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

25 交互式运行作业 :bsub -I 如需运行交互式的作业 ( 如在运行期间需手动输入参数等 ), 需结合 I Ip 和 Is 等参数建议只在调试期间使用, 一般作业尽量不要使用此选项 bsub I executable1 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

26 满足依赖关系运行作业 :bsub -w 利用 w 选项可以使得新提交的作业在满足一定条件时才运行, 比如与其它作业的关联 : done(job_id job_name ): 作业结束时状态为 DONE 时运行 ended(job_id job_name ): 作业结束时状态为 DONE 或 EXIT 时运行 exit(job_id job_name [,[operator] exit_code]): 作业结束时状态为 EXIT, 且退出代码满足一定条件时运行 external(job_id job_name, status_text ): 作业状态变为某状态时运行, 如变为 SUSP 支持的条件之间的条件表达式 :&&( 和 ) ( 或 )!( 否 ) 支持的条件内的条件算子 :> >= < <= ==!= 如 :bsub w done(1456) ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

27 指定时间运行 :bsub -b time 利用 b [[year :][month:]day:]hour:minute 可以使得新提交的作业在特定时间运行系统会预留资源给此作业, 如果在时间到达时所需资源满足则会运行, 不满足则继续等待 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

28 指定运行时长 :bsub -W time 利用 W [hour:]minute 可以使得提交的作业在超过设定时长后终止 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

29 在运行前执行特定命令 :bsub -E pre_command 利用 E pre_exec_command [arguments ] 可以使得作业在运行前, 在所分配的节点上运行特定命令如利用此修改程序输入参数 :bsub E /modinputsh 10 exec1 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

30 在运行后执行特定命令 :bsub -Ep post_command 利用 Ep post_exec_command [arguments ] 可以使得作业在运行结束时, 在所分配的节点上运行特定命令如利用此删除 core 文件 :bsub Ep /bin/rm f core* exec1 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

31 LSF 作业脚本以在 LSF 脚本中设置队列等参数方式提交, 如 my_scriptlsf #!/bin/sh #BSUB q other #BSUB o %Jlog e %Jerr #BSUB n 64 mpijob /mympi prog1 cd somedir mpijob /mympi prog2 不得以直接 / my_script lsf 等常规脚本运行方式运行需要用 $<$ 传递给 bsub 命令运行 :bsub < my_script lsf 如果 bsub 后面跟 q 等 LSF 参数, 将会覆盖掉 LSF 脚本中的设置一般用户, 没必要写此类脚本, 直接通过命令行传递 LSF 参数即可对于当前设置满足不了作业需求, 且用户比较了解 LSF 中的各规定, 对 shell 脚本编写比较在行, 那么用户完全可自己编写脚本提交作业, 比如提交特殊需求的 MPI 与 OpenMP 结合的作业 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

32 LSF 作业脚本常见变量主要有以下变量比较常用, 在作业运行后, 这些变量存储对应的作业信息, 具体的请参看 LSF 官方手册 : LS_JOBPID: 作业进程号 LSB_HOSTS: 存储系统分配的节点名 LSB_JOBFILENAME: 作业脚本文件名 LSB_JOBID: 作业号 LSB_QUEUE: 作业队列 LSB_JOBPGIDS: 作业进程组号组 LSB_JOBPIDS: 作业进程号组 LSF 官方资料 : ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

33 查看作业的排队和运行情况 :bjobs 利用 bjobs 可以查看作业的运行情况, 例如 : bjobs JOBID USER STAT QUEUE FROM_HOST EXEC_HOST JOB_NAME SUBMIT_TIME hmli RUN o t h e r l o g i n 2* c01n02 * e x e c u t a b 1 Mar 12 19:20 1* c01n hmli PEND phy_1day l o g i n * e x e c u t a b 2 Mar 12 19:20 显示 : 作业分别在 c01n02 和 c01n04 上运行 2 1 个进程作业处于排队中尚未运行 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

34 查看作业详细信息 :bjobs -l 查看作业的详细信息 l 选项 : bjobs l Job Id <79727 >, User <hmli >, P r o j e c t < d e f a u l t >, S t a t u s <PEND>, Queue < o t h e r >, Command < executab2 > Sun Mar 12 14: 15: 07: Submitted from host <login >, CWD <$HOME>, Requested Resources <type==any && swp>35 >; PENDING REASONS: The u s e r has r e a c h e d h i s / h e r j o b s l o t l i m i t ; SCHEDULING PARAMETERS: r15s r1m r15m ut pg io l s i t tmp swp mem loadsched l o a d S t o p 注意 : 从 PENDING REASONS 可以看出为什么还在排队等待中 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

35 查看作业仍在排队等待的原因 :bjobs -p 查看作业仍在排队等待的原因可以利用 p 选项 : bjobs p The u s e r has r e a c h e d h i s / h e r j o b s l o t l i m i t ; 上述显示达到了用户自己的作业数等限制如发现很多节点空闲, 自己的作业又没有达到限制, 感觉应该运行而没有运行, 也许是系统存在问题, 请与管理员联系处理 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

36 查看运行中作业的屏幕正常输出 :bpeek 利用 bpeek 命令可查看运行中作业的屏幕正常输出, 例如 : bpeek << o u t p u t from s t d o u t >> Radius (nm ) : bpeek f JobID, 可以连续查看作业的连续屏幕输出如在运行中用 o 和 e 分别指定了正常和错误屏幕输出, 也可以通过直接查看指定的文件的内容来查看屏幕输出 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

37 终止作业 :bkill 利用 bkill 命令可以终止某个运行中或排队中的作业, 如 : bkill Job <79722> i s b e i n g t e r m i n a t e d 请及时终止有问题或无需再运行的程序, 空出计算资源, 降低费用 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

38 挂起作业 :bstop 利用 bstop 命令可临时挂起某个作业以让别的作业先运行, 例如 : bstop Job <79727> i s b e i n g s t o p p e d 可以将排在队列前面的作业临时挂起, 以让后面的作业先运行虽然也可以作用于运行中的作业, 但并不会因为此作业被挂起而允许其余作业占用此作业所占用的 CPU 运行, 实际资源不会释放, 建议不要随便对运行中的作业进行挂起操作如果运行中的作业不再想继续运行, 请用 bkill 终止 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

39 继续运行被挂起的作业 :bresume 利用 bresume 命令可继续运行某个挂起某个作业, 例如 : bresume Job <79727> i s b e i n g resumed ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

40 设置作业最先运行 :btop 利用 btop 命令可最先运行排队中的某个作业, 例如 : btop 运行成功后, 将显示类似下面的输出 : Job <79727> has been moved t o p o s i t i o n 1 from t o p ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

41 设置作业最后运行 :bbot 利用 bbot 命令可设定最后运行排队中的某个作业, 例如 : bbot Job <79727> has been moved t o p o s i t i o n 1 from bottom ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

42 修改排队中的作业选项 :bmod 利用 bmod 命令可修改排队中的某个作业的选项, 如想将排队中的作业号为的作业的执行命令修改为 executable2 并且换到 other 队列, 并且所需要 CPU 核数为 12: bmod Z executable2 q other n P a r a m e t e r s of j o b <79727> a r e b e i n g changed ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

43 查看作业历史统计信息 :bacct 利用 bacct 可以查看已经结束的作业的历史统计信息, 如 : bacct Accounting information about jobs t h a t are : submitted by users hmli, a c c o u n t e d on a l l p r o j e c t s completed n o r m a l l y or e x i t e d executed on a l l hosts submitted to a l l queues a c c o u n t e d on a l l s e r v i c e c l a s s e s SUMMARY: ( time u n i t : second ) Total number of done jobs : 73 Total number of e x i t e d jobs : 159 T o t a l CPU t ime consumed : Average CPU t i me consumed : Maximum CPU time of a job : Minimum CPU time of a job : 0 0 T o t a l wait time i n queues : Average w a i t time i n queue : Maximum w a i t t ime i n queue : Minimum w a i t time i n queue : 2 0 Average t u r n a r o u n d time : ( seconds / job ) Maximum t u r n a r o u n d time : Minimum t u r n a r o u n d time : 2 Average hog f a c t o r of a job : 7 12 ( cpu time / turnaround time ) Maximum hog f a c t o r of a j o b : Minimum hog f a c t o r of a j o b : Total throughput : 0 02 ( jobs / hour ) during hours Beginning time : Jan 30 14:40 Ending time : Mar 25 13:57 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

44 查看某个作业历史统计信息 :bacct -l bacct l Job <13624 >, User <hmli >, P r o j e c t < d e f a u l t >, S t a t u s <DONE>, Queue < o t h e r >, Comma nd <mpijob / shared / bin / vasp > Mon Mar 24 16: 43: 24: Submitted from host <login >, CWD <$HOME/ t e s t >, Output F i l e <%J log >, E r r o r F i l e <%J e r r >; Tue Mar 25 13: 55: 15: Dispatched to 32 Hosts / Processors <16*c01n02 > <16*c02n03 >; Tue Mar : 5 7 : 0 7 : Completed <done > Accounting information about t h i s job : CPU_T WAIT TURNAROUND STATUS HOG_FACTOR MEM SWAP done G 39G SUMMARY: ( time u n i t : second ) Total number of done jobs : 1 Total number of e x i t e d jobs : 0 T o t a l CPU t i me consumed : 9842 Average CPU t i me consumed : Maximum CPU time of a job : 9842 Minimum CPU time of a job : 9842 T o t a l wait time i n queues : Average wait time in queue : Maximum wait time in queue : Minimum wait time in queue : Average t u r n a r o u n d time : ( seconds / job ) Maximum t u r n a r o u n d time : Minimum t u r n a r o u n d time : Average hog f a c t o r of a job : 0 01 ( cpu time / turnaround time ) Maximum hog f a c t o r of a j o b : Minimum hog f a c t o r of a j o b : ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

45 查看某时间段内作业历史统计信息 :bacct -C -D -S 在 2014/03/01,2014/04/01 时间段内 : C: 完成的 :bacct l C 2014/03/01,2014/04/01 D: 开始运行的 :bacct l D 2014/03/01,2014/04/01 S: 提交的 :bacct l S 2014/03/01,2014/04/01 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

46 联系信息河南师范大学高性能计算中心 : 电话 : 信箱 :cxq@htucn QQ 群 : 主页 : 办公室 : 河南师大琢玉楼 3 楼 ( 河南师大高性能计算中心 ) LSF 作业调度系统的使用 / 46

.... 青能所超级计算平台用户 2011 年 3 月培训李会民中国科学院青岛生物能源与过程研究所超级计算中心年 03 月李会民 ( 中科院青能所 ) 青能所超算用户培训 2011 年 03 月 1 / 55

.... 青能所超级计算平台用户 2011 年 3 月培训李会民中国科学院青岛生物能源与过程研究所超级计算中心年 03 月李会民 ( 中科院青能所 ) 青能所超算用户培训 2011 年 03 月 1 / 55 青能所超级计算平台用户 2011 年 3 月培训李会民 hmli@ustceducn 中国科学院青岛生物能源与过程研究所超级计算中心 2011 年 03 月李会民 ( 中科院青能所 ) 青能所超算用户培训 2011 年 03 月 1 / 55 培训内容 1 青能所超算平台简介 2 用户登录与文件传输 3 串行及 OpenMP 程序编译 4 MPI 并行程序编译 5 数学函数库 6 作业管理系统