投影片 1

Size: px

Start display at page:

Download "投影片 1"

江巫
5 years ago
Views:

1 N C H C 2006/9/28 Queuing System 吳長興簡報主題 1

2 大綱 Queuing System 應具備的基本功能 Queuing System 軟體 PBS Cmeta 結論簡報主題 2

3 大綱 Queuing System 應具備的基本功能 Queuing System 軟體 PBS Cmeta 結論簡報主題 3

4 如何使用 PC Cluster? 工作工作 (1) 工作 (2) 工作 (n-1) 工作 (n) 計算節點 (1) 訊息計算節點 (2) 訊息計算節點 (n-1) 訊息計算節點 (n) 結果整合簡報主題 4

5 如何使用 PC Cluster? 平行化程式並分散至各計算節點執行使用 mpi 的 library, 來平行工作透過 mpirun 來行程式 mpirun -v -machinefile NODEFILE -np 4 /home/hsing/pbs/test/a.out 依據 NODEFILE 的內容, 挑選第一個計算節點以 rsh or ssh 方式登入, 然後執行 mpirun 程式,mpirun 會依 NODEFILE 剩下的計算節點, 將其他分割程式散到其他節點執行透過套裝軟體來執行簡報主題 5

6 是否需要 Queuing System? 依照上述觀念, 只需要 mpich 就可以順利使用 PC Cluster 為什麼還需要 Queuing System 這個東西呢? 規模較大, 節點數量多使用者多工作內容複雜簡報主題 6

7 Queuing System 應具備的基本特點資源 : 電腦資源能夠被充分使用公平的分配資源管理 : 使用者管理資源 (disk job time) 分配優先權權限. Cluster 管理切割資源 node 狀態資源監控 node 維護. Job 的控管排程變更平衡負載錯誤恢復通知簡報主題 7

8 Queuing System 應具備的基本功能使用者 : Submit job Cancel job Query job status Modify job 簡報主題 8

9 PC Cluster 基本架構計算節點 Telnet SSH 伺服器使用者 FTP SCP SFTP Web Interface 簡報主題 9

10 基本服務 RSH or SSH: 登入信任的計算節點不需要密碼 (mpich 使用 ) NFS: 共享 /home: 讓使用者程式都存在於各計算節點共享 /opt: 一些程式共用 ( 如 pbs mpich ) NIS or 自行統一帳號 : 統一使用者帳號 NTP-Server 以及 NTP- Client 統一系統時間 Firewall: 防禦入侵簡報主題 10

11 PC Cluster 基本架構 Node - rsh, rlogin, rexec node01 node02 or ssh,scp,sftp - Mount /opt 及 /home - Use NIS - NTP-Client node03 對外 Server -SSH -Firewall - Mount /opt 及 /home -Use NIS - NTP-Server noden noden+1 File Server NFS Service - Export /opt 及 /home - NIS Service 簡報主題 11

12 大綱 Queuing System 應具備的基本功能 Queuing System 軟體 PBS Cmeta 結論簡報主題 12

13 Queuing System 軟體 PBS ( Portable Batch System ) DQS ( Distributed Queuing System ) Cmeta ( Cluster management enabling toolbox for administrators) Platform LSF 簡報主題 13

14 大綱為什麼要使用 Queuing System? Queuing System 應具備的基本功能 Queuing System 軟體 PBS Cmeta 結論簡報主題 14

15 commands PBS 組成元件以命令列或圖形介面方式, 讓透過 socket 來讓使用者進行提交 (submit) 監督 (monitor) 修改 (modify) 和刪除 (delete) 工作 pbs_server 接收產生管理及保護使用者的批次工作 pbs_mom 接收 pbs_server 給予的批次工作, 並呼叫對應的程式來執行, 完成後將結果回報給 pbs_server pbs_sched 負責排程工作資源分配及節點管理簡報主題 15

16 PBS 組成元件計算節點使用者 commands jobs 伺服器 pbs_sched pbs_server pbs_mom pbs_mom 簡報主題 16

17 PBS 安裝下載 Open PBS (Open Portable Batch System) 網址 Torque ( 建議使用 ) 網址 : PBSWeb (Web 介面 ) 網址 : Lite: PBS PRO ( 商業化軟體 ) 網址 : 簡報主題 17

18 PBS 安裝環境需求環境需求確定已啟動 NIS 以及 NFS 服務假如有需要使用圖形介面, 則需要安裝 Tcl 8.0 和 Tk 8.0 確定使用者可以使用 ssh 到各個計算節點, 而不需使用密碼簡報主題 18

19 PBS 安裝 - 步驟一 : 編譯設定下載 que/torque tar.gz 解壓縮 tar zxvf torque tar.gz C /opt/src/ 設定 ( 執行 configuration shell script)./configure --prefix=/opt/torque ( 安裝目錄 ).. 編譯 ( GNU 相容的 make 程式 ) make 安裝 make install 簡報主題 19

20 PBS 安裝 - 步驟一 : 編譯設定 [root@pika150 src]# wget tar.gz [root@pika150 src]# tar zxvf torque tar.gz [root@pika150 src]# cd torque [root@pika150 torque-2.1.2]#./configure --prefix=/opt/torque [root@pika150 torque-2.1.2]# make [root@pika150 torque-2.1.2]# make install [root@pika150 torque-2.1.2]# ln -s /opt/torque /opt/torque 簡報主題 20

21 PBS 安裝 - 步驟二 : 設定 Node 設定檔預設路徑 /var/spool/torque/ 增加計算節點 ( 有兩種方式 ): 直接修改設定檔 /var/spool/torque/server_priv/ 建立一個檔名為 nodes 的檔案 [root@pika150 ~]# vi /var/spool/torque/server_priv/nodes client01 np=2 client02 np=2. 簡報主題 21

22 PBS 安裝 - 步驟二 : 設定 Node 方法二 : 利用 qmgr 將 node 加入 Qmgr:create node hpcs001 Qmgr:create node hpcs002 Qmgr:active node hpcs001 Qmgr:active node hpcs002.. 使用方法二時,pbs_server 及 pbs_sched 要先常駐簡報主題 22

23 PBS 安裝 - 步驟三 : 設定 Server 名稱設定 Server 描述檔 /var/spool/torque/server_name [root@pika150 src]# vi /var/spool/torque/server_name pika150.nchc.org.tw 簡報主題 23

24 PBS 安裝 - 步驟四 : 設定 pbs_mom 設定 pbs_mom /var/spool/torque/mom_priv/config [root@pika150 src]# vi /var/spool/torque/mom_priv/config $clienthost pika150 $logevent 255 $restricted * $usecp pika150.nchc.org.tw:/home /home 簡報主題 24

25 PBS 安裝 - 步驟五 : 啟動服務初始化並啟動 pbs_server 及 pbs_sched /opt/torque/sbin/pbs_server t create ( 第一次執行, 需要建立資料庫 ) /opt/torque/sbin/pbs_sched 簡報主題 25

26 PBS 安裝 - 步驟六 : 新增佇列規則設定並啟動排程佇列 ( 自行參考手冊 ) /opt/torque/bin/qmgr < /tmp/setup.conf 啟動設定的兩個佇列 default 及 long( 選擇 ) 假如沒在 Setup.conf 啟用時 /opt/torque/bin/qstart default long /opt/torque/bin/qenable default long 簡報主題 26

27 PBS 安裝 - 步驟七 : 安裝 Client 從步驟 1~6 已經完成 Server 及 Client 的設定複製設定檔到各個 Client 的 /var/spool/torque/ 裡面 [root@pika150 opt]# tar zcvf torque_config.tar.gz /var/spool/torque/ [root@pika150 opt]# ssh client01 [root@client01 opt]# cd /opt [root@client01 opt]# tar zxvf torque_config.tar.gz 啟動 pbs_mom /opt/torque/sbin/pbs_mom 簡報主題 27

28 PBS 安裝 - 步驟八 : 自動啟動服務設定 Server 端設定 pbs_server 開機執行 /etc/rc.d/rc.local 增加 /opt/torque/sbin/pbs_server 設定 pbs_sched 開機執行 /etc/rc.d/rc.local 增加 /opt/torque/sbin/pbs_sched Client 端設定 pbs_mom 開機執行 /etc/rc.d/rc.local 增加 /opt/torque/sbin/pbs_mom 簡報主題 28

29 PBS 安裝 - 步驟八 : 自動啟動服務設定設定 pbs_server 開機執行建立 /etc/init.d/pbs_server ( 改成可執行 ) cd /etc/rc.d/rc3.d ln s /etc/init.d/pbs_server S98pbs_server 設定 pbs_sched 開機執行建立 /etc/init.d/ pbs_sched ( 改成可執行 ) cd /etc/rc.d/rc3.d ln s /etc/init.d/pbs_server S98 pbs_sched 設定 pbs_mom 開機執行 (Client) 建立 /etc/init.d/ pbs_mom ( 改成可執行 ) cd /etc/rc.d/rc3.d ln s /etc/init.d/pbs_server S98 pbs_mom 簡報主題 29

30 PBS 安裝 - 步驟九 : 檢視是否安裝完成觀察 nodes 的狀態 /opt/torque/bin/pbsnodes a 結果 client01 state = free np = 2 ntype = cluster status = opsys=linux,uname=linux client mdksmp #1 SMP Tue Mar 22 15:40:42 CET 2005 i686,sessions=2647,nsessions=1,nusers=1,idletime= ,totmem= kb,availmem= kb,phys mem=515180kb,ncpus=2,loadave=0.00,netload= ,state=free,rectime= 簡報主題 30

31 PBS Script 的撰寫 PBS Script 規則一個 # 為 PBS 指令三個 # 為註解循序程式範例平行程式範例簡報主題 31

32 PBS-Control Job 遞交工作 (submit job) /opt/torque/bin/qsub script 成功後系統會回覆 Job ID 的訊息如下 : 336.pika150.nchc.org.tw 刪除工作 (delete job) qdel 336 詢問執行狀況 (Query job status) qstat 簡報主題 32

33 大綱為什麼要使用 Queuing System? Queuing System 應具備的基本功能 Queuing System 軟體 PBS Cmeta 結論簡報主題 33

34 Cmeta- 下載及環境準備註冊下載環境準備 Perl 完整安裝 Perl 的模組 Crypt-PasswdMD5-1.2 perl-suidperl 的檔案確定已啟動 NIS 以及 NFS 服務 Client 端開啟 RSH daemon 允許 root 權限 rsh 到後端 Client 簡報主題 34

35 Cmeta- 安裝設定解壓縮 tar zxvf Cmeta-1.0-release.tar.gz 修改 install.in 安裝./install -install 反安裝./install -uninstall 把 index.htm 移到 Web 的根目錄, 並修改 index.htm 連結到 cgi 的路徑簡報主題 35

36 啟動 cd /opt/cmeta/bin/./pccmopt.sh start 停止 cd /opt/cmeta/bin/./pccmopt.sh stop Cmeta- 啟動設定開機執行 /etc/rc.d/rc.local /opt/cmeta/bin/pccmopt.sh start 簡報主題 36

37 Cmeta- 使用說明簡報主題 37

38 Cmeta-Menu 簡報主題 38

39 Cmeta-Submit Job 簡報主題 39

40 Cmeta-Monitor Jobs 簡報主題 40

41 Cmeta-Cluster State 簡報主題 41

42 Cmeta-Node state 簡報主題 42

43 Cmeta-Job State 簡報主題 43

44 Cmeta- 增加 Node 簡報主題 44

45 大綱為什麼要使用 Queuing System? Queuing System 應具備的基本功能 Queuing System 軟體 PBS Cmeta 結論簡報主題 45

46 參考資料 NCHC PC Cluster 論壇 MPICH OpenPBS PBSWeb PBS Quick Reference Guide 簡報主題 46

47 結論 Open PBS 安裝使用 Cmeta 安裝使用簡報主題 47

48 Thank you!! 簡報主題 48

49 /etc/hosts 檔案內容 pika150.nchc.org.tw pika client client02. 簡報主題 49

50 Setup.conf 檔案內容 # Create and define queue long create queue long set queue long queue_type = Execution set queue long Priority = 60 set queue long max_running = 10 set queue long resources_max.cput = 12:00:00 set queue long resources_min.cput = 02:00:01 set queue long resources_default.cput = 12:00:00 set queue long enabled = True set queue long started = True # Create and define queue default create queue default set queue default queue_type = Route set queue default max_running = 10 set queue default route_destinations = long set queue default enabled = True set queue default started = True 簡報主題 50

51 Setup.conf 檔案內容 (Cont.) # Set server attributes. set server scheduling = True set server max_user_run = 6 set server acl_host_enable = True set server acl_hosts = * set server default_queue = default set server log_events = 63 set server mail_from = hsing@nchc.org.tw set server query_other_jobs = True set server resources_default.cput = 01:00:00 set server resources_default.neednodes = 1 set server resources_default.nodect = 1 set server resources_default.nodes = 1 set server scheduler_iteration = 60 set server default_node = 1 #shared 簡報主題 51

52 #!/bin/sh ### Job 名稱 #PBS -N mytest ### 輸出檔案 #PBS -e mytest.err #PBS -o mytest.log ### 放到哪一個佇列裡 (default, long) #PBS -q default ###================================================ # 顯示目錄及時間資訊 echo Working directory is $PBS_O_WORKDIR cd $PBS_O_WORKDIR echo Running on host `hostname` echo Time is `date` echo Directory is `pwd` # 執行檔案 /home/hsing/pbs/test/a.out 簡報主題 52

53 ###.( 略 ) ### 使用 node 數 #PBS -l nodes=4 # 顯示目錄及時間資訊 echo Working directory is $PBS_O_WORKDIR cd $PBS_O_WORKDIR echo Running on host `hostname` echo Time is `date` echo Directory is `pwd` echo This jobs runs on the following processors: echo `cat $PBS_NODEFILE` # 計算使用的 node 數 NPROCS=`wc -l < $PBS_NODEFILE` echo This job has allocated $NPROCS nodes # 執行 MPI 平行程式 "a.out" mpirun -v -machinefile $PBS_NODEFILE -np $NPROCS \ /home/hsing/pbs/test/a.out 簡報主題 53

54 Install.in # 設定 cmeta 軟體安裝的位置 PACKAGEPATH=/opt/cmeta # 設定 Server 端的 IP PCCMIP= # 設定介面存放的目錄 ( 必須確定可以執行 cgi 的程式 ) INTERFACEPATH=/var/www/cgi-bin/Cmeta # 設定 Cmeta 的管理者 PCCMACCOUNT=pccmAdm # 設定 rsh 程式的位置 RSHPATH=/usr/bin/rsh # 設定 MPI 程式路徑 MPIRUNPATH=/opt/mpich/bin/mpirun 簡報主題 54

55 NIS Service (Server) 相關套件 :yp-tools ypbind ypserv portmap 1. 啟動 time 與 time-udp 這兩個預先要啟動的 daemon root]# chkconfig --level 35 time on root]# chkconfig --level 35 time-upd on root]# /etc/rc.d/init.d/xinetd restart 2. 建立 NIS 的領域名稱 ( 我這裡是設定為 cluster ): root]# nisdomainname cluster root]# echo "/bin/nisdomainname cluster" >> /etc/rc.d/rc.local root]# echo "NISDOMAIN=cluster" >> /etc/sysconfig/network 3. 建立 NIS 設定檔 : root]# vi /etc/ypserv.conf ( 在這個檔案內增加三行即可 ) / : * : * : none / : * : * : none * : * : * : deny root]# touch /etc/netgroup 4. 啟動 NIS: root]# /etc/rc.d/init.d/ypserv start root]# /etc/rc.d/init.d/yppasswdd start 5. 製作資料庫 :( 每次有更動使用者資訊時, 就必須要進行這個步驟!) root]# /usr/lib/yp/ypinit -m 6. 開啟 ypserver 為系統服務 root]# chkconfig --level 35 ypserv on root]# chkconfig --level 35 yppasswdd on 簡報主題 55

56 NIS Service (Client) 準備好以下兩個套件 :ypbind 及 yp-tools 按下列步驟設定 : 1. 建立 NIS 的領域名稱 ( 我這裡是設定為 cluster ): root]# nisdomainname cluster root]# echo "/bin/nisdomainname cluster" >> /etc/rc.d/rc.local root]# echo "NISDOMAIN=cluster" >> /etc/sysconfig/network 2. 建立 NIS 查尋的主機名稱 : root]# vi /etc/yp.conf domain cluster ypserver server.cluster 3. 修改密碼驗證方式 : root]# vi /etc/passwd ( 在這個檔案的最底下新增如下一行 ) +:::::: root]# vi /etc/nsswitch.conf passwd: files nis nisplus shadow: files nis nisplus group: files nis nisplus hosts: files nis dns 4. 啟動 NIS: root]# /etc/rc.d/init.d/ypbind start root]# chkconfig --level 35 ypbind on 簡報主題 56

57 RSH Service 1. 要使用 rsh 功能先要安裝 : rsh-server mdk.i586.rpm (Server 端 ) rsh mdk.i586.rpm (Client 端 ) 2. 啟動 RSH 囉! root]# chkconfig --level 35 rsh on root]# chkconfig --level 35 rlogin on root]# chkconfig --level 35 rexec on root]# /etc/rc.d/init.d/xinetd restart 3. 編輯可使用 R command 的主機設定檔 : root]# vi /etc/hosts.equiv LinuxServer LinuxClient01 LinuxClient02 4. 編輯家目錄下的.rhosts ( 內容同 hosts.equiv) vi /home/test/.rhosts 簡報主題 57

58 NFS Service 1. 啟動 portmap 並且設定開機啟動 : root]# /etc/rc.d/init.d/portmap start root]# chkconfig --level 35 portmap on 2. 設定 NFS 分享出去 : root]# vi /etc/exports /home /24(rw,async,no_root_squash) /opt /24(rw,async,no_root_squash) root]# exportfs -rv root]# /etc/rc.d/init.d/nfs start root]# chkconfig --level 35 nfs on 3. 掛載並將指令寫入 /etc/rc.d/rc.local 當中 root]# echo "mount -t nfs Server.cluster:/home /home" >> /etc/rc.d/rc.local root]# echo "mount -t nfs Server.cluster:/opt /opt" >> /etc/rc.d/rc.local 簡報主題 58

59 讓 root 可以 RSH 到某台機器修改 /etc/securetty 將 echo "rlogin" >> /etc/securetty echo "rsh" >> /etc/securetty echo "rexec" >> /etc/securetty 簡報主題 59

60 /etc/init.d/pbs_server #! /bin/sh FLAGS="defaults 90" test -f /opt/torque/sbin/pbs_server exit 0 case $1 in 'start') /opt/torque/sbin/pbs_server -a true ;; 'stop') pid=`/bin/ps -e grep 'pbs_server' sed -e 's/^ *//' -e 's/.*//'` if [ "$pid"!= "" ]; then kill -9 $pid; fi ;; 'restart') $0 stop $0 start ;; *) echo "Usage: /etc/init.d/pbs_server {start stop restart}" exit 1 ;; esac exit 0 簡報主題 60

61 /etc/init.d/pbs_sched #! /bin/sh FLAGS="defaults 90" test -f /opt/torque/sbin/pbs_sched exit 0 case $1 in 'start') /opt/torque/sbin/pbs_sched ;; 'stop') pid=`/bin/ps -e grep 'pbs_sched' sed -e 's/^ *//' -e 's/.*//'` if [ "$pid"!= "" ]; then kill -9 $pid; fi ;; 'restart') $0 stop $0 start ;; *) echo "Usage: /etc/init.d/pbs_sched {start stop restart}" exit 1 ;; esac exit 0 簡報主題 61

62 /etc/init.d/pbs_mom #! /bin/sh FLAGS="defaults 90" test -f /opt/torque/sbin/pbs_mom exit 0 case $1 in 'start') /opt/torque/sbin/pbs_mom ;; 'stop') pid=`/bin/ps -e grep 'pbs_mom' sed -e 's/^ *//' -e 's/.*//'` if [ "$pid"!= "" ]; then kill -9 $pid; fi ;; 'restart') $0 stop $0 start ;; *) echo "Usage: /etc/init.d/pbs_mom {start stop restart}" exit 1 ;; esac exit 0 簡報主題 62

63 SSH 免密碼登入設定 Server 端 vi /etc/ssh/sshd_config RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile.ssh/authorized_keys Client 端 ssh-keygen -t rsa 然後按三下 Enter 即可在 ~/.ssh/ 下找到 ~/.ssh/ id_rsa (Pirvate Key) ~/.ssh/id_rsa.pub (Public Key) 將 id_rsa.pub (Public Key) 複製到 Server 端家目錄裡的.ssh 裡面, 並將名稱改成 authorized_keys 簡報主題 63

资源管理软件TORQUE与作业调度软件Maui的安装、设置及使用

资源管理软件TORQUE与作业调度软件Maui的安装、设置及使用 TORQUE Maui hmli@ustc.edu.cn 2008 1 1 TORQUE 2 1.1 TORQUE........................... 2 1.2 TORQUE...................... 2 1.3 TORQUE.......................... 4 1.4 TORQUE........................... 4