<4D F736F F D20A677B8CBA448A448B3A3B77CA141A655A6B3A5A9A7AEA4A3A6502E646F63>

Transcription

1 Red Hat Certified Architect Cluster 篇 實戰講座 安裝人人都會, 各有巧妙不同 什麼? 有沒有看錯, Red Hat Certified Architect Cluster 篇 實戰講座這種談論 Red Hat 最高等級的認證文章, 竟然要談安裝 Linux? 有沒有看錯! 讀者心裡一定會很納悶, 別急, 看完文章後, 再做評論! 1/27 < > Alex YM Lin

2 1 為什麼先談安裝 大家都知道 Linux 並不像 AIX 是 IBM 專屬的作業系統, 不論 IBM HP 敦陽 盟立 等資訊服務廠商都可以幫客戶建置 Linux 或是 Linux Cluster 的環境 筆者一直在思考, 既然是大家都可以做的東西, 為什麼客戶要給 IBM 做呢? 我們跟別人有什麼不同? 想了許久, 後來想通了, 就是服務業的精神 : 多幫客戶想一些 從一開始就要幫客戶多想一些, 先幫客戶規劃, 先幫客戶釐清需求, 這也是筆者為什麼會先談安裝的原因 通常若是客戶有安裝 Linux 作業系統或是建置 Red Hat Cluster 的需求, 筆者會先麻煩客戶填寫或思考下列表格的項目 很多時候, 筆者發現不管是客戶或是工程師總是會 先安裝 再說, 主機名稱 IP 磁碟空間以後再討論, 到最後發現不符合實務需求, 甚至再重新安裝, 時間往往就浪費在這些事情上 生命應該浪費在美好的事情上, 而不是浪費在安裝作業系統 更改系統設定吧! 所以讀者不論是要幫客戶或是為本身企業, 安裝 Linux 或是建置 Red Hat Cluster 環境, 真的先想清楚需求, 規劃真的很重要! 可複選, 單選 表 1 Linux 作業系統安裝需求表 項目 主機名稱 Hard Disk Linux 版本 預設語系 支援語系 詳細規格 node1.example.com 硬碟 1:Size:_512 GB ( RAID1, RAID0, RAID5, None) 硬碟 2:Size:1024 GB ( RAID1, RAID0, RAID5, None) RHEL 5, RHEL 4, SLES 10, SLES 9 英文, 繁體中文, 簡體中文 ( 建議採用英文為預設語系 ) 英文, 繁體中文, 簡體中文 ( 建議安裝時便勾選支援中文語系 ) 2/27 < > Alex YM Lin

3 Firewall enabled, disabled ( 建議 disabled ) enforcing, permissive, disabled ( 建議 disabled ) SELinux Network Interface Card eth0 ( 10/100, Giga) / bonding eth1 ( 10/100, Giga) / bonding Ethernet channel bonding Network bond0/ / ( 10/100, Giga) 組成網卡 : eth0 eth1 eth2 eth3 load balancing active-backup /Default gateway: /DNS Server: Groups Name(gid) dba (1000) Member Users oracle,neon,alex Name(uid) Primary Group Supplementary Groups Home 備註 Users oracle(1000) dba /u1 neon(1202) dba /home/neon alex(1225) dba /home/alex File system 傳統 Linux 檔案系統 LVM 檔案系統 ( 註 :rootvg 由 /dev/sda2 組成 ;datavg 由 /dev/sdb 組成 ) 3/27 < > Alex YM Lin

4 VG/HD Partition/LV Mount Point Size(MB) FS Type Owner Group mode sda /dev/sda1 /boot 256 ext3 root root rootvg rootlv /root 2048 ext3 root root rootvg usrlv /usr ext3 root root rootvg varlv /var 2048 ext3 root root rootvg tmplv /tmp 2048 ext3 root root Time Sync & 時區 NTP 網路對時 :Time Server 時區 :GMT+8 預設安裝 完整安裝 自訂安裝 軟體安裝選項 /telnet server /ftp server /www server /samba server /nis server /etc/hosts localhost.localdomain localhost station1.example.com station1 修改檔案 /etc/resolv.conf nameserver search example.com /etc/security/limits.conf OS Kernel 調整 Kernel Parameter Before Actual 備註 kernel.shmmax /27 < > Alex YM Lin

5 調整 kernel.sem 安裝人人都會, 各有巧妙不同 fs.file-max net.ipv4.ip_local_port_range net.core.rmem_default net.core.rmem_max net.core.wmem_default net.core.wmem_max OS patches Third Party 軟體 RHEL 5 Update 1 mkcdrec 其他 允許 root 可以 telnet 允許 root 可以 ftp 備註 : 每個項目檢查無誤後, 請客戶在 內打勾確認 廠商簽名 : 客戶簽名 : 1. Cluster & Node Name 表 2 Red Hat Cluster 配置表 Cluster Name Cluster Node neon_cluster node1 node2 2. Network Topology Function IP Device Notes Node Name : node1 Fence LAN IBM RSAII 5/27 < > Alex YM Lin

6 Public LAN bond0 Heartbeat LAN bond0 Node Name : node2 Fence LAN IBM RSAII Public LAN bond0 Heartbeat LAN bond0 3. quorum disk Device size label /dev/sdb1 100MB qdisk 4. Failover Domain Name db_domain db_domain failover domain membership node1 node2 5. Resources Type detail Ip (service ip) Name: db Files system File system: ext3 Mount point: /u1 Device: /dev/sdb2 script Name: oracle.sh Full path to script file: /home/oracle/oracle.sh 6. services Name oracle_srv oracle_srv Resources ip resource db file system resource 6/27 < > Alex YM Lin

7 oracle_srv /home/oracle/oracle.sh resource 表 2 的 Red Hat Cluster 配置表, 對未接觸過 Red Hat Cluster 的讀者而言, 這份表格的項目可能會很陌生 別擔心, 之後的文章會介紹相關的名詞, 現在只是先讓讀者了解規劃的重要 因為業界不少公司還是 RHEL 4 的環境, 所以筆者除了介紹 Red Hat Cluster 5.x, 也會介紹 Red Hat Cluster 4.x 的技術及實作方法 不過就筆者的經驗, 若是要使用 RHCS 4.x, 最好是用 RHCS 4.4 以上的版本, 例如 RHCS 4.5 或 RHCS 4.6, 其主要原因是 RHCS 4.4 的 system-config-cluster 圖形管理工具不支援 Quorum disk, 而 Quorum disk 對於只有兩台 nodes( 機器 ) 的 Cluster 環境是非常重要的,Quorum disk 的技術容後再述 7/27 < > Alex YM Lin

8 2 Red Hat Cluster 4.x 安裝 筆者並不採用一般直接用光碟安裝作業系統的方法, 而是根據客戶的 Linux 作業系統需求表, 先寫好自動安裝設定檔 (Kickstart 設定檔 ), 然後利用 Kickstart 的方法安裝作業系統, 之後再安裝 Red Hat Cluster 軟體 2.1 Installation Server(For RHEL 4.x) 利用 kickstart 安裝 RHEL, 安裝的來源可以是本機的光碟機 硬碟機或透過 NFS FTP HTTP 來進行安裝, 利用 NFS FTP HTTP 網路安裝的方式是較有效率的, 但首先得建置一台 Installation Server, 就是將 4 片光碟的內容複製至 Server 上, 並利用 NFS FTP 或 HTTP 將其分享出來 通常 Installation Server 會同時擔任 DHCP Server 所以在實作 kickstart 自動安裝之前, 我們得先建置這台 Installation server 1. 將 RHEL AS 4.x 安裝所需 RPM 全部 copy 至 Server 上放入第 1~4 片 CD 或 DVD 執行以下指令 #mount /media/cdrom #cp af /mnt/cdrom/ /var/ftp/pub/rhel4as-u6 ( 重覆將 4 片內容全部 copy 至 Installation Server 上 ) # ln s /var/ftp/pub /var/www/html/pub ( 將 /var/www/html/pub 指向 /var/ftp/pub) 2. 利用各種方式將安裝檔案分享出來 NFS 法 #vi /etc/exports /var/ftp/pub *(ro,sync) ( 在該檔加入此行 ) #service nfs start ( 立即啟動 NFS Server) #chkconfig nfs on( 開機後自動啟用 NFS Server) FTP 法 8/27 < > Alex YM Lin

9 #service vsftpd start( 立即啟動 FTP Server) #chkconfig vsftpd on( 開機後自動啟用 FTP Server) HTTP 法 # service httpd start( 立即啟動 HTTP Server) #chkconfig httpd on( 開機後自動啟用 HTTP Server) 安裝人人都會, 各有巧妙不同 3. 建立 DHCP server #cp /usr/share/doc/dhcp-*/dhcpd.conf.sample /etc/dhcpd.conf # more /etc/dhcpd.conf ( 內容如下暫時不用修改 ) ddns-update-style interim; ignore client-updates; subnet netmask { # --- default gateway option routers ; option subnet-mask ; option nis-domain "domain.org"; option domain-name "domain.org"; option domain-name-servers ; option time-offset ; # Eastern Standard Time # option ntp-servers ; # option netbios-name-servers ; # --- Selects point-to-point node (default is hybrid). Don't change this unless # -- you understand Netbios very well # option netbios-node-type 2; range dynamic-bootp ; default-lease-time 21600; max-lease-time 43200; 9/27 < > Alex YM Lin

10 #service dhcpd restart 2.2 kickstart 自動安裝設定檔 (ks.cfg) kickstart 自動安裝設定檔 ks.cfg 是一個普通的文字檔案, 其中含有安裝 Linux 所需的各項設定, 例如語系 分割區的配置 root 的密碼 等各項安裝時所需要的設定值 Red Hat Linux 安裝程式也根據您在安裝過程中所選擇的選項建立一個 ks.cfg 的參考範例, 該檔案會存放在 /root/anaconda-ks.cfg ks.cfg 檔由三個部份組成 : command 區段 此部份包含了必要安裝選項 packages 區段 列出欲安裝套件 %pre 和 %post 區段 若讀者想了解 kickstart 的詳細語法可參考下列網址 : ide/ch-kickstart2.html 筆者針對 Red Hat 4.x, 編寫 node1.rhel4.cfg Kickstart 檔案, 並將此檔案置於 /var/www/html 目錄下 : [root@server1 ~]# ls /var/www/html/*.rhel4.cfg /var/www/html/node1.rhel4.cfg node1.rhel4.cfg 內容如下 : # RHCS 4.x workshop kickstart script for node1 # IBM Alex YM Lin # 2008/03/04 ############################################################## 10/27 < > Alex YM Lin

11 text 安裝人人都會, 各有巧妙不同 keyboard us lang en_us #lang zh_tw.utf-8 #langsupport --default zh_tw zh_tw langsupport --default=en_us.utf-8 en_us.utf-8 network --bootproto dhcp #nfs --server= dir=/var/ftp/pub/rhel4as-u4 url --url ftp:// /pub/rhel4as-u6 bootloader --location=mbr clearpart --all part /boot --fstype "ext3" --size=120 part / --fstype "ext3" --size=10240 part swap --size=512 xconfig --resolution=1024x768 --depth=16 --startxonboot #skipx rootpw redhat authconfig --useshadow --enablemd5 firewall --disabled selinux --disabled bootloader reboot %packages web-server kernel-smp 11/27 < > Alex YM Lin

12 kernel 安裝人人都會, 各有巧妙不同 grub screen vim-common vim-enhanced strace nmap curl Workstation compat-arch-support %post # Set the time, then set the hardware clock ntpdate -b #hwclock --systohc --utc hwclock -w # Configure as NTP client of server1 cat > /etc/ntp.conf <<END restrict default ignore restrict restrict /27 < > Alex YM Lin

13 server 安裝人人都會, 各有巧妙不同 driftfile /var/lib/ntp/drift broadcastdelay END echo " " >> /etc/ntp/step-tickers chkconfig ntpd on cat > /etc/hosts <<END localhost.localdomain localhost node1.example.com node node2..example.com node server1.example.com server1 END cat > /etc/sysconfig/network << END NETWORKING=yes HOSTNAME=node1.example.com GATEWAY= END cat > /etc/sysconfig/network-scripts/ifcfg-eth0 << END DEVICE=eth0 IPADDR= NETMASK= END 13/27 < > Alex YM Lin

14 2.3 利用 kickstart 安裝 node1 只要放入 RHEL 4.x 第一片光碟片, 然後鍵入 node1.rhel4.cfg 所在位置便可自動安裝 Linux 圖 1: 利用 Kickstart 安裝 RHEL 4.x node1 2.4 Red Hat Cluster 軟體簡介 在商業的 Unix 市場中, 高可用性 ( High Availability ) 是銷售 Unix 伺服器解決方案的關鍵 事實上, 每個 Unix 供應商都有他們自己的高可用性軟體解決方案, 例如 IBM 的高可用性叢集軟體解決方案, 就是 AIX 上的 HACMP ( High Availability Cluster Multi-Processing) 其他主要的 Unix 供應商像 HP Sun DEC 和其他的供應商, 也有許多類似的軟體解決方案可用 14/27 < > Alex YM Lin

15 High Availability 是現今 Unix 銷售給許多企業的關鍵 ; 特別對於需要 web-based 和其他必須一整年 每週七天 每天 24 小時可用的伺服器 至於新竄起的網格運算市場而言更是如此 但是在 Linux 一直沒有很成熟的 HA 解決方案, 即便是 Red Hat 在 Advanced Server 2.1 上提出的 HA 解決方案, 和其他的 Unix 廠商的 HA 解決方案也有一段不小的差距 不過, 隨著 Red Hat Enterprise 3.0 的推出,Red Hat 推出一個重量級企業應用軟體 Red Hat Cluster Suite, 使得情況有所改觀 Cluster Suite 包含兩個技術 : Cluster Manager 和 Linux Virtual Server Cluster Manager 是 HA 的最佳解決方案, 只要兩台伺服器和共用的外接儲存設備, 透過 Cluster Manager 來控制伺服器所執行的服務, 就可輕鬆達成 HA 的目的 不過 Red Hat Cluster Suite 不包含在 RHEL 3 或 RHEL 4 中, 它必須額外購買 ; 而且只支援 RHEL AS 和 ES 版 但在最新版的 RHEL 5 巳內含 Red Hat Cluster Suite 相關套件, 不需要再額外購買軟體 2.5 安裝 Red Hat Cluster 4.x 軟體 安裝 Red Hat Cluster 4.x 軟體 (Red Hat Cluster Suite 4.x) 非常簡單, 只需將 RHCS 4.x 光碟片 ( 需額外購買 ) 放入, 採用預設值安裝即可 ( 圖 2) 15/27 < > Alex YM Lin

16 圖 2:RHCS 4.x 安裝畫面 16/27 < > Alex YM Lin

17 3 Red Hat Cluster 5.x 安裝 欲自動安裝 RHEL 5.x, 除了建置 Installation server, 還必須架設 YUM Server, 其餘部份大致相同 3.1 Installation Server(For RHEL 5.x) 1. 將 RHEL 5.1 安裝所需 RPM 全部 copy 至 Server 上放入第 1~4 片 CD 或 DVD 執行以下指令 #mount /media/cdrom #cp af /mnt/cdrom/ /var/ftp/pub/rhel5.1 ( 重覆將 4 片內容全部 copy 至 Installation Server 上 ) # ln s /var/ftp/pub /var/www/html/pub ( 將 /var/www/html/pub 指向 /var/ftp/pub) 2. 利用各種方式將安裝檔案分享出來 NFS 法 #vi /etc/exports /var/ftp/pub *(ro,sync) ( 在該檔加入此行 ) #service nfs start ( 立即啟動 NFS Server) #chkconfig nfs on( 開機後自動啟用 NFS Server) FTP 法 #service vsftpd start( 立即啟動 FTP Server) #chkconfig vsftpd on( 開機後自動啟用 FTP Server) HTTP 法 # service httpd start( 立即啟動 HTTP Server) #chkconfig httpd on( 開機後自動啟用 HTTP Server) 3. 建立 DHCP server 17/27 < > Alex YM Lin

18 #cp /usr/share/doc/dhcp-*/dhcpd.conf.sample /etc/dhcpd.conf # more /etc/dhcpd.conf ( 內容如下暫時不用修改 ) ddns-update-style interim; ignore client-updates; subnet netmask { # --- default gateway option routers ; option subnet-mask ; option nis-domain option domain-name "domain.org"; "domain.org"; option domain-name-servers ; option time-offset ; # Eastern Standard Time # option ntp-servers ; # option netbios-name-servers ; # --- Selects point-to-point node (default is hybrid). Don't change this unless # -- you understand Netbios very well # option netbios-node-type 2; range dynamic-bootp ; default-lease-time 21600; max-lease-time 43200; #service dhcpd restart 3.2 YUM Server ( 類似像微軟的線上更新伺服器 ) yum 這是 RHEL 5 內建的軟體自動安裝升級機制, 透過 FTP 或 WWW 進行線上升級及安裝套件 運作過程大致如下 : 18/27 < > Alex YM Lin

19 1. 先由設定檔判斷 yum server 在哪裡 安裝人人都會, 各有巧妙不同 2. 連接到 yum server 後, 先下載新的 RPM 檔案的表頭資料 3. 分析比較使用者所欲安裝 / 升級的檔案, 並提供使用者確認 4. 下載使用者選擇的檔案到系統中的 /var/cache/yum, 並進行實際安裝 RHEL 4 Kickstart 安裝並不需要安裝 YUM Server, 但 RHEL 5 中若是要用 NFS 進行網路安裝, 就必須建置 YUM Server 筆者利用下列 script 快速產生 YUM database (repository): [root@server1 ~]# more mk_yum_server_repository.sh #!/bin/bash INSTALLDIR=/var/ftp/pub/RHEL5.1 cd $INSTALLDIR for name in Server VT Cluster ClusterStorage do cp $name/repodata/comps-rhel5-*.xml /tmp done # Server cd $INSTALLDIR/Server rm -rf repodata createrepo -g /tmp/comps-rhel5-server-core.xml. # VT cd $INSTALLDIR/VT rm -rf repodata createrepo -g /tmp/comps-rhel5-vt.xml. 19/27 < > Alex YM Lin

20 # Cluster cd $INSTALLDIR/Cluster rm -rf repodata createrepo -g /tmp/comps-rhel5-cluster.xml. # ClusterStorage cd $INSTALLDIR/ClusterStorage rm -rf repodata createrepo -g /tmp/comps-rhel5-cluster-st.xml. 3.3 Kickstart 自動安裝設定檔 (ks.cfg) 筆者針對 Red Hat Cluster 5.x 編寫 node1.rhel5.cfg kickstart 檔案, 並將此個檔案置於 /var/www/html 目錄下,node1.rhel5.cfg 內容如下 : ############################################################## # RHCS 5.1 workshop kickstart script for node1 # IBM Alex YM Lin # 2008/03/19 ############################################################## text key --skip keyboard us lang en_us #lang zh_tw.utf-8 #langsupport --default zh_tw zh_tw 20/27 < > Alex YM Lin

21 network --bootproto dhcp 安裝人人都會, 各有巧妙不同 url --url ftp:// /pub/rhel5.1 zerombr yes clearpart --all #part swap --size 2048 part /boot --size 256 part pv.01 --size= grow volgroup rootvg pv.01 logvol / --vgname=rootvg --size= name=rootlv logvol /usr --vgname=rootvg --size= name=usrlv logvol /var --vgname=rootvg --size= name=varlv logvol /tmp --vgname=rootvg --size= name=tmplv logvol /var/ftp/pub --vgname=rootvg --size= name=publv #logvol /home --vgname=rootvg --size= name=homelv logvol swap --vgname=rootvg --size= name=swaplv timezone Asia/Taipei xconfig --resolution=1024x768 --depth=16 --startxonboot rootpw redhat authconfig --useshadow --enablemd5 firewall --disabled selinux --disabled bootloader reboot %packages 21/27 < > Alex YM Lin

22 * 安裝人人都會, 各有巧妙不同 %post # Set the time, then set the hardware clock ntpdate -b #hwclock --systohc utc hwclock -w echo " " >> /etc/ntp/step-tickers chkconfig ntpd on cat > /etc/hosts <<END localhost.localdomain localhost node1.example.com node node2.example.com node server1.example.com server1 END cat > /etc/sysconfig/network << END NETWORKING=yes HOSTNAME=node1.example.com GATEWAY= END cat > /etc/sysconfig/network-scripts/ifcfg-eth0 << END DEVICE=eth0 IPADDR= NETMASK= /27 < > Alex YM Lin

23 END 安裝人人都會, 各有巧妙不同 # YUM Client configuration file cat > /etc/yum.repos.d/server1.repo << END # Main rhel5 server [Server] name=server1 Server Repository baseurl=ftp:// /pub/ RHEL5.1/Server gpgcheck=0 # RH Cluster] [Cluster] name=server1 Server Repository baseurl=ftp:// /pub/ RHEL5.1/Cluster gpgcheck=0 # RH ClusterStorage [ClusterStorage] name=server1 Server Repository baseurl=ftp:// /pub/ RHEL5.1/ClusterStorage gpgcheck=0 # This one is needed for xen packages [VT] name=server1 VT Repository baseurl=ftp:// /pub/ Cluster/VT gpgcheck=0 23/27 < > Alex YM Lin

24 END # Create Oracle group and user groupadd dba groupadd oinstall useradd -c "Oracle software owner" -g oinstall -G dba oracle mkdir -p /u01/app/oracle chown oracle.oinstall /u01/app/oracle # Modify kernel parameter for Oracle cat >> /etc/sysctl.conf << END kernel.shmmax= kernel.sem= fs.file-max=65536 net.ipv4.ip_local_port_range= net.core.rmem_default= net.core.rmem_max= net.core.wmem_default= net.core.wmem_max= # Modify Oracle User profile su - oracle cat >> ~/.bash_profile << END export ORACLE_BASE=/u01/app/oracle export ORACLE_SID=oracle export ORACLE_HOME=$ORACLE_BASE/oracle/product/10.2.0/db_1 export PATH=$PATH:$ORACLE_HOME/bin 24/27 < > Alex YM Lin

25 export LD_LIBRARY_PATH=$ORACLE_HOME/lib END 3.4 利用 kickstart 安裝 node1 只要放入 RHEL5.1 第一片光碟片, 然後鍵入 node1.rhel5.cfg 所在位置便可自動安裝 RHEL 5 圖 3: 利用 Kickstart 安裝 RHEL 5.x node1 3.5 安裝 Red Hat Cluster 5.x RHEL 5.x 內含 Red Hat Cluster 及 GFS 軟體, 如果安裝是有輸入產品序號並選擇安裝全部套件, 則會自動安裝 Red Hat Cluster 及 GFS 軟體 ; 若是安裝是沒有輸入產品序號, 則不會安裝 Red Hat Cluster 及 GFS 軟體, 必須架好 YUM Server 25/27 < > Alex YM Lin

26 後, 再利用 system-config-packages 進行安裝, 只要勾選 Cluster Storage (GFS 軟體 ) 及 Clustering 軟體(Red Hat Cluster 軟體 ) 即可 圖 4: 安裝 Red Hat Cluster 5.x 後記 沒想到光是安裝就寫了這麼多, 其實筆者主要是想強調事先規劃的重要性, 很多時候, 由於專案時程的壓力, 時常還沒搞清楚客戶的需求, 就開始動工 客戶可能會說 就先做, 晚點再決定主機名稱, 甚至 Cluster 設定好了,Oracle 資料庫也建好, 客戶才說因為公司主機命名規則有變, 所以得更改主機名稱或 IP 等, 那時只能加班, 眼淚往肚裏吞! 筆者強烈建議實務上架設 Red Hat Cluster 時, 要等需求確定清楚後再動工! 省下浪費在重新安裝作業系統或是無止盡地更改 Cluster 設定的時間, 就可以好好看一場王建民的比賽了! 26/27 < > Alex YM Lin

27 作者簡介林彥明 (Alex YM Lin): 現任職於 IBM, 負責 HPC 超級電腦 Linux 叢集系統建置 效能調校及技術支援等工作, 近來參與 NCHC IBM Cluster 1350( 亞洲運算能力僅次日本的超級電腦 ) 及中山大學 p595 HPC 超級電腦專案 具有 RHCA(Red Hat 架構師 ) RHCDS(Red Hat Certified Datacenter Specialist) RHCX(Red Hat 認證主考官 ) RHCE NCLP(Novell Linux 認證專家 ) LPIC IBM AIX 等國際認證 27/27 < > Alex YM Lin