DRBL/Clonezilla 研習課程蕭志榥孫振凱國家高速網路與計算中心 Nat

Size: px

Start display at page:

Download "DRBL/Clonezilla 研習課程蕭志榥孫振凱國家高速網路與計算中心 Nat"

走强
5 years ago
Views:

1 DRBL/Clonezilla 研習課程蕭志榥孫振凱國家高速網路與計算中心 National Center for High-Performance Computing (NCHC) 2012, Q2 1

2 Outline Part A: DRBL 08:40~9:40 DRBL 安裝 ( 記得先裝 italc) 10:40~10:00 italc 使用 10:00~10:20 作業收集 /DRBL 基本使用 10:20~10:40 休息 Part B: Clonezilla 10:40~11:40 Clonezilla SE ( 整間還原 & 單機還原 ) 13:00~15:00 Clonezilla live 備份 / 還原印象檔 1 鍵還原 1 對多還原 15:00~15:20 休息 15:20~16:00 DRBL LIve 2

3 NCHC 簡介成為國際級高速計算中心 Vision 促成科學發現與技術創新建置高速計算與網路應用優良研究環境提供各領域所需之專業服務服務研致力高速計算與網路應用研究提高服務品質促成科技發現與創新發 NCHC Vision 育才培育高速計算與網路應用專業人才 3

4 企鵝龍 (DRBL) 簡介 4

5 企鵝龍 DRBL 網路是便宜的人的時間是昂貴的企鵝龍簡單來說就是... 用網路線取代硬碟排線所有學生的電腦都透過網路連接到一台伺服器主機 Diskfull PC = + Diskless PC + Server image source: 5

6 既有 LTSP 何要 DRBL? 中央集權 vs. 地方分權精簡型電腦 (Thin client) vs. 功能強大電腦 (powerful client) 有些人需要在用戶端能玩 3D 遊戲播放電影或者需要用戶端的計算資源 DRBL 的特別功能 Clonezilla 單一指令切換所有用戶端電腦的環境 DRBL, FreeDOS, 硬碟中的 OS, memtest... 網路安裝 GNU/Linux 套件 DRBL 不適用於老舊電腦使用因地制宜取己所需 6

7 DRBL - Diskless Remote Boot in Linux pxe/etherboot + nfs + nis - 站在巨人的肩膀上起源 PC Cluster -> 自由軟體電腦教室需求 1. 支援多元化的電腦教學 - Linux 與微軟 Windows 可同時並存 DRBL 環境下 OS 存在 server 端 client 端的作業系統可保留 2. 簡化管理工作所有的服務集中在 server 管理減少檢視每台 client 軟體的困擾作業系統與軟體只需要在 server 上安裝一遍即可 3. 硬體與安裝雖簡化軟體卻完整軟體和逐一安裝的機器一樣沒有任何偷工減料 7

8 幾種不同的無碟系統架構 NFS-base SAN-base Server provide file system via NFS For diskless GNU/Linux Server provide file system via SAN Includes AoE (ATA over Ethernet) and iscsi For diskless MS Windows or GNU/Linux Memory-base Client load all the system to its own memory via network. After that, network connected is not required For small size GNU/Linux, e.g. DSL, PuppyLinux, Clonezilla live, Gparted live, or FreeDOS... 8

9 DRBL switch server DHCP IP TFTP kernel NFS file system NIS account client nodes pxe/etherboot pxe/etherboot boot boot /, /usr, /home... user login /, /usr, /home... user login 9

10 DRBL 基本環境 public/private IP address NIC 1 server NIC 2 private IP switch 1 node001 ~ node013 NIC 4 NIC 3 private IP switch 2 node014 ~ private IP switch 3 node027 node028 ~ node040 10

11 DRBL 的建議規格以下所列的規格僅供參考採購時可依據經費與當時最佳的設備來採購中央政府各機關學校委託的中央信託局集中採購案中有符合使用的設備高效能計算 (HPC) 的需求是永無止境的伺服器建議規格 :CPU 2.6 GHz 記憶體 4 GB Gigabits 網路卡 4 張客戶端最低規格 :CPU 500 MHz 記憶體 512 MB fast ethernet(100mbps) 網路卡多張最低規格 :CPU 500 MHz 記憶體 256 MB 100Mbps 網路卡若是新購電腦的話建議直接買有支援網路開機 (PXE) 的網卡或是內建 PXE 功能網卡的主機板網路連接設備最低需求 :100Mbps 的交換器建議規格 : 以 40 人的電腦教室為例兩台 24 埠 100Mbps 的交換器每台上面另外個別有 2 個 Gigabits ports 11

12 DRBL 之限制 NFS Base SAN base Linux Only 伺服器端只提供相同版本 Linux 給用戶端使用 Softwares/Driver/Firmware have to be preinstalled on server Service a few clients More disk space required on server Memory base Only support few versions of operation system Clients need enough memory(depend on OS) 12

13 DRBL 安裝標準 GNU/Linux 套件 i386/x86-64 platform 小型 GNU/Linux 套件 Debian, Ubuntu, B2D, RedHat, Fedora, Mandriva, CentOS, OpenSuSE, SuSE DSL, PuppyLinux, INSERT, PLD, GeeXbox 4 大安裝步驟安裝 GNU/Linux 安裝 DRBL 程式設定伺服器設定用戶端 13

14 免安裝版本 DRBL Live ( 穩定版 ) 14

15 DRBL 模式比較 Full DRBL DRBL SSI Full Clonezilla ClonezillaClonezilla Box live /etc, /var of client NFS-based Tmpfs-based NFS-based Files in /etc and /var of client after reboot Kept Gone Kept Gone Gone Extra space in server/client ~ MB* 0 ~ MB* 0 0 Max client #/ethernet card in server Tmpfs-based Tmpfs-based (tar ball) (Squashfs) * Depends on the packages installed in the server 15

16 DRBL/Clonezilla SE screenshot 16

17 本節回顧認識 DRBL 原理不同形態的無碟架構 DRBL 的優點與限制不同模式下 (Full/SSI mode) DRBL 用戶端的差異 17

18 DRBL 實做 18

19 實驗環境 (Host+guest machine) DRBL Server Gateway-> Internet eth0 DHCP eth1 DHCP vboxnet 虛擬機器中的網路卡模式與注意事項 NAT Bridge Internal network Host-only network Virtual Machine client eth x client eth x 19

20 安裝流程設定 root 密碼網路配置安裝必要硬體驅動程式 / 軔體安裝所需軟體套件確認取消 vboxnet0 中 DHCP 功能廣播軟體 : italc-client, italc-master 設定儲藏庫加入 GPG key DRBL 環境安裝安裝 DRBL 程式 : sudo apt-get install drbl 設定伺服器 : sudo /opt/drbl/sbin/drblsrv -i 設定用戶端 : sudo /opt/drbl/sbin/drblpush -i 20

21 Exercise 安裝 italc-client, italc-master 佈署 DRBL 環境使用 range Full DRBL mode + Clonezilla Box mode, 數量 12 個 21

22 DRBL 基本使用 22

23 基本指令 dcs 使用 : sudo /opt/drbl/sbin/dcs export PATH=$PATH:/opt/drbl/sbin:/opt/drbl/bin 帳號管理類 drbl-useradd/drbl-userdel drbl-useradd [-s --single] 使用者名稱群組名稱 drbl-useradd -r cpc 1 40 g3c5 7 drbl-userdel [-s --single] 使用者名稱用戶端檔案管理類 drbl-host-cp/drbl-host-rm 使用者檔案管理類 drbl-user-cp/drbl-user-get/drbl-user-rm drbl-user-cp [source_file] [dest_file] drbl-user-get -g g3c5 file drbl-user-rm -g g3c5 file 其他類 drbl-all-service [start stop restart add del] drbl-doit -u root /sbin/ifconfig 23

24 ITALC 使用 24

25 基本架構與使用用戶端檔案系統系統介紹伺服器 /tftpboot 結構 nbi_img nodes pxelinux.cfg 選單說明 Netinstall: Full vs SSI 使用 dcs 進行切換 vi /opt/drbl/conf/drbl.conf sudo /opt/drbl/sbin/drbl-netinstall -i xxxx drbl-sl.sh -i dsl iso DRBL-live Virtualbox 安裝 25

26 DRBL 相關應用 Linux net-install Small Linux 應用 DSL gparted Free Dos 應用 SAN(AoE, iscsi) boot 應用 26

27 協助 / 課程資訊 Support FAQ : Google Sourceforge 論壇 Other... More information, more efficiency!!! Training DRBL/Clonezilla 基礎 / 進階課程 2012/5/1( 二 ) ~ 5/2 ( 三 )@ 台中 Clonezilla 再生龍實務技術課程課程網址 27

28 Questions? 28

29 再生龍 (Clonezilla) 29

30 再生龍 Clonezilla Clonezilla [OCS (Opensource Clone System)] Clonezilla 是一完整的硬碟資料複製的工具類似 Symantec Ghost 或是 Rembo. 整合 partclone( ( ntfsclone 與 udpcast ( 用於裸機還原不同於與以檔案為基礎的備份方式差異備份還原卡模式兩種釋出版本 Live edition : 適合單機個人使用作為備份還原單一機器使用 Server edition : 適合大量批次還原集中式管理如電腦教室管理大量出機生產線... 30

31 再生龍 Clonezilla ( 續 ) 可以儲存與還原不同作業系統 File system: ext2/3/4, xfs, jfs, reiserfs3/4, ntfs, vfat,ufs, hfs+, VMFS Supports LVM2 無法辨識之檔案系統使用 dd Block base 備份方式只備份有使用之區塊提高備份還原效能效能 ( 伺服器版為例 ) GNU/Linux, M$ windows, Mac OS X, BSD, VMWare EMS 以 NCHC PC 教室為例 41 台 clients clone 3.5 Gbytes 的 M$ Windows XP 環境使用 multicast 方式則只要約 8 分鐘 DRBL-winroll 大量佈署 M$ windows 系統的自動設定輔助工具 (1) 還原後自動修改 M$ Windows 的機器名稱, 群組,(SID)(2) 接受來至 DRBL server 的指令 server 的指令 31

32 Terminology 技術用詞 Raw copying* Smart copying* A possibility to distinguish which portions of the partition really contain data and to copy these only Live copying* A possibility to perform sector-by-sector copying of a whole partition A drive or volume can be copied/imaged while it is in use, avoiding the need for booting into a separate operating system or Live CD. Smart copy full disk A possibility to distinguish which portions of the disk really contain data and to copy these only Possible to skip swap, pagefile... 註 * The descriptions are from 32

33 再生龍 Clonezilla-- 限制目的硬碟 ( 分割區 ) 大小至少需等於 ( 或大於 ) 來源硬碟 ( 分割區 ) 不支援差異 (Differential1 ) 備份 / 增異 (Incremental1 ) 備份不支援線上 (Online) 備份 / 回覆不完全支援 Software RAID/Firmware(Fake) RAID2 需額外手動步驟調整印象檔無法支援分片回存需先將分片檔案集合在同一儲藏空間註 1: 註 2: 33

34 Live 免安裝版本 Clonezilla Live 34

35 Clonezilla Live screenshot 35

36 再生龍實做 36

37 實做流程使用再生龍伺服器版做 Disk save 使用再生龍伺服器版做 Disk restore: Unicast/Multicast 37

38 Clonezilla SE: Full/Box/Live mode Full Clonezilla /etc, /var of client Files in /etc and /var of client after reboot Extra space in server/client Max client #/ethernet card in server Clonezilla Box Clonezilla Live NFS-based Tmpfs-based Use squashfs Kept Gone Gone ~ MB* Adv./Dis * depends on the packages installed in the server 38

Clonezilla 映像檔說明 root@debian:~# ls -alfh /home/partimag/lucid-img/ total 220M drwxr-xr-x 2 root root 512 07:12./ image name drwxr-xr-x 7 root root 168 07:12.

39 Clonezilla 映像檔說明 ls -alfh /home/partimag/lucid-img/ total 220M drwxr-xr-x 2 root root :12./ image name drwxr-xr-x 7 root root :12../ -rw-r--r-- 1 root root :12 disk -rw-r--r-- 1 root root 34K 07:12 Info-dmi.txt hardware information -rw-r--r-- 1 root root 18K 07:12 Info-lshw.txt -rw-r--r-- 1 root root 1.4K 07:12 Info-lspci.txt -rw-r--r-- 1 root root :12 Info-packages.txt real data of partition sda1, -rw-r--r-- 1 root root 10 07:12 parts -rw root root 216M 07:12 sda1.ext4-ptcl-img.gz.aa sda5 -rw root root 2.3M 07:12 sda5.ext4-ptcl-img.gz.aa -rw-r--r-- 1 root root 36 07:11 sda-chs.sf disk C.H.S. value via sfdisk -rw-r--r-- 1 root root 1.0M 07:11 sda-hidden-data-after-mbr Use dd to save MBR -rw-r--r-- 1 root root :11 sda-mbr and other hidden data -rw-r--r-- 1 root root :11 sda-pt.parted partition info from parted and sfdisk -rw-r--r-- 1 root root :11 sda-pt.sf -rw-r--r-- 1 root root 53 07:12 swappt-sda2.info UUID and label info of sda2 (swap partition) 39

40 Clonezilla Live 製作穩定版測試版實驗版光碟版 (iso 檔案 ) USB 隨身碟或隨身硬碟版 (zip 檔案 ) 硬碟版將 Clonezilla live 放在一個已經有作業系統存在的硬碟中 PXE 版下載後把該 ISO 檔案燒到光碟片上 ( 記得要選用燒錄映象檔的方式舉例而言在 MS Windows 下以 Nero Burning ROM 為例你要選 ' 燒錄映像檔 " 來燒這個 iso 檔 ) 就可以用它來開機將 Clonezilla live 放在 PXE 伺服器上來讓用戶端電腦透過 PXE 網路開機使用 Clonezilla live 詳情參考 40

41 Exercise Clonezilla Live 應用 1.Save/Restore disk via network : NFS, sshfs, samba 2.單鍵還原光碟製作 (Recover CD/DVD) 3.一對多 restore 41

42 Note 系統安裝鏡射站 free.nchc.org.tw 路徑 /ubunt 網路設定 sudo apt-get install gnome-network-admin sudo apt-get --purge remove network-manager 系統 -> 管理 -> 網路 / Others: tar xvf lucid-x86-updated tar -C /home/partimag drbl-live:

43 成功案例與迴響 43

44 電腦教室成功案例國家高速網路與計算中心宜蘭縣提供嘉義縣 94PC 更新案專用 DRBL Clonezilla Box 伺服器還原光碟花蓮縣網中心提供全縣 DRBL 與 Clonezilla 的支援 Clonezilla 來 clone i-linux 等 Linux 環境台南市立新興國小採用 DRBL 來達成多元化教學嘉義縣網中心梗枋國小龍潭國小三民國小頭城國小等採用 DRBL 來教學等台北縣新店大豐國小北中南 3 處共 4 間電腦教室使用 DRBL 或是 Clonezilla 採用 DRBL 無磁碟系統榮獲 94 年 Linux 黃金企鵝獎應用類獎新竹市福林數位學習中心採用 clonezilla 來佈署電腦教室

45 電腦教室成功案例 ( 續 ) 美國肯德基州路易斯維爾大學 University of Louisville 使用 Clonezilla 來佈署筆記型電腦的軟體環境日本東京 Christian University 使用 DRBL 於學校實驗室荷蘭 NCCW ( National Computer Centre Wonen ) 使用 Clonezilla 於電腦教室菲律賓 ADOC (APEC Digital Opportunity Center) 使用 DRBL 於示範電腦教室

46 成功案例台北縣大豐國小 source: distrowatch.com 從 2003 年使用 DRBL 與 Clnoezilla 管理電腦教室 2006 年 distrowatch.com 特別報導 : Linux in education 2007 年 7 月 4 日 NCHC DRBL/Clonezilla 記者會於大豐國小

47 電腦教室成功案例 ( 續 ) 嘉義縣網中心縣網中心提供嘉義縣 94PC 更新案專用 DRBL Clonezilla Box 伺服器還原光碟

48 成功案例 - 花蓮縣網使用 DRBL 來大量佈署 Linux 2008 年 6 月已有 145 所學校使用 (131 所中小學 14 所高中職 ) 花蓮縣網來函感謝

49 電腦教室成功案例 ( 續 ) 台南市立新興國小採用 DRBL 無磁碟系統榮獲 2005 年 Linux 黃金企鵝獎應用類獎項感謝蔡淑燕老師提供照片

50 電腦教室成功案例 ( 續 ) 美國肯德基州路易斯維爾大學 University of Louisville, Kentucky, USA 使用 Clonezilla 來佈署筆記型電腦的軟體環境感謝 Matt Luckett 提供照片

51 電腦教室成功案例 ( 續 ) 日本 Tokyo Christian University 使用 DRBL 於學校實驗室感謝 Frank Tuzi 提供照片

52 電腦教室成功案例 ( 續 ) 荷蘭 NCCW ( National Computer Centre Wonen ) 使用 Clonezilla 於電腦教室感謝 Dave Haakenhout 提供照片

53 電腦教室成功案例 ( 續 ) 菲律賓 ADOC (APEC Digital Opportunity Center) 使用 DRBL 於示範電腦教室感謝 Ulten Ryan 提供照片

54 個人電腦叢集成功案例國家高速網路與計算中心 Formosa 1: 150 nodes, Xeon 3.0G*2/node, gigabits switch, Using Clonezilla Formosa 2: 82 nodes AMD Opteron 275*2/node (IBM e326), gigabits switch, using Clonezilla

55 個人電腦叢集成功案例 ( 續 ) 國立交通大學生物科技學系 / 生物資訊中心國立交通大學分子中心 Server: Dual Intel Xeon/Nocona 3.4GHz 15 nodes of dual Intel Xeon/Nocona 2.8 GHz 48 gigabits ports switch Using DRBL 16 nodes AMD Opteron 275*2/Node gigabits switch, using Clonezilla 台北教育大學自然科學教育學系 5 nodes AMD Opteron 275*2/Node (IBM e326) gigabits switch, using Clonezilla

56 DRBL/Clonezilla Use In Taiwan Public Sector: Primary/High schools 295 Universities 95 Local governments 35 Hospitals 3 TV stations 1 SMBs Misc. Known sites > !!!

57 DRBL/Clonezilla 使用者分佈 >5,500,000 DRBL/Clonezilla 下載人次

58 國際自由軟體競賽 2007 年 11 月 29 日 Centri 協會在法國 Soissons 所舉辦的國際自由軟體競賽中 (Les Trophees du libre) DRBL 贏得 'public sector software' 分類的首獎 or

59 International Free Software Contest Soissons, France, Nov 07

60 2008 年國家實驗研究院傑出科技貢獻獎 DRBL/Clonezilla 團隊獲得 ' 技術發展 ' 類的 ' 玉山獎 ( 第一名 )

61 2008 年行政院傑出科技貢獻獎名稱 : 高效能計算平台 DRBL 與 Clonezilla 軟體的技術發展與推廣應用頒獎典禮 : 2009 年 3 月 11 日

62 Project of the Month, January 2010

Clonezilla 2011 年 1 月份的 Linux Journal 有 5 頁的 Clonezilla 報導內文特別提到臺灣與 NCHC 封面並寫上 : Clonezilla High Performance Open-Source Cloning Ra nk Date (UTC) Downloads

2010 20 112318 23865 3 (0) 260 Aug 2010 20 97041 18784 6 (6) 330 Jul 2010 18 94321 17468 1 (1) 300 Jun 2010 16 100353 18191 5 (1) 312 May 2010 18 105519 17904 5

63 Clonezilla 2011 年 1 月份的 Linux Journal 有 5 頁的 Clonezilla 報導內文特別提到臺灣與 NCHC 封面並寫上 : Clonezilla High Performance Open-Source Cloning Ra nk Date (UTC) Downloads Project Web Hits Tracker opened (closed) Forum Posts Dec 2010 * (0) 9 Nov (2) 279 Oct (3) 265 Sep (0) 260 Aug (6) 330 Jul (1) 300 Jun (1) 312 May (0) 393 Apr (2) 340 Mar (5) 393 Feb (1) 349 Jan (0) 413 * 統計至 2010/12/3 63

64 附錄 64

65 drbl-winroll 簡介 65

66 MS-Windows 大量複製時之問題目前國內在一般辦公環境或教學 ( 中小學電腦課程資訊相關補教業 ) 上有些仍是以 MS Windows 為平台居多數當遇到管理者需要大量複製 MS Windows 系統時如果沒有使用 / 購買其他服務管理系統時便會衍生出一些相關問題使用上主機名稱重複網路芳鄰錯誤 NetBIOS 協定中 Name service 的廣播封包 SID 重複安全識別項 (Security Identifier) AD 網域中的唯一性認證 / 登入失敗等安全性問題管理上無法進行集中式管理單一指令群體動作無法分群辨識複製後群組名稱相同

67 drbl winroll: MS Win 上的整合套件目的解決在 MS Windows 在網域中主機名稱 (Hostname)/SID 重複問題提供 Windows client 在 DRBL 環境中接受主機命令網路芳鄰使用 /AD 認證透過 SSH 管道可依需求分群 : 自動指派群組名稱提供網路自動化設定功能特色 Windows 軟體安裝簡便獨立運作從 Windows 本身解決適合用來大量還原 (MS-Windows) 網路中僅需要有 DHCP Server 即可 ( 或使用網路自動配置功能) Clonezilla Ghost Acronis True Image... 等集中管理 ( 建議在 DRBL 環境配合 dcs 指令 )

68 drbl-winroll 架構示意圖 MS Windows winrollsrv service sshd service Commands form drbl server winroll.conf * 主機名稱 * 工作群組 * (newsid) * 網路配置 * ssh key 認證 * 執行命令 Windows registry * dcs 指令 * 開 / 關機 * 變更開機選單

69 drbl-winroll 設定與其他功能相關設定主機名稱格式 IP MAC address 檔案指定相容 wsname 所有參數工作群組名稱格式固定字串 IP/Netmask DNS suffix (Joao Pedro Clemente) SID 規則網路設定 dhcp 根據設定檔 ssh key 認證其他語系支援荷蘭文 (Dave Haakenhout)/ 法文 (Joel Gondouin)/( 西文 / 瑞典文 ) 其他延伸工具 EZ command sender : winroll-ez-commands (Dave Haakenhout) 提供更容易的介面讓管理者送命令至 drbl server 進行管理

70 drbl winroll Demo 安裝相關設定集中管理 ( 開關機檔案派送 ) ssh key 設定

企鵝龍與再生龍 DRBL/Clonezilla 王耀聰鄧偉華國家高速網路與計算中心格網技術組 National Center for High-Performance Computing (NCHC) Grid Technology Divisi

企鵝龍與再生龍 DRBL/Clonezilla 王耀聰鄧偉華國家高速網路與計算中心格網技術組 National Center for High-Performance Computing (NCHC) Grid Technology Divisi 企鵝龍與再生龍 DRBL/Clonezilla 王耀聰鄧偉華 {jazz,wade}@nchc.org.tw 國家高速網路與計算中心格網技術組 National Center for High-Performance Computing (NCHC) Grid Technology Division http://drbl.nchc.org.tw, http://drbl.sourceforge.net

DRBL/Clonezilla 研習課程 蕭志榥 孫振凱 國家高速網路與計算中心 Nat

DRBL/Clonezilla 研習課程蕭志榥孫振凱國家高速網路與計算中心 Nat