DRBL/Clonezilla 實務與應用 孫振凱 國家高速網路與計算中心 Nation

Transcription

1 DRBL/Clonezilla 實務與應用 孫振凱 國家高速網路與計算中心 National Center for High-Performance Computing (NCHC) 2011, Q1 1

2 Outline DRBL/Clonezilla 實務與應用 DRBL/Clonezilla 介紹 DRBL 安裝與操作 Clonezilla 安裝與操作 Q&A 2

3 Polling 是電腦教室或網路管理員 曾經使用 Linux 經驗 桌面使用 伺服器使用 曾經使用過無碟系統 曾經安裝 使用 DRBL? 曾經使用過硬碟備份工具 曾經安裝使用 Clonezilla SE? Clonezilla Live? 3

4 NCHC Vision 成為國際級高速計算中心 促成科學發現與技術創新 建置高速計算與網路應用 優良研究環境 提供各領域 所需之專業服務 服 致力高 速計算與 網路應用 研究 提高服 務品質 促成科技 發現與創 新 研 發 務 NCHC Vision 育 才 培育高速計算與 網路應用專業人才 4

5 NCHC 發展與推廣自由軟體的背景 2002 年 5 月 NCHC 在立法院公聽會提出國家型開放原 始碼計畫的構想 計畫雖未成立 但我們秉持 理念 自由 經費 鼓勵創新 培植本土軟體資訊人材 建立資訊工業自主實力 節省政府支出 每年省下二十億以上 促進資料交換格式開放 確保資訊自由 5

6 Free Software Smart Classroom, FSSC 用自由軟體打造智慧型教室 Free Software Smart Classroom DRBL, Clonezilla, DRBL-winroll, Tux2live, Partclone Multicast VNC Access Grid, E-learning Cluster Computing Grid Computing Cloud Computing 6

7 國網中心自由軟體開發 企鵝龍 DRBL (Diskless Remote Boot in Linux) 適合將整個電腦教室轉 換成純自由軟體環境 再生龍 Clonezilla 適用完整系統備份 裸機 還原或災難復原 Partclone Tux2live 客制化 Linux Live 封裝工具 支援眾多檔案系統之 備份工具 是自由 不僅是免費 7

8 DRBL 與 Clonezilla Diskless Remote Boot in Linux (DRBL) 提供一個無 碟或是硬碟上無系統的環境 Clonezilla 是硬碟資料複製的工具, 類似 Symantec Ghost 或是 Rembo 不同於 LTSP (Linux Terminal Server Project), DRBL 使用分散式的硬體資源 所以用戶端可以充份的使 用所有的硬體 可與用戶端硬碟中的作業系統共存 用戶端電腦隨插即用 (plug-and-play) 支援點播 (unicast) 或是群播 (multicast) 複製 DRBL: 基本上無碟環境使用, GNU/Linux 專用 Clonezilla: 有硬碟環境使用, 安裝在 GNU/Linux, 可 以佈署 Linux/ 微軟 Windows/Mac OS(Intel base) 8

9 DRBL 與 Clonezilla 開發大事紀 2002/05 商業軟體聯盟大規模掃蕩盜版 2002/06/17 輔仁大學毛慶禎教授在福營國中 主持 會診 LTSP 會議 NCHC 在該會議中第一次提出 DRBL 的想法 2002/06/20 DRBL 雛形完成 2002/07/15 新店大豐國小研習 DRBL 第一次上線 面對使用者測試 2004/01/01 Clonezilla (OCS 的程式名稱 ) 雛形問 世 Clonezilla 正式整合到 DRBL 中 2005/11/28 發行大一統版本 一個版本適用所有支 援的 GNU/Linux 套件 9

10 企鵝龍 (DRBL) 簡介 10

11 企鵝龍 DRBL 網路是便宜的 人的時間是昂貴的 企鵝龍簡單來說就是... 用網路線取代硬碟排線 所有學生的電腦都透過網路連接到一台伺服器主機 Diskfull PC = + Diskless PC + Server image source: 11

12 既有 LTSP 何要 DRBL? 中央集權 vs. 地方分權 精簡型電腦 (Thin client) vs. 功能強大電腦 (powerful client) 有些人需要在用戶端能玩 3D 遊戲 播放電影 或者需要用 戶端的計算資源 DRBL 的特別功能 Clonezilla 單一指令切換所有用戶端電腦的環境 DRBL, FreeDOS, 硬碟中的 OS, memtest... 網路安裝 GNU/Linux 套件 DRBL 不適用於老舊電腦使用 因地制宜 取己所需 12

13 DRBL - Diskless Remote Boot in Linux pxe/etherboot + nfs + nis - 站在巨人的肩膀上 起源 PC Cluster -> 自由軟體電腦教室需求 1. 支援多元化的電腦教學 - Linux 與微軟 Windows 可 同時並存 DRBL 環境下 OS 存在 server 端 client 端的作業系 統可保留 2. 簡化管理工作 所有的服務集中在 server 管理 減少檢視每台 client 軟體的困擾 作業系統與軟體只需要在 server 上安裝一遍即可 3. 硬體與安裝雖簡化 軟體卻完整 軟體和逐一安裝的機器一樣 沒有任何偷工減料 13

14 幾種不同的無碟系統架構 NFS-base SAN-base Server provide file system via NFS For diskless GNU/Linux Server provide file system via SAN Includes AoE (ATA over Ethernet) and iscsi For diskless MS Windows or GNU/Linux Memory-base Client load all the system to its own memory via network. After that, network connected is not required For small size GNU/Linux, e.g. DSL, PuppyLinux, Clonezilla live, Gparted live, or FreeDOS... 14

15 DRBL switch server DHCP IP TFTP kernel NFS file system NIS account client nodes pxe/etherboot pxe/etherboot boot boot /, /usr, /home... user login /, /usr, /home... user login 15

16 DRBL 基本環境 public/private IP address NIC 1 server NIC 2 private IP switch 1 node001 ~ node013 NIC 4 NIC 3 private IP switch 2 node014 ~ private IP switch 3 node027 node028 ~ node040 16

17 DRBL 的建議規格 以下所列的規格僅供參考 採購時可依據經費與當時最佳 的設備來採購 中央政府各機關 學校委託的中央信託局 集中採購案中有符合使用的設備 高效能計算 (HPC) 的需求是永無止境的 伺服器 建議規格 :CPU 2.6 GHz 記憶體 1 GB Gigabits 網路卡 4 張 客戶端 最低規格 :CPU 450 MHz 記憶體 256 MB fast ethernet(100mbps) 網路卡多張 最低規格 :CPU 300 MHz 記憶體 128 MB 100Mbps 網路卡 若是新 購電腦的話建議直接買有支援網路開機 (PXE) 的網卡或是內建 PXE 功 能網卡的主機板 網路連接設備 最低需求 :100Mbps 的交換器 建議規格 : 以 40 人的電腦教室為例 兩台 24 埠 100Mbps 的交換器 每台上面另外個別有 2 個 Gigabits ports 17

18 DRBL 之限制 NFS Base SAN base Linux Only 伺服器端只提供相同版本 Linux 給用戶端使用 Softwares/Driver/Firmware have to be preinstalled on server Service a few clients More disk space required on server Memory base Only support few versions of operation system Clients need enough memory(depend on OS) 18

19 DRBL 安裝 標準 GNU/Linux 套件 i386/x86-64 platform 小型 GNU/Linux 套件 Debian, Ubuntu, B2D, RedHat, Fedora, Mandriva, CentOS, OpenSuSE, SuSE DSL, PuppyLinux, INSERT, PLD, GeeXbox 4 大安裝步驟 安裝 GNU/Linux 安裝 DRBL 程式 設定伺服器 設定用戶端 19

20 免安裝版本 DRBL Live ( 穩定版 ) 20

21 Modes of DRBL/Clonezilla Full DRBL Full Clonezilla DRBL SSI Clonezilla Box /etc, /var of client NFS-based NFS-based Tmpfs-based Tmpfs-based Files in /etc and /var of client after reboot Kept Kept Gone Gone Extra space in server/client ~ MB* ~ MB* Max client #/ethernet card in server * depends on the packages installed in the server 21

22 DRBL/Clonezilla SE screenshot 22

23 本節回顧 認識 DRBL 原理 不同形態的無碟架構 DRBL 的優點與限制 不同模式下 (Full/SSI mode) DRBL 用戶端的差異 23

24 DRBL 實做 24

25 安裝實做 設定 root 密碼 網路配置 安裝必要硬體驅動程式 / 軔體 安裝所需軟體套件 分割區掛載注意事項 DRBL 環境安裝 安裝 DRBL 程式 設定伺服器 : /opt/drbl/sbin/drblsrv -i 設定用戶端 : /opt/drbl/sbin/drblpush -i 25

26 基本架構說明 用戶端檔案系統系統介紹 伺服器 /tftpboot 結構 nbi_img nodes pxelinux.cfg 選單說明 Netinstall: Full vs SSI 使用 dcs 進行切換 vi /opt/drbl/conf/drbl.conf sudo /opt/drbl/sbin/netinstall -i xxxx drbl-sl.sh -i dsl iso DRBL-live Virtualbox 安裝 26

27 基本指令使用 export PATH=$PATH:/opt/drbl/sbin:/opt/drbl/bin drbl-useradd drbl-useradd [-s --single] 使用者名稱 群組名 稱 drbl-useradd -r cpc 1 40 g3c5 7 drbl-userdel [-s --single] 使用者名稱 drbl-cp-host [source] [path in client] drbl-cp-user -g g3c5 file drbl-get-user -g g3c5 file drbl-rm-user -g g3c5 file drbl-doit -u root /sbin/ifconfig dcs 使用 : sudo /opt/drbl/sbin/dcs 27

28 DRBL 相關應用 Linux net-install Small Linux 應用 Free Dos 應用 SAN(AoE, iscsi) boot 應用 28

29 Questions? 29

30 再生龍 (Clonezilla) 30

31 再生龍 Clonezilla Clonezilla [OCS (Opensource Clone System)] Clonezilla 是一完整的硬碟資料複製的工具 類似 Ghost (Symantec) 或是 Rembo(Acquired by IBM Tivoli software)/ Acronis (True Image) 整合 partclone( ( ntfsclone 與 udpcast1 ( 處理元件包含 實體資料 : 分割區資料 LVM2 開機載入 (MBR: EFI) 隱藏磁區 註 1: 使用在 Server edition 用於裸機 (bare material) 還原 不同於 與以檔案為基礎的備份方式 差異備份 還原卡模式 兩種釋出版本 Live edition 合單機 個人使用 作為備份 還原單一機器使用 Server edition (SE) 適合大量批次還原 集中式管理 如 電腦教室管 理 大量出機生產線... 31

32 Terminology 技術用詞 Raw copying* Smart copying* A possibility to distinguish which portions of the partition really contain data and to copy these only Live copying* A possibility to perform sector-by-sector copying of a whole partition A drive or volume can be copied/imaged while it is in use, avoiding the need for booting into a separate operating system or Live CD. Smart copy full disk A possibility to distinguish which portions of the disk really contain data and to copy these only Possible to skip swap, pagefile... 註 * The descriptions are from 32

33 再生龍 Clonezilla GPL 支援儲存與還原不同作業系統 GNU/Linux, MS Windows, Mac OS X, BSD, VMWare EMS File system: ext2/3/4, reiserfs3/4, xfs, jfs, btrfs1, ntfs, vfat,hfs+, UFS+, VMFS Supports LVM2 無法辨識之檔案系統使用 dd Block base 備份方式 只備份有使用之區塊 提高備份還原效能 Smart copying, 支援 Grub 1/2 ( 恢復 重建 ) 支援 serial console 檔案式架構之印象檔 格式通透 公開 標準格式 易於彈性調整 支援 Multicast1: 適合大量佈署 能結合使用 Live edition1 註 1: 使用在 Server edition 33

34 再生龍 Clonezilla-- 限制 目的硬碟 ( 分割區 ) 大小至少需等於 ( 或大於 ) 來源 硬碟 ( 分割區 ) 不支援差異 (Differential1 ) 備份 / 增異 (Incremental1 ) 備份 不支援線上 (Online) 備份 / 回覆 不完全支援 Software RAID/Firmware(Fake) RAID2 需額外手動步驟調整 印象檔無法支援分片回存 需先將分片檔案集合在同一儲藏空間 註 1: 註 2: 34

35 Clonezilla SE: Full/Box/Live mode Full Clonezilla /etc, /var of client Files in /etc and /var of client after reboot Extra space in server/client Max client #/ethernet card in server Clonezilla Box Clonezilla Live NFS-based Tmpfs-based Use squashfs Kept Gone Gone ~ MB* Adv./Dis * depends on the packages installed in the server 35

36 Clonezilla 映像檔說明 ls -alfh /home/partimag/lucid-img/ total 220M drwxr-xr-x 2 root root :12./ image name drwxr-xr-x 7 root root :12../ -rw-r--r-- 1 root root :12 disk -rw-r--r-- 1 root root 34K 07:12 Info-dmi.txt hardware information -rw-r--r-- 1 root root 18K 07:12 Info-lshw.txt -rw-r--r-- 1 root root 1.4K 07:12 Info-lspci.txt -rw-r--r-- 1 root root :12 Info-packages.txt real data of partition sda1, -rw-r--r-- 1 root root 10 07:12 parts -rw root root 216M 07:12 sda1.ext4-ptcl-img.gz.aa sda5 -rw root root 2.3M 07:12 sda5.ext4-ptcl-img.gz.aa -rw-r--r-- 1 root root 36 07:11 sda-chs.sf disk C.H.S. value via sfdisk -rw-r--r-- 1 root root 1.0M 07:11 sda-hidden-data-after-mbr Use dd to save MBR -rw-r--r-- 1 root root :11 sda-mbr and other hidden data -rw-r--r-- 1 root root :11 sda-pt.parted partition info from parted and sfdisk -rw-r--r-- 1 root root :11 sda-pt.sf -rw-r--r-- 1 root root 53 07:12 swappt-sda2.info UUID and label info of sda2 (swap partition) 36

37 Clonezilla Live 發行版 (Debian based) 穩定版 / 測試版 替代版 (Ubuntu based) 穩定版 / 測試版 光碟版 (iso 檔案 ) USB 隨身碟或隨身硬碟版 (zip 檔案 ) 硬碟版 將 Clonezilla live 放在一個已經有作業系統存在的硬碟中 PXE 版 下載後 把該 ISO 檔案燒到光碟片上 ( 記得要選用燒錄映象 檔的方式 舉例而言 在 MS Windows 下 以 Nero Burning ROM 為例 你要選 ' 燒錄映像檔 " 來燒這個 iso 檔 ) 就可 以用它來開機 將 Clonezilla live 放在 PXE 伺服器上來讓用戶端電腦透過 PXE 網路開機使用 Clonezilla live 詳情參考 37

38 Live 免安裝版本 Clonezilla Live 38

39 Clonezilla Live screenshot 39

40 Clonezilla Live 實做 40

41 操作實做 使用再生龍單機板進行 full disk 備份 還原 環境 Virtualbox OSE as client Use host machine sshfs as Clonezilla image repository 製作再生龍單機板可開機 usb drive 工具 Tuxboot 41

42 DRBL 的相關開發 過去 現在 以 DRBL 為核心 衍生出一系 列的應用 Cluster Computing 應用 電腦教室應用 Cluster Computing 應用 2003 Cluster Computing 應用 電腦教室應用 格網計算應用 (BOINC) 叢集計算虛擬 SMP 主機 (Kerrighed) 更基礎機制的無碟環境 (iscsi, AoE) 平行分散檔案系統應用 (GPFS) DRBL Clonezilla: 還原備份 DRBL-Winroll: 電腦教室管理 Tux2live: Linux 免安裝光碟製作機制 Partclone: 備份還原新機制 Clonezilla: 還原備份 DRBL-Winroll: 電腦教室管理 叢集計算, 民生與教育 用途

43 協助 / 課程資訊 Support FAQ : Google Sourceforge 論壇 Other... More information, more efficiency!!! Training DRBL/Clonezilla 基礎 / 進階課程 Clonezilla 再生龍實務技術課程 43

44 Questions? 44

45 案例與迴響 45

46 電腦教室成功案例 國家高速網路與計算中心 宜蘭縣 提供嘉義縣 94PC 更新案專用 DRBL Clonezilla Box 伺服器還原光碟 花蓮縣網中心 提供全縣 DRBL 與 Clonezilla 的支援 Clonezilla 來 clone i-linux 等 Linux 環境 台南市立新興國小 採用 DRBL 來達成多元化教學 嘉義縣網中心 梗枋國小 龍潭國小 三民國小 頭城國小等採用 DRBL 來教學等 台北縣新店大豐國小 北中南 3 處 共 4 間電腦教室使用 DRBL 或是 Clonezilla 採用 DRBL 無磁碟系統 榮獲 94 年 Linux 黃金企鵝獎應用類獎 新竹市福林數位學習中心 採用 clonezilla 來佈署電腦教室

47 電腦教室成功案例 ( 續 ) 美國肯德基州路易斯維爾大學 University of Louisville 使用 Clonezilla 來佈署筆記型電腦的軟體環境 日本東京 Christian University 使用 DRBL 於學校實驗室 荷蘭 NCCW ( National Computer Centre Wonen ) 使用 Clonezilla 於電腦教室 菲律賓 ADOC (APEC Digital Opportunity Center) 使用 DRBL 於示範電腦教室

48 成功案例 台北縣大豐國小 source: distrowatch.com 從 2003 年使用 DRBL 與 Clnoezilla 管理電腦教 室 2006 年 distrowatch.com 特別報 導 : Linux in education 2007 年 7 月 4 日 NCHC DRBL/Clonezilla 記者會 於大豐國小

49 電腦教室成功案例 ( 續 ) 嘉義縣網中心 縣網中心提供嘉義縣 94PC 更新案專用 DRBL Clonezilla Box 伺服器還原光碟

50 成功案例 - 花蓮縣網 使用 DRBL 來大 量佈署 Linux 2008 年 6 月已有 145 所學校使用 (131 所中小學 14 所高中職 ) 花蓮縣網來函感 謝

51 電腦教室成功案例 ( 續 ) 台南市立新興國小 採用 DRBL 無磁碟系統 榮獲 2005 年 Linux 黃金企 鵝獎應用類獎項 感謝蔡淑燕老師提供照片

52 電腦教室成功案例 ( 續 ) 美國肯德基州路易斯維爾大學 University of Louisville, Kentucky, USA 使用 Clonezilla 來佈署筆記型電腦的軟體環境 感謝 Matt Luckett 提供照片

53 電腦教室成功案例 ( 續 ) 日本 Tokyo Christian University 使用 DRBL 於學校實驗室 感謝 Frank Tuzi 提供照片

54 電腦教室成功案例 ( 續 ) 荷蘭 NCCW ( National Computer Centre Wonen ) 使用 Clonezilla 於電腦教室 感謝 Dave Haakenhout 提供照片

55 電腦教室成功案例 ( 續 ) 菲律賓 ADOC (APEC Digital Opportunity Center) 使用 DRBL 於示範電腦教室 感謝 Ulten Ryan 提供照片

56 個人電腦叢集成功案例 國家高速網路與計算中心 Formosa 1: 150 nodes, Xeon 3.0G*2/node, gigabits switch, Using Clonezilla Formosa 2: 82 nodes AMD Opteron 275*2/node (IBM e326), gigabits switch, using Clonezilla

57 個人電腦叢集成功案例 ( 續 ) 國立交通大學生物科技學系 / 生物資訊中心 國立交通大學分子中心 Server: Dual Intel Xeon/Nocona 3.4GHz 15 nodes of dual Intel Xeon/Nocona 2.8 GHz 48 gigabits ports switch Using DRBL 16 nodes AMD Opteron 275*2/Node gigabits switch, using Clonezilla 台北教育大學自然科學教育學系 5 nodes AMD Opteron 275*2/Node (IBM e326) gigabits switch, using Clonezilla

58 DRBL&Clonezilla 在台灣 公務單位 中小學 大學 政府單位 醫院 電視台 中小企業 其他 國內已知使用者或單位超過 個

59 DRBL&Clonezilla 在全球 西班牙 中國 南非 澳洲 使用國家超過 20 個 超過 70 萬人次下載 DRBL 與 Clonezilla

60 Project of the Month, January

61 Linux Journal In Linux Journal, January 2011 Report Clonezilla project and ocover headline Clonezilla High Performance OpenSource Cloning 61