DRBL/Clonezilla 研習課程 蕭志榥 孫振凱 http://drbl.nchc.org.tw, http://drbl.sourceforge.net http://clonezilla.nchc.org.tw, http://clonezilla.org 國家高速網路與計算中心 National Center for High-Performance Computing (NCHC) 2012, Q2 1
Outline Part A: DRBL 08:40~9:40 DRBL 安裝 ( 記得先裝 italc) 10:40~10:00 italc 使用 10:00~10:20 作業收集 /DRBL 基本使用 10:20~10:40 休息 Part B: Clonezilla 10:40~11:40 Clonezilla SE ( 整間還原 & 單機還原 ) 13:00~15:00 Clonezilla live 備份 / 還原印象檔 1 鍵還原 1 對多還原 15:00~15:20 休息 15:20~16:00 DRBL LIve 2
NCHC 簡介 成為國際級高速計算中心 Vision 促成科學發現與技術創新 建置高速計算與網路應用優 良研究環境 提供各領域所需 之專業服務 服 務 研 致力高速計算 與網路應用研究 提高服務品質 促成科技發現與 創新 發 NCHC Vision 育 才 培育高速計算與 網路應用專業人才 3
企鵝龍 (DRBL) 簡介 4
企鵝龍 DRBL 網路是便宜的 人的時間是昂貴的 企鵝龍簡單來說就是... 用網路線取代硬碟排線 所有學生的電腦都透過網路連接到一台伺服器主機 Diskfull PC = + Diskless PC + Server image source: www.mren.com.tw 5
既有 LTSP 何要 DRBL? 中央集權 vs. 地方分權 精簡型電腦 (Thin client) vs. 功能強大電腦 (powerful client) 有些人需要在用戶端能玩 3D 遊戲 播放電影 或者需要用 戶端的計算資源 DRBL 的特別功能 Clonezilla 單一指令切換所有用戶端電腦的環境 DRBL, FreeDOS, 硬碟中的 OS, memtest... 網路安裝 GNU/Linux 套件 DRBL 不適用於老舊電腦使用 因地制宜 取己所需 6
DRBL - Diskless Remote Boot in Linux pxe/etherboot + nfs + nis - 站在巨人的肩膀上 起源 PC Cluster -> 自由軟體電腦教室需求 1. 支援多元化的電腦教學 - Linux 與微軟 Windows 可 同時並存 DRBL 環境下 OS 存在 server 端 client 端的作業系 統可保留 2. 簡化管理工作 所有的服務集中在 server 管理 減少檢視每台 client 軟體的困擾 作業系統與軟體只需要在 server 上安裝一遍即可 3. 硬體與安裝雖簡化 軟體卻完整 軟體和逐一安裝的機器一樣 沒有任何偷工減料 7
幾種不同的無碟系統架構 NFS-base SAN-base Server provide file system via NFS For diskless GNU/Linux Server provide file system via SAN Includes AoE (ATA over Ethernet) and iscsi For diskless MS Windows or GNU/Linux Memory-base Client load all the system to its own memory via network. After that, network connected is not required For small size GNU/Linux, e.g. DSL, PuppyLinux, Clonezilla live, Gparted live, or FreeDOS... 8
DRBL switch server DHCP IP TFTP kernel NFS file system NIS account client nodes pxe/etherboot pxe/etherboot 192.168.0.1 172.16.100.10 boot boot /, /usr, /home... user login /, /usr, /home... user login 9
DRBL 基本環境 public/private IP address NIC 1 server NIC 2 private IP switch 1 node001 ~ node013 NIC 4 NIC 3 private IP switch 2 node014 ~ private IP switch 3 node027 node028 ~ node040 10
DRBL 的建議規格 以下所列的規格僅供參考 採購時可依據經費與當時最佳 的設備來採購 中央政府各機關 學校委託的中央信託局 集中採購案中有符合使用的設備 高效能計算 (HPC) 的需求是永無止境的 伺服器 建議規格 :CPU 2.6 GHz 記憶體 4 GB Gigabits 網路卡 4 張 客戶端 最低規格 :CPU 500 MHz 記憶體 512 MB fast ethernet(100mbps) 網路卡多張 最低規格 :CPU 500 MHz 記憶體 256 MB 100Mbps 網路卡 若是新 購電腦的話建議直接買有支援網路開機 (PXE) 的網卡或是內建 PXE 功 能網卡的主機板 網路連接設備 最低需求 :100Mbps 的交換器 建議規格 : 以 40 人的電腦教室為例 兩台 24 埠 100Mbps 的交換器 每台上面另外個別有 2 個 Gigabits ports 11
DRBL 之限制 NFS Base SAN base Linux Only 伺服器端只提供相同版本 Linux 給用戶端使用 Softwares/Driver/Firmware have to be preinstalled on server Service a few clients More disk space required on server Memory base Only support few versions of operation system Clients need enough memory(depend on OS) 12
DRBL 安裝 http://drbl.nchc.org.tw, http://drbl.sf.net 標準 GNU/Linux 套件 i386/x86-64 platform 小型 GNU/Linux 套件 Debian, Ubuntu, B2D, RedHat, Fedora, Mandriva, CentOS, OpenSuSE, SuSE DSL, PuppyLinux, INSERT, PLD, GeeXbox 4 大安裝步驟 安裝 GNU/Linux 安裝 DRBL 程式 設定伺服器 設定用戶端 13
免安裝版本 DRBL Live ( 穩定版 ) http://free.nchc.org.tw/drbl-live/ 14
DRBL 模式比較 Full DRBL DRBL SSI Full Clonezilla ClonezillaClonezilla Box live /etc, /var of client NFS-based Tmpfs-based NFS-based Files in /etc and /var of client after reboot Kept Gone Kept Gone Gone Extra space in server/client ~ 50-100 MB* 0 ~ 50-100 MB* 0 0 Max client #/ethernet card in server 253 253 253 253 253 Tmpfs-based Tmpfs-based (tar ball) (Squashfs) * Depends on the packages installed in the server 15
DRBL/Clonezilla SE screenshot 16
本節回顧 認識 DRBL 原理 不同形態的無碟架構 DRBL 的優點與限制 不同模式下 (Full/SSI mode) DRBL 用戶端的差異 17
DRBL 實做 18
實驗環境 (Host+guest machine) DRBL Server Gateway-> Internet eth0 DHCP eth1 DHCP vboxnet0 192.168.56.254 虛擬機器中的網路卡模 式與注意事項 NAT Bridge Internal network Host-only network Virtual Machine client eth0 192.168.56.x client eth0 192.168.56.x 19
安裝流程 設定 root 密碼 網路配置 安裝必要硬體驅動程式 / 軔體 安裝所需軟體套件 確認取消 vboxnet0 中 DHCP 功能 廣播軟體 : italc-client, italc-master 設定儲藏庫 加入 GPG key DRBL 環境安裝 安裝 DRBL 程式 : sudo apt-get install drbl 設定伺服器 : sudo /opt/drbl/sbin/drblsrv -i 設定用戶端 : sudo /opt/drbl/sbin/drblpush -i 20
Exercise 安裝 italc-client, italc-master 佈署 DRBL 環境 使用 range Full DRBL mode + Clonezilla Box mode, 數量 12 個 21
DRBL 基本使用 22
基本指令 dcs 使用 : sudo /opt/drbl/sbin/dcs export PATH=$PATH:/opt/drbl/sbin:/opt/drbl/bin 帳號管理類 drbl-useradd/drbl-userdel drbl-useradd [-s --single] 使用者名稱 群組名稱 drbl-useradd -r cpc 1 40 g3c5 7 drbl-userdel [-s --single] 使用者名稱 用戶端檔案管理類 drbl-host-cp/drbl-host-rm 使用者檔案管理類 drbl-user-cp/drbl-user-get/drbl-user-rm drbl-user-cp [source_file] [dest_file] drbl-user-get -g g3c5 file drbl-user-rm -g g3c5 file 其他類 drbl-all-service [start stop restart add del] drbl-doit -u root /sbin/ifconfig 23
ITALC 使用 http://italc.sourceforge.net/home.php 24
基本架構與使用 用戶端檔案系統系統介紹 伺服器 /tftpboot 結構 nbi_img nodes pxelinux.cfg 選單說明 Netinstall: Full vs SSI 使用 dcs 進行切換 vi /opt/drbl/conf/drbl.conf sudo /opt/drbl/sbin/drbl-netinstall -i xxxx drbl-sl.sh -i dsl-4.4.10.iso DRBL-live Virtualbox 安裝 http://free.nchc.org.tw/drbl-live/ 25
DRBL 相關應用 Linux net-install Small Linux 應用 DSL gparted Free Dos 應用 SAN(AoE, iscsi) boot 應用 26
協助 / 課程資訊 Support FAQ : http://drbl.nchc.org.tw/faq/ Google Sourceforge 論壇 http://groups.google.com/group/drbl http://drbl.sourceforge.net/forum/ Other... More information, more efficiency!!! Training DRBL/Clonezilla 基礎 / 進階課程 2012/5/1( 二 ) ~ 5/2 ( 三 )@ 台中 Clonezilla 再生龍實務技術課程 課程網址 http://edu.nchc.org.tw 27
Questions? 28
再生龍 (Clonezilla) 29
再生龍 Clonezilla Clonezilla [OCS (Opensource Clone System)] Clonezilla 是一完整的硬碟資料複製的工具 類似 Symantec Ghost 或是 Rembo. 整合 partclone(http://partclone.org/),partimage (http://www.partimage.org), ntfsclone 與 udpcast ( http://udpcast.linux.lu/) 用於裸機還原 不同於 與以檔案為基礎的備份方式 差異備份 還原卡模式 兩種釋出版本 Live edition : 適合單機 個人使用 作為備份 還原單一 機器使用 Server edition : 適合大量批次還原 集中式管理 如 電 腦教室管理 大量出機生產線... 30
再生龍 Clonezilla ( 續 ) 可以儲存與還原不同作業系統 File system: ext2/3/4, xfs, jfs, reiserfs3/4, ntfs, vfat,ufs, hfs+, VMFS Supports LVM2 無法辨識之檔案系統使用 dd Block base 備份方式 只備份有使用之區塊 提高備份 還原效能 效能 ( 伺服器版為例 ) GNU/Linux, M$ windows, Mac OS X, BSD, VMWare EMS 以 NCHC PC 教室為例 41 台 clients clone 3.5 Gbytes 的 M$ Windows XP 環境 使用 multicast 方式則只要約 8 分鐘 DRBL-winroll 大量佈署 M$ windows 系統的自動設定輔助工具 (1) 還原後自 動修改 M$ Windows 的機器名稱, 群組,(SID)(2) 接受來至 DRBL server 的指令 server 的指令 31
Terminology 技術用詞 Raw copying* Smart copying* A possibility to distinguish which portions of the partition really contain data and to copy these only Live copying* A possibility to perform sector-by-sector copying of a whole partition A drive or volume can be copied/imaged while it is in use, avoiding the need for booting into a separate operating system or Live CD. Smart copy full disk A possibility to distinguish which portions of the disk really contain data and to copy these only Possible to skip swap, pagefile... 註 * The descriptions are from http://en.wikipedia.org/wiki/comparison_of_disk_cloning_software 32
再生龍 Clonezilla-- 限制 目的硬碟 ( 分割區 ) 大小至少需等於 ( 或大於 ) 來源 硬碟 ( 分割區 ) 不支援差異 (Differential1 ) 備份 / 增異 (Incremental1 ) 備份 不支援線上 (Online) 備份 / 回覆 不完全支援 Software RAID/Firmware(Fake) RAID2 需額外手動步驟調整 印象檔無法支援分片回存 需先將分片檔案集合在同一儲藏空間 註 1: http://en.wikipedia.org/wiki/incremental_backup 註 2:http://en.wikipedia.org/wiki/RAID 33
Live 免安裝版本 Clonezilla Live http://clonezilla.nchc.org.tw/clonezilla-live/ 34
Clonezilla Live screenshot 35
再生龍 實做 36
實做流程 使用再生龍伺服器版做 Disk save 使用再生龍伺服器版做 Disk restore: Unicast/Multicast 37
Clonezilla SE: Full/Box/Live mode Full Clonezilla /etc, /var of client Files in /etc and /var of client after reboot Extra space in server/client Max client #/ethernet card in server Clonezilla Box Clonezilla Live NFS-based Tmpfs-based Use squashfs Kept Gone Gone ~ 50-100 MB* 0 0 253 253 253 Adv./Dis * depends on the packages installed in the server 38
Clonezilla 映像檔說明 root@debian:~# ls -alfh /home/partimag/lucid-img/ total 220M drwxr-xr-x 2 root root 512 07:12./ image name drwxr-xr-x 7 root root 168 07:12../ -rw-r--r-- 1 root root 420 07:12 disk -rw-r--r-- 1 root root 34K 07:12 Info-dmi.txt hardware information -rw-r--r-- 1 root root 18K 07:12 Info-lshw.txt -rw-r--r-- 1 root root 1.4K 07:12 Info-lspci.txt -rw-r--r-- 1 root root 260 07:12 Info-packages.txt real data of partition sda1, -rw-r--r-- 1 root root 10 07:12 parts -rw------- 1 root root 216M 07:12 sda1.ext4-ptcl-img.gz.aa sda5 -rw------- 1 root root 2.3M 07:12 sda5.ext4-ptcl-img.gz.aa -rw-r--r-- 1 root root 36 07:11 sda-chs.sf disk C.H.S. value via sfdisk -rw-r--r-- 1 root root 1.0M 07:11 sda-hidden-data-after-mbr Use dd to save MBR -rw-r--r-- 1 root root 512 07:11 sda-mbr and other hidden data -rw-r--r-- 1 root root 434 07:11 sda-pt.parted partition info from parted and sfdisk -rw-r--r-- 1 root root 310 07:11 sda-pt.sf -rw-r--r-- 1 root root 53 07:12 swappt-sda2.info UUID and label info of sda2 (swap partition) 39
Clonezilla Live 製作 穩定版 測試版 實驗版 光碟版 (iso 檔案 ) USB 隨身碟或隨身硬碟版 (zip 檔案 ) 硬碟版 將 Clonezilla live 放在一個已經有作業系統存在的硬碟中 PXE 版 下載後 把該 ISO 檔案燒到光碟片上 ( 記得要選用燒錄映象 檔的方式 舉例而言 在 MS Windows 下 以 Nero Burning ROM 為例 你要選 ' 燒錄映像檔 " 來燒這個 iso 檔 ) 就可 以用它來開機 將 Clonezilla live 放在 PXE 伺服器上來讓用戶端電腦透過 PXE 網路開機使用 Clonezilla live 詳情參考 http://clonezilla.nchc.org.tw/clonezilla-live/ 40
Exercise Clonezilla Live 應用 1.Save/Restore disk via network : NFS, sshfs, samba 2.單鍵還原光碟製作 (Recover CD/DVD) 3.一對多 restore 41
Note 系統安裝 鏡射站 free.nchc.org.tw 路徑 /ubunt 網路設定 sudo apt-get install gnome-network-admin sudo apt-get --purge remove network-manager 系統 -> 管理 -> 網路 192.168.101.254/255.255.255.0 Others: http://drbl.nchc.org.tw/course.arch/lucid-x86updated-20100629.tar tar xvf lucid-x86-updated-20100629.tar -C /home/partimag drbl-live: http://free.nchc.org.tw/drbl-live
成功案例與迴響 43
電腦教室成功案例 國家高速網路與計算中心 宜蘭縣 提供嘉義縣 94PC 更新案專用 DRBL Clonezilla Box 伺服器還原光碟 花蓮縣網中心 提供全縣 DRBL 與 Clonezilla 的支援 Clonezilla 來 clone i-linux 等 Linux 環境 台南市立新興國小 採用 DRBL 來達成多元化教學 嘉義縣網中心 梗枋國小 龍潭國小 三民國小 頭城國小等採用 DRBL 來教學等 台北縣新店大豐國小 北中南 3 處 共 4 間電腦教室使用 DRBL 或是 Clonezilla 採用 DRBL 無磁碟系統 榮獲 94 年 Linux 黃金企鵝獎應用類獎 新竹市福林數位學習中心 採用 clonezilla 來佈署電腦教室
電腦教室成功案例 ( 續 ) 美國肯德基州路易斯維爾大學 University of Louisville 使用 Clonezilla 來佈署筆記型電腦的軟體環境 日本東京 Christian University 使用 DRBL 於學校實驗室 荷蘭 NCCW ( National Computer Centre Wonen ) 使用 Clonezilla 於電腦教室 菲律賓 ADOC (APEC Digital Opportunity Center) 使用 DRBL 於示範電腦教室
成功案例 台北縣大豐國小 source: distrowatch.com 從 2003 年使用 DRBL 與 Clnoezilla 管理電腦教 室 2006 年 distrowatch.com 特別報 導 : Linux in education 2007 年 7 月 4 日 NCHC DRBL/Clonezilla 記者會 於大豐國小
電腦教室成功案例 ( 續 ) 嘉義縣網中心 縣網中心提供嘉義縣 94PC 更新案專用 DRBL Clonezilla Box 伺服器還原光碟 http://enc.cyc.edu.tw/modules/news/article.php?storyid=102
成功案例 - 花蓮縣網 使用 DRBL 來大 量佈署 Linux 2008 年 6 月已有 145 所學校使用 (131 所中小學 14 所高中職 ) 花蓮縣網來函感 謝
電腦教室成功案例 ( 續 ) 台南市立新興國小 採用 DRBL 無磁碟系統 榮獲 2005 年 Linux 黃金企 鵝獎應用類獎項 感謝蔡淑燕老師提供照片
電腦教室成功案例 ( 續 ) 美國肯德基州路易斯維爾大學 University of Louisville, Kentucky, USA 使用 Clonezilla 來佈署筆記型電腦的軟體環境 感謝 Matt Luckett 提供照片
電腦教室成功案例 ( 續 ) 日本 Tokyo Christian University 使用 DRBL 於學校實驗室 感謝 Frank Tuzi 提供照片
電腦教室成功案例 ( 續 ) 荷蘭 NCCW ( National Computer Centre Wonen ) 使用 Clonezilla 於電腦教室 感謝 Dave Haakenhout 提供照片
電腦教室成功案例 ( 續 ) 菲律賓 ADOC (APEC Digital Opportunity Center) 使用 DRBL 於示範電腦教室 感謝 Ulten Ryan 提供照片
個人電腦叢集成功案例 國家高速網路與計算中心 Formosa 1: 150 nodes, Xeon 3.0G*2/node, gigabits switch, Using Clonezilla Formosa 2: 82 nodes AMD Opteron 275*2/node (IBM e326), gigabits switch, using Clonezilla
個人電腦叢集成功案例 ( 續 ) 國立交通大學生物科技學系 / 生物資訊中心 國立交通大學分子中心 Server: Dual Intel Xeon/Nocona 3.4GHz 15 nodes of dual Intel Xeon/Nocona 2.8 GHz 48 gigabits ports switch Using DRBL 16 nodes AMD Opteron 275*2/Node gigabits switch, using Clonezilla 台北教育大學自然科學教育學系 5 nodes AMD Opteron 275*2/Node (IBM e326) gigabits switch, using Clonezilla
DRBL/Clonezilla Use In Taiwan Public Sector: Primary/High schools 295 Universities 95 Local governments 35 Hospitals 3 TV stations 1 SMBs Misc. Known sites > 124 2 500!!!
DRBL/Clonezilla 使用者分佈 >5,500,000 DRBL/Clonezilla 下載人次
國際自由軟體競賽 2007 年 11 月 29 日 Centri 協會在法國 Soissons 所舉辦的國際自由軟體競賽中 (Les Trophees du libre) DRBL 贏得 'public sector software' 分類的首獎 http://www.freesoftwareawards.com or http://tropheesdulibre.org/?lang=fr
International Free Software Contest Soissons, France, Nov 07
2008 年國家實驗研究院 傑出科技貢獻獎 DRBL/Clonezilla 團隊獲得 ' 技術發展 ' 類的 ' 玉山獎 ( 第一名 )
2008 年行政院傑出科技貢獻獎 名稱 : 高效能計算平台 DRBL 與 Clonezilla 軟體的 技術發展與推廣應用 頒獎典禮 : 2009 年 3 月 11 日
Project of the Month, January 2010
Clonezilla 2011 年 1 月份的 Linux Journal 有 5 頁的 Clonezilla 報導 內文特別提到 臺灣與 NCHC 封面並寫上 : Clonezilla High Performance Open-Source Cloning Ra nk Date (UTC) Downloads Project Web Hits Tracker opened (closed) Forum Posts Dec 2010 * 24 7259 3818 0 (0) 9 Nov 2010 19 116409 54991 8 (2) 279 Oct 2010 18 109299 53209 3 (3) 265 Sep 2010 20 112318 23865 3 (0) 260 Aug 2010 20 97041 18784 6 (6) 330 Jul 2010 18 94321 17468 1 (1) 300 Jun 2010 16 100353 18191 5 (1) 312 May 2010 18 105519 17904 5 (0) 393 Apr 2010 14 102175 18583 7 (2) 340 Mar 2010 20 132196 30223 6 (5) 393 Feb 2010 19 103756 25595 5 (1) 349 Jan 2010 23 123078 33061 2 (0) 413 * 統計至 2010/12/3 63
附錄 64
drbl-winroll 簡介 65
MS-Windows 大量複製時之問題 目前國內在一般辦公環境或教學 ( 中小學電腦課程 資訊相關補教 業 ) 上 有些仍是以 MS Windows 為平台居多數 當遇到管理 者需要大量複製 MS Windows 系統時 如果沒有使用 / 購買其 他服務管理系統時 便會衍生出一些相關問題 使用上 主機名稱重複 網路芳鄰錯誤 NetBIOS 協定中 Name service 的廣播封包 SID 重複 安全識別項 (Security Identifier) AD 網域中的唯一性 認證 / 登入失敗等安全性問題 管理上 無法進行集中式管理 單一指令群體動作 無法分群辨識 複製後群組名稱相同
drbl winroll: MS Win 上的整合套件 目的 解決在 MS Windows 在網域中主機名稱 (Hostname)/SID 重複問題 提供 Windows client 在 DRBL 環境中接受主機命令 網路芳鄰使用 /AD 認證 透過 SSH 管道 可依需求分群 : 自動指派 群組名稱 提供網路自動化設定功能 特色 Windows 軟體 安裝簡便 獨立運作 從 Windows 本身解決 適合用來大量還原 (MS-Windows) 網路中僅需要有 DHCP Server 即可 ( 或使用網路自動配置功 能) Clonezilla Ghost Acronis True Image... 等 集中管理 ( 建議在 DRBL 環境 配合 dcs 指令 )
drbl-winroll 架構示意圖 MS Windows winrollsrv service sshd service Commands form drbl server winroll.conf * 主機名稱 * 工作群組 * (newsid) * 網路配置 * ssh key 認證 * 執行命令 Windows registry * dcs 指令 * 開 / 關機 * 變更開機選單
drbl-winroll 設定與其他功能 相關設定 主機名稱格式 IP MAC address 檔案指定 相容 wsname 所有參數 工作群組名稱格式 固定字串 IP/Netmask DNS suffix (Joao Pedro Clemente) SID 規則 網路設定 dhcp 根據設定檔 ssh key 認證 其他語系支援 荷蘭文 (Dave Haakenhout)/ 法文 (Joel Gondouin)/( 西文 / 瑞典文 ) 其他延伸工具 EZ command sender : winroll-ez-commands (Dave Haakenhout) 提供更容易的介面讓管理者送命令至 drbl server 進行管理
drbl winroll Demo 安裝 相關設定 集中管理 ( 開 關 機 檔案派送 ) ssh key 設定