DRBL 簡介 孫振凱 蕭志榥 蔡育欽 王耀聰 Ceasar Steven Thomas Jazz http://drbl.nchc.org.tw, http://drbl.sourceforge.net http://clonezilla.nchc.org.tw, http://clonezilla.org.tw 國家高速網路與計算中心 National Center for High-Performance Computing (NCHC) mini debcamp 2012 1
Outline DRBL 簡介 (20mins) 緣起與架構 台灣與世界上的使用者 相關活動 成功案例 展示 (20 mins) DRBL SE DRBL-live Q&A (10 mins) 2
NCHC 簡介 National Center for High-Performance Computing Vision 成為國際級高速計算中心 促成科學發現與技術創新 建置高速計算與網路應用優 良研究環境 提供各領域所需 之專業服務 服 研 致力高速計算 發 與網路應用研究 提高服務品質 促成科技發現與 創新 務 NCHC Vision 育 才 培育高速計算與 網路應用專業人才 3
Free Software Lab Our goal FSSC (Free Software Smart Classroom) Free software projects developed by NCHC Free Software Lab DRBL, Clonezilla, DRBL-winroll, Tux2live, Partclone Multicast VNC Access Grid, E-learning Cluster computing Cloud/Grid computing 4
國網中心自由軟體開發 企鵝龍 DRBL (Diskless Remote Boot in Linux) 適合將整個電腦教室轉 換成純自由軟體環境 再生龍 Clonezilla 適用完整系統備份 裸機 還原或災難復原 Partclone Tux2live 客制化 Linux Live 封裝工具 支援眾多檔案系統之 備份工具 是自由 不僅是免費 5
企鵝龍 (DRBL) 簡介 6
Idea is from... High Performance Computing (HPC) 都是從叢集計算的管理經驗開始 管理者的噩夢 硬體損壞 / 更新 系統重建 軟體環境設定 More... 如何快速讓系統上線 Make the system back to work asap!!! 7
Diskfull, diskless or systemless?? diskfull - client nodes have dedicated disks diskless - client nodes have no disks systemless - client nodes have dedicated disks, but they don't contain a disk bootloader and they are boot from the network, disk is for swap, tmp Using diskless, systemless or diskfull for clients? Depends on HPC application needs Diskless client RAM 夠大 不需 swap 程式也不需 scratch files. Diskfull 反之 RAM 不夠大 需 swap 程式可能需要 scratch files Systemless client 利用 local HD partition 來做 swap partition/file 以及放置 scratch files centralized boot 8
Why diskless? Save cost 節省 Hardware 硬體支出 Maintenance/Manpower 維護成本 But, how about the booting and management? 如何實 踐 Centralized 集中式管理 Key point 提供一個易於管理的系統 無碟 --- good 快速佈署系統 --- better 需要一個可以提供無碟且易於管理的快速佈署工具 需要一個可以提供無碟且易於管理的快速佈署工具 9
The idea is Network is everywhere, cheap, and fast The idea is The hard drive bus cable is replaced by network cable All clients share 1 hard drive in the server Diskfull PC = + Diskless PC + Server image source: www.mren.com.tw 10
DRBL Diskless Remote Boot in Linux (DRBL) 提供一個 無碟或是硬碟上無系統的環境 不同於 LTSP (Linux Terminal Server Project), DRBL 使用分散式的硬體資源 所以 用戶端可以充份的使用所有的硬體 可與用戶端硬碟中的作業系統共存 用戶端電腦隨插即用 (plug-and-play) DRBL: 基本上無碟環境使用, GNU/Linux 專用 DRBL server 內建 Clonezilla SE Clonezilla 是硬碟資料複製的工具, 類似 Symantec Ghost 或是 Rembo Clonezilla: 有硬碟環境使用, 安裝在 GNU/Linux, 可以佈署 Linux/MS Windows/Mac OS(Intel base)/bsd/vmware ESX(i) 11
LTSP existed why DRBL? 中央集權 (Centralized) vs. 地方分權 (Decentralized) 精簡型電腦 (Thin client) vs. 功能強大電腦 (powerful client) 有些人需要在用戶端能玩 3D 遊戲 播放電影 或者需要用 戶端的計算資源 DRBL 的特別功能 Clonezilla 單一指令切換所有用戶端電腦的環境 DRBL, FreeDOS, 硬碟中的 OS, memtest... 網路安裝 GNU/Linux 套件 DRBL 不適用於老舊電腦使用 因地制宜 取己所需 12
DRBL - Diskless Remote Boot in Linux pxe/etherboot + nfs + nis - 站在巨人的肩膀上 起源 PC Cluster -> 自由軟體電腦教室需求 1. 支援多元化的電腦教學 - Linux 與微軟 Windows 可 同時並存 DRBL 環境下 OS 存在 server 端 client 端的作業系 統可保留 2. 簡化管理工作 所有的服務集中在 server 管理 減少檢視每台 client 軟體的困擾 作業系統與軟體只需要在 server 上安裝一遍即可 3. 硬體與安裝雖簡化 軟體卻完整 軟體和逐一安裝的機器一樣 沒有任何偷工減料 13
Even more... 教育上 Education 資訊教育自主權 Liberty in education 法治觀念價值觀 Value of legal awareness 14
平衡商業獨家軟體與知識教育 知識和軟體都需要讓孩子 帶著走 商業獨家軟體授權高成本 在校學習 也需回家複習 學校每台 ( 平均 ) 約 6 千至 1 萬 學生家用 ( 平均 ) 約 1 至 2 萬 知識與法治的學習 教育知識 也需教育尊重尊重智 財權觀念 15
DRBL Software Stack switch server IP DHCP pxe/etherboot pxe/etherboot 192.168.0.1 172.16.100.10 boot boot kernel TFTP NFS client nodes file system NIS /, /usr, /home... account user login /, /usr, /home... user login 16
DRBL 網路環境 (Basic mode) Internet/Intranet NIC 1 DRBL server public/private IP address NIC 2 private IP switch 1(with 40 ports) node001 ~ node001 ~ node001 17
DRBL 網路環境 (cont') 注意 switch 之 間串接與否與 時機 Internet/Intranet NIC 1 DRBL server NIC 3 NIC 2 private IP switch 1 node001 ~ node013 NIC 4 private IP switch 2 node014 ~ public/private IP address private IP switch 3 node027 node028 ~ node040 18
DRBL 網路環境 (cont') 注意 switch 之 間串接與否與 時機 Internet/Intranet DRBL server NIC 3 NIC 2 NIC 1 public/private IP address NIC 4 private IP switch 1 node001 ~ node013 node014 ~ node027 node028 ~ node040 19
DRBL 的建議規格 以下所列的規格僅供參考 採購時可依據經費與當時最佳 的設備來採購 中央政府各機關 學校委託的中央信託局 集中採購案中有符合使用的設備 高效能計算 (HPC) 的需求是永無止境的 伺服器 最低規格 :CPU 500 MHz 記憶體 512 MB fast ethernet(100mbps) 網路卡多張 建議規格 :CPU 2.6 GHz 記憶體 4 GB Gigabits 網路卡 4 張 客戶端 最低規格 :CPU 500 MHz 記憶體 256 MB 100Mbps 網路卡 若是新 購電腦的話建議直接買有支援網路開機 (PXE) 的網卡或是內建 PXE 功 能網卡的主機板 網路連接設備 最低需求 :100Mbps 的交換器 建議規格 : 以 40 人的電腦教室為例 兩台 24 埠 100Mbps 的交換器 每台上面另外個別有 2 個 Gigabits ports 20
Different modes of Diskless NFS-base Memory-base Server provide file system via NFS For diskless GNU/Linux Client load all the system to its own memory via network. After that, network connected is not required For small size GNU/Linux, e.g. DSL, PuppyLinux, Clonezilla live, Gparted live, or FreeDOS... SAN-base Server provide file system via SAN Includes AoE (ATA over Ethernet) and iscsi For diskless MS Windows or GNU/Linux 21
DRBL NFS-Base Modes List Full DRBL DRBL SSI /etc, /var of client NFS-based Tmpfs-based Files in /etc and /var of client after reboot Kept Gone ~ 50-100 MB* 0 253 253 Extra space in server/client Max client #/ethernet card in server * Depends on the packages installed in the server 22
DRBL 之限制 NFS Base Linux Only 伺服器端只提供相同版本 Linux 給用戶端使用 Softwares/Driver/Firmware have to be pre-installed on server SAN base Service a few clients More disk space required on server Memory base Only support few versions of operation system Clients need enough memory(depend on OS) 23
DRBL 安裝 標準 GNU/Linux 套件 i386/x86-64 platform Debian, Ubuntu, B2D, RedHat, Fedora, Mandriva, CentOS, OpenSuSE, SuSE 小型 GNU/Linux 套件 DSL, PuppyLinux, INSERT, PLD, GeeXbox 4 大安裝步驟 安裝 GNU/Linux 安裝 DRBL 程式 設定伺服器 設定用戶端 http://drbl.nchc.org.tw/one4all/desktop/ 24
DRBL 與 Clonezilla 開發大事紀 2002/05 商業軟體聯盟大規模掃蕩盜版 2002/06/17 輔仁大學毛慶禎教授在福營國中 主持 會診 LTSP 會議 NCHC 在該會議中第一次提出 DRBL 的想法 2002/06/20 DRBL 雛形完成 2002/07/15 新店大豐國小研習 DRBL 第一次上線面 對使用者測試 2004/01/01 Clonezilla (OCS 的程式名稱 ) 雛形問世 Clonezilla 正式整合到 DRBL 中 2005/11/28 發行大一統版本 一個版本適用所有支援 的 GNU/Linux 套件 25
DRBL&Clonezilla 在台灣 公務單位 中小學 大學 政府單位 醫院 電視台 中小企業 其他 國內已知使用者或單位超過 295 95 35 3 1 124 62 500 個
DRBL/Clonezilla 使用者分佈 >5,500,000 DRBL/Clonezilla 下載人次
免安裝版本 (Live) DRBL Live ( packaged by Debian sid) http://free.nchc.org.tw/drbl-live/ 28
DRBL/Clonezilla SE screenshot 29
成功案例與迴響 30
電腦教室成功案例 國家高速網路與計算中心 宜蘭縣 提供嘉義縣 94PC 更新案專用 DRBL Clonezilla Box 伺服器還原光碟 花蓮縣網中心 提供全縣 DRBL 與 Clonezilla 的支援 Clonezilla 來 clone i-linux 等 Linux 環境 台南市立新興國小 採用 DRBL 來達成多元化教學 嘉義縣網中心 梗枋國小 龍潭國小 三民國小 頭城國小等採用 DRBL 來教學等 台北縣新店大豐國小 北中南 3 處 共 4 間電腦教室使用 DRBL 或是 Clonezilla 採用 DRBL 無磁碟系統 榮獲 94 年 Linux 黃金企鵝獎應用類獎 新竹市福林數位學習中心 採用 clonezilla 來佈署電腦教室
電腦教室成功案例 ( 續 ) 美國肯德基州路易斯維爾大學 University of Louisville 日本東京 Christian University 使用 DRBL 於學校實驗室 荷蘭 NCCW ( National Computer Centre Wonen ) 使用 Clonezilla 來佈署筆記型電腦的軟體環境 使用 Clonezilla 於電腦教室 菲律賓 ADOC (APEC Digital Opportunity Center) 使用 DRBL 於示範電腦教室
電腦教室成功案例 台北縣大豐國小 source: distrowatch.com 從 2003 年使用 DRBL 與 Clnoezilla 管理電腦教室 2006 年 distrowatch.com 特別報導 : Linux in education 2007 年 7 月 4 日 NCHC DRBL/Clonezilla 記者會 於大豐國小
電腦教室成功案例 ( 續 ) 嘉義縣網中心 縣網中心提供嘉義縣 94PC 更新案專用 DRBL Clonezilla Box 伺服器還原光碟 http://enc.cyc.edu.tw/modules/news/article.php?storyid=102
成功案例 - 花蓮縣網 使用 DRBL 來大 量佈署 Linux 2008 年 6 月已有 145 所學校使用 (131 所中小學 14 所高中職 ) 花蓮縣網來函感 謝
個人電腦叢集成功案例 國家高速網路與計算中心 Formosa 1: 150 nodes, Xeon 3.0G*2/node, gigabits switch, Using DRBL/Clonezilla Formosa 2: 82 nodes AMD Opteron 275*2/node (IBM e326), gigabits switch, using DRBL/Clonezilla
個人電腦叢集成功案例 ( 續 ) 國立交通大學生物科技學系 / 生物資訊中心 國立交通大學分子中心 Server: Dual Intel Xeon/Nocona 3.4GHz 15 nodes of dual Intel Xeon/Nocona 2.8 GHz 48 gigabits ports switch Using DRBL 16 nodes AMD Opteron 275*2/Node gigabits switch, using Clonezilla 台北教育大學自然科學教育學系 5 nodes AMD Opteron 275*2/Node (IBM e326) gigabits switch, using Clonezilla
電腦教室成功案例 ( 續 ) 台南市立新興國小 採用 DRBL 無磁碟系統 榮獲 2005 年 Linux 黃金企 鵝獎應用類獎項 感謝蔡淑燕老師提供照片
電腦教室成功案例 ( 續 ) 美國肯德基州路易斯維爾大學 University of Louisville, Kentucky, USA 使用 Clonezilla 來佈署筆記型電腦的軟體環境 感謝 Matt Luckett 提供照片
電腦教室成功案例 ( 續 ) 日本 Tokyo Christian University 使用 DRBL 於學校實驗室 感謝 Frank Tuzi 提供照片
國際自由軟體競賽 2007 年 11 月 29 日 Centri 協會在法國 Soissons 所舉 辦的國際自由軟體競賽中 (Les Trophees du libre) DRBL 贏得 'public sector software' 分類的首獎 http://www.freesoftwareawards.com or http://tropheesdulibre.org/?lang=fr
International Free Software Contest Soissons, France, Nov 07
2008 DRBL & Clonezilla 國際活動 2008 國網中心再獲邀發表演說 法國 LSM (Libre Software Meeting) 2008 邀請 July 2, 2008 Clonezilla Live, the bare metal backup and restore tool 2008 Linux World and Expo Aug 4-7, 2008 美國舊金山 世界最大的 Linux 相關展覽之一 1..org Pavilion (booth #:.org 3) 2. BoF Clonezilla hands-on Lab: the universal bare metal backup and recovery tool for Linux, Mac OS and MS Windows 6:00 pm 7:00 pm, Wednesday, August 6th, 2008, Room: 304
2008 年國家實驗研究院 傑出科技貢獻獎 DRBL/Clonezilla 團隊獲得 ' 技術發展 ' 類的 ' 玉山獎 ( 第一名 )
2008 年行政院傑出科技貢獻獎 名稱 : 高效能計算平台 DRBL 與 Clonezilla 軟體的技 術發展與推廣應用 頒獎典禮 : 2009 年 3 月 11 日
Demo 46
DRBL demo 無碟用戶端 (NFS-based) 無碟用戶端 (Memory-based, small Linux) DSL PuppyLinux Gparted Live Clonezilla Live DRBL-live 47
協助 / 課程資訊 Support http://drbl.nchc.org.tw/, http://drbl.org Google Sourceforge 論壇 http://groups.google.com/group/drbl http://drbl.sourceforge.net/forum/ Other... Contact to us directly, more efficiency!!! Training DRBL/Clonezilla 基礎 / 進階課程 Clonezilla 再生龍實務技術課程 課程網址 http://edu.nchc.org.tw 48
Questions? 49
電腦教室成功案例 ( 續 ) 荷蘭 NCCW ( National Computer Centre Wonen ) 使用 Clonezilla 於電腦教室 感謝 Dave Haakenhout 提供照片
電腦教室成功案例 ( 續 ) 菲律賓 ADOC (APEC Digital Opportunity Center) 使用 DRBL 於示範電腦教室 感謝 Ulten Ryan 提供照片
Project of the Month, January 2010
Clonezilla 2011 年 1 月份的 Linux Journal 有 5 頁的 Clonezilla 報導 內文特別提到 臺灣與 NCHC 封面並寫上 : Clonezilla High Performance Open-Source Cloning Date (UTC) Ra nk Downloads Project Web Hits Tracker opened (closed) Forum Posts Dec 2010 * 24 7259 3818 0 (0) 9 Nov 2010 19 116409 54991 8 (2) 279 Oct 2010 18 109299 53209 3 (3) 265 Sep 2010 20 112318 23865 3 (0) 260 Aug 2010 20 97041 18784 6 (6) 330 Jul 2010 18 94321 17468 1 (1) 300 Jun 2010 16 100353 18191 5 (1) 312 May 2010 18 105519 17904 5 (0) 393 Apr 2010 14 102175 18583 7 (2) 340 Mar 2010 20 132196 30223 6 (5) 393 Feb 2010 19 103756 25595 5 (1) 349 Jan 2010 23 123078 33061 2 (0) 413 * 統計至 2010/12/3 53
附錄 54
drbl-winroll 簡介 55
MS-Windows 大量複製時之問題 目前國內在一般辦公環境或教學 ( 中小學電腦課程 資訊相關補教 業 ) 上 有些仍是以 MS Windows 為平台居多數 當遇到管理 者需要大量複製 MS Windows 系統時 如果沒有使用 / 購買其 他服務管理系統時 便會衍生出一些相關問題 使用上 主機名稱重複 網路芳鄰錯誤 NetBIOS 協定中 Name service 的廣播封包 SID 重複 安全識別項 (Security Identifier) AD 網域中的唯一性 認證 / 登入失敗等安全性問題 管理上 無法進行集中式管理 單一指令群體動作 無法分群辨識 複製後群組名稱相同
drbl winroll: MS Win 上的整合套件 目的 解決在 MS Windows 在網域中主機名稱 (Hostname)/SID 重複問題 提供 Windows client 在 DRBL 環境中接受主機命令 網路芳鄰使用 /AD 認證 透過 SSH 管道 可依需求分群 : 自動指派 群組名稱 提供網路自動化設定功能 特色 Windows 軟體 安裝簡便 獨立運作 從 Windows 本身解決 適合用來大量還原 (MS-Windows) 網路中僅需要有 DHCP Server 即可 ( 或使用網路自動配置功 能) Clonezilla Ghost Acronis True Image... 等 集中管理 ( 建議在 DRBL 環境 配合 dcs 指令 )
drbl-winroll 架構示意圖 MS Windows winrollsrv service sshd service Commands form drbl server winroll.conf * 主機名稱 * 工作群組 * (newsid) * 網路配置 * ssh key 認證 * 執行命令 Windows registry * dcs 指令 * 開 / 關機 * 變更開機選單
drbl-winroll 設定與其他功能 相關設定 主機名稱格式 IP MAC address 檔案指定 相容 wsname 所有參數 工作群組名稱格式 固定字串 IP/Netmask DNS suffix (Joao Pedro Clemente) SID 規則 網路設定 dhcp 根據設定檔 ssh key 認證 其他語系支援 荷蘭文 (Dave Haakenhout)/ 法文 (Joel Gondouin)/( 西文 / 瑞典文 ) 其他延伸工具 EZ command sender : winroll-ez-commands (Dave Haakenhout) 提供更容易的介面讓管理者送命令至 drbl server 進行管理
drbl winroll Demo 安裝 相關設定 集中管理 ( 開 關 機 檔案派送 ) ssh key 設定
叢集計算上相關文章 論文與報導 Performance Evaluation of SLIM and DRBL Diskless PC Clusters on Fedora Core 3 Authors: Chao-Tung Yang; Ping-I Chen; Ya-Ling Chen, Tunghai University, Taiwan, R.O.C Parallel and Distributed Computing, Applications and Technologies, 2005. PDCAT 2005. Sixth International Conference on 05-08 Dec. 2005 Page(s):479-482 Implement the PIC-MCC simulation of ECR plasma source on PC cluster with DRBL, an effective approach to integrate PC cluster Authors: Shiau, J.H.; Hu, Y.; Lin, T.L.; Huang, K.L. Cellular Neural Networks and Their Applications, 2005 9th International Workshop on 28-30 May 2005 Page(s):311-314
叢集計算上相關文章 論文與報導 ( 續 ) Condor: Building a Linux cluster on a budget Author: Bruno Goncalves http://servers.linux.com/article.pl? sid=05/11/08/1940210&tid=44 Condor and DRBL Authors: Bruno Goncalves & Stefan Boettcher. Emory University Condor Week, University of Wisconsin, Madison, Wisconsin. April 24-27, 2006 http://www.cs.wisc.edu/condor/condorweek2006/presentations /goncalves_condor_drbl.ppt DRBL 與 Clonezilla 在 Linux Magazine 69 期 (Aug 2006) http://www.linuxmagazine.com/issue/69/linux_world_news.pdf
2009 DRBL & Clonezilla 國際活動 2009 DRBL 再獲邀發表演說與 Workshop 法國 LSM (Libre Software Meeting) 2009 邀請 July 7,8, 2009 DRBL: The diskless GNU/Linux and MS Windows solution Workshop: DRBL Workshop 2009 Clonezilla 於 OpenSourceWorld.Org Zoen 參展 Aug 12-13, 2008 美國舊金山 世界最大的 Linux 相關展覽之一.Org Zone (booth #:.org 1)
過去相關國際研討會與活動 8th Libre Software Meeting (LSM 2007), July 10th to 14th, 2007, AMIENS, France Clonezilla : A better choice than Ghost http://www.rmll.info/article62.html Time: 12/07, 09:00-10:00 Steven Shiau, Chen-Kai Sun, Yao-Tsug Wang and Yu-Chin Tsai Ubuntu Live Conference, July 22-24, 2007, Portland, Oregon Clonezilla: It's Better Than Ghost http://www.ubuntulive.com/cs/ubuntu/view/e_sess/12510 Kristian Hermansen, Security Researcher/Developer, Cisco Systems, Inc. Time: Monday, July 23, 4:35pm - 5:05pm
Feedbacks A user from a semiconductor company, Feb/2007 DRBL helps us a lot! Thank you! I just wanted to send a message of thanks that since I found DRBL last year its use in our lab has saved hundreds of hours of work, not to mention having excellent support and while being a little "do it yourself" it has still only cost us our time invested to get it set up and configured and has better functionality than most enterprise-class imaging tools, like Acronis and Symantec/Norton Ghost.
Feedbacks A user from Italy, June/2007 I think DRBL+Clonezilla is like white magic! We need to clone some linux machines for government projects. Before DRBL, we use G4L: no multicast and 35 minutes of cloning time for a 40 GB HDD. Now, with DRBL we can clone up to 10 machine in 7 minutes with a 40 GB HDD. So, 350 minutes (G4L cloning time) vs 7 minutes (DRBL cloning time with Clonezilla)! The time is reduced to 2%!!! INCREDIBILE and absolutely greaaaaaaaaaatttttttttttttttttttttttttttttttttttttt!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
Feedbacks Kristian Hermansen Cisco Systems, Boston, MA, USA. Sep/2007 Clone 5 GB image to 64 machines in 5 minutes "I used Clonezilla in the design of our Cisco Computational Cloud cluster to multicast a 5GB disk image to 64 machines simultaneously. And I did it all in under five minutes! Thanks Clonezilla!!!"
Feedbacks Barny Sanchez Information Systems Security, Southbridge, Massachusetts, USA. Cloned 1084 systems with DRBL (Clonezilla server edition) "So far I have cloned 1084 systems with DRBL. I followed carefully the advise from the website, and using multicasting plus dividing the amount of systems in groups of 80-100 PCs at the time, it has taken me somewhere from 16-38 minutes each turn, using images for various operating systems, averaging 1GB in size. This has reduced the recovery/cloning factor from the previous commercial solution I had, for more than 500%, so you could only imagine how happy my project managers are :-)."