第一章資料庫系統簡介 資料庫系統設計理論李紹綸著
本章內容 從資料 (Data) 到知識 (Knowledge) 何謂 資料 何謂 資訊 何謂 資料處理 何謂 知識 何謂 智慧 資料庫 資料庫管理系統與資料庫系統 何謂 資料庫 何謂 資料庫管理系統 何謂 資料庫系統 資料庫系統的演進 第一階段 人工作業 (1960 年代以前 ) 第二階段 檔案處理系統 (1960 年代 ) 第三階段 記錄集 (Record Set) 型資料庫管理系統 (1970~1980 年代 ) 第四階段 物件 (Object) 型資料庫管理系統 (1990 年代 ) 第五階段 資料倉儲與資料探勘 (2000 年代 ) 資料庫未來發展 2
何謂 資料 資料 (Data) 是用來表示某項事實的符號或語言, 通常是指收集得到而且未經過整理 原始形式的文字 符號 圖形 影像或聲音等 學籍資料表 姓名 身分證號碼 生日籍貫 電話性別 男 女 地址 照片 3
資料表的組成 何謂 資料 欄位名稱 姓名 性別 生日 系別 課程 成績 李鴻章 男 61/09/01 資管系 資料庫 86 李紹綸 男 58/11/01 資管系 資料庫 92 列 ( 記錄 ) 簡嘉祐 男 61/07/11 電子系 資料庫 78 賴怡君 女 63/07/03 資管系 資料庫 88 莊雅玫 女 62/12/04 資管系 資料庫 96 值 欄 4
何謂 資訊 資訊 (Information) 是指將資料經過整理和分析後, 轉化為有用的資訊 李鴻章 86 李紹綸 92 賴怡君 88 莊雅玫 96 資料 收集分類篩選重組排序計算合併彙總 資料處理 姓名 系別 課程 成績 莊雅玫 資管系 資料庫 96 李紹綸 資管系 資料庫 92 賴怡君 資管系 資料庫 88 李鴻章 資管系 資料庫 86 資訊 5
何謂 資料處理 如果將資料, 依某一特定的目的, 或使用某種設備與方法加以處理, 如分類 統計 計算 比較與合併等處理, 讓它變為有意義的事實, 則此結果便可以稱之為資訊, 而處理這些資料的過程就稱為 資料處理 (Data Processing) 6
何謂 知識 知識 (Knowledge) 是指透過一些方法將資訊進一步推論出一些無法一眼看出的事實, 而這些無法一眼看出的事實往往具有極高的價值 7
何謂 智慧 智慧 (Wisdom) 則是將知識融入生活成為生命或企業體的一部分, 不論是個人或是企業能夠靈活運用新知識才是智慧的根本 8
從資料 (Data) 到智慧 (Wisdom) 智慧的演繹 資料 Data 資料處理 Data Processing 資訊 Information 分析 推論 Analysis Deductive 知識 Knowledge 經驗 創新 Experience Innovation 智慧 Wisdom 符號非組織的分散的沒有前後脈絡 行動模式有組織的融合的有前後脈絡 9
何謂 資料庫 資料庫 是指針對某特定需求而被收集在一起的相關資料 資料庫的組成 成績資料表 課程資料表 教師資料表 學生資料表 資料庫 資料表 10
何謂 資料庫管理系統 資料庫管理系統 是由一群程式所組成, 使用者可以利用資料庫管理系統的程式來建立和維護資料庫 11
資料庫管理系統的主要功能 資料定義功能 資料操作功能 資料共享和安全性功能 資料建立和維護功能 12
以資料模型來分 資料庫管理系統的分類 階層式 DBMS (Hierarchical DBMS) 網路式 DBMS (Network DBMS) 關聯式 DBMS (Relational DBMS) 物件導向式 DBMS (Object-Oriented DBMS) 物件關聯式 DBMS (Object Relational DBMS) 13
以使用者人數來分 資料庫管理系統的分類 單使用者 DBMS (Single-user DBMS) 多使用者 DBMS (Multi-user DBMS) 以節點數量來分 集中式 DBMS (Centralized DBMS) 分散式 DBMS (Distributed DBMS) 同質分散式 DBMS (Homogeneous Distributed DBMS) 異質分散式 DBMS (Heterogeneous Distributed DBMS) 14
市面上常見的資料庫管理系統 SQL Server Access Oracle DB2 Sybase Informix MySQL PostgreSQL 15
何謂 資料庫系統 資料庫系統 (Database System) 是指在電腦中導入一套資料庫系統軟體 一套完整的 資料庫系統 則包括資料庫本身 資料庫管理系統 (DBMS) 系統開發工具 ( 如 VB C++ 等 ) 應用系統 ( 如使用者介面 報表和查詢 ) 和終端使用者 (End User) 所共同組成的 16
多元化的應用系統 管理資訊系統 (Management Information Systems) 決策支援系統 (Decision Support Systems) 策略資訊系統 (Strategic Information Systems) 主管資訊系統 (Executive Information Systems) 專家系統 (Expert Systems) 地理資訊系統 (Geographic Information Systems) 多媒體資訊系統 (Multimedia Information Systems) 資料倉儲 (Data Warehouse) 資料探勘 (Data Mining, 簡稱 DM) 17
資料庫系統的演進 階層式資料庫 物件導向式資料庫 資料倉儲 人工作業 檔案處理系統 關聯式資料庫 IF A=B Then D1 IF A>B Then D2 IF A<B Then D3 網路式資料庫 物件關聯式資料庫 資料探勘 1960 年代前 1960 年代 1970 年代 1980 年代 1990 年代 2000 年代 18
人工作業 (1960 年代以前 ) 人工作業具有下列缺點 : 資料管理不易, 卡片佔據實體空間 資料保存不易, 卡片容易毀損 資料無法共用, 卡片無法同時提供多人調閱使用 資料安全性差, 卡片容易拷貝竊取 資料處理不易, 無法快速地搜尋卡片上的資料或輕易地對特定資料作運算 19
檔案處理系統 檔案處理系統 (1960 年代 ) 生產部門業務部門人事部門 庫存管理系統 訂單管理系統 薪資管理系統 產品資料檔 倉庫資料檔 產品資料檔 員工資料檔 客戶資料檔 員工資料檔 部門資料檔 20
傳統檔案處理系統的缺點 資料重複, 較難維持資料的一致性 (Consistency) 程式與資料相依 (Dependency) 資料不易分享 (Sharing) 資料安全防護性較差 難以驗證資料的正確性且系統開發時間冗長 無法提供多人同時使用系統 21
原始程式碼與資料檔案 程式與資料相依性 Dim Lstr, 身分證號碼 (), 姓名 (), 地址 (), 電話 () As String Dim I As Integer Open App.Path & "\ 員工.data" For Input As #SaveFileNum Do While Not EOF(SaveFileNum) Line Input #SaveFileNum, Lstr 身分證號碼 (I) = MidB(Lstr,1,10) 姓名 (I) = MidB(Lstr,11,6) 地址 (I) = MidB(Lstr,17,30) 電話 (I) = MidB(Lstr,47,8) I +=1 Loop Close #SaveFileNum 程式檔 身分證號碼姓名地址電話 1 1011 1617 4647 54 A123456789 李鴻章板橋市忠孝路 100 號 89511111 E123456789 李紹綸台北市信義路 200 號 27432000 F123123123 簡嘉祐台北市仁愛路 168 號 23774321 F212121212 賴怡君板橋市四川路 120 號 77388888 F232323232 莊雅玫台北市信義路 100 號 27041234 員工.data 22
調整後的員工資料檔 程式與資料相依性 身分證號碼姓名生日地址電話 1 1011 1617 2425 6465 72 A123456789 李鴻章 61/09/01 板橋市忠孝路 100 號 89511111 E123456789 李紹綸 58/11/01 台北市信義路 200 號 27432000 F123123123 簡嘉祐 61/07/11 台北市仁愛路 168 號 23774321 F212121212 賴怡君 63/07/03 板橋市四川路 120 號 77388888 F232323232 莊雅玫 62/12/04 台北市信義路 100 號 27041234 員工.data 23
改寫後的程式碼 程式與資料相依性 Dim Lstr, 身分證號碼 (), 姓名 (), 地址 (), 電話 () As String Dim I As Integer Open App.Path & "\ 員工.data" For Input As #SaveFileNum Do While Not EOF(SaveFileNum) Line Input #SaveFileNum, Lstr 身分證號碼 (I) = MidB(Lstr,1,10) 姓名 (I) = MidB(Lstr,11,6) 地址 (I) = MidB(Lstr,25,40) 電話 (I) = MidB(Lstr,65,8) I +=1 Loop Close #SaveFileNum 程式檔 24
主機 / 終端機模式 使用者介面 終端機 1 終端機 2 使用者介面 應用邏輯營運規則資料存取 資料檔 使用者介面 大型主機 終端機 N 終端機端 主機端 25
主機 / 終端機模式的優點 主機 / 終端機模式 只要把這台主機管理好, 便不用擔心資料安全保密 (Data Security) 問題 主機 / 終端機模式的缺點 由於所有的工作都是在中央大型電腦主機上處理, 相對地這台主機的負擔會相當大 需要經常汰換運算能力較差的舊型主機, 這對企業主而言是一筆為數不小的成本負擔 26
記錄集型資料庫管理系統 (1970~1980 年代 ) 依據採用的資料模型分成三種 階層式資料庫管理系統 (Hierarchical DBMS) 網路式資料庫管理系統 (Network DBMS) 關聯式資料庫管理系統 (Relational DBMS) 27
記錄集型資料庫管理系統 (1970~1980 年代 ) 資料庫管理系統的優點 減少資料的重複儲存和避免資料不一致性的情形產生 具自我描述的能力 (Self-describing nature) 與資料抽象化 (Data Abstraction) 程式與資料獨立 (Program Data Independency) 能共享資料 (Sharing Data) 可強化資料的安全和限制非授權存取 能維護資料的正確性並縮短系統開發時程 可提供多人同時使用系統 28
記錄集型資料庫管理系統 (1970~1980 年代 ) 資料庫管理系統 生產部門業務部門人事部門 庫存管理系統 訂單管理系統 薪資管理系統 倉庫資料表 產品資料表 員工資料表 客戶資料表 部門資料表 資料庫 29
記錄集型資料庫管理系統 (1970~1980 年代 ) 員工資料表的中繼資料 (Meta Data) 欄位名稱 資料型別 長度 鍵 允許虛值 預設值 說明與限制 身分證號碼 文字 10 是 否 姓名 文字 6 否 是 地址 文字 30 否 是 電話 數字 8 否 是 格式 00000000 30
記錄集型資料庫管理系統 (1970~1980 年代 ) 員工資料表的資料綱目 (Schema) 表格名稱 ( 欄位名稱 1, 欄位名稱 2, 欄位名稱 3, ) 員工身分證號碼姓名地址電話 員工 ( 身分證號碼, 姓名, 地址, 電話 ) 31
記錄集型資料庫管理系統 (1970~1980 年代 ) 資料庫管理系統原始程式碼 Dim cn 公司 As SqlConnection Dim cm 員工 As SqlCommand cn 公司 = New SqlConnection("Data Source = (local); Initial Catalog = 公司 ; User ID = sa; Password = alanlee;") cm 員工 = New SqlCommand("Select 身分證號碼, 姓名, 地址, 電話 from 員工 ", cn 公司 ) 32
記錄集型資料庫管理系統 (1970~1980 年代 ) 調整後的員工中繼資料 (Meta Data) 欄位名稱 資料型別 長度 鍵 允許虛值 預設值 說明與限制 身分證號碼 文字 10 是 否 姓名 文字 6 否 否 生日 日期 否 是 格式 : yy/mm/dd 地址 文字 40 否 是 電話 數字 否 是 格式 :00000000 33
兩階層主 / 從式架構 使用者介面應用邏輯營運規則 請求服務 用戶 1 用戶 2 使用者介面應用邏輯營運規則 結果回覆 ODBC JDBC.. 資料存取 資料庫 使用者介面應用邏輯營運規則 交易伺服器查詢伺服器 用戶 N 用戶端 伺服端 34
兩階層主從式架構的優點 兩階層主 / 從式架構 所有的用戶端都需要安裝應用系統後, 才能存取到在伺服端上資料庫中的資料, 資料具有較高安全性 非常容易地擴充各種不同伺服器, 並且可以採用分散式運作模式, 大幅提升系統的穩定性 採用價格較低 功能越來越強的個人電腦當伺服器, 大幅降低企業在電腦硬體設備的投資 35
兩階層主從式架構的缺點 兩階層主 / 從式架構 每一用戶端都需要和伺服器相連接, 方能存取資料庫中的資料, 因此會佔用非常多的連線, 如果有很多的使用者同時上線時, 則會佔用伺服器相當多的資源 營運規則是存放在用戶端上, 一旦我們修改了營運規則, 則必須將新版本的應用系統軟體重新部署, 這不但會增加人力資源成本且會造成維護上的困難 36
物件型資料庫管理系統 (1990 年代 ) 依據採用的資料模型分成兩種 物件導向式資料庫管理系統 (Object-Oriented DBMS) 物件關聯式資料庫管理系統 (Object-Relational DBMS) 37
三階層架構 用戶 1 使用者介面 ( 瀏覽器 ) 應用邏輯 請求服務 結果回覆 用戶 2 使用者介面 ( 瀏覽器 ) 應用邏輯 營運規則 ODBC..防火牆 資料存取 資料庫 用戶 N 使用者介面 ( 瀏覽器 ) 應用邏輯 網站伺服器 ( 應用伺服器 ) 資料庫伺服器 (DBMS) 用戶層 伺服層 資料層 38
三階層架構的優點 三階層架構 每一個用戶都不需要與資料庫伺服器直接相連接, 這樣可以降低系統對資料層資源請求的負擔 企業如果需要修改營運規則時, 只需要於應用程式修改完畢後, 重新安裝於應用伺服器一次即可, 而不需要去修改用戶層的程式和安裝 我們可以透過網站伺服器的加入, 藉由網站伺服器所提供網站管理工具, 管理我們網站上所有的資源 39
三階層架構的缺點 三階層架構 對於企業外部的使用者而言, 只要能取得該應用系統使用者的帳號和密碼, 由於使用者不需要安裝任何應用系統便能存取資料庫中的資料, 資料具有較差安全性 網站伺服器通常是架設在企業的防火牆之外, 並沒有受到防火牆的保護, 因此非常容易遭受到外部各種形式的攻擊, 因此需要額外的人員維護網站伺服器的正常運作 40
資料倉儲與資料探勘 (2000 年代 ) 資料倉儲 線上分析處理 (On-Line Analytical Processing) 多維度資料庫 (Multi Dimensional Database) 事實資料表 (Fact Table) 維度資料表 (Dimension Table) 產品維度 時間維度 41
資料倉儲與資料探勘 (2000 年代 ) 資料探勘 迴歸分析 (Regression) 時間序列分析 (Time Serial) 決策樹分析 (Decision Tree) 類神經網路 (Neural Network) 42
資料倉儲與資料探勘 (2000 年代 ) Oracle 資料庫的 Darwin 11i.10 商業套件 IBM DB2 資料庫的 Intelligent Miner Hyperion NCR/Teradata 資料庫的 TeraMiner SAS 公司的 Enterprise Miner SPSS 公司的 Clementine SQL Server 2008 的商業智慧開發套件 (Business Intelligence Development Studio) 43
異質分散式處理架構 同質分散式資料庫系統 (Homogeneous Distributed Database Systems) 異質分散式資料庫系統 (Heterogeneous Distributed Database Systems) 44
資料庫未來發展 1960 年代, 主機 / 終端機模式, 資料集中 批次處理, 檔案處理系統 1970 年代, 兩階層主從式架構, 資料作分散處理, 資料庫管理系統, 物料需求計劃 (Material Requirements Planning) 1980 年代, 製造資源規劃 (Manufacture Resource Planning Ⅱ) 1990 年代, 三階層架構, 企業資源規劃 (Enterprise Resource Planning) 供應鏈管理 (Supply Chain Management) 2000 年代, 資料倉儲 資料探勘 客戶關係管理 (Customer Relationship Management) 45