没有幻灯片标题

Size: px

Start display at page:

Download "没有幻灯片标题"

暇镪巴
4 years ago
Views:

1 第 10 讲怎样管理和利用数据 (I) 用数据说话用数据决策用数据创新已形成社会的一种常态和共识, 数据已被视为知识的来源被认为是一种财富学习数据库相关知识, 体验基于数据库的数据运用方法, 理解基本的数据化思维方式

2 怎样管理和利用数据 (I) 1. 数据为什么要管理 2/48 数据为什么要管理?

3 1. 数据为什么要管理 1.1 信息社会的工作方式? 3/48 信息社会 : 业务工作 + 计算机支持网络 /Internet 数据库传统社会 : 业务工作 Everything Over DB

4 1. 数据为什么要管理 1.2 数据为什么要管理? 4/48 数据与数据库数据形成库, 实现积累应用库, 实现积累的效益库的管理与控制纸面数据 vs. 电子数据单一数据文件 vs. 数据库数据产生的分散化 vs. 数据应用的共享化小规模数据 vs. 大规模数据

5 1. 数据为什么要管理 1.3 数据自有黄金屋? 5/48 大数据价值发现 2008 年全球产生的数据量为 0.49ZB(2 50 MB) 2009 年的数据量为 0.8ZB 2010 年增长为 1.2ZB 2011 年的数量更是高达 1.82ZB 2012 年为止, 人类所有印刷材料的数据量是 200PB 预计到 2020 年, 全世界的数据规模将达今天的 44 倍 Farecast: 飞机票价格预测购票时机与机票价格的关系? 怎样预测机票价格? 只求关系, 不求因果不要相信经验, 一切以数据说话

6 怎样管理和利用数据 (I) 2. 什么是数据库与数据库系统 6/48 什么是数据库与数据库系统?

7 2. 什么是数据库与数据库系统 2.1 数据库? 7/48 数据库 : 相关有关联关系的数据的集合一个表聚集了具有相同结构类型的若干个对象一行数据反映了某一对象的相关内容一列数据具有相同的数据类型表与表间也存在着相互关联学生登记表数据库 //Database 相互有关联关系的数据的集合学生成绩单

8 2. 什么是数据库与数据库系统 2.2 数据库系统的几个构成部分? 8/48 数据库系统 ( 工作环境 ) 数据库 (DB): Database 数据库管理系统 (DBMS): Database Management System 数据库应用 (DBAP): DataBase Application 数据库管理员 (DBA): DataBase Administrator 计算机基本系统数据库 //Database 相互有关联关系的数据的集合 DBA DBMS 管理数据库的一种系统软件完成某一功能的应用程序 1 应用程序 2 应用程序 n DBAP 1 DBAP 2 DBAP n

9 2. 什么是数据库与数据库系统 2.2 数据库系统的几个构成部分? 9/48 数据库系统 ( 工作环境 ) 示例 : 图书管理数据库系统 DBA 数据库 //Database Table1: 出版社 T2: 出版社图书目录 T3: 采买记录 T4: 图书 ;T5: 读者 T6: 借阅登记 T7: 工作人员 DBMS Oracle 或 Sybase 或 SQL Server 或 DB 2 或 MS Access 图书采买管理程序 DBAP 1 采买员图书编目管理程序 DBAP 2 编目员图书借阅管理程序 DBAP 3 借还管理员读者管理程序 DBAP n 借书证管理员

10 怎样管理和利用数据 (I) 3. 数据库管理系统的基本功能 10/48 数据库管理系统的基本功能

11 3. 数据库管理系统的基本功能 3.1 什么是数据库定义? 11/48 数据库管理系统 DBMS 数据库定义 : 定义数据库中数据表的名称标题 ( 内含的属性名称及对该属性的值的要求 ) 等 DBMS 提供一套数据定义语言 (DDL:Data Definition Language) 给用户用户使用 DDL 描述其所要建立表的格式 DBMS 依照用户的定义, 创建数据库及其中的 Table 表名表标题 ( 格式 ) 数据库 1. 执行定义操作, 创建数据库 DBMS 用户 DBAP

12 3. 数据库管理系统的基本功能 3.2 什么是数据库操纵? 12/48 数据库管理系统 DBMS 数据库操纵 : 向数据库的 Table 中增加 / 删除 / 更新数据及对数据进行查询检索统计等 DBMS 提供一套数据操纵语言 (DML:Data Manipulation Language) 给用户用户使用 DML 描述其所要进行的增删改查等操作 DBMS 依照用户的操作描述, 实际执行这些操作数据库 2. 对表的内容执行增加删除更新检索等操作 DBMS 用户 DBAP

13 3. 数据库管理系统的基本功能 3.3 什么是数据库控制? 13/48 数据库管理系统 DBMS 数据库控制 : 控制数据库中数据的使用 --- 哪些用户可以使用, 哪些不可以 DBMS 提供一套数据控制语言 (DCL:Data Control Language) 给用户用户使用 DCL 描述其对数据库所要实施的控制 DBMS 依照用户的描述, 实际进行控制数据安全性完整性定义信息谁, 能访问哪些数据, 权利定义控制信息 DBMS DBA 数据库 3. 依照定义信息, 对数据库的使用实施控制 DBMS 用户 DBAP

14 3. 数据库管理系统的基本功能 3.4 数据库维护要做什么? 14/48 数据库管理系统 DBMS 数据库维护 : 转储 / 恢复 / 重组 / 性能监测 / 分析 DBMS 提供一系列程序 ( 实用程序 / 例行程序 ) 给用户在这些程序中提供了对数据库维护的各种功能用户使用这些程序进行各种数据库维护操作数据库维护的实用程序, 一般都是由数据库管理员 (DBA) 来使用和掌握的 DBA 数据库 4. 数据库维护, 如转储 DBMS 用户 DBAP

15 3. 数据库管理系统的基本功能 3.5 DBMS 还有什么功能? 15/48 数据库管理系统 DBMS DBMS 为完成 DB 管理, 在后台运行着一系列程序数据库物理存储数据库查询执行及查询优化并发控制故障恢复安全性控制完整性控制数据字典管理应用程序接口 (API)

16 怎样管理和利用数据 (I) 4. 关系模型 : 什么是关系 16/48 关系模型 : 什么是关系

17 4. 关系模型 : 什么是关系 4.1 什么是数据模型? 17/48 数据模型数据结构数据操作一组严格定义的概念的集合有哪些格式的数据对这些格式的数据都可能有哪些操作完整性约束为保证操作后和操作过程中产生的数据仍符合规定所必须遵守的约束条件现实世界信息世界数据世界概念数据模型 ( 简称概念模型 ) 数据库三大经典的数据模型关系模型层次模型网状模型

18 Table 中描述了一批相互有关联关系的数据 == 关系 4. 关系模型 : 什么是关系 4.2 你理解关于关系的一些术语的含义吗? 18/48 数据库的关系模型起源于规范化表 (Table) 的处理 Table: 以按行按列形式组织及展现的数据 ( 关系 ) 模式表名表标题 ( 格式 ) 列 / 字段 / 属性 / 数据项 (column/field/attribute/data item) 列名学生成绩单表内容 ( 值 ) 表 / 关系列值行 / 元组 / 记录 ( row / tuple / record )

19 4. 关系模型 : 什么是关系 4.3 如何用数学来定义关系呢? 19/48 用数学严格地定义 Table 怎样把一张表格定义清楚呢? 4. 指出关系中的元组关系中元组是有意义的组合 ---- 笛卡尔积的子集 3. 指出所有可能的元组元组是值的一个组合 ; 值域中值的所有可能的组合 ---- 笛卡尔积 2. 值域 (Domain) 1. 指出有多少列说清楚每一列数据可能的取值

20 4. 关系模型 : 什么是关系 4.3 如何用数学来定义关系呢? 20/48 用数学严格地定义 Table 首先定义列的取值范围域 (Domain) 域 (Domain) 一组值的集合, 这组值具有相同的数据类型如整数的集合字符串的集合全体学生的集合再如, 由 8 位数字组成的数字串的集合, 由 0 到 100 组成的整数集合集合中元素的个数称为域的基数 (Cardinality) D 3 = 儿童集合 (CHILD)={ 李健, 张睿, 张峰 } D 2 = 女人集合 (WOMAN)={ 王芳, 刘玉 } D 1 = 男人集合 (MAN)={ 李基, 张鹏 }

21 4. 关系模型 : 什么是关系 4.3 如何用数学来定义关系呢? 21/48 用数学严格地定义 Table 再定义元组及所有可能组合成的元组 : 笛卡尔积笛卡尔积 (Cartesian Product) 一组域 D 1, D 2,, D n 的笛卡尔积为 : D 1 D 2 D n = { (d 1, d 2,, d n ) d i D i, i=1,,n } 笛卡尔积的每个元素 (d 1, d 2,, d n ) 称作一个 n- 元组 (n-tuple) { 李基, 张鹏 } D 1 = 男人 { 王芳, 刘玉 } D 2 = 女人 { 李健, 张睿, 张峰 } D 3 = 儿童

22 4. 关系模型 : 什么是关系 4.3 如何用数学来定义关系呢? 22/48 用数学严格地定义 Table 由于笛卡尔积中的所有元组并不都是有意义的, 因此关系 (Relation) 一组域 D 1, D 2,, D n 的笛卡尔积的子集 : 笛卡尔积中具有某一方面意义的那些元组被称作一个关系 (Relation) 由于关系的不同列可能来自同一个域, 为区分, 需要为每一列起一个名字, 该名字即为属性名不同列名的列值可以来自相同域例如 : 家庭 ( 丈夫 : 男人, 妻子 : 女人, 子女 : 儿童 ) 或家庭 ( 丈夫, 妻子, 子女 ) 列名 ( 属性名 ) 列值 : 来自域

23 4. 关系模型 : 什么是关系 4.4 关系有什么性质? 23/48 关系的性质列是同质的 (Homogeneous), 即每一列中的分量是同一类型数据, 来自同一个域不同的列可出自同一个域, 每一列称为属性, 要给予不同的属性名列的顺序可以任意交换, 行的顺序也可以任意交换任意两个元组不能完全相同每一分量必须是不可分的数据项学生成绩单班级课程学号姓名成绩数据库 01 张三数据库 02 张四数据库 03 张五计算机 01 张三计算机 02 张四计算机 03 张五数据库 01 王三数据库 02 王四数据库 03 王武 78 丈夫妻子孩子第一个第二个李基王芳李健张鹏刘玉张睿张峰

24 4. 关系模型 : 什么是关系 4.5 关系中的候选键? 24/48 候选码 (Candidate Key)/ 候选键关系中的一个属性组, 其值能唯一标识一个元组, 若从该属性组中去掉任何一个属性, 它就不具有这一性质了, 这样的属性组称作候选码学生 (S#, Sname, Sage, Sclass) 课程 (C#, Cname, Credit, T#)

25 4. 关系模型 : 什么是关系 4.6 关系中的外键? 25/48 外码 (Foreign Key)/ 外键关系 R 中的一个属性组, 它不是 R 的候选码, 但它与另一个关系 S 的候选码相对应, 则称这个属性组为 R 的外码或外键外码是两个关系 ( 数据表 ) 的连接纽带主码外码两个关系可以靠外码联接起来主码

26 怎样管理和利用数据 (I) 5. 关系模型 : 关系运算 26/48 关系模型 : 关系运算

27 5. 关系模型 : 关系运算 5.1 什么是关系运算? 27/48 什么是关系运算? 有哪些运算? 并 :R S 差 :R S 积 :R S 选择 : (R) 投影 : (R) 连接 :R S 交 :R S

28 5. 关系模型 : 关系运算 5.2 什么情况用并运算呢? 28/48 并 (Union) 定义 : 设关系 R 和关系 S 是并相容的 ( 即 : 属性数目相同, 其对应的域也相同 ), 则关系 R 与关系 S 的并运算结果也是一个关系, 记作 : R S, 它由或者出现在关系 R 中, 或者出现在 S 中的元组构成数学描述 : R S ={ t t R t S }, 其中 t 是元组 R S 与 S R 运算的结果是同一个关系 R S R S

29 5. 关系模型 : 关系运算 5.2 什么情况用并运算呢? 29/48 并 (Union) R( 参加体育队的学生 ) R S( 或者参加体育队或者文艺队的学生 ) S( 参加文艺队的学生 )

30 5. 关系模型 : 关系运算 5.3 什么情况用差运算呢? 30/48 差 (Difference) 定义 : 假设关系 R 和关系 S 是并相容的, 则关系 R 与关系 S 的差运算结果也是一个关系, 记作 :R S, 它由出现在关系 R 中但不出现在关系 S 中的元组构成数学描述 : R S ={ t t R t S }, 其中 t 是元组注意 :R S 与 S R 是不同的 R S R S R S S R

31 5. 关系模型 : 关系运算 5.3 什么情况用差运算呢? 31/48 差 (Difference) R( 参加体育队的学生 ) R-S( 参加体育队而未参加文艺队的学生 ) S( 参加文艺队的学生 ) S-R( 参加文艺队而未参加体育队的学生 )

32 5. 关系模型 : 关系运算 5.4 什么情况用交运算呢? 32/48 交 (Intersection) 定义 : 假设关系 R 和关系 S 是并相容的, 则关系 R 与关系 S 的交运算结果也是一个关系, 记作 :R S, 它由同时出现在关系 R 和关系 S 中的元组构成数学描述 : R S ={ t t R t S }, 其中 t 是元组 R S 和 S R 运算的结果是同一个关系交运算可以通过差运算来实现 : R S = R (R S) = S (S R) R R S S

33 5. 关系模型 : 关系运算 5.4 什么情况用交运算呢? 33/48 交 (Intersection) R( 参加体育队的学生 ) R S( 既参加体育队又参加文艺队的学生 ) S( 参加文艺队的学生 )

34 5. 关系模型 : 关系运算 5.5 什么情况用笛卡尔积运算呢? 34/48 广义笛卡尔积 (Cartesian Product) 定义 : 关系 R (<a 1, a 2,, a n >) 与关系 S(<b 1, b 2,, b m >) 的广义笛卡尔积 ( 简称广义积 ) 运算结果也是一个关系, 记作 : R x S, 它由关系 R 中的元组与关系 S 的元组进行所有可能的拼接 ( 或串接 ) 构成数学描述 : R x S ={ <a 1, a 2,, a n, b 1, b 2,, b m > <a 1, a 2,, a n > R <b 1, b 2,, b m > S } 笛卡尔积可将两个表串接起来作为一个表进行操作

35 5. 关系模型 : 关系运算 5.5 什么情况用笛卡尔积运算呢? 35/48 广义笛卡尔积 (Cartesian Product)

(R), 它从关系 R 中选择出满足给定条件 condition 的元组构成数学描述 : con (R)={t t R con(t) = 真 }, 设 R(A 1,A 2,,A

36 5. 关系模型 : 关系运算 5.6 什么情况用选择运算呢? 36/48 选择 (Selection) 定义 : 给定一个关系 R, 同时给定一个选择的条件 condition( 简记 con), 选择运算结果也是一个关系, 记作 con (R), 它从关系 R 中选择出满足给定条件 condition 的元组构成数学描述 : con (R)={t t R con(t) = 真 }, 设 R(A 1,A 2,,A n ), t 是 R 的元组, t 的分量记为 t[a i ], 或简写为 A i 条件 con 由逻辑运算符连接算术 / 比较表达式组成逻辑运算符 :,, 或写为 and, or, not 算术 / 比较表达式 :X Y, 其中 X, Y 是 t 的分量常量或简单函数, 是比较运算符, {,,,,, }

37 5. 关系运算 5.6 什么情况用选择运算呢? 37/48 选择 (Selection) R( 学生表 ) 查询所有年龄小于 20 同学的信息 Sage<20 (R) 查询所有 3 系或 5 系的同学信息 D#= 03 ν D#= 05 (R)

38 5. 关系模型 : 关系运算 5.7 什么情况用投影运算呢? 38/48 投影 (Projection) 定义 : 给定一个关系 R, 投影运算结果也是一个关系, 记作 A (R), 它从关系 R 中选出属性包含在 A 中的列构成数学描述 : Ai1, A i2,,a ik (R) = { <t[a i1 ], t[a i2 ],,t[a ik ]> t R } 设 R(A 1,A 2,,A n ) { A i1, A i2,,a ik } { A 1,A 2,,A n } t[a i ] 表示元组 t 中相应于属性 A i 的分量投影运算可以对原关系的列在投影后重新排列

39 5. 关系模型 : 关系运算 5.7 什么情况用投影运算呢? 39/48 投影 (Projection) R( 学生表 ) Sname, Sage (R) Sname, D# (R) 查询所有学生的姓名和年龄查询所有学生的姓名及其所在的系

40 5. 关系模型 : 关系运算 5.8 什么情况用连接运算呢? 40/48 - 连接 ( -Join) 定义 : 给定关系 R 和关系 S, R 与 S 的连接运算结果也是一个关系, 记作, 它由关系 R 和关系 S 的笛卡尔积中, 选取 R 中属性 A 与 S 中属性 B 之间满足条件的元组构成数学描述 : 设 R(A 1,A 2,,A n ), A { A 1,A 2,,A n } S(B 1,B 2,,B m ), B { B 1,B 2,,B m } t 是关系 R 中的元组,s 是关系 S 中的元组属性 A 和属性 B 具有可比性是比较运算符, {,,,,, } 在实际应用中, - 连接操作经常与投影选择操作一起使用

41 5. 关系模型 : 关系运算 5.8 什么情况用连接运算呢? 41/48 自然连接 (Natural-Join) 定义 : 给定关系 R 和关系 S, R 与 S 的自然连接运算结果也是一个关系, 记作, 它由关系 R 和关系 S 的笛卡尔积中选取相同属性组 B 上值相等的元组所构成数学描述 : 自然连接是一种特殊的连接运算要求关系 R 和关系 S 必须有相同的属性组 B( 如 R,S 共有一个属性 B 1, 则 B 是 B 1, 如 R, S 共有一组属性 B 1, B 2,, B n, 则 B 是这些共有的所有属性 ) R, S 属性相同, 值必须相等才能连接, 即 R.B 1 = S.B 1 and R.B 2 = S.B 2 and R.B n = S.B n 才能连接要在结果中去掉重复的属性列 ( 因结果中 R.B i 始终是等于 S.B i 所以可只保留一列即可 )

42 5. 关系模型 : 关系运算 5.8 什么情况用连接运算呢? 42/48 - 连接 vs. 连接 vs. 笛卡尔积

43 怎样管理和利用数据 (I) 6. 应用关系运算进行数据库的查询 43/48 应用关系运算进行数据库的查询

44 6. 应用关系运算进行数据库的查询 6.1 利用关系运算进行查询? 44/48 查询表达式组合各种运算查询学习课程号为 002 的学生学号和成绩 π S#, Score ( C#= 002 ( SC ) ) 查询学习课程号为 001 的学生学号姓名 π S#,Sname ( C#= 001 ( Student SC) ) 查询学习课程名称为数据结构的学生学号姓名和这门课程的成绩 Student SC Course σ Cname= 数据结构 (Student SC Course) π S#,Sname, Score (σ Cname= 数据结构 (Student SC Course))

45 6. 应用关系运算进行数据库的查询 6.1 利用关系运算进行查询? 45/48 查询表达式注意连接与积的差别查询学习课程号为 001 的学生学号姓名 π S#,Sname ( C#= 001 ( Student SC) ) π S#,Sname ( C#= 001 Student.S# = SC.S# ( Student SC ) ) 连接条件

46 6. 应用关系运算进行数据库的查询 6.2 将关系运算表达为数据库操纵语言 46/48 关系运算式列名,, 列名 ( 检索条件 ( 表名 1 表名 2 )) 数据库语言 SQL Select 列名 [[, 列名 ] ] From 表名 1 [[, 表名 2], ] [ Where 检索条件 ] ; 语义 : 将 From 后面的所有表串接起来, 检索出满足检索条件的元组, 并按给定的列名及顺序进行投影显示 π S#,Sname, Score (σ Cname= 数据结构 Student.S#=SC.S# Course.C#=SC.C#(Student SC Course)) Select S#, Sname, Score From Student, SC, Course Where Cname= 数据结构 and Student.S#=SC.S# and Course.C#=SC.C#;

47 本讲小结 47/48 数据中蕴含着价值, 需要聚集与管理数据库是若干相互有关联关系的数据的集合数据库系统包括数据库数据库管理系统数据库管理员数据库应用程序计算机与网络基本系统构成数据库管理系统包括数据库定义数据库操纵数据库控制数据库维护等功能, 它还能够进行数据库物理存储查询实现与查询优化安全性控制完整性控制故障恢复等结构化数据库的核心是关系模型, 基本数据结构为关系, 有并差笛卡尔积选择投影连接等运算

48 第 10 讲怎样管理和利用数据 (I) Questions & Discussion? 2015

没有幻灯片标题

没有幻灯片标题数据管理的基本思维 http://idc.hust.edu.cn/~rxli/ Ruixuan Li School of Computer Science and Technology Huazhong University of Science and Technology Nov. 25, 2014 数据为什么要管理数据自有黄金屋 1 (1) 信息社会的工作方式? 传统社会 : 业务工作信息社会