没有幻灯片标题

Size: px

Start display at page:

Download "没有幻灯片标题"

表酆
4 years ago
Views:

1 第 11 讲怎样管理和利用数据 (II) 用数据说话用数据决策用数据创新已形成社会的一种常态和共识, 数据已被视为知识的来源被认为是一种财富继续学习数据库相关知识, 体验基于数据库的数据运用方法, 理解基本的数据化思维方式

2 怎样管理和利用数据 (II) 1. 由关系模型到结构化数据库语言 SQL 2/61 由关系模型到结构化数据库语言 SQL

3 1. 由关系模型到结构化数据库语言 SQL 1.1 回顾数据库系统的概念 3/61 阶段 1:User/DBAP 通过数据定义语言 (DCL) 定义数据表的格式 User/DBA 通过数据控制语言 (DCL) 定义数据安全性数据格式学生成绩单 DB 班级课程教师学期学号姓名成绩用户定义的数据安全性约束条件谁能访问数据更新数据有什么要求数据数据库李四 98 秋 01 张三数据库李四 98 秋 02 张四数据库李四 98 秋 03 张五计算机李五 98 秋 01 张三计算机李五 98 秋 02 张四计算机李五 98 秋 03 张五数据库李四 99 秋 01 王三数据库李四 99 秋 02 王四数据库李四 99 秋 03 王武 78 检查用户合法性检查数据合法性按用户要求的操作执行并返回结果 DBAP 数据库李四 99 秋 02 王四 90 DBMS User 阶段 2:User/DBAP 通过数据操纵语言 (DML) 操纵数据进出数据库

4 1. 由关系模型到结构化数据库语言 SQL 1.2 由关系模型到结构化数据库语言 SQL 4/61 关系运算式列名,, 列名 ( 检索条件 ( 表名 1 表名 2 )) 数据库语言 SQL Select 列名 [[, 列名 ] ] From 表名 1 [[, 表名 2], ] [ Where 检索条件 ] ; 语义 : 将 From 后面的所有表串接起来, 检索出满足检索条件的元组, 并按给定的列名及顺序进行投影显示

5 1. 由关系模型到结构化数据库语言 SQL 1.3 什么是结构化数据库语言 SQL 5/61 SQL: Structural Query Language SQL 语言是数据库系统的标准语言, 它可以定义数据库操纵数据库和进行数据库控制 SQL 语言主要由以下 9 个单词引导的操作语句来构成, 但每一种语句都能表达复杂的操作请求 DDL 语句引导词 :Create( 建立 ), Alter( 修改 ), Drop( 撤消 ) 定义 Database, Table, View, Index DML 语句引导词 :Insert( 插入 ), Update( 更新 ), Delete( 删除 ), Select( 查询 ) 各种方式的更新与检索操作各种条件的查询操作, 如连接查找, 模糊查找, 分组查找, 嵌套查找等各种聚集操作, 求平均求和等, 分组聚集, 分组过滤等 DCL 语句引导词 :Grant, Revoke 安全性控制 --- 授权和撤消授权

6 1. 由关系模型到结构化数据库语言 SQL 1.4 用 SQL 语言创建数据库并定义表 - 简介 6/61 创建课程学习数据库 :SCT Create Database SCT; SCT Student Course 定义学生表 :Student Create Table Student ( S# char(8) not null, Sname char(10), Ssex char(2), Sage integer, D# char(2), Sclass char(6) ); 定义课程表 :Course Create Table Course ( C# char(3), Cname char(12), Chours integer, Credit float(1), T# char(3) ); 同学可自己定义其他的表 : Dept, Teacher, SC create table 表名 ( 列名数据类型 [not null] [, 列名数据类型, ]) ;

7 1. 由关系模型到结构化数据库语言 SQL 1.5 用 SQL 语言在所定义表中增加记录 - 简介 7/61 追加学生表中的元组 Insert Into Student Values ( , 张三, 男, 20, 03, ); Insert Into Student ( S#, Sname, Ssex, Sage, D#, Sclass) Values ( , 张四, 女, 20, 03, ); 追加课程表中的元组 Insert Into Course /* 所有列名省略, 须与定义或存储的列名顺序一致 Values ( 001, 数据库, 40, 6, 001 ); Insert Into Course(Cname, C#, Credit, Chours, T#); Values ( 数据库, 001, 6, 20, 001 ); /* 如列名未省略, 须与语句中列名的顺序一致 insert into 表名 [ ( 列名 [, 列名 ] ] values ( 值 [, 值 ], );

8 1. 由关系模型到结构化数据库语言 SQL 1.6 已经建立起的数据库 8/61 已经建立好的数据库 --- 供后面学习和训练使用

9 怎样管理和利用数据 (II) 2. SQL-SELECT 之简单使用 9/61 SQL-SELECT 之简单使用 ---- 基本检索 ---- 结果排序 ---- 结果去重复 ---- 模糊查找

10 2. SQL-SELECT 之简单使用 2.1 基本检索操作的表达方法 10/61 Select 的简单语法形式为 : Select 列名 [[, 列名 ] ] From 表名 [ Where 检索条件 ]; 语义 : 从 < 表名 > 所给出的表中, 查询出满足 < 检索条件 > 的元组, 并按给定的 < 列名 > 及顺序进行投影显示列名,, 列名 ( 检索条件 ( 表名 ))

11 2. SQL-SELECT 之简单使用 2.2 基本检索条件书写 11/61 例如 : 检索学生表中所有学生的信息 Select S#, Sname, Ssex, Sage, Sclass, D# From Student ; Select * From Student ; // 如投影所有列, 则可以用 * 来简写再如 : 检索学生表中所有学生的姓名及年龄 Select Sname, Sage // 投影出某些列 From Student ; 再如 : 检索学生表中所有年龄小于 19 岁的学生的年龄及姓名 Select Sage, Sname // 投影的列可以重新排定顺序 From Student Where Sage <= 19; SELECT FROM WHERE

12 2. SQL-SELECT 之简单使用 2.2 基本检索条件书写 12/61 例如 : 求或者学过 001 号课程, 或者学过 002 号课程的学生的学号 Select S# From SC Where C# = 001 OR C#= 002 ; 再例如 : 求既学过 001 号课程, 又学过 002 号课程的学生的学号? 如下书写 SQL 语句会得到正确结果吗? 它能得到什么结果? 怎样正确书写? Select S# From SC Where C# = 001 AND C#= 002 ; // 正确的 SQL 语句在讲义后面的示例中讲解对于每一行应用 Where 子句的条件 SELECT FROM WHERE

13 2. SQL-SELECT 之简单使用 2.3 检索结果的去重复 13/61 检索结果去重复 :DISTINCT 例如 : 在选课表中, 检索成绩大于 80 分的所有学号 Select S# From SC Where Score > 80 ; // 有重复元组出现, 比如一个同学两门以上课程大于 80 Select DISTINCT S# From SC Where Score > 80; // 重复元组被 DISTINCT 过滤掉, 只保留一份表 (Table) 和关系 (Relation) 在大部分情况下概念通用, 但有细微差别 : 前者可允许有重复元组, 而后者不允许

14 2. SQL-SELECT 之简单使用 2.4 检索结果的排序 14/61 基本的检索操作 Select 语句中结果排序是通过增加 order by 子句实现的 order by 列名 [asc desc] 意义为结果按指定列名进行排序, 若后跟 asc 或省略, 则为升序 ; 若后跟 desc, 则为降序例如 : 按学号由小到大的顺序显示出所有学生的学号及姓名 Select S#, Sname From Student Order By S# ASC ; 再如 : 检索 002 号课大于 80 分的所有同学学号并按成绩由高到低顺序显示 Select S# From SC Where C# = 002 and Score > 80 Order By Score DESC ; SELECT FROM WHERE ORDER BY

15 2. SQL-SELECT 之简单使用 2.5 模糊查询 15/61 模糊查询问题比如检索姓张的学生, 检索张某某 ; 这类查询问题, Select 语句是通过在检索条件中引入运算符 like 来表示的含有 like 运算符的表达式列名 [not ] like 字符串找出匹配给定字符串的字符串其中给定字符串中可以出现 %, _ 等匹配符. 匹配规则 : % 匹配零个或多个字符 _ 匹配任意单个字符 \ 转义字符, 用于去掉一些特殊字符的特定含义, 使其被作为普通字符看待, 如用 \% 去匹配字符 %, 用 \_ 去匹配字符 _

16 2. SQL-SELECT 之简单使用 2.5 模糊查询 16/61 例如 : 检索所有姓张的学生学号及姓名 Select S#, Sname From Student Where Sname Like 张 % ; 再如 : 检索名字为张某某的所有同学姓名 Select Where Sname From Student Sname Like 张 ; 再如 : 检索名字不姓张的所有同学姓名 Select Sname From Student Where Sname Not Like 张 % ;

17 怎样管理和利用数据 (II) 3. SQL-SELECT 之多表联合操作 17/61 SQL-SELECT 之多表联合操作 ---- 多表联合操作之连接条件 ---- 表与列的别名 ---- 表与自身的连接

18 3. SQL-SELECT 之多表联合操作 3.1 多表联合检索的表达方法 18/61 Select 的多表联合检索语句如下 : Select 列名 [ [, 列名 ] ] From 表名 1, 表名 2, Where 检索条件 ; 相当于列名,, 列名 ( 检索条件 ( 表名 1 表名 2 )) 检索条件中要包含连接条件, 通过不同的连接条件可以实现各种连接操作

19 3. SQL-SELECT 之多表联合操作 3.2 多表联合检索之连接条件书写 19/61 例如 : 按 001 号课成绩由高到低的顺序显示出所有学生的姓名 ( 二表连接 ) Select Sname From Student, SC Where Student.S# = SC.S# and SC.C# = 001 Order By Score DESC; 当多表连接时, 如果两个表的属性名相同, 则需采用表名. 属性名方式来限定该属性是属于哪一个表再如 : 按数据库课程成绩由高到低顺序显示所有同学姓名 ( 三表连接 ) Select Sname From Student, SC, Course Where Student.S# = SC.S# and SC.C# = Course.C# and Cname = 数据库 Order By Score DESC; Student(S#,Sname,Ssex,Sage,D#,Sclass) Course(C#,Cname,Chours,Credit,T#) SC(S#,C#,Score) Dept(D#,Dname,Dean) Teacher(T#,Tname,D#,Salary)

20 3. SQL-SELECT 之多表联合操作 3.3 多表联合检索之表与列的别名 20/61 连接运算涉及到重名的问题, 如两个表中的属性重名, 连接的两个表重名 ( 同一表的连接 ) 等, 因此需要使用别名以便区分 select 中采用别名的方式 : Select 列名 as 列别名 [ [, 列名 as 列别名 ] ] From 表名 1 as 表别名 1, 表名 2 as 表别名 2, Where 检索条件 ; 上述定义中的 as 可以省略当定义了别名后, 在检索条件中可以使用别名来限定属性

21 3. SQL-SELECT 之多表联合操作 3.3 多表联合检索之表与列的别名 21/61 例如 : 求有薪水差额的任意两位教师 Select T1.Tname as Teacher1, T2.Tname as Teacher2 From Teacher T1, Teacher T2 Where T1.Salary > T2.Salary ; 求年龄有差异的任意两位同学的姓名 Select S1.Sname as Stud1, S2.Sname as Stud2 From Student S1, Student S2 Where S1.Sage > S2.Sage ; 请同学书写一下 : 求 001 号课程有成绩差的任意两位同学有时表名很长时, 为书写条件简便, 也定义表别名, 以简化书写 Student(S#,Sname,Ssex,Sage,D#,Sclass) Course(C#,Cname,Chours,Credit,T#) SC(S#,C#,Score) Dept(D#,Dname,Dean) Teacher(T#,Tname,D#,Salary)

S# From SC SC1, SC SC2 Where SC1.S# = SC2.S# and SC1.C#= C01 and SC2.

22 3. SQL-SELECT 之多表联合操作 3.4 多表联合检索之表与自身的连接 22/61 再如 : 求既学过 001 号课又学过 002 号课的所有学生的学号 ( 二表连接 ) Select SC1.S# From SC SC1, SC SC2 Where SC1.S# = SC2.S# and SC1.C#= C01 and SC2.C#= C02 ; 再如 : 求 C01 号课成绩比 C02 号课成绩高的所有学生的学号 ( 二表连接 ) Select SC1.S# From SC SC1, SC SC2 Where SC1.S# = SC2.S# and SC1.C#= C01 and SC2.C#= C02 and SC1.Score > SC2.Score;

23 3. SQL-SELECT 之多表联合操作 3.5 多表联合检索之语义之理解 23/61 正确理解汉语表达的查询语义, 正确表达为 SQL 语句例如 : 列出没学过李明老师讲授课程的所有同学的姓名? 如下书写 SQL 语句会得到正确结果吗? 它能得到什么结果? 怎样正确书写? Select Sname From Student S, SC, Course C, Teacher T Where T.Tname <> 李明 and C.C# = SC.C# and SC.S# = S.S# and T.T# = C.T#; // 正确的 SQL 语句在讲义后面的示例中讲解

24 3. SQL-SELECT 之多表联合操作 3.6 多表联合检索之嵌套子查询 24/61 IN 子查询其基本语法为 : 表达式 [not ] in ( 子查询 ) 语义 : 判断某一表达式的值是否在子查询的结果中再例如 : 列出选修了 001 号课程的学生的学号和姓名 Select S#, Sname From Student Where S# in ( Select S# From SC Where C# = 001 ) ; 再例如 : 求既学过 001 号课程, 又学过 002 号课程的学生的学号 Select Where S# From SC C# = 001 and S# in ( Select S# From SC Where C# = 002 ) ;

25 3. SQL-SELECT 之多表联合操作 3.6 多表联合检索之嵌套子查询 25/61 再例如 : 列出没学过李明老师讲授课程的所有同学的姓名? Select Sname From Student Where S# not in ( Select S# From SC, Course C, Teacher T Where T.Tname = 李明 and SC.C# = C.C# and T.T# = C.T# );

26 3. SQL-SELECT 之多表联合操作 3.7 非相关子查询 vs. 相关子查询 26/61 非相关子查询 Select Sname From Student Where S# not in ( Select S# From SC, Course C, Teacher T 外层查询内层查询 Where T.Tname = 李明 and SC.C# = C.C# and T.T# = C.T# ) ; 内层查询独立进行, 没有涉及任何外层查询相关信息的子查询被称为非相关子查询

27 3. SQL-SELECT 之多表联合操作 3.8 非相关子查询 vs. 相关子查询 27/61 相关子查询有时, 内层查询需要依靠外层查询的某些参量作为限定条件才能进行, 这样的子查询称为相关子查询外层向内层传递的参量需要使用外层的表名或表别名来限定例如 : 求学过 001 号课程的同学的姓名 Select Sname From Student Stud Where S# in ( Select S# From SC Where S# = Stud.S# and C# = 001 ) ; 注意 : 相关子查询只能由外层向内层传递参数, 而不能反之 ; 这也称为变量的作用域原则

28 怎样管理和利用数据 (II) 4. SQL-SELECT 之分组聚集操作 28/61 SQL-SELECT 之分组聚集操作 ---- 结果计算与聚集函数 ---- 分组聚集 ---- 分组聚集与分组过滤

29 4. SQL-SELECT 之分组聚集操作 4.1 SELECT 之结果计算与聚集函数? 29/61 结果计算与聚集函数 select 子句可以是一些计算表达式或聚集函数, 表明在选择和投影的同时直接进行一些运算, 如下所示 : Select 列名 expr agfunc( 列名 ) [[, 列名 expr agfunc( 列名 ) ] ] From 表名 1 [, 表名 2 ] [ Where 检索条件 ] ; 计算表达式可以是常量列名或由常量列名特殊函数及算术运算符构成的算术运算式求有差额 ( 差额 >0) 的任意两位教师的薪水差额 Select T1.Tname as TR1, T2.Tname as TR2, T1.Salary T2.Salary From Teacher T1, Teacher T2 Where T1.Salary > T2.Salary;

30 4. SQL-SELECT 之分组聚集操作 4.1 SELECT 之结果计算与聚集函数? 30/61 结果计算与聚集函数 SQL 提供了五个作用在简单列值集合上的内置聚集函数 agfunc, 分别是 : COUNT SUM AVG MAX MIN SQL 聚集函数的参数类型结果类型与作用如下 :

31 4. SQL-SELECT 之分组聚集操作 4.1 SELECT 之结果计算与聚集函数? 31/61 结果计算与聚集函数求教师的工资总额 Select Sum(Salary) From Teacher; 求计算机系教师的工资总额 Select Sum(Salary) From Teacher T, Dept Where Dept.Dname = 计算机 and Dept.D# = T.D#; 求数据库课程的平均成绩 Select AVG(Score) From Course C, SC Where C.Cname = 数据库 and C.C# = SC.C#;

32 4. SQL-SELECT 之分组聚集操作 4.2 SELECT 之分组计算与聚集? 32/61 分组计算与聚集为解决同时求解若干个集合的聚集运算问题, 引出了分组的概念 SQL 可以将检索到的元组按照某一条件进行分类, 具有相同条件值的元组划到一个组或一个集合中, 这一过程就是分组过程分组可以在基本 Select 语句基础上引入分组子句来完成 : Select 列名 expr agfunc( 列名 ) [[, 列名 expr agfunc( 列名 ) ] ] From 表名 1 [, 表名 2 ] [ Where 检索条件 ] [ Group by 分组条件 ] ; 分组条件可以是列名 1, 列名 2, SELECT FROM WHERE GROUP BY HAVING ORDER BY

33 4. SQL-SELECT 之分组聚集操作 4.2 SELECT 之分组计算与聚集? 33/61 分组计算与聚集例如 : 求每一个学生的平均成绩 Select S#, AVG(Score) From SC Group by S#; 再如 : 求每一门课程的平均成绩 Select C#, AVG(Score) From SC Group by C#; Group by S# Group by C#

34 4. SQL-SELECT 之分组聚集操作 4.3 SELECT 之分组过滤 34/61 分组过滤 ---- 过滤掉分组, 而不是元组求不及格课程超过两门的同学的学号, 下述写法正确吗? Select S# From SC Where Score < 60 and Count(*)>2 Group by S#; 若要对分组 ( 集合 ) 进行条件过滤, 可使用 Having 子句 Select 列名 expr agfunc( 列名 ) [[, 列名 expr agfunc( 列名 ) ] ] From 表名 1 [, 表名 2 ] [ Where 检索条件 ] [ Group by 分组条件 [ Having 分组过滤条件 ] ] ;

35 4. SQL-SELECT 之分组聚集操作 4.3 SELECT 之分组过滤 35/61 分组过滤 ---- 过滤掉分组, 而不是元组 HAVING 子句与 WHERE 子句表达条件的区别每一分组检查满足与否的条件要用 Having 子句表达注意 : 不是每一行都检查, 所以使用 Having 子句一定要有 Group by 子句每一行都要检查满足与否的条件要用 WHERE 子句表达

36 4. SQL-SELECT 之分组聚集操作 4.3 SELECT 之分组过滤 36/61 分组过滤 ---- 过滤掉分组, 而不是元组例如求不及格课程超过两门的同学的学号 Select S# From SC Where Score < 60 Group by S# Having Count(*)>2; 再如求有 10 人以上不及格的课程号 Select C# From SC Where Score < 60 Group by C# Having Count(*)>10;

37 4. SQL-SELECT 之分组聚集操作 4.3 SELECT 之分组过滤 37/61 分组过滤 ---- 过滤掉分组, 而不是元组例如 : 求有两门以上不及格课程的同学的学号及其平均成绩 Select S#, Avg(Score) From SC Where Score < 60 Group by S# Having Count(*)>2; 上述写法正确吗? 正确的如下书写, 为什么呢? Select S#, AVG(Score) From SC Where S# in ( Select S# From SC Where Score < 60 Group by S# Having Count(*)>2 ) Group by S# ;

38 4. SQL-SELECT 之分组聚集操作 4.4 最为完整的 SELECT 语句 38/61 SQL-SELECT 的完整语法 Subquery ::== SELECT [ ALL DISTINCT ] { * expr [[AS] c_alias] {, } } FROM tableref {, } [WHERE search_condition] [GROUP BY column {, }] [HAVING search_condition] subquery [UNION [ALL] INTERSECT [ALL] EXCEPT [ALL]] [CORRESPONDING [BY] (colname {, })] subquery; Tableref ::== tablename [corr_name] Select statement ::== Subquery [ORDER BY result_column [ASC DESC] {, }]

39 怎样管理和利用数据 (II) 5. 由数据库到数据挖掘 39/61 由数据库到数据挖掘 (I) --- 数据也是生产力? --- 什么是数据挖掘? --- 怎样挖掘数据? --- 数据挖掘的计算过程示意

40 5. 由数据库到数据挖掘 5.1 数据也是生产力? 40/61 数据对超市经营有无帮助呢? 客户购买习惯商品组合方式及策略营销策略价格策略货源组织

41 5. 由数据库到数据挖掘 5.2 数据运用的前提数据的聚集与管理? 41/61 超市数据库

42 5. 由数据库到数据挖掘 5.3 什么是数据挖掘? 42/61 数据挖掘, 又称为数据库中知识发现, 它是一个从大量数据中抽取挖掘出未知的有价值的模式或规律等知识的复杂过程简单地讲就是从大量数据中挖掘或抽取出知识概要归纳关联分析分类与预测聚类分析异类分析演化分析

43 5. 由数据库到数据挖掘 5.4 怎样挖掘数据 -- 一个例子? 43/61 数据挖掘之关联规则挖掘商品的关联规则由尿布的购买, 能够推断出啤酒的购买尿布啤酒 [ 支持度 =2%, 置信度 =60%] 支持度 2% 意味着所分析事务的 2% 同时购买尿布和啤酒置信度 60% 意味着购买尿布的顾客 60% 也购买啤酒是否相信这条规则呢? 让数据说话

44 5. 由数据库到数据挖掘 5.5 概念准备? 44/61 关联规则挖掘相关的基本概念 1. 项项集与事务设 P = { p 1, p 2,..., p m } 是所有项 (Item) 的集合 D 是数据库中所有事务的集合, 其中每个事务 T(Transaction) 是项的集合, 是 P 的子集, 即 T P; 每一个事务有一个关键字属性, 称作交易号或事务号以区分数据库中的每一个事务设 A 是一个项集 (ItemSet), 事务 T 包含 A 当且仅当 A T 2. 关联规则关联规则是形如 A B 的蕴涵式, 即命题 A( 如项集 A 的购买 ) 蕴涵着命题 B( 如项集 B 的购买 ), 或者说由命题 A 能够推出命题 B, 其中 A P,B P, 并且 A B =

45 5. 由数据库到数据挖掘 5.5 概念准备? 45/61 关联规则挖掘相关的基本概念 3. 支持度与置信度 Support (A B) = P(A B) = 包含 A 和 B 的事务数 D 中事务总数 confidence (A B) = P(B A) = 包含 A 和 B 的事务数包含 A 的事务数支持度反映一条规则的实用性, 置信度反映规则的值得信赖性的程度 4. 强规则同时满足最小支持度阈值 (min_s) 和最小置信度阈值 (min_c) 的规则称作强规则 5. k- 项集与 k- 频繁项集项的集合称为项集, 包含 k 个项的项集称为 k- 项集项集的出现频率是包含项集的事务数, 简称为项集的频率支持计数或计数如果项集的出现频率大于或等于 min_s 与 D 中事务总数的乘积, 则项集满足最小支持度 min_s 如果项集满足最小支持度, 则称它为频繁项集频繁 k - 项集的集合通常记作 Lk { 面包, 果酱 } 项集 { 面包, 果酱, 奶油 } 项集

46 5. 由数据库到数据挖掘 5.6 关联规则挖掘的基本思想? 46/61 关联规则挖掘的基本思想找出所有频繁项集依定义, 这些项集出现的频率至少和预定义的最小出现频率一样如何挖掘频繁项集? Apriori 算法由频繁项集产生强关联规则依定义, 这些规则必须满足最小支持度和最小置信度

47 怎样管理和利用数据 (II) 5. 由数据库到数据挖掘 47/61 由数据库到数据挖掘 (II) --- 数据也是生产力? --- 什么是数据挖掘? --- 怎样挖掘数据? --- 数据挖掘的计算过程示意

48 5. 由数据库到数据挖掘 5.7 频繁项集发现的计算过程? 48/61 频繁项集挖掘算法计算示例 1. 对问题域数据进行抽象商品购买明细数据库

49 5. 由数据库到数据挖掘 5.7 频繁项集发现的计算过程? 49/61 频繁项集挖掘算法计算示例 2. 形成候选 1- 项集, 并求出频繁 1- 项集候选 1 项集. 频繁 1 项集. 支持度计数最小支持度计数 5 (min_sup=5/20=25%)

50 5. 由数据库到数据挖掘 5.7 频繁项集发现的计算过程? 50/61 频繁项集挖掘算法计算示例 3. 形成候选 2- 项集, 并求出频繁 2- 项集候选 2 项集. C 2 =L 1 Join L 1 频繁 2 项集. 支持度计数最小支持度计数 5 频繁 1 项集

51 5. 由数据库到数据挖掘 5.7 频繁项集发现的计算过程? 51/61 频繁项集挖掘算法计算示例 4. 形成候选 3- 项集, 并剪枝, 进一步求出频繁 3- 项集频繁 2 项集候选 3 项集. C 3 =L 2 Join L 2 候选 3 项集的支持度计数频繁 3 项集

52 5. 由数据库到数据挖掘 5.7 频繁项集发现的计算过程? 52/61 频繁项集挖掘算法计算示例 5. 迭代地求出最终结果 - 频繁项集频繁 3 项集候选 4 项集 --- 频繁 4 项集支持度计数 >=5> 频繁项集全集 = 频繁 1 项集频繁 2 项集频繁 3 项集频繁 4 项集

53 5. 由数据库到数据挖掘 5.8 频繁项集的发现算法 53/61

54 5. 由数据库到数据挖掘 5.9 关联规则的产生 54/61 关联规则的生成计算示例 {P1,P2,P5,P6} 可以产生的潜在规则 A B, 其中 A B={P1,P2,P5,P6}, A B=.

55 5. 由数据库到数据挖掘 5.9 关联规则的产生 55/61 关联规则的生成计算示例输出的规则表,A B =, 购买 A 能够推出购买 B. 置信度 >=70% 的规则.

56 5. 由数据库到数据挖掘 5.9 关联规则的产生 56/61 关联规则的生成计算示例组合形成规则表, 频繁 3 项集能推出哪些频繁项集? 置信度标记红色为置信度 >=70% 的规则. 支持度标记蓝色的为满足置信度前提下的支持度 >=50% 的规则

57 5. 由数据库到数据挖掘 5.9 关联规则的产生 57/61 关联规则的生成计算示例最终输出的规则表

58 5. 由数据库到数据挖掘 5.10 还能挖掘什么? 58/61 关联规则挖掘单维度单层次规则 buys(x," 面包 ") buys(x," 果酱 ") X 代表顾客多维度多层次规则 age(x," ") income(x,"42k...48k") buys(x,"high _ resolution _ TV")

59 5. 由数据库到数据挖掘 5.10 还能挖掘什么? 59/61 Web 数据挖掘

60 5. 由数据库到数据挖掘 5.11 大数据? 60/61 大数据 bit & Byte 1KB(Kilobyte) = 2 10 字节 1MB(Megabyte) = 2 10 KB 1GB(Gigabyte) = 2 10 MB 只求关系, 不求因果不要相信经验, 一切以数据说话大数据环境下什么不能发生呢? 1TB(Trillionbyte) = 2 10 GB = 2 20 MB 1PB(Petabyte) = 2 10 TB = 2 30 MB 1EB(Exabyte) = 2 10 PB = 2 40 MB 1ZB(Zettabyte) = 2 10 EB = 2 50 MB 1YB(Yottabyte) = 2 10 ZB = 2 60 MB 1BB(Brontobyte) = 2 10 YB = 2 70 MB

61 第 11 讲怎样管理和利用数据 (II) Questions & Discussion? 2015

untitled

untitled Database System Principle Database System Principle 1 SQL 3.1 SQL 3.2-3.3 3.4 3.5 3.6 Database System Principle 2 3.1 SQL SQL Structured Query Language SQL Database System Principle 3 SQL 3.1.1 SQL 3.1.2