概述 Part I: R 对数据的前期处理 R 对数据的前期处理 1 R 对数据库的支持

Size: px

Start display at page:

Download "概述 Part I: R 对数据的前期处理 R 对数据的前期处理 1 R 对数据库的支持"

敷贺
5 years ago
Views:

1 Data Mining With R 刘思喆 China Lottery Online Ltd.co 2008 December 9, 2008

2 概述 Part I: R 对数据的前期处理 R 对数据的前期处理 1 R 对数据库的支持

3 概述 Part I: R 对数据的前期处理 R 对数据的前期处理 1 R 对数据库的支持 2 描述性分析与绘图单维变量的展示多维变量的展示

4 概述 Part I: R 对数据的前期处理 R 对数据的前期处理 1 R 对数据库的支持 2 描述性分析与绘图单维变量的展示多维变量的展示 3 数据的预处理过程

5 概述 Part II: R 的扩展算法 R 的扩展算法 4 同 Data Mining 相关的 packages

6 概述 Part II: R 的扩展算法 R 的扩展算法 4 同 Data Mining 相关的 packages 5 关联规则

7 概述 Part II: R 的扩展算法 R 的扩展算法 4 同 Data Mining 相关的 packages 5 关联规则 6 分类方法

8 概述 Part II: R 的扩展算法 R 的扩展算法 4 同 Data Mining 相关的 packages 5 关联规则 6 分类方法 7 聚类 (cluster) 层次聚类分割聚类

9 概述 Part II: R 的扩展算法 R 的扩展算法 4 同 Data Mining 相关的 packages 5 关联规则 6 分类方法 7 聚类 (cluster) 层次聚类分割聚类 8 随机森林

10 概述 Part II: R 的扩展算法 R 的扩展算法 4 同 Data Mining 相关的 packages 5 关联规则 6 分类方法 7 聚类 (cluster) 层次聚类分割聚类 8 随机森林 9 神经网络

11 1 R 应该是所有数据分析软件里方法 ( 函数 ) 最多的, 截至 2008 年 11 月 11 日,cran 上共提供了 1624 个包, 涵盖了贝叶斯推断分类方法计量经济学生态学金融学遗传学机器学习稳健统计空间统计生存分析时间序列等多个方面 2 广泛的数据接口比如 R-base 可以良好的接入 CSV(Comma Separated Values) 数据, 或者通过其他包来扩展, 直接读入 SPSS SAS Minitab Stata Excel 等文件, 或者直接读取 MySQL SQL Server DB2 Oracle 等数据库 3 强大的绘图功能 R 提供了为高水平 (High level) 低水平 (Low level) 和交互式 (Interactive) 三种绘图命令, 而且很容易生成 ps pdf png jpeg bmp gif SVG 甚至 L A TEX 或 HTML 输出 4 最重要的一点 :R is free (in both senses).

12 Part I R 对数据的前期处理

13 R 对数据库的支持 CRAN 上提供了三种 R 同数据库之间的接口 : 1 DBI (DataBase Interface) 包并存的实施模式 ; 2 Michael Lapsley 负责维护的 RODBC 包提供了 R 同支持 ODBC 数据库之间的接口 3 通过 JDBC(Java DataBase Connectivity) 的方式

14 R 对数据库的支持三者的逻辑图 Users command R DataBase

15 描述性分析与绘图单维变量的展示计算均值 (mean) 中位数 (median) 标准差 (sd) 方差 (var) 分位数 (quantile) 的函数更一般地,summary 函数提供了了解数据的直接途径 :

16 描述性分析与绘图单维变量的展示 Frequency x Proportion <= x

17 描述性分析与绘图单维变量的展示传统的可视化技术展示聚集程度和频度的条形图 (barplot); 揭示变量分布的直方图 (hist); 演示顺序数据趋势的曲线图 (plot); 占总体百分比的饼图 (pie); 揭示二元变量的关系的散点图 (plot)

18 描述性分析与绘图多维变量的展示现代数据可视化技术更适合于高维数据的展示, 和 R 语言比较相关的技术有几何投影 : 将高维数据通过几何投影, 展示在低维度平面 ; 图像演示 : 将单个高纬度数据影射到一个图像上

19 描述性分析与绘图多维变量的展示几何投影 Comp h Carolina Mississippi Vermont South Carolina West Virginia Alaska Arkansas South Dakota North Dakota Alabama Kentucky Maine Idaho Montana Georgia Tennessee Maryland Wyoming Louisiana New Hampshire Iowa Virginia AssaultNew Mexico Nebraska Delaware Rape Murder Oklahoma Kansas Indiana UrbanPop Oregon Florida Michigan Missouri Minnesota Wisconsin Arizona Pennsylvania Washington Illinois Colorado Texas Connecticut Ohio New Nevada York Rhode Island Utah Massachusetts California New Jersey Hawaii Petal L. Petal W. Sepal W. Sepal L Comp.1

20 描述性分析与绘图多维变量的展示 Andrews 调和曲线图思想是将多维变量 X = (x 1, x 2,, x n ) 投影到二维平面的一条曲线 f (t), π t π 上 f (t) = x x 2 sin t + x 3 cos t + x 4 sin 2t + x 5 cos 2t +

21 描述性分析与绘图多维变量的展示图像演示 Mazda RX4 Mazda RX4 Wag disp cyl Mazda RX4 Mazda RX4 Wag hp Datsun 710 Hornet 4 Drive mpg drat Datsun 710 Hornet 4 Drive qsec Hornet Sportabout Valiant wt Hornet Sportabout Valiant

22 描述性分析与绘图多维变量的展示

23 描述性分析与绘图多维变量的展示相关系数展示 wt wt cyl disp hp carb qsec gear am vs drat mpg MPG.city Rev.per.mile RPM MPG.highway cyl disp hp carb qsec gear am vs drat mpg EngineSize Turn.circle Wheelbase Length Luggage.room Rear.seat.room Passengers Width Weight Fuel.tank.capacity Price Min.Price Max.Price Horsepower

24 描述性分析与绘图多维变量的展示 Dec Jan Nov 58.5 Feb 48.6 Oct 39.8 Mar Sep Apr Aug May Jul Jun

25 数据的预处理过程选取和转化 subset(airquality, Temp > 80, select = c(ozone, Temp)) transform(airquality, new = Ozone, Temp = (Temp 32)/1.8)

26 数据的预处理过程 rescaler 函数 range: scale to [0, 1] rank: convert values to ranks robust: robust version of sd, substract median and divide by median absolute deviation sd: subtract mean and divide by standard deviation

27 Part II R 的扩展算法

28 同 Data Mining 相关的 packages Rattle(the R Analytical Tool To Learn Easily)

29 同 Data Mining 相关的 packages Rattle 提供了一个基于 Gnome 环境 ( 需要 RGtk2 包支持 ) 的数据挖掘界面, 通过 Rattle, 即使对 R 语言不是很了解的用户也可以通过简单的点击鼠标来读入转换探索数据而且用户可以在它的 log 中了解 Rattle 所使用的 R 语言命令记录

30 同 Data Mining 相关的 packages rattle 的弱点 1 Gnome 环境在 Windows 下需要安装 Gtk+, 实践证明, 在分析过程中存在不稳定特点 2 基于处理大型数据集的应用,R 常采用服务器模式,rattle 的图形界面弱化很多 3 rattle 提供的算法虽然已达到实际应用水平, 但仍然有些包不能调用, 略显遗憾

31 同 Data Mining 相关的 packages Weka Weka 是基于 Java 环境的数据挖掘软件, 它的强项主要在分类 (classification) 领域, 在这个领域几乎包含了所有的机器学习的方法, 而且它还集成了如回归关联规则 clustering 算法

32 同 Data Mining 相关的 packages RWeka 包提供了 R 同 Weka 之间的接口, 通过 RWeka 包,R 可以调用所有 Weka 的算法

33 同 Data Mining 相关的 packages 主题核心函数对应扩展包主成分分析 princomp base 因子分析 factanal base 回归模型 lm,nlm,rlm base,stats,mass 统计 Logistic glm,polr,lrm base,mass,design 模型 cox 比例模型 coxph,cph survival,design 方差分析 aov,tukeyhsd stats 时间序列 ar,arima,garch stats,tseries

34 同 Data Mining 相关的 packages 主题核心函数对应扩展包主成分分析 princomp base 因子分析 factanal base 回归模型 lm,nlm,rlm base,stats,mass 统计 Logistic glm,polr,lrm base,mass,design 模型 cox 比例模型 coxph,cph survival,design 方差分析 aov,tukeyhsd stats 时间序列 ar,arima,garch stats,tseries 关联规则 apriori,tertius arules,rweka K-methods kmeans,clara base,cluster 朴素贝叶斯 LBR Rweka 判别分析 lda,qda,fda MASS,mda 数据决策树 rpart,j48,tree,ctree rpart,rweka,tree,party 挖掘随机森林 randomforest randomforest 算法支持向量机 svm,smo e1071,rweka 层次聚类 hclust,agen base,cluster k 近邻 knn,ibk class,rweka 神经网络 nnet nnet

35 关联规则关联规则关联规则 (Association Rules) 是发现交易数据库中不同商品 ( 项 ) 之间的联系, 通过这些规则来找出顾客购买行为模式, 如购买了某一商品对购买其他商品的影响发现这样的规则可以应用于商品货架设计货存安排以及根据购买模式对用户进行分类

36 关联规则 arules 包提供了两种快速的基于 C 语言实现的挖掘方法 Apriori 和 Eclat

37 分类方法分类 (classification) 分类方法 (classification) 被称为 Tree-based Methods 主要应用有两种情形, 一种是当输出 ( 因变量 ) 是分类变量 (factor) 时, 这时叫做分类树 (Classification trees), 这种情况比较常见 ; 还有一种是当输出变量为连续变量, 称为回归树 (Regression trees)

38 分类方法决策树的优点决策树是非参数的, 因此并不需要数据的正态性假设 ; 决策树可以处理不同的数据类型, 包括连续型数值变量分类变量顺序变量二元变量因此可以不需要进行数据变换 ; 在探测变量重要程度交互效应和离群点方面非常有益, 尤其是在模型探索期间 ; 决策树在广泛的领域都有应用

39 分类方法 Clark and Pregibon(1992) 在 S 语言中最早引入 tree-based models, 并且可以通过函数 tree 及其支持函数实现, 而 Brian Ripley 在 1998 年通过 tree 将这个 tree 函数克隆到 R, 具有类似功能 ( 或者更好更有效 ) 的包还有 Terry M Therneau and Beth Atkinson 的 rpart 包和 Hothorn,Hornik,Zeileis 的 party

40 分类方法 Petal.Width 0.6 > 0.6 setosa (50.0) Petal.Width 1.7 > 1.7 Petal.Length virginica (46.0/1.0) 4.9 > 4.9 versicolor (48.0/1.0) virginica (6.0/2.0)

41 聚类 (cluster) 聚类 (cluster) 聚类 (cluster) 是将数据自动划分为若干个群 (clusters) 的一种算法集这种算法的结果会使群内的观测变量比较类似, 群间的差别比较大这种方法在不论在统计分析还是机器学习都有很长的历史, 它在数据探索的初期意义明显

42 聚类 (cluster) 层次聚类提供数据的等级划分, 群的个数由等级划分过程来决定, 所以群的个数可以是从一到样本数的任意值层次聚类有两种实现方式 : 凝聚方式 : 首先每一个单独的样本点都被认为是一个群, 然后每个群开始汇聚形成一个更大的群, 直到汇聚到一个包含所有样本的最大群分裂方式 : 汇聚方式的逆向过程假设所有的样本点构成一个大群, 根据划分方法将其分裂为更小的群, 直到每个样本点最后都形成单独的群

43 聚类 (cluster) 分割聚类如果事先已经知道群的个数, 即需要用户指定群的个数这种方式开始会有一个初始划分 ( 随机的 ), 然后通过叠代, 最后达到群内样本差别小, 群间差异大的结果

44 随机森林随机森林随机森林是一个包含多个决策树的分类器, 并且其输出的类别是由个别树输出的类别的众数而定 Leo Breiman 和 Adele Cutler 发展出推论出随机森林的算法而 Random Forests 是他们的商标

45 随机森林随机森林的生长方式 1 假设训练样本的个数为 N, 那么采取放回式抽样 ( 即 bootstrap 抽样 ) 的抽样集用来生长树 ; 2 假设有 M 个变量, 对于每一个节点, 随机选择 m(m << M) 个基于此点上的变量根据这 m 个变量, 计算其最佳的分割方式 3 每一颗树都尽量生长, 而不被修剪

46 随机森林在 R 中 randomforest 包提供了实现随机森林的 randomforest 函数 iris.rf < randomforest(species., data = iris, importance = T, proximity = T )

47 随机森林 OOB estimate of error rate: 4.67% table setosa versicolor virginica setosa versicolor virginica

48 神经网络神经网络一种常见的多层结构的前馈 (Feedforward) 网络由三部分组成 : 输入层 (Input layer) 接受输入信息 ( 解释变量 ) 隐藏层 (Hidden layer) 是输入层和输出层之间众多神经元和链接组成的层面隐层可以有多层, 习惯上一般使用一层隐层的节点 ( 神经元 ) 数目不定, 但数目越多神经网络的非线性越显著输出层 (Output layer) 输入信息在隐藏层中传输变换加权后形成输出结果 ( 被解释变量 )

49 神经网络

50 神经网络

51 结语 Thanks

States and capital package

States and capital package : 1 Students are required to know 50 states and capitals and their geological locations. This is an independent working packet to learn about 50 states and capital. Students are asked to fulfill 4 activities