互联网+时代：变革与创新

Size: px

Start display at page:

Download "互联网+时代：变革与创新"

桧吭苍
5 years ago
Views:

1 线性回归 Linear regression

2 目录 Contents 一简单线性回归二多元线性回归三回归模型中的其他注意事项四线性回归与 K 最近邻法的比较

3 1 简单线性回归 Linear regression

4 线性回归线性回归是一种有指导学习方法, 它假设 Y 与 1, X,, X 之间呈线性关系事实上, 真实的回归关系不会是线性的! X 2 p 虽然看起来过于简单, 但是线性回归的概念和方法在实践中是非常有用的 4

5 假设我们的角色是统计咨询师 : 需要根据这一数据提出一份营销计划, 提高明年的产品销量为准备这样一份建议, 需要哪些有用的信息呢? 下面列出一些我们可能需要解决的重要问题广告预算和销量有关吗? 广告预算和销量间的关系有多强? 哪种媒体能促进销售? 如何精确地估计每种媒体对销量的影响? 对未来销量的预测精度如何? 相关关系是线性的吗? 线性回归与 Advertising 数据 5

6 线性回归与 Advertising 数据现在来看 Advertising 数据如下图所示,sales( 单位 : 千 ) 作为 TV,radio 和 newspaper 的广告预算 ( 单位 : 千美元 ) 的函数 6

7 单自变量的简单线性回归假设有这样一个模型 : Y X 0 1 其中, 0 和 1 是两个未知的常数, 分别代表截距项和斜率, 也可以称为系数或者参数, 是误差项给定一些估计的和值, 我们利用下式来估计未来的销量 : ŷ X x 其中, 指当 ˆ ˆ 1 0 ŷ ˆ ˆ x 0 1 时对 Y 的预测值,hat 符号指预测值 7

8 最小二乘估计设 ˆ ˆ x 为 Y的第 i 个预测值, 则 e ˆ i yi yi 代表第 i个残差 (residual) ŷ i 0 1 i 我们将残差平方和 (RSS) 定义为 : 或等价地定义为 : RSS e e e n RSS ( y ˆ ˆ x ) ( y ˆ ˆ x ) ( y ˆ ˆ x ) n 0 1 n 最小二乘法就是要选择 0 ˆ 和 ˆ 1 的值来最小化最小的参数估计值为 : RSS, 通过微积分运算可知, 使 ˆ n ( x x)( y y) i1 i i 1 n 2 i1 ( x x) i ˆ y ˆ x n 1 n 这里, y y i1 i, 代表样本均值 n x x i 1 i n 8

9 线性回归与 Advertising 数据下图是将 sales 作为响应变量,TV 作为预测变量得到的 Advertising 数据集的残差平方和 (RSS) 的轮廓图和三维图图中的点代表由式 : 0 1 得到的最小二乘估计 ( 0, ) Y X ˆ ˆ 1 9

10 Advertising 数据集的例子对于 Advertising 数据集, 最小二乘法拟合 sales 关于 TV 的回归, 如图所示这种拟合是通过使残差平方和最小化得到的每条线段代表一个残差, 拟合模型是对误差平方和取均值折中的结果这里的线性拟合抓住了变量间关系的本质, 尽管它对图中左侧区域的拟合稍有缺陷 10

11 评估系数估计值的准确性下图是一个模拟数据集左图 : 红线代表真实的关系 f( X) 23X, 它被称为总体回归直线蓝线是最小二乘线, 它是根据观测数据 ( 显示为黑色 ) f( X) 得到的最小二乘估计右图 : 总体回归线仍显示为红色, 深蓝色的为最小二乘线淡蓝色的为 10 条最小二乘线, 每条都是根据一个独立的随机观测集计算出的各条最小二乘线是不同的, 但平均而言, 最小二乘线相当接近总体回归直线 11

12 评估系数估计值的准确性要计算 0 ˆ 和 ˆ 1 的标准误差 (Standard error), 可以使用下列公式 : SE( ˆ ) n 2 i1 ( x x) i SE( ˆ ) 1 x n ( x ) i 1 i x n 2 其中, 2 =Var( ) 标准误差可用来计算置信区间 (confidence interval) 一个 95% 的置信区间被定义为一个区间范围使得有 95% 的概率包括未知参数的真实值它的形式为 : 2 SE( )

13 置信区间也就是说, 如下的区间 : 1-2 SE( 1), 1+2 SE( 1) 1 有接近 95% 的概率包含的真实值 1 对于 advertising 数据集, 的 95% 的置信区间为 [0.042,0.053] 13

14 假设检验标准误差还可以用于构造对参数的假设检验最常见的假设检验 : H : X与 Y之间没有关系 ( 零假设 ) 0 H : X与 Y之间有关系 ( 备择假设 ) 1 从数学上来看, 这相当于检验 : H H : =0 0 1 : 如果 =0 1, 则模型可以简化为 : Y, 则 X 与 Y 无关 14

15 假设检验我们构造了一个 t 统计量来检验零假设 : t ˆ 1 0 SE( ˆ ) 1 假设 =0 1, 如果 X 和 Y 无关, 那么我们预期 t 统计量服从自由度为 n-2 的 t 分布使用统计软件, 计算任意观测值大于等于的概率就十分简单了, 我们称这个概率为 p 值 (p-value) t 15

16 Advertising 数据集的结果 16

17 我们构造了残差标准误 (Residual Standard Error): 其中,RSS 的估计定义为 2 R 统计量采取比例 ( proportion) ( 被解释方差的比例 ) 形式 : 这里, TSS ( y ) i 1 i y n 评价模型的准确性 n 1 1 RSE RSS ( y ˆ i yi) n2 n2 i1 n 2 RSS ( y yˆ ) 2 R 2 i1 i TSS RSS RSS 1 TSS TSS 是总平方和 (total sum of squares). 2 2 事实上, 在简单线性回归模型中, R r, 而 r 衡量了 X 和 Y 之间的相关关系 : r n i1 i ( x x)( y y) i n 2 n 2 ( x ) ( ) 1 i x y i i 1 i y i 2 17

18 Advertising 数据集的结果 18

19 2 多元线性回归 Multiple Linear Regression

20 多元线性回归我们的模型形式为 : 其中 X j Y X X X p p 代表第 j 个预测变量, 代表第 j 个预测变量和响应变量 j 之间的关联可解释为在所有其他预测变量保持不变 (holding all other predictors fixed) 的情况下, 增加一个单位对 Y 产生的平均 (average) 效果以广告数据集为例, 模型变为 : sales TV radio newspaper j X j

21 回归系数的解释理想的情况是自变量互不相关一个平衡的设计 (balanced design): 每个系数都是可分别估计和检验的可以这么理解 : 当其他所有变量固定不变时, X 变化个单位会引起 Y j 变化 j 自变量之间的相关性会导致的问题 : 所有系数的方差变大, 有时会比较明显解释变得很困难当 X j 观测数据要避免解释因果关系改变, 所有都会跟着改变 21

22 回归系数的解释困境 Data Analysis and Regression Mosterller 和 Tukey 1977 当所有其他预测变量保持不变 (holding all other predictors fixed) 的情况下, j代表着 X j每发生一单位的变化而引起的 Y的变化量但是, 预测变量往往是一起改变的! 例子 : Y 代表你口袋里一共有多少零钱 ; X 1 代表硬币数 ; X 2代表便士分币角币数很自然的, Y 对于 X 2 的回归系数会大于 0, 但是模型中的该如何解释呢? X 1 Y 等于足球运动员在一个赛季中的铲球次数 ;W 和 H 分别代表他的体重和高度拟合模型, 该如何解释? Y b0.50 W.10H

23 著名统计学家的两句引言本质上来看, 所有模型都是错误的, 但是有一些模型是有用的 George Box 当一个复杂的系统的干扰是去干扰系统, 唯一的方法去发现会发生什么事, 不只是被动地观察它 Fred Mosteller 和 John Tukey 23

24 多元回归的估计和预测若给定了 0 ˆ, ˆ 1,, 可以通过以下公式来进行预测 : ˆp ˆ ˆ ˆ ˆ yˆ 0 1x12x2 pxp 通过最小化残差平方和来估计 0,,, 1 p 的值 : n RSS ( y yˆ ) i1 i1 i i 2 n ( y ˆ ˆ x ˆ x ˆ x ) i 0 1 i1 2 i2 p ip 2 可以使用统计软件来完成上述求解过程使得 RSS 最小化的值 0 ˆ, ˆ 1, ˆp 就是多元最小二乘回归系数的估计值 24

25 25

26 Advertising 数据集的结果 26

27 1. 预测变量, X, 是有用的 X1 2 X p 一些重要问题中是否至少有一个变量对于预测响应变量 2. 所有的预测变量对于解释 Y 都有用? 还是说只有部分预测变量对于解释 Y 有用? 3. 模型对于数据的拟合情况如何? 4. 给定了一组预测变量值, 需要预测的响应变量值为多少? 如何求得预测精度? 27

28 至少有一个预测变量是有用的吗? 对于第一个问题, 我们可以利用 F 统计量来回答 : F ( TSS RSS)/ p RSS /( n p 1) F pn, p1 28

29 选定重要变量最直接的方法叫做最优子集 (best subsets) 回归 : 对所有可能的变量组合进行最小二乘回归, 然后基于综合考虑训练误差和模型大小等准则来从中选出重要变量但是, 注意到所有可能的变量集合一共有个, 我们通常无法一一进行计算 ; 例如, 当 p=40, 就有数十亿个模型要估计! 我们需要寻求一种自动化方法来从这些子集中找到一个需要的变量组合接下来, 我们讨论两种常见的方法 2 p 29

30 向前选择法从零模型 (null model) 开始 ( 零模型 : 具有一个因变量但是没有自变量的模型 ) 分别拟合 p 个简单线性回归, 将其中 RSS 最小的模型里的自变量添加到零模型中往上一步的模型中添加一个使得相应双变量模型中 RSS 最小的变量重复上面的步骤, 直到满足停止条件例如, 当所有保留的变量有一个超过指定阈值的 p 值 30

31 向后选择法从包含所有变量的模型开始去掉 p 值最大的变量也就是说, 去掉统计上最不显著的变量拟合新的 (p-1) 个变量的模型, 然后去掉 p 值最大的变量重复上面的步骤, 直到满足停止条件例如, 当所有保留的变量在某个显著性水平下都是显著的, 则我们停止选择 31

32 模型选择之后, 我们会讨论更多更系统的模型选择的方法包括 :Cp, 赤池信息量准则 (Akaike information criterion,aic), 贝叶斯信息准则 (Bayesian information criterion,bic), 调整 R 2 ( adjusted R 2 ) 和交叉验证 (Cross-validation,CV) 32

33 3 回归模型中的其他注意事项 Other Considerations in the Regression Model

34 定性预测变量回归模型中的其他注意事项一些预测变量不是定量 (quantitative) 的而是定性 (qualitative) 的, 取值是离散的这些预测变量又被叫做分类预测变量 (categorical predictors) 或因子变量 (factor variables) 接下来分析信用卡数据散点图例子除了图中展示的 7 个定量变量, 还有 4 个定性变量 :gender( 性别 ) student( 学生 ),status ( 婚姻状况 ) 和 ethnicity ( 种族 : 白种人非裔美国人亚洲人 ) 34

35 信用卡数据 35

36 例 : 调查男性与女性的信用卡债务差异, 忽略其他变量我们构造一个新变量结果 : x i 定性预测变量 1, 如果第 i个人是女性 0, 如果第 i个人是男性 0 1i, 如果第 i个人是女性 0 1, 如果第 i个人是男性 y x i i i 0 i 如何解释? 36

37 信用卡数据模型结果 : 37

38 定性预测变量有两个以上的水平当一个定性预测变量有两个以上的水平, 我们可以创建更多的哑变量 ( dummy variables), 例如, 我们对于种族 ( ethnicity ) 变量创建两个哑变量, 第一个哑变量是 : 1, 如果第 i个人是亚洲人 i1 0, 如果第 i个人不是亚洲人 x 第二个哑变量是 : 1 i i2 0, 如果第 i个人不是白种人 x, 如果第个人是白种人 38

39 定性预测变量有两个以上的水平这两个变量都可以用于回归方程中, 得如下模型 : 0 1i yi 0 1xi 12xi2 i 0 2 i 0 i 如果第 i 个人是亚洲人如果第 i 个人是白种人如果第 i 个人是非裔美国人哑变量个数总是比水平数少一没有相对应的哑变量的水平本例中的非裔美国人被称为基准水平 (baseline) 39

40 ethnicity 结果 40

41 放宽假设条件 : 交互项 (interactions) 和非线性 (nonlinearity) 交互项 : 在之前对 Advertising 数据集的分析中, 我们得出的结论是 TV 和 radio 都与 sales 相关线性模型假设一种媒体的广告支出增加引起的 sales 变化与其他媒体的广告支出无关例如, 线性模型 : sales = β 0 + β 1 TV + β 2 radio + β 3 newspaper 根据这个模型, 无论 radio 的值是多少,TV 增加一个单位将导致 sales 增加 β 1 个单位线性模型的扩展 41

42 相互项假设对广播广告的投入事实上增强了电视广告的有效性, 这时 TV 的斜率项应随着 radio 的增加而增加在这种情况下, 给定 10 万美元的预算, 在两种媒体上均分预算可能比将资金全部投入其中一种媒体更能增加销售这种现象在营销中这种现象在营销中被称为协同 (synergy) 效应, 而在统计学中被称为交互作用 ( interaction) 被称为协同 (synergy) 效应, 而在统计学中被称为交互作用 ( interaction) 42

43 Advertising 数据集当 TV 或 radio 的水平很低的时候, 那么真正的 sales 低于线性模型的预测值但是, 当 advertising 数据被上面的两种媒体分割开, 然后模型往往会低估 sales 43

44 模型交互项 Advertising 数据集模型形式如下 : sales = β 0 + β 1 TV + β 2 radio + β 3 radio TV + ε = β 0 + (β 1 +β 3 radio) TV + β 2 radio + ε 结果 : 44

45 交互作用表中的结果有力地表明交互项是重要的交互项 radio TV 的 p 值是非常低的, 这强有力地证明了 H A : β 3 0. 含交互项的模型 R 2 是 96.8%, 而不含交互项的模型只有 89.7% 45

46 交互作用这意味着交互项解释了拟合可加性模型之后 sales 剩余变异的 ( )/( ) =69% 表中的系数估计表明, 电视广告费用每增加一千美元, 销量 sales 将增加 ( radio) radio 1 3 units 广播广告费用每增加一千美元, 销量 sales 将增加 ( TV ) TV 2 3 units 46

47 分层原则在少数情况下, 交互项的 p 值很小, 而相关的主效应 ( 本例中的 TV 和 radio) 的 p 值却不然分层原则 ( hierarchy principle): 如果模型中含有交互项, 那么即使主效应的系数的 p 值不显著, 也应包含在模型中 47

48 定性变量和定量变量之间的交互作用考虑 Credit 数据集, 假设我们希望用 income ( 定量 ) 和 student ( 定性 ) 预测 balance 在没有交互项的情况下, 模型是 : balance i 0 1incomei 2 0 如果第 i 个人是学生如果第 i 个人不是学生 1 income i 如果第 i 个人是学生如果第 i 个人不是学生 48

49 考虑到交互项, 模型变为 : balance i 0 1incomei 2 3income 0 i 如果第 i 个人是学生如果第 i 个人不是学生 ( 0 2) ( 13) incomei income 0 1 i 如果第 i 个人是学生如果第 i 个人不是学生 49

50 在 Credit 数据集上, 用 income 预测学生和非学生的 balance 的最小二乘线左 : 模型的拟合结果模型不含 income 和 student 之间的交互项右 : 模型的拟合结果模型含有 income 和 student 之间的交互项 50

51 预测变量的非线性关系 51

52 上图表明了下面的模型可能会提供更好的拟合 mpg horsepower horsepower

53 潜在的问题非线性 53

54 潜在的问题误差项自相关 54

55 Var( ) 异方差性 2 潜在的问题误差项方差非恒定 55

56 潜在的问题离群点 RSE: (R 2 :89.2% 80.5%) 如何识别? 残差图 56

57 潜在的问题高杠杆点杠杆统计量 (leverage statistic), 对于简单线性回归, 有 h i 2 1 ( xi x) n n ( x x) ' i 1 对于多重线性回归, 平均杠杆 ( p1)/ n i 2 57

58 潜在的问题共线性 58

59 潜在的问题共线性 59

60 潜在的问题共线性共线性的后果 : j 的标准误变大, t 统计量下降, 假设检验的效力减小如何检测? 相关系数矩阵方差膨胀因子 (VIF) VIF( ) j 1 2 其中 R 是 X 对所有预测变量回归的 R 2 X 如果接近 j X j R 2 j X j X j 于 1, 那么存在共线性, 且 VIF 会很大 1 R 2 X j X j 60

61 潜在的问题内生性 EX ( ) 0, 内生性非一致的估计工具变量 61

62 4 线性回归与 K 最近邻法的比较 Linear regression VS KNN regression

63 线性回归 VS KNN 回归线性回归 (parametric method) 有一些优点 : 容易拟合, 容易解释 ; 它也有一些缺点 : 对于 f( X) 的形式有很强假设非参数方法并不明确假设一个参数化的形式 f( X) 最简单而知名的非参数方法 :K 最近邻回归 (KNN 回归 ) 给定 K 值和预测点 x 0,K 最近邻回归首先确定 K 个最接近 x 0 的训练观测, 记为 0 然后用 0中所有训练数据的平均值来估计 f( X) 也就是说, f( x ) 0 1 K x i 0 y i 63

64 线性回归 VS KNN 回归 64

65 线性回归 VS KNN 回归如果已经选择的参数形式接近 f 的真实形式, 参数的方法将超过非参数方法 65

66 线性回归 VS KNN 回归 66

67 线性回归 VS KNN 回归 67

68 线性回归 VS KNN 回归 68

69 线性回归 VS KNN 回归 69

70 线性模型的推广在本节课程的最后, 我门讨论一些线性模型的推广 : 分类问题 :logistic 回归, 支持向量机非线性 :kernel 平滑, splines 和广义可加模型 ; 最近邻方法交互作用 : 基于树的方法,bagging, 随机森林和 boosting 正规化 : 岭回归和 lasso 70

<4D F736F F F696E74202D20CAB5CFB0C1F920CAFDD6B5B1E4C1BFD7CAC1CFB5C4CDB3BCC6CDC6B6CF E707074>

<4D F736F F F696E74202D20CAB5CFB0C1F920CAFDD6B5B1E4C1BFD7CAC1CFB5C4CDB3BCC6CDC6B6CF E707074> 卫生统计学实习何平平北京大学公共卫生学院流行病与卫生统计学系 Tel: 82801619 实习六数值变量资料的统计推断 ( 三 ) 第 237~249 页一直线回归 (linear regression) ( 一 ) 定义 : 用直线方程表达 X( 自变量,independent variable) 和 Y ( 应变量,dependent variable) 之间的数量关系 Yˆ = a+