Multiple linear regression Choice of independent variable Application

Size: px

Start display at page:

Download "Multiple linear regression Choice of independent variable Application"

娥熙余
5 years ago
Views:

1 第十五章多元线性回归分析 (Multiple Linear Regression)

2 Multiple linear regression Choice of independent variable Application

3 第十五章多元线性回归分析 (Multiple Linear Regression) 意义 : 由于事物间的联系常常是多方面的, 一个应变量 (Y) 的变化可能受到其它多个自变量 (x i ) 的影响目的 : 作出以多个自变量 (x i ) 下估计应变量 (Y) 的多元线性回归方程资料 : 应变量 (Y) 为定量指标 ; 自变量 (x i ) 全部或大部分为定量指标, 若有少量定性或等级指标需作转换用途 : 解释和预报

4 案例中医体质与亚健康的多元线性回归分析多元线性回归在分析医院入院数上的应用基于 462 例华南籍大学生探讨影响手指同身寸长度的因素脑梗死前期 MR 脑灌注成像诊断的相关与回归方程的建立及其评价桡动脉脉搏图参数与心血管功能指标间的多元线性回归分析研究脂肪肝患者血清肝纤维化指标分析 SCL-90 因子与不稳定性心绞痛中医证型的多元逐步回归分析

5 例题 1: 有学者认为血清中低密度脂蛋白增高, 是引起动脉硬化的一个重要原因现测量了 30 名被怀疑患有动脉硬化的就诊患者的载脂蛋白 AⅠ 载脂蛋白 B 载脂蛋白 E 载脂蛋白 C 低密度脂蛋白的含量, 资料如下表所示, 请对此作分析表 1 30 名患者血清中低密度脂蛋白及载脂蛋白的测量结果 (mg/dl) 序号 i 载脂蛋白 AⅠ 载脂蛋白 B 载脂蛋白 E 载脂蛋白 C 低密度脂蛋白 X 1 X 2 X 3 X 4 Y

6 例题 2: 有学者认为糖尿病人的血糖变化可能受胰岛素糖化血红蛋白血清总胆固醇甘油三脂等多种生化指标的影响, 现测量了 27 名糖尿病人的相关指标, 资料如下表所示, 请对此作分析表 2 27 名糖尿病人的血糖及有关变量的测量结果

7 1. 人的体重与身高胸围有关 2. 人的心率与年龄体重肺活量有关 3. 人的血压值与年龄性别劳动强度饮食习惯吸烟状况家族史等有关 4. 射频治疗仪定向治疗脑肿瘤过程中, 脑皮质的毁损半径与辐射的温度照射的时间有关

8 第一节多元线性回归 (multiple linear regression) 多元线性回归 : 简称为多元回归, 分析一个应变量与多个自变量间的线性关系

9 表 15-1 多元回归分析数据格式例号 X 1 X 2 X m Y 1 X 11 X 12 X 1m Y 1 2 X 21 X 22 X 2m Y 2 n X n1 X n2 X nm Y n

10 一多元线性回归模型一般形式为 : Y X X X m m β 0 : 常数项, 又称为截距 β 1,β 2,,β m : 偏回归系数 (Partial regression coefficient) 简称回归系数, 表示在其它自变量保持不变时,X i (i=1,2,,m) 每增加或减少一个单位时, 应变量 Y 的平均变化量 ε: 去除 m 个自变量对 Y 的影响后的随机误差, 又称残差

11 多元线性回归模型的应用条件 1. 线性趋势 (linear): 自变量与因变量的关系是线性的, 即 Y 与 X i 间具有线性关系 2. 独立性 (independence): 应变量 Y 的取值相互独立,Cov(e i, e j )= 0 3. 正态性 (normality): 对任意一组自变量取值, 因变量 Y 服从正态分布,e i ~N(0,σ 2 ), 4. 方差齐性 (homogeneity): 对任意一组自变量取值, 因变量 y 的方差相同,Var(e i )=σ 2 后两个条件等价于 : 残差 ε 服从均数为 0 方差为 σ 2 的正态分布这些条件缩写为 LINE, 是线性回归方程的核心

12 y 140 Y 图 1 方差不齐 X 图 2 方差齐 X 方差齐性比较 ( 示意图 )

13 多元线性回归的分析步骤 1. 根据样本数据求得模型参数 β 0,β 1,β 2,,β m 的估计值 b 0,b 1,b 2,,b m, 得到应变量 Y 与自变量 x 1,x 2,,x m 数量关系的表达式 : ˆ m m Y b b X b X b X 此公式称为多元线性回归方程 2. 对回归方程及各自变量作假设检验, 并对方程的拟和效果及各自变量的作用大小作出评价

14 Yˆ b 0 b 1 X 1 b 2 X 2 b m X m 多元线性回归的分析步骤一般步骤建立回归方程 (2) 检验并评价回归方程及各自变量的作用大小

15 二多元线性回归方程的建立利用最小二乘法原理估计模型的参数 : ( 使残差平方和最小 ) Q 原 ˆ 2 ( Y Y ) [ Y ( b 0 b 1 X 1 b 2 X 2 b m X m 理最小二乘法 l11 b 1 l l 21 b 1 l l m 1b 1 l b b b m b 2 l l 1 m l 求偏导数 2 m mm l1 l l 0 Y ( b1 X 1 b 2 X 2 b m X m b b m m b m Y 2 Y my 15-3 ) 15-4 X i X j l ij ( X i X i )( X j X j ) X i X j, i, j= 1,2,,m n X j Y l jy ( X j X j )( Y Y ) X jy, j 1, 2, m n )] Ŷ X X X X

16 表名糖尿病人的血糖及有关变量的测量结果

17 各变量的离差矩阵

18 4 阶线性方程组

19 建立多元回归方程

20 方程的求解过程复杂, 可借助于 SPSS SAS 等统计软件来完成 SPSS:Analyze Regression Linear regression dependent:y independent:x1-x5 SAS 程序 :PROC REG DATA=mr15-1; MODEL Y=x1-x5; RUN;

21 SPSS 的结果 Model 1 (Constant) x1 x2 x3 x4 x5 Unstandardized Coefficients Dependent Variable: y a. 列出回归方程为 :? C o e f f i c i e nat s Standardized Coefficients B Std. Error Beta t Sig

22 三多元回归方程的假设检验及其评价 ( 一 ) 回归方程的假设检验及评价回归方程是否成立? 1. 方差分析法 : 将回归方程中所有自变量 x 1 x 2 x m 作为一个整体来检验他们与应变量 Y 之间是否有线性关系, 并对回归方程的预测或解释能力做出综合评价 2. 决定系数 3. 复相关系数 ( 二 ) 各自变量的假设检验与评价各偏回归系数是否等于 0? 1. 偏回归平方和 2.t 检验法标准化回归系数 22

23 ( 一 ) 多元线性回归方程的假设检验及评价 1. 方差分析法 : Y 6.6 SS 总 F SS SS 残回 SS 残 SS bl b l b l 回 bl 1 1Y 2 2 Y... m my j jy SS 回 / m MS (/ n m 1) MS 回残 S S 剩 6.0 S S 回 X

24 SS 总 l YY SS SS 回残

25 表 15-3 多元线性回归方差分析表表 15-4 例 15-1 的方差分析表查 F 界值表得 F 4. 31, F 4. 31, P 0. 01, 在 ( 4,22 ) 水平上拒绝 H 0, 接受 H 1 认为所建回归方程具有统计学意义

26 ( 一 ) 多元线性回归方程的假设检验及评价 Model 1 Regression Residual Total ANOVA b Sum of Squares df Mean Square F Sig a a. Predictors: (Constant), x4, x2, x3, x1 b. Dependent Variable: y P<0.001, 在 α=0.05 检验水准上, 拒绝 H 0, 接受 H 1, 具有统计学意义可认为所拟合的回归方程成立

27 ( 一 ) 多元线性回归方程的假设检验及评价 2. 决定系数 R 2 R 2 SS SS 回总 1 SS SS 残总 0 R 2 1, 说明自变量 x 1,x 2,,x m 能够解释 Y 变异的百分比, 其值愈接近于 1, 说明模型对数据的拟合程度愈好 2 SS回 R SS 总表明血糖含量变异的 60% 可由总胆固醇甘油三酯胰岛素和糖化血红蛋白的变化来解释

28 R 2 称为决定系数表明回归平方和在总平方和中所占的比重 R 2 越接近于 1, 说明引入方程的自变量与因变量的相关程度越高, x i 与 y 的回归效果越好 R 2 受自变量个数的影响, 由此又提出校正决定系数, 既反映模型的拟和优度, 又同时考虑了模型中的自变量个数 M o d e l S u m m a r y b Model 1 a. b. Adjusted Std. Error of R R Square R Square the Estimate.928 a Predictors: (Constant), x5, x3, x1, x2, x4 Dependent Variable: y

29 ( 一 ) 多元线性回归方程的假设检验及评价 3. 复相关系数 (multiple correlation coefficient) R 2 SS R SS 回总用来度量应变量 Y 与多个自变量间的线性相关程度, 即观察值 Y 与估计值 R Yˆ 之间的相关程度 R 值在 0 与 1 之间 2 R 当只有一个自变量时 R= r,r 为简单相关系数

30 一般回归系数标准回归系数及其标准误和显著性检验回归系数的 95% 可信区间方差及协方差距阵和相关距阵对残差的顺序相关的 Dubin-Watson 检验模型检验 : 复相关系数 R 决定系数 R 2 调整 R 2 及方差分析结果每剔除或引入一个自变量所引起的 R 2 的变化量 F 值 P 值每个变量的均数标准差样本量相关系数及单侧检验的距阵个体诊断 : 凡个体观察值超过均数加减 n 倍标准差视为离群点所有观察单位的残差标准化残差和预测值简单相关系数及偏相关系数共线性诊断

31 ( 二 ) 各自变量的假设检验与评价在医学研究中, 往往更加关心对各自变量的解释对每一个自变量的作用进行检验和衡量他们对 Y 的作用大小, 可用以下方法 1. 偏回归平方和 ( 方差分析法 ) 2.t 检验法 3. 标准化回归系数

32 ( 二 ) 各自变量的假设检验与评价 1. 偏回归平方和 ( 方差分析法 ) F SS ( X j )/ 回 SS残 / 2 1 n - m-1 SS 回 (Xj) 为第 j 个自变量的偏回归平方和 : 表示模型中含有其他 m-1 个自变量的条件下该自变量对 Y 的回归贡献, 相当于从回归方程中剔除 Xj 后所引起的回归平方和的减少量, 或在 m-1 个自变量的基础上新增加 Xj 引起的回归平方和的增加量 SS 回 (Xj) 其值愈大, 说明相应的自变量愈重要 H : 0 j 1 j 0; H : 0, j=1,2,,m;

33 各偏回归平方和 SS(X i ) 及残差的计算回归方程中包含的自变量 SS 回 SS 残 SS(X i ) X 1 X 2 X 3 X 4 X 5 SS 总回 SS 残 - X 1 X 2 X 3 X 4 X 5 X 2 X 3 X 4 X 5 SS -1 SS 残 -1 SS 总回 - SS -1 X 1 X 3 X 4 X 5 SS -2 SS 残 -2 SS 总回 - SS -2 X 1 X 2 X 4 X 5 SS -3 SS 残 -3 SS 总回 - SS -3 X 1 X 2 X 3 X 5 SS -4 SS 残 -4 SS 总回 - SS -4 X 1 X 2 X 3 X 4 SS -5 SS 残 -5 SS 总回 - SS -5 m-1 个自变量对 Y 的回归平方和由重新建立的新方程得到, 而不是简单的在原方程的基础上把 b j X j 剔除后计算的

34 表 2 27 名糖尿病人的血糖及有关变量的测量结果

35 实例计算回回归 F 3 F 4 有统计学意义, 可认为血糖与胰岛素 (x 3 ) 糖化血红蛋白 (x 4 ) 有线性回归关系糖化血红蛋白的回归贡献更大一些

36 ( 二 ) 各自变量的假设检验与评价 2.t 检验 t b S j j b n m j 1 b j 偏回归系数的估计值 S bj 是 b j 的标准误, 计算较复杂, 要用矩阵计算 t j 服从 v=n-m-1 的 t 分布, 若 t j t 0.05/2,n-m-1 则在 α 检验水准上拒绝 H 0, 接受 H 1, 认为 Y 与 X j 有线性回归关系

37 ( 二 ) 各自变量的假设检验与评价 2.t 检验 b , b , b , b s , s , s , s , b b b b 相应的 t值 t t t , t , t / 2,22 对于同一组资料, 不同自变量的 t 值间可以互相比较,t 的绝对值越大, 说明该自变量对 Y 的回归所起的作用越大

38 3. 标准化回归系数在回归模型中, 各自变量的测量单位不同, 若单从各偏回归系数的绝对值大小比较是不准确的应对各数据进行标准化后求得的回归方程即标准化回归方程, 其相应的回归系数即标准化回归系数数据标准化, 将原始数据减去相应变量的均数后再除以该变量的标准差 X j X j X S j

39 3. 标准化回归系数标准化回归系数和回归系数的关系 : l b b b l ' ii i i i i s YY Y s 在有统计学意义的前提下, 标准化回归系数绝对值的大小可直接进行比较, 以衡量自变量对应变量的作用大小

40 注意 : 一般回归系数有单位, 用来解释各自变量对应变量的影响, 表示在其它自变量保持不变时, 增加或减少一个单位时 Y 的平均变化量不能用各 b X j 来比较各 j 对 Yˆ 的影响大小标准化回归系数无单位, 用来比较各自变量对应变量的影响大小, bj 越大, X j 对 Yˆ 的影响越大 X j

41 SPSS 的结果 Coefficients a Unstandardized Coefficients Standardized Coefficients Model 1 (Constant) x1 x2 x3 x4 a. Dependent Variable: y B Std. Error Beta t Sig 结果显示, 对血糖影响大小的顺序依次为糖化血红蛋白 (x 4 ) 胰岛素 (x 3 ) 甘油三酯 (x 2 ) 和总胆固醇 (x 1 )

42 第二节自变量的选择方法目的 : 使得预报和 ( 或 ) 解释效果好变量全部选入的缺点 : 1. 变量多增加了模型的复杂度 2. 估计和预测的精度下降 3. 模型应用费用增加

43 第二节自变量的选择方法选择自变量的基本思路 : (1) 尽可能将回归效果显著的自变量选入回归方程中 (2) 将作用不显著的自变量排除在外

44 第二节自变量的选择方法一全局择优法 : 又称最优子集回归法, 求出所有可能的回归模型 ( 共有 2 m -1 个 ) 选取最优者当 m=2, 可以拟合 3 个回归方程 ; 当 m=3, 可以拟合 7 个回归方程 ; 当 m=4, 可以拟合 15 个回归方程 ; 当 m=5, 可以拟合 31 个回归方程 ; 当 m=6, 可以拟合 63 个回归方程 ;

45 第二节自变量的选择方法二逐步选择法 1. 前进法 (forward selection) 2. 后退法 (backward selection) 3. 逐步回归法 (stepwise regression)

46 一全局择优法根据一些准则 (criterion) 建立最优回归模型 1. 校正决定系数 2 选择法 ( 考虑了自变量的个数 ) R c 决定系数 R 2 可以用来评价回归方程的优劣, 但随着自变量个数的增加,R 2 将不断增加 2.Cp 准则 (C 即 criterion,p 为所选模型中变量的个数 ; Cp 接近 (p+1( p+1) ) 模型为最优 )

47 R 2 c (Adjusted determination coefficient) 1. 校正决定系数选择法 2 R c 1 (1 R MS =1- MS R 2 残总 2 ) ( n n 1 1 1) p SS / 22 c= / 26 残 SS /( n 1 p) /( n 1) n 为样本含量, 2 为包含各自变量的回归方程的决定系数的变化规律是 : 当相同时, 自变量个数越多越小所谓最优回归方程是指 2 R c 2 R c R 2 最大者 R R 2, 考虑了自变量个数的影响 2 R c 总 2 R c

48 2. Cp 准则的计算公式年 C. L. M a l l o w s 提出 ( S S 残 ) p C p [ n 2 ( p 1) ] ( M S ) m ( n p 1) ( M S 残 ) p [ n 2 ( p 1) ] ( M S ) C p 残残 m 接近 ( p 1) 的模型为最佳

49 应用以上准则如何选择模型? 求出所有可能的回归模型 ( 共有 2 m -1 个 ) 对应的准则值 ; 按上述准则选择最优模型

所有回归方程的 R 2 c 和 C P 统计量的值 R 2 c C P R 2 c C P x2,x3,x4 0.54563 3.15 x2,x3 0.40748 9.14 x1,x2,x3,x4 0.52823 5.00 x1,x3 0.37522 10.78 x1,x3,x4 0.48797 5.96 x4 0.34653 11.

50 所有回归方程的 R 2 c 和 C P 统计量的值 R 2 c C P R 2 c C P x2,x3,x x2,x x1,x2,x3,x x1,x x1,x3,x x x1,x2,x x x1,x x1, x x2,x x x3,x x x1,x2,x

51 全局择优法的优点及局限性优点 : 用于估计与预测的效果最好局限性 : 如果自变量个数为 4, 则所有的回归有 2 4-1=15 个 ; 当自变量数个数为 10 时, 所有可能的回归为 = 1023 个 ; 当自变量数个数为 50 时, 所有可能的回归为个不能保证回归方程内的各自变量都有统计学意义

52 二逐步选择法 1. 前进法 (forward selection): 回归方程中的自变量从无到有从少到多逐个引入回归方程此法已基本淘汰 2. 后退法 (backward elimination): 先将全部自变量选入方程, 然后逐步剔除无统计学意义的自变量 3. 逐步回归法 (stepwise regression): 是在前述两种方法的基础上, 进行双向筛选的一种方法该方法本质上是前进法它们的共同特点 : 每一步只引入或剔除一个自变量决定其取舍则基于对偏回归平方和的 F 检验 F j SS SS 残 l X 回 j ( n p /1 ; 1 1; 2 n p 1 1)

53 1. 前进法 (forward selection) 自变量从无到有从少到多 1. Y 对每一个自变量作直线回归, 对回归平方和最大的自变量作 F 检验, 有意义 (P 小 ) 则引入 2. 在此基础上, 计算其它自变量的偏回归平方和, 选取偏回归平方和最大者作 F 检验, 局限性 : 即后续变量的引入可能会使先进入方程的自变量变得不重要

54 2. 后退法 (backward elimination) 先将全部自变量放入方程, 然后逐步剔除 1. 偏回归平方和最小的变量, 作 F 检验及相应的 P 值, 决定它是否剔除 (P 大 ) 2. 建立新的回归方程重复上述过程局限性 : 自变量高度相关时, 可能得不出正确的结果

55 3. 逐步回归法 (stepwise regression) 双向筛选 ; 引入有意义的变量 ( 前进法 ), 剔除无意义变量 ( 后退法 ) 先剔除后选入原则

56 逐步回归法是进行双向筛选的一种方法自变量回归平方和最大的 X i 首先进入方程, 在 X i 进入方程的基础上计算其余 m-1 个自变量分别进入回归方程时的偏回归平方和, 其中最大者记为 SS j, 对 X j 进行基于偏回归平方和的 F 检验, 若有意义则进入方程, 并重新对 X i 进行检验若 X i 退化为无意义, 则剔除 X i, 同时再对 X j 进行检验若 X j 依然有意义则继续选择下一个偏回归平方和最大者并进行检验重复此过程, 直到既没有自变量需要引入方程, 也没有自变量从方程中剔除为止, 从而得到一个局部最优的回归方程

57 逐步回归法先剔除后选入原则 α 入 α 出引入变量的检验水准要小于或等于剔除变量的检验水准小样本检验水准 a 定为 0.10 或 0.15, 大样本把 a 定为 0.05 a 值越小表示选取自变量的标准越严

58 逐步回归法实例 ( 令 α 入 =0.10,α 出 =0.15)

59 逐步回归法实例 ( 第一步 ) 模型 SS 回 SS 残 SS 总 F 值 P 值 Y 与 X Y 与 X Y 与 X Y 与 X α 入 =0.10,α 出 =

60 逐步回归法实例 ( 第二步 ) 模型 SS 回 SS 偏回 SS 残 F 值 P 值 Y 与 X Y 与 X4 X Y 与 X4 X Y 与 X4 X α 入 =0.10,α 出 =

61 逐步回归法实例 (X 4 /X 1 剔除否 ) 变量模型 SS 回 SS 偏回 SS 残 F 值 P 值 Y 与 X4 X X4 Y 与 X X1 Y 与 X α 入 =0.10,α 出 =

62 逐步回归法实例 ( 第三步 ) 模型 SS 回 SS 偏回 SS 残 F 值 P 值 Y 与 X4 X Y 与 X4 X1 X Y 与 X4 X1 X α 入 =0.10,α 出 =

63 逐步回归法实例 (X4/X1/X3 剔除否 ) 变量模型 SS 回 SS 偏回 SS 残 F 值 P 值 Y 与 X4 X1 X X1 Y 与 X4 X X3 Y 与 X4 X X4 Y 与 X1 X α 入 =0.10,α 出 =

64 逐步回归法实例 ( 第四步 ) 模型 SS 回 SS 偏回 SS 残 F 值 P 值 Y 与 X4 X1 X Y 与 X4 X1 X3 X α 入 =0.10,α 出 =

65 逐步回归法实例 ( X4/X1/X3/X2 剔除否 ) 变量模型 SS 回 SS 偏回 SS 残 F 值 P 值 Y 与 X4X1 X3 X X2 Y 与 X4 X1 X X1 Y 与 X4 X3 X X3 Y 与 X4 X1 X X4 Y 与 X1 X3 X α 入 =0.10,α 出 =

66 逐步回归法实例 ( 第五步 ) 变量模型 SS 回 SS 偏回 SS 残 F 值 P 值 Y 与 X4 X3 X X4 Y 与 X3 X X3 Y 与 X4 X X2 Y 与 X4 X α 入 =0.10,α 出 =

67 表 15-8 例 15-3 的方差分析结果变异来源自由度 SS MS F P 总变异回归残差

68 例 15-3 的回归系数及其检验

69 第三节多元线性回归的应用及其注意事项一多元线性回归的应用 1. 影响因素分析 : 控制混杂因素年龄 (X 1 ) 饮食习惯 (X 2 ) 吸烟状况 (X 3 ) 工作紧张度 (X 4 ) 高血压 (Y) 家族史 (X 5 ) 等等

70 2. 估计与预测 : 预测 : 由自变量值推出因变量 Y 的值容许区间和总体均数的可信区间心脏表面积 (Y)=b 0 +b 1 心脏横径 (X 1 )+ b 2 心脏纵径 (X 2 )+ b 3 心脏宽径 (X 3 ) 新生儿体重 (Y)=b 0 +b 1 胎儿孕龄 (X 1 )+ b 2 胎儿头径 (X 2 )+ b 3 胎儿胸径 (X 3 )+ b 4 胎儿腹径 (X 4 )

71 3. 统计控制 : 利用回归方程进行逆估计, 确定 Y 后控制 X 采用射频治疗仪治疗脑肿瘤 : 脑皮质毁损半径 (Y) =b 0 +b 1 射频温度 (X 1 )+ b 2 照射时间 (X 2 )

72 珍惜幸福生活!

73 二多元线性回归应用的注意事项模型的应用条件

74 二多元线性回归应用的注意事项 1. 指标的数量化应变量 Y 为连续变量自变量 X 可为连续有序分类或无序分类变量 (1) 连续变量 :X (2) 有序分类变量 : 1 轻 X= 2 中 3 重 (3) 无序分类变量 : 化为 n-1 个哑变量

75 何为哑变量? 在用回归分析时, 如治疗方式和疾病的严重程度等多分类变量或有序变量是无法进行统计的为了能将这类变量进行分析, 必须进行数量化处理哑变量就是把定性资料 ( 如多分类变量和等级变量 ) 数量化后转化为定量资料的一种方法如果将分类指标直接量化, 这时数值是没有意义的, 难以确定各类间谁大谁小哑变量的引入, 扩大了回归分析的应用范围, 但是在建立回归方程时一定要把它们作为一个整体来考虑是否引入方程

76 多分类变量定量化一般采用哑变量 (dummy, 又称指示变量 ) 表示 ( 即 0-1 法 ): x 1 x 2 x 3 1, 0, 0 表示 I 组 0, 1, 0 表示 II 组 0, 0, 1 表示 III 组 0, 0, 0 表示 Ⅳ 组作为基准 yˆ x 0.73x 0.69x

77 均数与 ŷ 的关系 x 1 x 2 x 3 分组 X i 1, 0, 0 表示 I 组 , 1, 0 表示 II 组 , 0, 1 表示 III 组 , 0, 0 表示 Ⅳ 组 1.77 b b b ŷ b b b b 0 yˆ x 0.73 x 0.69 x Ŷ b bx b x b x e

78 数据结构

79 无序分类变量当自变量为分类变量时的赋值方法自变量为二分类变量时 X= 0 男 1 女自变量为多分类变量时 : 假定有 k 类, 则 k-1 个取值为 0 或 1 的哑变量 (dummy variables) 完整地标记出这些类别

80 无序多分类自变量的哑变量化疗法 X 1 X 2 西中西中三种疗法西西 1 中西中西 0 1 X1 X 2 0 其它 0 其它中 0 0 原资料哑变量化姓名性别年龄疗法序号性别年龄 X1 X 中西西中中中西西

数据格式回归方程建立回归方程 Yˆ b b X b X b X 0 1 1 2 2 3 3 b 1 : 相当 A 型相对于

81 数据格式回归方程建立回归方程 Yˆ b b X b X b X b 1 : 相当 A 型相对于 O 型的差别 b 2 : 相当 B 型相对于 O 型的差别 b 3 : 相当 AB 型相对于 O 型的差别

82 (3) 等级定量一般是将等级从弱到强转换为或 ) 如文化程度分为小学中学大学大学以上四个等级 Y 为经济收入 X 1 1 小学 2 中学 3 大学 4 大学以上 Yˆ b b X 解释 :b(b 1 ) 反映 X(X 1 ) 增加 1 个单位, 增加 b 个单位 ( 如 : 500 元 ) 表示中学文化较小学收入多 500, 大学较中学多 500, 余类推 1,2,3, X Yˆ X 0,1,2,

83 也可将 K 个等级转换为 K-1 个 (0,1) 变量 b 1,b 2,b 3 分别反映中学大学大学以上相对于小学文化程度者经济收入差别的大小

84 2. 样本含量 n 至少是 X 个数 m 的 5~10 倍 3. 关于逐步回归对逐步回归得到的结果不要盲目的信任, 结合专业知识所谓的最优回归方程并不一定是最好的, 没有选入方程的变量也未必没有统计学意义

85 4. 多重 ( 元 ) 共线性 (multicollinearity) 多重共线性即指一些自变量之间存在较强的线性相关关系如高血压与年龄吸烟年限饮白酒年限等多重共线性的危害 : 可能使通过最小二乘法建立回归方程失效 ; 可能使偏回归系数方差加大, 系数估计不稳 ; 难以有合乎专业知识的解释

86 多重共线性的识别若两个自变量之间的相关系数接近 1, 则可以认为自变量之间存在多重共线性若决定系数 R 2 很大 ( 一般大于 0.8), 但模型中全部或部分偏回归系数的检验无统计学意义, 则可以认为模型存在多重共线性用容忍度或方差膨胀因子 (Variance Inflation,VIF) 判别法,VIF>10 参数估计值的标准误变得很大, 从而 t 值变得很小即整个模型的方差分析结果为 P<α, 但各自变量的偏回归系数的统计学检验结果却 P>α t 检验不准确, 误将应保留在模型中的重要变量舍弃即使得专业上认为应该有统计学意义的自变量检验结果却无统计学意义自变量的偏回归系数取值大小甚至正负符号明显与客观实际不一致, 难以解释回归方程不稳定, 增加或删除一个自变量或减少某几个观察值, 自变量回归系数发生较大变化

87 多重共线性的识别容忍度 : 若某变量的容忍度 0.1 时, 说明该变量与其它变量存在严重的多重共线性 2 1 j Tolerance R 方差膨胀因子 (VIF): 为容忍度的倒数 VIF 10 时, 存在严重的多重共线性 Model 1 a. (Constant) x1 x2 x3 x4 x5 Unstandardized Coefficients Coefficients a Standardized Coefficients Collinearity Statistics B Std. Error Beta t Sig. Tolerance VIF Dependent Variable: y 87

88 多重共线性的识别条件指数 : 条件指数 >10, 则提示存在多重共线性方差比 : 如两个或多个变量的方差比均 >0.5, 说明这几个自变量之间存在多重共线性 h j C o l l i n e a r i t y D i a g n o as t i c s max j Model 1 Dimension a. Dependent Variable: y Condition Variance Proportions Eigenvalue Index (Constant) x1 x2 x3 x4 x

89 多重共线性的解决方法精减变量法 : 在自变量中剔除某个对应变量的影响不大且造成共线性的自变量, 重建回归方程 ; 采用逐步回归方法 ; 主成分回归法 : 定义新的自变量代替具有高度多重共线性的变量, 或将一组具有多重共线性的变量合并成一个变量等 ; 岭回归 ; 路径分析

90 5. 变量间的交互作用是否考虑交互作用主要靠专业知识为了检验两个自变量是否具有交互作用, 普遍的做法是在方程中加入它们的乘积项如对表 15-2 数据的分析, 已经选出甘油三酯 ( X 2 ) 胰岛素( X 3 ) 和糖化血红蛋白 ( X 4 ) 三个变量, 在方程中加入 X 3 X 4 项, 如果这一乘积项显著, 则说明胰岛素和糖化血红蛋白之间有交互作用为此需要定义一个新的变量 Z X X 3 4 Yˆ, 按方程 b b X b X b4 X 4 b Z Z 估计参数若经检验, 拒绝 0 外还有交互作用本例结果为 H : 0, 便可认为除 3 z X 和 4 Yˆ X X X Z X 的主效应经检验 Z 的作用显著 (P <0.01), 说明糖尿病患者体内胰岛素对血糖的影响依赖于糖化血红蛋白的含量

91 6. 残差分析检查资料是否符合模型条件

92 6. 残差分析 e 0 e 0 ŷ ŷ e e 0 0 ŷ ŷ 残差分析示意图

93 6. 残差分析 3 3 Standardized Residual Standardized Residual Y 估计值血糖 (mmol/l) (a) X2 甘油三酯 (mmol/l) (b)

94 6. 残差分析 3 3 Standardized Residual Standardized Residual X3 胰岛素 (μu/ml) (c) X4 糖化血红蛋白 (%) (d)

95 7. 异常点的识别和处理识别方法标准化残差 : 当处理方法 : ' e i e i MS 残 2, 可以肯定该条记录为异常点核对记录是否错误, 如不能予以修正, 则剔除该条记录考虑拟合其它形式的模型进行稳健估计, 如加权最小二乘法可考虑增加样本含量

96 完整的 SPSS 输出结果 Regression -1 (enter ) 全部进入 - 初步分析 Variables Entered/Removed b Model 1 a. b. Variables Variables Entered Removed Method X4, X2, X3, X1 a. Enter All requested variables entered. Dependent Variable: Y

97 完整的 SPSS 输结果 Regression -2 Model 1 Model Summary R Adjusted Std. Error of R Square R Square the Estimate.775 a a. Predictors: (Constant), X4, X2, X3, X1 对回归模型的评价 : 复相关系数决定系数校正决定系数

98 完整的 SPSS 输出结果 Regression -3 ** Model 1 Regression Residual Total ANOVA b Sum of Squares df Mean Square F Sig a a. Predictors: (Constant), X4, X2, X3, X1 b. Dependent Variable: Y 对整个回归方程是否有意义进行的方差分析

99 完整的 SPSS 输出结果 Regression 4* Model 1 a. (Constant) X1 X2 X3 X4 Dependent Variable: Y Unstandardized Coefficients Coefficients a Standardized Coefficients B Std. Error Beta t Sig 各自变量的偏回归系数标准误和标准化回归系数对每个变量是否有意义进行的 t 检验 2. 有意义变量对整个回归模型的贡献大小如何解释?

100 Regression -1(stepwise ) 逐步回归 Variables Entered/Removed a Model Variables Entered X4. X1. X3. X2.. X1 Variables Removed a. Dependent Variable: Y Method Stepwise (Criteria: Probability-of-F-to-enter <=.100, Probability-of-F-to-remove >=.150). Stepwise (Criteria: Probability-of-F-to-enter <=.100, Probability-of-F-to-remove >=.150). Stepwise (Criteria: Probability-of-F-to-enter <=.100, Probability-of-F-to-remove >=.150). Stepwise (Criteria: Probability-of-F-to-enter <=.100, Probability-of-F-to-remove >=.150). Stepwise (Criteria: Probability-of-F-to-enter <=.100, Probability-of-F-to-remove >=.150). 逐步回归过程中每一步引入和剔除的变量

101 Regression -2(stepwise ) 逐步回归 * Model a. b. c. d. e. R Predictors: (Constant), X4 Model Summary Adjusted Std. Error of R Square R Square the Estimate.610 a b c d e Predictors: (Constant), X4, X1 Predictors: (Constant), X4, X1, X3 Predictors: (Constant), X4, X1, X3, X2 Predictors: (Constant), X4, X3, X2 逐步回归过程中对每一步新建立的回归模型进行评价

102 Regression -3(stepwise 逐步回归 ) ANOVA f Model a. b. c. d. e. Regression Residual Total Regression Residual Total Regression Residual Total Regression Residual Total Regression Residual Total Predictors: (Constant), X4 Predictors: (Constant), X4, X1 Predictors: (Constant), X4, X1, X3 Predictors: (Constant), X4, X1, X3, X2 Predictors: (Constant), X4, X3, X2 Sum of Squares df Mean Square F Sig a b c d e f. Dependent Variable: Y 每一步回归过程中对新建立的整个回归方程进行方差分析的检验 ( 主要看最后一步 )

103 Regression -4(stepwise 逐步回归 )** Coefficients a Model (Constant) X4 (Constant) X4 X1 (Constant) X3 (Constant) X4 X1 X3 X2 (Constant) X4 X3 X2 Unstandardized Coefficients Standardized Coefficients B Std. Error Beta t Sig a. X4 ˆ X1 Y x x x Dependent Variable: Y 2 3 4

104 Regression -5(stepwise 逐步回归 ) Model a. b. c. d. X1 X2 X3 X2 X3 X2 X1 Excluded Variables e Collinearity Partial Statistics Beta In t Sig. Correlation Tolerance.369 a Predictors in the Model: (Constant), X4.341 a a b b c d Predictors in the Model: (Constant), X4, X1 Predictors in the Model: (Constant), X4, X1, X3 Predictors in the Model: (Constant), X4, X3, X2 e. Dependent Variable: Y

105 祝同学们学习快乐!

106 模型类型几类模型的比较因变量自变量线性回归模型 Linear model 一般线性回归模型 General linear model 广义线性模型 Generalized linear model 数值变量数值变量数值变量分类变量数值变量数值变量分类变量数值变量分类变量变量类型的要求逐渐放宽

107 总结普遍意义上的线性模型是联系一个定量反应变量 Y 和一组定量自变量的多元回归模型, 如果将自变量的变量类型放宽, 当自变量为分类变量时, 采用虚拟变量 ( 或哑变量 ) 形式, 建立反应变量 Y 和一组定性变量或既有定性又有定量的模型, 这两个模型都可以用一个一般的模型来表示, 这个模型称为一般线性模型 y x x x k k

108 总结 t 检验是方差分析的特例, 而所有方差分析我们可以用一个共同的模型来处理, 即一般线性模型因此, 使用一般线性模型的方法, 我们可以得到关于多元回归的推断以及 t 检验和方差分析的一条共同的线索 y x x x k k

109 总结 t 检验是方差分析的特例方差分析是一般线性模型的特例一般线性模型是多元线性回归的特例一般线性模型又是广义线性模型的特例

110 多重线性模型的缺陷不能分析间接作用 x 1 x 2 x 3 y e x 4 X5 间接作用

111 多元线性模型的拓展多变量回归分析 x 1 y 1 e 1 x 2 x 3 x 4 y 2 e 2 多变量回归模型示意图 Multi-variable regression model

112 多元线性模型的拓展通径分析 e 1 上游变量x 1 y 1 x 2 x 3 x 4 y 2 下游变量通径分析示意图 Path analysis e 2 下游变量y 3 e 2

113 多元线性模型的拓展结构化方程模型表型变量隐变量外生变量内生变量 SEM: Structural equation model

114 非线性模型人工神经网络

115 一元线性回归模型多重变线量性回回归归模模型型因子分析探索性因子分析证实性因子分析多岭回归各种模型之间的关系分析图结构化方程模型通径分析隐变量

116 结构方程模型的优点 1. 能够分析间接作用 ( 回归分析不能分析间接作用 ) 2. 允许所有的观察变量有度量误差回归分析和通径分析不允许独立变量 (independent variable) 有度量误差 3. 分析隐含在观察变量中的潜在变量 ( 回归分析和通径分析无此功能, 但因子分析可以 ) 4. 对数据的正态性要求可以放松 5. 可以构造复杂的结构模型

117 附 : 常见的参数估计方法 1. 极大似然法 (ML:maximum likelihood) 2. 一般最小二乘法 (OLS:ordinary least square), 又称为非加权最小二乘法 (ULS :un-weighted least square) 3. 广义最小二乘法 (GLS:generalized least squares) 4. 渐近分布自由估计法 ( ADF: asymptotically distributionfree), 类似于加权最小二乘法 WLS 5. 加权最小二乘法 (WLS:weighted least squares) 6. 尺度自由的最小二乘法 (SLS,scale-free least squares)

118

119 方差不齐异方差判断是否有异方差 : 在做回归时保留残差, 然后用残差与回归分析中的自变量做散点图, 判断引起异方差的解释变量由于做散点图大多时候是靠视觉判断, 所以最好先求一下残差的绝对值, 然后与通过散点图判断有异方差存在的解释变量做相关分析, 如果相关性通过显著性检验, 则说明确实存在异方差问题寻找最优权函数 : 找出该解释变量以后, 把该变量点入 weight estimation 中, 寻找最优权函数, 并保存最优权函数第二次线性回归 : 进入线性回归对话框, 把刚才保存的最优权变量点入 WLS 中, 点击 save 选项, 保存残差变量以自变量为横轴, 以保存的残差为纵轴再画散点图方差不齐, 可以采用加权最小二乘来解决

120 方差不齐异方差加权最小二乘只是在一定程度上纠正异方差对回归的影响, 但并不消除异方差如果需要消除异方差, 应该对因变量进行变换, 这是解决异方差的治本办法可以把最开始的回归分析中的散点图与后来的散点图进行比较由于普通最小二乘照顾的是大方差, 从而那些残差小的项存在明显的正偏或者负偏, 如果在加权最小二乘估计的残差图中, 小残差项已经不存在明显的正偏和负偏, 则说明异方差问题得到了改善加权最小二乘就是牺牲残差大的项, 让对残差小的项拟合得更好, 这并不是在所有情况下都是我们希望的分析方法如果我们觉得方差大的项本来就应该赋予更大的权重, 则就应该采用普通最小二乘方法加权最小二乘并不能解决异方差, 而只能解决异方差对回归带来的不良影响, 所以一味盯着看最后变换的结果是否消灭了异方差现象, 是不太合适的, 因为我们的目的只是让回归方差更好更稳健, 消除异方差只是手段, 而不是目的相对于回归中经常存在的其他两类问题, 异方差造成的危害较小 ( 可以明显地看出不如共线性造成的问题严重 )

<4D F736F F F696E74202D20CAB5CFB0C1F920CAFDD6B5B1E4C1BFD7CAC1CFB5C4CDB3BCC6CDC6B6CF E707074>

<4D F736F F F696E74202D20CAB5CFB0C1F920CAFDD6B5B1E4C1BFD7CAC1CFB5C4CDB3BCC6CDC6B6CF E707074> 卫生统计学实习何平平北京大学公共卫生学院流行病与卫生统计学系 Tel: 82801619 实习六数值变量资料的统计推断 ( 三 ) 第 237~249 页一直线回归 (linear regression) ( 一 ) 定义 : 用直线方程表达 X( 自变量,independent variable) 和 Y ( 应变量,dependent variable) 之间的数量关系 Yˆ = a+