北京中创幻想科技有限公司

Size: px

Start display at page:

Download "北京中创幻想科技有限公司"

化忙孟
5 years ago
Views:

1 教育部 -IBM 产学合作专业综合改革项目精品课程数据挖掘原理及实践主讲教师 : 吴云峰, 吴梅红, 刘恺之助教 : 罗鑫厦门大学信息科学与技术学院 Emal: cloudswu@gmal.com

2 第 5 章数据的相关和回归分析 1 相关分析简单线性回归分析 3 多元线性回归分析 4 Logstc 回归分析

3 5.1 相关分析现实中, 事物之间的联系是错综复杂的, 任何事物的变化都与其他事物是相互联系和相互影响的, 事物之间的关系可以分为两类 : 函数关系指的是变量之间一一对应的确定关系相关关系指的是两个变量之间存在的一种不确定的数量关系, 一个变量的取值不能由另外一个变量唯一确定简单相关分析简单相关分析研究的是两个变量之间的相关关系偏相关分析偏相关分析研究一个变量与其他两个变量之间的相关关系 3

4 5.1 相关分析 : 简单相关分析简单相关分析分析两两变量之间的相关分析简单相关分析主要包含三种典型的相关分析方法 : Pearson 相关 : 适用于数值变量 Spearman 相关 : 适用于顺序变量 Kendall s tau-b 相关 : 适用于顺序变量不同类型的变量数据, 采用不同的相关分析方法 4

5 5.1 相关分析 : 简单相关分析 Pearson 相关系数 : Pearson 相关系数适用于测度两个数值变量的相关性数值变换包括定距和定比变量两类, 其特点是变量的取值用数字表示, 可以用加减运算从而计算出差异的大小设两随机变量为 X 和 Y, 则两总体的相关系数为 : ρ = cov( XY, ) var( X) var( Y) 式中, cov(x, Y) 是两变量的协方差 ; var(x), var(y) 是变量 X 和 Y 的方差总体相关系数是反映两变量之间线性关系的一种度量独立是不相关的充分不必要条件, 即独立可以推出不相关, 反之不行两个随机变量相互独立, 等价于 f(x, Y)=g(X)h(Y), 即联合密度函数等于两个边缘密度的乘积 5

6 5.1 相关分析 : 简单相关分析事实上, 总体相关系数一般都是未知的, 需要用样本相关系数来估计设 X = ( x1, x,, xn ), Y = ( y y y ) 分别来自于 X 和 Y 的两个样本, 则样本的相关系数为 : r =,,, n 1 n = 1 ( x x)( y y) n n ( x x) ( y y) = 1 = 1 统计上可以证明, 样本相关系数是总体相关系数的一致估计量 r 取值在 -1 与 1 之间, 它描述了两变量线性相关的方向和程度 r > 0: 两变量之间为正相关 ( 一个变量增加, 另一个变量呈增加趋势 ) r < 0: 两变量之间为负相关 ( 一个变量增加, 另一个变量呈减少趋势 ) r = 1 或者 r = -1: 两变量之间完全相关 r = 0: 两变量之间不存在线性相关关系 6

7 5.1 相关分析 : 简单相关分析在实际问题中, 相关系数一般都是用样本数据计算得到, 因而带有一定的随机性, 当样本容量比较少时, 随机性大因此需要对其进行统计推断, 通过检验的方法确定变量之间是否存在相关性 ρ = 0 在 X, Y 都服从正态分布, 及原假设为真时, 统计量 : t = r n 1 r 服从自由度为 n- 的 T 分布当时, 拒绝原假设, 表明样本相关系数 r 是显著若 t t a 总体不存在显著的相关关系 t > t a 不能拒绝原假设, 表明 r 在统计上不显著, 两 7

8 5.1 相关分析 : 简单相关分析 Spearman 等级相关系数 : Spearman 等级相关系数适应与测度两顺序变量的相关性顺序变量的取值能够表示某种顺序关系如顾客对某服务的满意程度分为 : 1) 非常不满意 ; ) 不满意 ; 3) 一般满意 ; 4) 满意 ; 5) 非常满意 Spearman 等级相关也用于数值变量, 但其效果不如 Pearson 相关系数效果好 Spearman 相关系数计算公式为 : r s n 6 D = 1 = 1 nn ( 1) n n 式中, D = ( U V), U, V 分别为两变量按大小或优劣排序后的秩 = 1 = 1 8

9 5.1 相关分析 : 简单相关分析 Spearman 等级相关系数也是通过样本计算得到的, 两个总体是否存在显著的等级相关也需要进行检验当 n>0 时, 可采用 t 检验统计量 : 在原假设即总体等级相关系数 ρ s = 0 为真时, t 服从自由度为 n- 的 T 分布当 t > t a rs n t = 1 r 时, 拒绝原假设, 表明两总体存在显著的等级相关当 n>30 时, 检验统计量也可用近似服从正态分布的统计量 : 然后依据正态分布给出相应的伴随概率值 s Z = rs n 1 9

10 5.1 相关分析 : 简单相关分析 Kendall s tau-b 相关系数 : 它也是测度两顺序变量的相关性它利用变量值的秩数据, 计算同序对数目 U 和异序对数目 V 所谓同序对, 指的是变量大小顺序相同的两样本观察值, 即 X 的等级高低顺序与 Y 的等级高低顺序相同否则, 称为异序对 Kendall s tau-b 相关系数的计算公式为 : T 4V = 1 nn ( 1) 当 n>30 时, 检验统计量也可用近似服从正态分布的统计量 : Z 3 T nn ( 1) = (n + 5) 然后计算 z 统计量, 根据正态分布给出相应的伴随概率值 10

11 5.1 相关分析 : 偏相关分析偏相关 (Partal correlaton) 分析 : 偏相关分析就是在控制对两变量之间的相关性可能产生影响的其他变量的前提下, 即剔除其他变量的干扰后, 研究两个变量之间的相关性偏相关分析可以有效揭示变量之间的真实关系, 认识干扰变量并寻找隐含相关性偏相关分析假定变量之间的关系均为线性关系, 因此, 在进行偏相关分析前, 可以先通过计算 Pearson 相关系数来考察两两变量之间的线性关系偏相关分析中, 根据固定变量个数的多少, 分为零阶偏相关, 一阶偏相关, 到 p-1 阶偏相关, 零阶偏相关就是简单相关 11

12 5.1 相关分析 : 偏相关分析 x, x, x 假设有 3 个变量 1 3, 则剔除变量 x 3 的影响后, x 1 与 x 之间的偏相关系数为 : r 1,3 = r rr (1 r )(1 r ) 13 3 r j 式中表示变量 x 与变量 x j 之间的简单相关系数偏相关系数是由简单相关系数决定的, 但是在偏相关系数中, 其他变量当常数处理设增加一个变量 x 4, 则 x 1 与 x 之间的二阶偏相关系数为 : r 1,34 = r r r 1,3 14,3 4,3 (1 r )(1 r ) 14,3 4,3 一般的, 假设 p 个变量, 则 x 1 与 x 之间的 p- 阶偏相关系数为 : r 1,34 p = r r r 1,34 ( p 1) 1 p,34 ( p 1) p,34 ( p 1) [1 r ][1 r ] 1 p,34 ( p 1) p,34 ( p 1) 1

5. 简单线性回归分析 : 回归分析简介具有相关关系的变量间有时存在因果关系, 这时可以通过回归分析研究其间的具体依存关系回归分析 (regresson analyss) 是研究一个变量关于另一个 ( 些 ) 变量的具体依赖关系的计算方法和理论前一个变量 ( 结果变量 ) 称为被解释变量 (Explaned Varable) 或因变量 (Dependent

13 5. 简单线性回归分析 : 回归分析简介具有相关关系的变量间有时存在因果关系, 这时可以通过回归分析研究其间的具体依存关系回归分析 (regresson analyss) 是研究一个变量关于另一个 ( 些 ) 变量的具体依赖关系的计算方法和理论前一个变量 ( 结果变量 ) 称为被解释变量 (Explaned Varable) 或因变量 (Dependent Varable), 记为 Y 后一个 ( 些 ) 变量 ( 原因变量 ) 称为解释变量 (Explanatory Varable) 或自变量 (Independent Varable), 记为 X 具体依赖关系体现为 Y 和 X 的一个关系式 : Y=f (X) 其目的在于 : 通过解释变量 X 的已知或设定值, 去估计和 ( 或 ) 预测被解释变量 Y 的 ( 总体 ) 均值 13

14 5. 简单线性回归分析 : 回归分析简介回归分析是经典计量经济学的主要分析方法主要内容包括 : 根据样本观察值对计量模型参数进行估计, 求得回归方程对回归方程参数估计值进行显著性检验利用回归方程进行分析评价及预测虽然回归分析通常用于研究具有因果关系的变量之间的具体依赖关系, 但是回归关系式本身并不一定意味着因果关系, 不是确定因果的逻辑基础或理论 14

15 5. 简单线性回归分析 : 回归分析简介总体回归线 (populaton regresson lne) 在几何意义上, 给定解释变量 X 条件下, 被解释变量 Y 的条件均值或期望的轨迹称为总体回归线 (populaton regresson lne), 或更一般地称为总体回归曲线 (populaton regresson curve) 在代数意义上, 与总体回归线相应的函数 : EY ( X) = f( X) 称为 ( 双变量 ) 总体回归函数 (populaton regresson functon, PRF) 或总体回归方程总体回归函数 (PRF) 表明了被解释变量 Y 的平均状态 ( 总体条件期望 ) 随解释变量 X 变化的规律 15

16 5. 简单线性回归分析 : 回归分析简介随机干扰项记 : µ = Y EY ( X) µ 称为观察值 Y 围绕它的期望值 E(Y X ) 的离差 (devaton), 是一个不可观测的随机变量, 又称为随机干扰项 (stochastc dsturbance) 或随机误差项 (stochastc error) 借助于随机干扰项, 回归模型可表达为 : Y= EY ( X) + µ = β + β X + µ 0 1 称为总体回归函数的随机设定形式, 也称为总体回归模型 (PRM) 总体回归模型表明 : 从总体中的个体层次看, 被解释变量 Y 除了受解释变量的系统性影响 E(Y X) 外, 还受其它因素的随机性影响 16

17 5. 简单线性回归分析 : 回归分析简介样本回归函数 (sample regresson functon, SRF) 现实中, 总体的信息往往无法掌握, 因此 PRF 实际上未知现实的情况只能是在一次观测中得到总体的一个样本, 通过样本的信息来估计总体回归函数样本回归函数 (SRF) 是总体回归函数 (PRF) 的近似替代 ( 估计 ) 基于样本回归函数所得到的 Ŷ 与实际观测的 Y 之间同样存在着误差 : e = Y Yˆ e 称为残差项或剩余项 (resdual), 代表了其它影响 Y 的随机因素的集合同样地, 引入 e 后, 样本回归函数也有如下的随机形式 : Y = Yˆ + ˆ µ = ˆ β + ˆ β X + e 0 1 称为样本回归模型 (sample regresson model), 描述了样本中, 从个体层次看, 解释变量 X 与被解释变量 Y 之间的联系 17

18 5. 简单线性回归分析 : 回归分析简介回归分析的目的 : 获得一个优良的样本回归函数 SRF, 作为总体回归函数 PRF 的估计, 描述 X 和 Y 之间的变化规律这就要求 : 寻求好的方法, 构造尽可能好的 SRF, 换言之, 构造 PRF 中未知参数的优良估计量 18

19 5. 简单线性回归分析一元线性回归模型的基本形式 : Y = β0 + β 1 X + µ, = 1,,, N 其中 Y 为被解释变量, X 为解释变量, 代表样本点 β0 与 β1 为回归系数, 是未知常数, 待估计 µ 为随机干扰项 19

20 5. 简单线性回归分析 : 基本假设回归分析的主要目的是要通过样本回归函数 ( 模型 ) SRF 尽可能准确地估计总体回归函数 ( 模型 ) PRF 寻求恰当的方法, 使得 ˆ β 是 β 的优良估计量参数估计估计的方法有多种, 其中最常用的是普通最小二乘法 (ordnary least squares, OLS) 为保证参数估计量具有良好的性质, 通常对模型提出若干基本假设 0

21 5. 简单线性回归分析 : 基本假设基本假设内容 : 假设 1: 解释变量 X 是确定性变量, 不是随机变量假设 : 随机误差项 μ 具有零均值同方差和不同序列不相关的特性 : E( µ ) = 0 = 1,,, N var( µ ) = σµ = 1,,, cov( µ, µ ) = 0 = 1,,, N j N 假设 3: 随机误差项 μ 与解释变量 X 之间不相关 : cov( X, µ ) = 0 = 1,,, N 假设 4: μ 服从零均值同方差零协方差的正态分布 : j µ σ = ~ N(0, µ ) 1,,, N 1

22 5. 简单线性回归分析 : 基本假设假设 5: 随着样本容量的无限增加, 解释变量 X 的样本方差趋于一有限常数, 即 : ( X X) n Q, n 假设 5 旨在排除时间序列数据出现持续上升或下降的变量作为解释变量, 因为这类数据不仅使大样本统计推断变得无效, 而且往往产生所谓的伪回归问题 (spurous regresson problem) 假设 6: 回归模型是正确设定的也被称为模型没有设定偏误 (specfcaton error)

5. 简单线性回归分析 : 最小二乘原理给定一组样本观测值 ( X, Y), = 1,,, n 要求样本回归函数尽可能好地拟合这组值样本回归线上的点 Yˆ 与真实观测值 Y 的总体误差尽可能小, 即被解释变量的估计值与真实观测值总体上最为接近普通最小二乘法 (Ordnary least squares, OLS) 给出的判断标准是 :

23 5. 简单线性回归分析 : 最小二乘原理给定一组样本观测值 ( X, Y), = 1,,, n 要求样本回归函数尽可能好地拟合这组值样本回归线上的点 Yˆ 与真实观测值 Y 的总体误差尽可能小, 即被解释变量的估计值与真实观测值总体上最为接近普通最小二乘法 (Ordnary least squares, OLS) 给出的判断标准是 : 二者之差的平方和最小 : n n ( ˆ ˆ ˆ ) ( ( β0 β1 )) = 1 = 1 Q= Y Y = Y + X 即在给定样本观测值之下, 选择出 0 ˆβ 与 β0 能使 Y 与 Yˆ 差的平方和最小根据微分计算, 推得以下方程组 : ˆ ˆ ( β0 + β1xt Yt) = 0 ( ˆ ˆ β0 + β1xt Yt) Xt = 0 3

24 5. 简单线性回归分析 : 最小二乘原理解之得 : ˆ ( X X)( Y Y) β1 = ( X X) ˆ β ˆ 0 = Y β1x 其中 1 X = n 1 Y = n n = 1 n = 1 X Y 称为 OLS 估计量的离差形式 (devaton form) 4

25 5. 简单线性回归分析 : 参数估计量的概率分布参数估计量的概率分布普通最小二乘估计量 ˆβ 与 ˆβ 1 分别是 Y 的线性组合因此 0 ˆβ 与 ˆβ 1 的概率分布取决于 Y 的概率分布在 μ 是正态分布的假设下, Y 是正态分布, 则 ˆβ 与 ˆβ 也服从正态分布, 1 因此 : 0 0 ˆ σ β ~ N ( β, ) σ 1 1 ˆ β1 x x ˆ X σ β ~ ( β, ) σ 0 N 0 ˆ = β0 n x n x = σ σ X 5

26 5. 简单线性回归分析 : 随机干扰项方差的估计在估计的参数 ˆβ 与 ˆβ 1 的方差表达式中, 都含有随机扰动项 μ 的方差 σ, 又称为总体方差 0 由于实际上是未知的, 因此 ˆβ 与 ˆβ 1 的方差实际上无法计算, 这便需 σ 0 要对其进行估计由于随机项不可观测, 只能从 μ 的估计残差 e 出发, 对总体方差进行估计可以证明, σ 的最小二乘估计量为 : e ˆ σ = n 它是关于 σ 的无偏估计量, 即 : E( σ ) = σ 6

27 5. 简单线性回归分析 : 回归估计的标准误差回归估计的标准误差 (Standard Error of Regresson) 随机误差项方差的估计量的平方根, 称为估计标准误差或者回归标准误差, 记为 S.E: S.E = ˆ σ = e n S.E 反映了被解释变量的实际值与估计值的平均误差程度, S.E 越大, 则回归直线的精度越低实际计算中, 误差方差的估计可以采用如下公式计算 : ˆ σ = = ˆ ( Y Y) β1 ( X X)( Y Y) n Y ˆ β Y ˆ β XY 0 1 n 7

28 5. 简单线性回归分析 : 模型检验模型检验的必要性回归分析是通过样本所估计的参数来代替总体的真实参数, 或者说是用样本回归线代替总体回归线不可避免地, 这种估计存在着误差因此, 尽管从统计性质上看, 参数估计量具有良好的性质, 即 : 如果有足够多的重复抽样, 参数的估计值的期望 ( 均值 ) 就等于其总体的参数真值但是在一次抽样中, 估计值不一定就等于该真值那么在一次抽样中, 参数的估计值与真值的差异有多大, 是否显著, 这就需要进一步进行统计检验主要包括拟合优度检验变量的显著性检验方程的显著性检验参数的区间估计 8

29 5. 简单线性回归分析 : 拟合优度检验拟合优度 : SRF 对样本观测值的拟合程度, 即样本回归直线与观测散点之间的紧密程度测度指标 : 判定系数 ( 可决系数 )R 这是一个基于总离差分解基础之上的指标对于一个实际观测值 Y, 定义总离差 : y = Y Y 可以理解为: 采用均值估计实际值时的总误差引入回归直线后, 总离差可以分解为 : y = Y Y = ( Y Yˆ ) + ( Yˆ Y) = e + yˆ 9

30 5. 简单线性回归分析 : 拟合优度检验对于所有样本点, 定义如下离差平方和 (Sum Square): TSS = y = Y ( Y ) 总离差平方和 ( 样本观测值总离差大小 ) ESS = ˆ ˆ y = ( Y Y ) 回归离差平方和 (SRF 所能解释的离差大小 ) RSS = e = Y Yˆ ( ) 残差平方和 (SRF 无法解释的离差大小 ) 可以证明 : TSS = ESS + RSS 30

31 5. 简单线性回归分析 : 拟合优度检验可决系数 R (coeffcent of determnaton) 记 : R ESS RSS = = 1 TSS TSS 可决系数的取值范围为 : [0, 1] 可决系数越大, 拟合程度越好可决系数是一个样本统计量它也是随着抽样的不同而不同为此, 对可决系数的统计可靠性也应进行检验对模型好坏的判断不能仅仅依据这一指标实际中计算可决系数时, 在 1 ˆβ 已经估计出后 : R x ( X X) ˆ ˆ = β1 = β 1 y ( Y Y) 31

32 5. 简单线性回归分析 : 方程的显著性检验方程的显著性检验的含义拟合优度检验对于模型总体线性关系的成立给出了一个模糊的推测, 但还需要统计上严格的结论方程的显著性检验, 旨在对模型中被解释变量与全部解释变量之间的线性关系在总体上是否显著成立作出推断所用的方法是数理统计中的假设检验即模型中参数是否至少有一个显著不为 0 建立原假设和备择假设计算检验统计量的值比较临界值比较 P 值拒绝或者接受原假设 3

33 5. 简单线性回归分析 : 方程的显著性检验对于一元线性回归模型 : Y = β + β X + µ 0 1 方程显著性检验的原假设和备择假设为 : : β = : β 可以证明, 在原假设成立的条件下, 统计量 : H H F ESS / k = RSS / ( n k 1) 服从自由度为 (k, n-k-1) 的 F 分布特别的, 对于一元线性回归模型, 方程显著性检验的 F 检验统计量为 : ESS /1 F = F(1, n ) RSS / ( n ) 33

34 5. 简单线性回归分析 : 方程的显著性检验方程显著性检验步骤 : 提出原假设和备择假设 : H H : β = : β 在 H0 成立的条件下, 计算检验统计量的值 : ESS /1 F = RSS / ( n ) 给定显著性水平, 检验临界值 : F (1, n ) α 如果 F > F (1, n ), 拒绝原假设, 即总体线性关系成立 α 如果 F < F (1, n ), 接受原假设, 即总体线性关系不成立 α 34

35 5. 简单线性回归分析 : 变量的显著性检验方程的显著性检验是对 Y 和全部 X 之间的线性关系在总体上是否显著成立作出的判断 Y 与全部 X 之间存在显著线性关系, 并不代表 Y 与每一个 X 之间均存在显著的线性关系变量显著性检验所应用的方法同样是假设检验变量的显著性检验主要是检验变量所对应的回归系数的真实值是否为零来进行的一元线性回归模型中, 对变量 X 的显著性检验主要是检验回归系数 β 1 的真实值是否为零 H H : β = : β

36 5. 简单线性回归分析 : 变量的显著性检验 ˆ σ β1 ~ N( β1, ) 正态变换成 : x Z = ˆ β1 β1 ~ N(0,1) σ x 由于真实的 σ 未知, 用它的无偏估计量 ˆ σ = e / ( n ) 代替, 构造如下统计量 : t ˆ β β ˆ β β 然后, 给定显著性水平 α, 查 t 分布表, 得到临界值 : 若 t > ta ( n ), 拒绝原假设, 即 X 对 Y 具有显著影响若 t < ta ( n ), 接受原假设, 即 X 对 Y 不具有显著影响 1 ~ tn ( ) = = ˆ σ x S ˆ β t a ( n ) 36

37 5.3 多元线性回归分析 : 多元线性回归分析多元线性回归分析 (multple regresson model) 在现实中, 一种社会现象总是同时受到多个因素的影响所以一元回归分析无法确定某一自变量对结果变量的净效益或者偏效益多元线性回归模型适用于分析一个因变量和多个自变量之间的关系假设一个回归模型有 p-1 个自变量, 即 x x 1,,, xp 1 则该回归模型可以表示为 : y = β + β x + β x + + β x + ε ( p 1) ( p 1) 其中, y 表示个体, = 1,,, n 在因变量 y 中的取值, β0为截距的总体参数, 且 β β 1,,, βp 1 为斜率的总体参数 37

38 5.3 多元线性回归分析定义以下矩阵 : y β y1 1 x11 x1( p 1) y 1 x1 x ( p 1) = X = y 1 x x n 1 n p n n1 n( p 1) β0 ε1 β ε β p 1 ε n 1 p 1 = εn 1 = 则一般线性回归模型可以简单表达为 : 简记为 : y = Xβ + ε y = X β + ε n 1 n p p 1 n 1 y β X 其中, 表示因变量的向量表示总体参数的向量表示由所有自变量和一列 ε 常数 1 所组成的矩阵表示随机误差变量的向量 38

39 5.3 多元线性回归分析 : 基本假设基本假设内容 : 假设 1: 模型设定假设 ( 线性假设 ) 该假设要求 Y 的条件均值是所有自变量 X 的线性函数 : E ( y X) = Xβ 即 y 在 X 下的条件期望可以表示为 X 的线性组合假设 : 正交假设假设误差项矩阵 ɛ 与 X 中的每一个 X 向量不相关, 即 : 等价于 : cov( X, ε) = 0 E() ε = 0 E( X ε) = 0 该假设保证了回归模型参数的 OLS 估计是无偏的 39

40 5.3 多元线性回归分析 : 基本假设假设 3: 独立同分布假设 (..d. 假设 ) 该假设针对总体回归模型的误差项, 要求它们满足彼此之间相互独立, 并服从统一分布的条件独立分布 : 每一个误差项为独立分布, 即 ε cov( ε, ε j) = 0, j 同方差性 : var( ε X) = σ I, 其中 I 为 n 阶单位矩阵高斯 - 马尔可夫定理 (Gauss-Markov Theorem) 该定理表明, 若满足假设和假设 3, 则采用最小二乘法得出的回归参数估计将是所有估计中的最佳线性无偏估计 (best lnear unbased estmator) 假设 4: 正态分布假设假定 ε ~ N(0, σ ), 使得 OLS 估计可以被理解为最大似然估计最佳无偏估计 40

41 5.3 多元线性回归分析 : 多元参数估计 y = Xβ + ε 对于回归模型, 其残差平方和表示为 : 对 β 的一阶导数并令其等于零 : SSR = ε ε = ( y Xβ)( y Xβ) = yy yxβ + β XXβ ( SSR) = Xy + XXβ = 0 ( β) -1 得到回归参数的 OLS 估计量为 : b = (XX) Xy b 为 yn 1 = Xn pβ p 1+ εn 1 中总体参数 β 的无偏估计, 即 ( b) = β, 得 : E b = XX XX β = β 1 ( ) ( ) E( ) 这意味着, 从样本估计中得到的最小二乘估计 b 是总体回归模型中 β 的无偏估计 41

42 5.3 多元线性回归分析 : 多元回归模型误差方差估计残差项 (resdual) 与误差项 (error) 的区别在于 : 误差项或者干扰项 ( ɛ ) 是针对总体真实的回归模型而言, 它是由一些不可预测的因素或者测量误差引起的残差项 ( e ) 是针对具体模型而言, 它被定义为样本回归模型中观测值与预测值之差将基于样本数据拟合得到的回归方程改为 : yˆ = Xb = X( XX) 1 其中, Η = X( XX ) 1 X 为幂等矩阵 (dempotent matrx), 始终满足 : hh = h Xy 那么, 样本估计模型的残差为 : 其中 I H为幂等矩阵 e= y yˆ = y Hy = ( I Hy ) 4

43 5.3 多元线性回归分析 : 多元回归模型误差方差估计样本中计算残差的公式为 : S 1 n e = e n = 1 n 1 = ( y ˆ y) n = 1 = 1 n 1 = [ y ( b0 + bx bx + + bp 1 x( p 1) )] n 模型拟合时, 估计了 p 个参数 ( 即 p-1 个斜率系数和 1 个截距系数 ), 这导致用于估计总体误差项的自由度仅有 n - p 个则样本对总体误差项方差的无偏估计为 : n 1 1 MSE = e = ee n p n p 这被称作残差平方 (mean square error), 是无偏的 = 1 43

44 5.3 多元线性回归分析 : 多元回归参数估计量方差估计为衡量估计量的好坏, 需要知道方差的大小所谓回归参数估计量的方差实际上就是抽样方差虽然无法从某个样本数据中直接计算得到抽样方差, 但可以根据样本信息对其进行估计 -1 回归参数的最小二乘估计量为 :, 其方差为 : 其中, ( XX ) 1 XXβ 为常数, 则 : 根据假设 3, var( ε) = σ In n 即 : b = (XX) Xy b = XX Xy 1 var( ) var[( ) ] = XX X Xβ + ε 1 var[( ) ( )] = XX XXβ + XX Xε 1 1 var[( ) ( ) ] b = XX Xε 1 var( ) var[( ) ] = ( XX ) X [var( ε)] X( XX ) 1 1 var( b) = ( XX ) X [ σ I ] X( XX ) = σ ( XX ) n n 44

45 5.3 多元线性回归分析 : 多元回归参数估计量方差估计综上所述, var(b) 是个矩阵, 含有如下元素 : var( b) var( b0) cov( b0, b1) cov( b0, bp 1) cov( b1, b0) var( b1) cov( b1, bp 1) = cov( bp 1, b0) cov( bp 1, b1) var( bp 1) 称为回归系数 b 的方差 - 协方差矩阵 45

46 5.3 多元线性回归分析 : 单个回归系数检验与一元回归中对回归系数的检验一样, 对多元回归中单个回归系数的检验, 是否显著区别于 0, 如下零假设和备择假设 : 采用 Z 检验对其进行检验 : 其中 S.E = ˆ σ = e n H H 0 1 : β = 0 : β 0 z = ( b 0) / SE( b ) k 给定显著性水平, 检验临界值, 然后根据 Z 值与临界值大小确定是否接受假设 k k k 46

47 5.3 多元线性回归分析 : 多个回归系数检验多元回归中, 需要对多个回归系数是否同时统计显著进行检验假设, 考虑教育 (edu) 工作经历 (exp) 和工作经历的平方 (exp ) 对收入对数 (logearn) 的回归模型 : logearn = + edu + exp+ exp + β0 β1 β β3 ε 该模型称为非限制性模型 (unrestrcted model), 记为 U 假设仅对工作经历和工作经历的平方的回归系数是否限定为 0 进行检验, 则简化为 : logearn= β + β edu + ε 0 1 该模型称为限制性模型 (restrcted model), 记为 R 47

48 5.3 多元线性回归分析 : 多个回归系数检验则总体的零假设为 : H H : β = β = : β 0, β 由于去掉了两个自变量, 因此限制模型的残差平方和 (SSE) 肯定不小于非限制性模型的残差平方和 (SSE) 构造以下检验统计量来对零假设进行检验 : ( SSER SSEU)/ q SSE /( N K) U 其中 q 是零假设所限制的自由度, 即限制性模型和非限制性模型之间相差的回归系数的数量 K 是非限制性模型所包含的回归系数数量如果零假设成立, 则上式统计量服从于自由度 (q, N-K) 的 F 统计 48

49 5.3 多元线性回归分析 : 多个回归系数检验对零假设进行检验的 F 统计量为 : F = ( SSER SSEU)/ q SSE /( N K) U 若结果在显著水平上统计显著, 则拒绝零假设反之亦然 49

50 5.3 多元线性回归分析 : 回归系数线性组合的检验现实中, 会对多个回归系数之间的某一线性组合形式提出理论假设, 例如 : β β 称作相等假设 ; β 10β = 0 称作比例假设 ; β1 β = 称作盈余 = 假设更一般的假设 : c 1β c 1 β c 将 cβ + c β 看作一个新的综合参数, 落在 ( 下限, 上限 ) 区间内在样本足够大时, 通过以下步骤进行假设检验 : 根据回归系数估计值, 计算 cb cb 作为 cβ + c β 的点估计值计算 cb 1 1+ cb 的标准差首先根据 : var( cb c b ) c var( b) c var( b ) cc cov( b, b ) 求得 cb + cb的方差计算 var( cb + cb ) 的正平方根 = = 计算 t 值, 公式为 : t= ( cb + cb c) / var( cb + cb ) 选定显著性水平, 将统计量数值与 t 分布的临界值进行比较如果大于临界值, 则拒绝零假设, 认为该线性组合在选定的显著性水平上显著的不等于 c, 反之亦然 50

51 5.4 多元线性回归分析 : Logstc 回归分析现实中, 经常会遇到因变量是定性变量的情况如企业生存或倒闭, 投资成功与失败等 Logstc 回归便是解决这种问题 Logstc 回归分为 : Bnary Logstc 回归 : 因变量仅有两个取值, 一般记为 0, 1 Multnomal Logstc 回归 : 因变量可取多个值本节主要介绍 Bnary Logstc 回归假设某事件发生的概率为 p, p 介于 0~1 之间寻找关于 p 的函数根据导数的含义, 以 f ( p) 反映在 p 附近的变化, 即取函数 : 即 f ( p) = = + p(1 p) p 1 p p f( p) = ln 1 p 称上式为 Logt 变换, 记作 : logt p=ln[p/(1-p)] 51

52 5.4 多元线性回归分析 : Logstc 回归分析可知 : f (p) 为 p 的增函数, 当 p 从 0 到 1 变化时, f (p) 的取值在 (, ) 上变化另 θ = f( p), 易得到 : 如果是某些自变量 x, x,, xk 的线性函数 ax, 则 p 是 x, x,, xk 的 θ 1 下述函数形式 : θ e p = 1 + e x = 1 e p = k = 1 1+ e 设因变量 y 为 0-1 型变量, 且 P(y=1)=p, 自变量为 x1, x,, xk, 则 E(y)=p Logstc 回归函数为 : p logt p =ln gx ( 1, x,, xk ) 1 p = 称 x1, x,, xk 为回归模型的协变量 k x θ k 1 = 1 5

53 5.4 多元线性回归分析 : Logstc 回归分析最常用的 Logstc 线性回归函数 : 得到 : p p x x x logt p=ln = β0+ β1 1+ β + + βk k 1 p exp( β + β x + β x + + β xk) 1 exp( β β x β x β x ) = k k k 上式中 p/(1-p) 又称为相对风险 ( 或优势比率 ) 它是所关注事件发生的概率与不发生的概率的比, β 称为 Logstc 回归系数如果 p > 0.5, 可以预测该事件发生, 否则预测不发生 53

54 5.4 多元线性回归分析 : Logstc 回归分析设 y 是 0-1 型因变量, 与 y 相关的自变量为 x1, x,, xk, 样本数据为 ( x, x,, x, y ) ( = 1,,, n), 且 E( y ) p y 与 x 1, x,, xk 之间满足 Logstc 回归方程 : 由于 y 是均值为的 0-1 型变量, 则概率函数为 : 似然函数为 : 将似然函数去对数, 得解得 1 k = exp( 0 1x1 x k xk ) E( y) = p = β + β + β + + β 1 + exp( β + β x + β x + + β x ) p k k py ( = 1) = p, py ( = 0) = 1 p n n y 1 y L= Py ( ) = p (1 p) = 1 = 1 p ln L= [ y ln p + (1 y ) ln(1 p )] = [ y ln + ln(1 p )] n n n = 1 = 1 1 p 0+ 1x1+ x + + k xk ln [ ( ) ln(1 )] L= y β + β x + β x + + β x + e β β β β = k k ˆ ˆ ˆ ˆ 极大似然估计就是使得上式达到最大的 β0, β1, β,, βk 54

55 5.4 多元线性回归分析 : Logstc 回归显著性检验类似于普通的多元回归模型, 在模型参数估计后, 需要对模型的整体及各回归系数进行检验下面介绍一些常用的检验统计量 : Logstc 回归方程显著性检验 : - 对数似然值 (- log lkelhood,-ll) 似然 (lkelhood) 即概率, 似然的取值为 [0,1] 对数似然值是它的自然对数形式因为- LL 为正数且近似服从 χ 分布, 所以 -LL 用于检验 Logstc 回归方程的显著性当 - LL 的实际显著性水平大于给定的显著性水平时, 因变量的变动中无法解释的部分是不显著的, 意味着回归方程的拟合程度较好, 计算公式为 : n LL = [ y ln pˆ + (1 y ) ln(1 pˆ )] = 1 拟合优度 (Goodness of Ft) 统计量 Logstc 回归的拟合优度统计量计算公式为 : n ( y ˆ p) pˆ (1 pˆ ) = 1 55

5.4 多元线性回归分析 : Logstc 回归显著性检验 Cox 和 Snell 的 R (Cox Snell R-Square) Cox 和 Snell 的 R 是在似然值基础上模仿线性回归模型的 R 解释 Logstc 回归模型, 其公式为 : L(0) RCS = 1 L( ˆ β ) 其中 L (0) 表示初始模型的似然值, L( ˆ β ) 表示当前模型的似然值

56 5.4 多元线性回归分析 : Logstc 回归显著性检验 Cox 和 Snell 的 R (Cox Snell R-Square) Cox 和 Snell 的 R 是在似然值基础上模仿线性回归模型的 R 解释 Logstc 回归模型, 其公式为 : L(0) RCS = 1 L( ˆ β ) 其中 L (0) 表示初始模型的似然值, L( ˆ β ) 表示当前模型的似然值 Nagelkerke 的 R (Nagelkerke R-Square) 对 Cox 和 Snell 进一步调整, 使得取值范围在 0 和 1 之间, 即 R = R / max( R ) N CS CS 其中 : max( R ) = 1 [ L(0)] CS 以上介绍的检测统计量, 给定置信区间, 确定好临界值, 若结果在显著水平上统计显著, 则拒绝零假设, 反之亦然 56

小结本章节介绍了相关分析和回归分析, 两者的区别和联系为 : 二者都是研究相关关系的方法, 并能测度线性依赖程度的大小相关分析是回归分析的基础相关分析中变量的地位是对称的, 而回归分析中变量是不对称的, 具有被解释变量和解释变量之分相关分析中变量都可以是随机的 ; 而回归分析中, 被解释变量是随机的, 而解释变量往往被看成是非随机的

57 小结本章节介绍了相关分析和回归分析, 两者的区别和联系为 : 二者都是研究相关关系的方法, 并能测度线性依赖程度的大小相关分析是回归分析的基础相关分析中变量的地位是对称的, 而回归分析中变量是不对称的, 具有被解释变量和解释变量之分相关分析中变量都可以是随机的 ; 而回归分析中, 被解释变量是随机的, 而解释变量往往被看成是非随机的相关分析只关注变量之间的相关程度, 不关注具体依赖关系 ; 而回归分析更加关注这一具体依赖关系, 因而可以通过解释变量的变化来估计和预测被解释变量的变化然后介绍了简单的一元线性回归, 多元线性回归和 Logstc 回归分析其中, 一元线性回归是分析一个因变量和一个自变量之间的关系而多元线性回归是分析分析一个因变量和多个自变量之间的关系 Logstc 回归分析的因变量是定性变量 57

58 参考文献 P. C. B. Phllps, P. Perron, Testng for a unt root n tme seres regresson, Bometrka, vol. 75, no., pp , D. Klenbaum, L. Kupper, A. Nzam E. Rosenberg, Appled Regresson Analyss and Other Multvarable Methods, Stamford, CA: Cengage Learnng 013. D. W. Hosmer, S. Lemeshow, Appled Logstc Regresson, nd ed., New York, NY: Wley, 000. C. M. Hurvch, C.-L. Tsa, Regresson and tme seres model selecton n small samples, Bometrka, vol. 76, no., pp , P. J. Rousseeuw, A. M. Leroy, Robust Regresson and Outler Detecton, New York, NY: Wley, S. Chatterjee, A. S. Had, Regresson Analyss by Example, 5th ed., New York, NY: Wely,

<4D F736F F F696E74202D20CAB5CFB0C1F920CAFDD6B5B1E4C1BFD7CAC1CFB5C4CDB3BCC6CDC6B6CF E707074>

<4D F736F F F696E74202D20CAB5CFB0C1F920CAFDD6B5B1E4C1BFD7CAC1CFB5C4CDB3BCC6CDC6B6CF E707074> 卫生统计学实习何平平北京大学公共卫生学院流行病与卫生统计学系 Tel: 82801619 实习六数值变量资料的统计推断 ( 三 ) 第 237~249 页一直线回归 (linear regression) ( 一 ) 定义 : 用直线方程表达 X( 自变量,independent variable) 和 Y ( 应变量,dependent variable) 之间的数量关系 Yˆ = a+