<4D F736F F F696E74202D20B5DA3135BDB220D2BBD4AACFDFD0D4BBD8B9E9B7D6CEF6205BBCE6C8DDC4A3CABD5D205BD0DEB8B4B5C45D>

Size: px

Start display at page:

Download "<4D F736F F F696E74202D20B5DA3135BDB220D2BBD4AACFDFD0D4BBD8B9E9B7D6CEF6205BBCE6C8DDC4A3CABD5D205BD0DEB8B4B5C45D>"

诲支
5 years ago
Views:

1 一元线性回归分析一一元线性回归定义二 a,b 的估计三误差方差的估计四线性假设的显著性检验五 b 的置信区间六回归函数值的点估计和置信区间七 Y 的观察值的点预测和预测区间

2 变量与变量之间的关系确定性关系 : 当自变量给定一个值时, 就确定应变量的值与之对应如 : 在自由落体中, 物体下落的高度 h 与下落时间 t 之间有函数关系 : 1 h= gt 确定性关系相关性关系

3 相关性关系 : 变量之间的关系并不确定表现 : 涉及的变量时随机变量如 : 身高与体重, 不存在这样的函数可以由身高计算出体重, 但从统计意义上来说, 身高者, 体也重再如 : 父亲的身高与儿子的身高之间也有一定联系, 通常父亲高, 儿子也高回归分析研究相关性关系的最基本, 应用最广泛的方法

4 基本思想 (x, Y) 采集样本信息 ( x, y ) 回归分析散点图回归方程回归方程参数估计显著性检验对现实进行预测与控制

5 一元回归分析 : 只有一个自变量的回归分析多元回归分析 : 多于一个自变量的回归分析

6 ( 一 ) 一元线性回归基本假设其中 a,b, Y N( a bx, ) Y abx, 是不依赖于 x 的 N(, ) b 称为回归系数, a+bx 是 Y 关于 x 的回归函数一元线性回归模型 Y 分成了两部分 : 线性部分和随机误差

7 对 x的一组不全相同的值, 得到样本 ( x, Y),( x, Y ),...,( x, Y ) 1 1 一元线性回归模型 : Y abx, 1,,...,, 正态假设 : N, 相互独立, ~, 1,,...,. 截距斜率, 反映了当 x 改变 1 个单位, 那末 y 改变 b 个单位

8 一元线性回归要解决的问题 : (1) ab, 的估计 ; () 的估计 ; (3) 线性假设的显著性检验 ; (4) 回归系数 b的置信区间 ; (5) 回归函数 ( x) a bx的点估计和置信区间 ; (6) Y 的观察值的点预测和区间预测

9 ( 二 )a,b 的估计最小二乘估计 ( x, y1), ( x, y ),,( x, y 设是 ( x, y) 1 观测值, 对每个样本观测值 ( x, y ) 其回归值 E( y ) a bx ) 的一组考虑离差 y E( y ) y abx

10 似然函数 1 1 Lab, exp y abx 1 对 L a b 最大化等价于对 y a bx, 1 最小化, 即最小二乘估计综合考虑每个离差值, 定义离差平方和 1 Qa (, b) y E( y) 1 ( y a bx )

11 ab 所谓最小二乘法, 就是寻找参数,, a 的估计值 b, 使得离差平方和达到极小值, 即选择, a b 使得 Qab (, ) m Qab (, ) 满足上式的, a b 称为回归参数 ab, 的最小二乘估计

12 1 Q a b y a bx, 求估计 ab ˆ, ˆ, ˆ, ˆ m Qa, b 使 Q a b Q a 1 ab, ( y a bx ), Q ( y abx) x. b 1 整理得 a ( x ) b y, 1 1 x a x b xy 正规方程组 ( ) ( ). x1 x x3 y aˆ bx ˆ x x

13 a ( x ) b y, 1 1 ( x) a ( x ) b xy 正规方程系数行列式 x 1 x x x x x x 1 1 ( )

14 令 1 1 y y, x x, xx, S x x, S x x y y xy yy. S y y a,b 的最小二乘估计是 bˆ Sxy, S xx â y xbˆ

15 1 Q a b y a bx, ab, 的最小二乘估计 : aˆ y xbˆ, bˆs / S. 令 1 1 y y, x x, xx 注 : 在误差为正态分布假定下, 最小二乘估计等价于极大似然估计, S x x, S x x y y xy yy xy xx. S y y

16 ab, 的最小二乘估计 : aˆ y xbˆ, bˆs / S. 给定 x, ( x) abx的估计为 : ˆ ( x) aˆbx ˆ 经验回归函数方程 : yˆ aˆbx ˆ Y关于 x的 ( 经验 ) 回归方程, 其图形称为回归直线 xy xx 也可写成 yˆ ybˆ ( xx) 显然, 回归直线通过散点图的几何中心

17 参数 a, b 估计的性质 (1) ab, 分别是 ab, 的线性估计量, 即 ab, 都是 y( 1,,.., ) 的线性组合 (): ab ˆ, ˆ分别是 ab, 的无偏估计, 从而 EY ( ˆ) abx x 1 (3) a~ N( a, ), b~ N( b, ) Sxx Sxx (4)cov( ab, ) x S xx

18 例 1 K.Pearso 收集了大量父亲身高与儿子身高的资料其中十对如下 : 父亲身高 x( 吋 ) 儿子身高 y ( 吋 ) 求 Y 关于 x 的线性回归方程

19 算得 : y 67. 1, x 66. 8, S xx x 44794, x y , , S xy ab, 的最小二乘估计 : aˆ , bˆ.4646 回归方程 : yˆ x. 或写成 : yˆ ( x66.8). 其中斜率.4646 就反映了父亲的身高每增加 1 吋, 儿子的身高平均增加.4646 吋

21 ( 三 ) 误差方差的估计误差方差估计的意义 : (a) 误差方差的大小对模型的好坏有很大的影响 (b) 自变量对因变量影响的大小是同误差对因变量的影响相比较的 (c) 如果自变量对因变量的影响不能显著的超过误差对因变量的影响, 就很难从这样的模型中提炼出有效的有足够精度的信息

22 定义 : 残差 e y yˆ, 1,,,, 则 (1) Q S bs ˆ, e yy xy ˆ e 1 1 残差平方和 Q e ( y y ) Q aˆ, bˆ 误差的估计 Qe () ˆ 是的无偏估计 ( 证略 ).(3) ( ) 证明 :(1) e y yˆ y aˆ bx y yb x x Q e ˆ ˆ Q ( ˆ ) [ ˆ ] e e y y y yb x x y ˆ ˆ y b y y x x b x x ˆ ˆ S ˆ yy bsxy b Sxx Syy bsxy. bˆ Sxy / Sxx

23 例求例 1 中误差方差的无偏估计计算得 : y y S 又已知 67.1, , yy Sxy 79.7, bˆ Q S bs ˆ 1.491, e yy xy 所以, 的无偏估计 ˆ Q ( ).186. e

24 ( 四 ) 线性假设的显著性检验采用最小二乘法估计参数 a 和 b, 并不需要事先知道 Y 与 x 之间一定具有相关关系, 即使是平面图上一堆完全杂乱无章的散点, 也可以用公式求出回归方程因此 μ(x) 是否为 x 的线性函数, 一要根据专业知识和实践来判断, 二要根据实际观察得到的数据用假设检验方法来判断即要检验假设 H : b, H1: b, 若原假设被拒绝, 说明回归效果是显著的, 否则, 若接受原假设, 说明 Y 与 x 不是线性关系, 回归方程无意义回归效果不显著的原因可能有以下几种 : (1) 影响 Y 取值的, 除了 x, 还有其他不可忽略的因素 ; ()E(Y) 与 x 的关系不是线性关系, 而是其他关系 ; (3)Y 与 x 不存在关系

25 (1)t 检验法 : 检验假设可以证明 H : b, H1: b, ˆ 1 (1) b~ N b, Sxx ; ( ) ˆ Q (3) bˆ 与 Q独立 e () ~ ( ); e bˆ b ( ) ˆ 故 ( ) ~ t, S xx bˆ 当 H 为真即 b 时, t Sxx ~ t, ˆ 水平为的检验拒绝域 : 1 t b ˆ S xx t. ˆ

26 例 3 检验例 1 中回归效果是否显著, 取 α=.5 由例 1, 例知 : bˆ, S, ˆ.4646 xx 查表得 : t t 因此假设 H : b 的检验拒绝域为 : bˆ t Sxx.36. ˆ 计算得, t 故拒绝 H : b, 认为回归效果是显著的

28 ()F 检验法 : S ( y y) yy 1 1 [( y y ) ( y y)] 偏差平方和 ( y y) ( y y)( y y) ( y y) ( y y)( y y) ( y ybxbx)( ybxbx y) 1 1 b [( y y) b( xx )]( x x) 1 bs ( bs ) xy xx

29 S ( y y ) ( y y ) yy 1 1 e S 回 Q S回 S 残残差平方和回归平方和

30 定理 : S S, Q 回 e 是独立的 Q ~ (1), ~ ( ) 回 e S回 1 S 回 Q Q ( ) ( ) e e ~ F(1, )

31 线性回归的 F 检验的步骤原假设 H :b=, 备择假设 H 1 :b 选统计量 S F 回 ~ F(1, ) Q ( ) e 对给定的显著性水平 H 的拒绝域为 ( ) S回 F F (, 1 ) Q e

32 方差分析表方差来源平方和自由度均方 F 比回归 S 回 1 S 回 /1 残差 Q e - Q e /(-) Q e S 回 ( ) 总和 Q yy -1

33 例为研究某一化学反应过程中温度 x 对产品得率 Y 的影响, 测得数据如下 : 温度 x C 得率 Y % (1) 求 Y 关于 x 的回归方程 ; () 求的无偏估计量的值 ; (3) 取 =.5, 问回归效果是否显著?

34 解 (1) 先画出散点图, 从图看出,(x) 大致是线性函数, 设 (x) =a+bx 得率得率这里 =1, 为求线性回归方程, 对所需要的计算列表 :

35 x y x y x y

36 1 1 x , y S x x xx 1 xy 1 S x y xy ˆ Sxy 3985 b.483 S 85 xx 3985 aˆ yxbˆ

37 所以得回归直线方程为 yˆ x 写成另一种形式 () 1 yˆ ( x145) S y y S yy xx Q S bˆ S e yy ( ) xx Q e ˆ , bˆ.483

38 (3) 已求出 ˆ b.483, S 85, ˆ.934 xx 由此得出 bˆ.483 t Sxx ˆ.934 又.5, 8, 查出 t.5(8).36 这里 >.36, 即 t 值在 H 的拒绝域内, 故拒绝 H, 说明回归效果是显著的

39 (3) 相关系数检验法衡量自变量与因变量线性相关程度的相关系数 r: r ( x x)( y y) 1 r ( x ) ( ) 1 x y 1 y, 1 1 当 r>, 表明 x 与 y 正相关 ; r <, 表明 x 与 y 负相关 ; 当 r=, 表明 x 与 y 不相关 ; r =1, 表明 x 与 y 完全相关 ; r 越接近 1, 表明 x 与 y 线性相关程度越高.

40 在一元线性回归场合, 三种检验方法是等价的 : 在相同的显著性水平下, 要么都拒绝原假设, 要么都接受原假设, 不会产生矛盾 F 检验可以很容易推广到多元回归分析场合, 而其他二个则否, 所以,F 检验是最常用的关于回归方程显著性检验的检验方法

41 (4) 判定系数 R (coeffcet of determato) * 定义 : 回归平方和占总离差平方和的比例 *R 的意义 :* 取值范围在 [, 1 ] 之间 * R 1, 说明回归方程拟合的越好 ; * R, 说明回归方程拟合的越差 * 判定系数等于相关系数的平方, 即 R =(r)

42 ( 五 ) 回归系数 b 的置信区间当回归效果显著时, 常需要对回归系数 b 作区间估计 bˆ b S xx ~ t ˆ 由于, S t 即 b的置信水平 1 的置信区间 : bˆ t bˆ b 所以 xx ˆ ˆ S xx. 例如例 1 中 b的置信水平为.95的置信区间为 : ,

43 ( 六 ) 回归函数 ( x) a bx函数值的点估计和置信区间对给定的 x, ( x ) abx的点估计为 yˆ ˆ ( x ) aˆbx ˆ. 则有 (1) 相应的估计量 Yˆ aˆ bx ˆ 是 ( x ) a bx 无偏估计, ( ) ( x ) abx的置信水平为 1的置信区间为 : 1 Yˆ t ˆ 证明 : (1) 因为 Eb ( ˆ) bea, ( ˆ) a, ( x x) 所以 EY ( ˆ ) Ea ( ˆ bx ˆ ) abx. 即为无偏估计 S xx

44 ˆ 1 1 ( ) 可以证明 : Y ~ N( abx, x x S xx ). ( ) ˆ Qe 又有, ~ ( ); 且 Yˆ 与 Q独立 Yˆ abx ( ) ˆ 于是 ( ) ~ t, 1 1 x x Sxx Yˆ abx 即 ~ t, 1 1 ˆ x x Sxx 所以, ( x ) abx的置信水平为 1的置信区间为 : 1 Yˆ t ˆ ( x x) S xx e

45 ( 七 )Y 的观察值的点预测和预测区间考虑对指定点 x x 处因变量 Y的观察值 Y的预测问题由于在 x x 处并未进行观察, 或暂时无法观察经验回归函数的重要应用是, 可利用它对因变量 Y的新观察值 Y 进行点预测和区间预测设 Y是在 x x 处对 Y的观察结果则, ~ (, ). Y a bx N (1) Y的点预测为 : Yˆ aˆ bx ˆ. () Y 的置信水平为 1的预测区间为 : 1 Yˆ t ( x x) ˆ 1. S xx

46 证明 : 因 Y 是将要做的独立试验结果, 因此, 它与已得到的试验结果 Y, Y,..., Y相互独立 1 又 ˆ ˆ 是,,..., 的线性组合, Y Yb xx Y1 Y Y 故 Y ˆ 与 Y相互独立 ˆ 1 x x Y ~ N( abx, ), Y ~ N( abx, ). S xx ˆ 1 x x 所以, Y Y ~ N(, 1 ), S xx ( ) ˆ Qe 又 ~ ( ); 且 Y, Yˆ, Q相互独立 Yˆ Y ( ) ˆ 于是 ( ) ~ t, 1 x x 1 S xx e

47 即 t, 注 1, 这一预测区间的长度随 x x 的增加而增加, 当 x ˆ 1 Yˆ 1 Y x x时最短 S xx x ~ 所以, Y 的置信水平为 1的预测区间为 : 1 Yˆ t ( x x) ˆ 1. 注, 在相同的置信水平下, ( x ) 的置信区间要比 Y的预测区间短这是因为 Y abx 比 ( x ) abx S xx 多了一项的缘故

48 注 1, 这一预测区间的长度随 x x 的增加而增加, 当 x x时最短注, 在相同的置信水平下, ( x ) 的置信区间要比 Y的预测区间短这是因为 Y abx 比 ( x ) abx 多了一项的缘故

49 例合金钢的强度 y 与钢材中碳的含量 x 有密切关系为了冶炼出符合要求强度的钢常常通过控制钢水中的碳含量来达到目的, 为此需要了解 y 与 x 之间的关系其中 x: 碳含量 (%) y: 钢的强度 (kg/mm ) 数据见下 : x y (1) 画出散点图 ;() 设 μ(x)=a+bx, 求 a,b 的估计 ; (3) 求误差方差的估计, 画出残差图 ;(4) 检验回归系数 b 是否为零 ( 取 α=.5);(5) 求回归系数 b 的 95% 置信区间 ;(6) 求在 x=.6 点, 回归函数的点估计和 95 % 置信区间 ;(7) 求在 x=.6 点,Y 的点预测和 95% 区间预测

50 (1) 合金钢的强度 y 与钢材中碳的含量 x 的散点图

51 x. 3 y 4. 5 xx () 计算得 : y 449, x 1., S x , x y ,.976, S.757. xy ab, 的最小二乘估计 : aˆ , bˆ 回归方程 : yˆ x. 或写成 : yˆ ( x.1). aˆ y xbˆ, bˆ S / S. xy xx

52 (3) 计算得 : y y S 449, 443, yy 8.9. 又已知 S.757, ˆ xy b Q S bs ˆ , e yy xy 所以, 的无偏估计 ˆ Q ( ) e e x

53 合金钢的强度 y 与钢材中碳的含量 x 的回归直线图

54 (4) 检验假设 H : b, H : b的显著性水平 1 bˆ 为的检验拒绝域 : t S xx t ˆ 经计算 t t 8.36, 拒绝原假设, 认为合金钢强度与炭含量的回归效果显著 (5) 回归系数 b 的置信水平 95% 的置信区间 : ˆ ˆ bt , S xx.

55 () 6 当 x.6时, yˆ aˆ bx ˆ ( x x) (.6.1) ˆ Sxx t 所以, (.6) 的.95 的置信区间为 : 39.33, (7) x.6时, Y的置信水平为.95的预测区间为 : 36.47, 其中 t 1 ( x x) ˆ 1 S 4.6. xx

56 EXCEL 回归分析实例

57 例 : 某种合成纤维的强度与其拉伸倍数之间存在一定关系, 图 8-1 所示 ( 线性回归分析工作表 ) 是实测 1 个纤维样品的强度 y 与相应的拉伸倍数 x 的数据记录试求出它们之间的关系

61 XY 散点图

62 趋势回归直线返回本节

63 Excel 提供的回归分析工作表函数主要有以下几个 : (1) 截距函数 () 斜率函数 (3) 测定系数函数 (4) 估计标准误差函数

64 (1) 截距函数其功能是利用现有的 x 值与 y 值计算直线与 y 轴的截距截距为穿过已知的 kow_x's 和 kow_y's 数据点的线性回归线与 y 轴的交点当自变量为时, 使用 INTERCEPT 函数可以决定因变量的值例如, 当所有的数据点都是在室温或更高的温度下取得的, 可以用 INTERCEPT 函数预测在 C 时金属的电阻语法 :INTERCEPT(kow_y's,kow_x's)

65 x y 数据

66 计算截距

67 () 斜率函数该函数返回根据 kow_y's 和 kow_x's 中的数据点拟合的线性回归直线的斜率斜率为直线上任意两点的垂直距离与水平距离的比值, 也就是回归直线的变化率语法 :SLOPE (kow_y's,kow_x's) 其中 :Kow_y's 为数字型因变量数据点数组或单元格区域 ;Kow_x's 为自变量数据点集合

68 (3) 测定系数函数 (3) 测定系数函数该函数返回根据 kow_y's 和 kow_x's 中数据点计算得出的乘积矩相关系数的平方 R 平方值可以解释为 y 方差与 x 方差的比例语法 :RSQ(kow_y's,kow_x's)

69 回归直线的斜率计算公式如下 : b x y xy x x

70 计算斜率

71 (4) 估计标准误差函数该函数返回通过线性回归法计算每个 x 的 y 预测值时所产生的标准误差标准误差用来度量根据单个 x 变量计算出的 y 预测值的误差量语法 :STEYX(kow_y's,kow_x's) 其中 :Kow_y's 为因变量数据点数组或区域, Kow_x's 为自变量数据点数组或区域

72 预测值 y 的标准误差计算公式如下 : 1 x x y x xy y y S yx 返回本节

73 例 : 在某大学一年级新生体检表中随机抽取 1 张, 得到 1 名大学生的身高 (x) 和体重 (y) 的数据, 如图 ( 身高体重工作表 ) 所示利用回归分析工具进行回归分析

74 回归对话框

75 回归分析结果返回本节

76 Excel 回归分析工具的输出结果包括 3 个部分 : 1. 回归统计表. 方差分析表 3. 回归参数表

<4D F736F F F696E74202D20CAB5CFB0C1F920CAFDD6B5B1E4C1BFD7CAC1CFB5C4CDB3BCC6CDC6B6CF E707074>

<4D F736F F F696E74202D20CAB5CFB0C1F920CAFDD6B5B1E4C1BFD7CAC1CFB5C4CDB3BCC6CDC6B6CF E707074> 卫生统计学实习何平平北京大学公共卫生学院流行病与卫生统计学系 Tel: 82801619 实习六数值变量资料的统计推断 ( 三 ) 第 237~249 页一直线回归 (linear regression) ( 一 ) 定义 : 用直线方程表达 X( 自变量,independent variable) 和 Y ( 应变量,dependent variable) 之间的数量关系 Yˆ = a+