D1ZFM

Size: px

Start display at page:

Download "D1ZFM"

彻亮松
5 years ago
Views:

1 21 世纪高等院校教材实用统计方法西安交通大学梅长林周家良编著北京

2 内容简介本书是在高等院校非数学类专业概率论与数理统计必修课内容基础上编写的以介绍实用数理统计方法为目的的教材. 内容包括 : 回归分析主成分分析及典型相关分析判别分析聚类分析非参数秩方法列联表的独立性分析试验设计抽样调查. 并针对本书内容, 在附录中对国际先进的 SAS 软件作了简要介绍. 本书可作为工程类医学类财经及管理类各有关专业高年级学生的选修课教材或作为非数学类硕士研究生的数理统计教材, 也可作为数理统计应用工作者的参考书籍. 图书在版编目 (CIP) 数据实用统计方法梅长林, 周家良编著. 北京 : 科学出版社,2002 (21 世纪高等院校教材 ) ISBN Ⅰ. 实 Ⅱ.1 梅 2 周 Ⅲ. 数理统计高等学校教材 Ⅳ.0212 中国版本图书馆 CIP 数据核字 (2001) 第号责任编辑 : 杨波王静责任校对 : 陈玉凤责任印制 : 张克忠封面设计 : 陈敬出版北京东黄城根北街 16 号邮政编码 : h t tp : // w w w. sciecep. co m 印刷科学出版社发行各地新华书店经销 * 2002 年 2 月第一版开本 :B5( ) 2006 年 5 月第五次印刷印张 : 印数 : 字数 : 定价 : 元 ( 如有印装质量问题, 我社负责调换环伟 )

3 前言数理统计是研究如何有效地收集整理和分析受随机因素影响的数据, 对所考察的问题作出推断, 进而为制定决策和采取行动提供科学依据的一门学科. 随着计算机的普及和发展, 数理统计方法的应用不但日益深入到工业农业国防经济管理医学社会地质气象等各个领域, 而且也越来越受到各行各业的普遍重视. 目前, 我国高校的许多非数学类专业也开设了概率论与数理统计必修课, 但重点只在介绍概率论和数理统计的基础知识和基本方法, 与将统计方法广泛应用于实际尚有一定的距离. 因此, 让学生进一步学习和掌握一些近代实用的统计方法是面向 21 世纪培养人才的一个重要方面. 为此目的, 在原国家教委面向 21 世纪工科数学教学内容和课程体系改革立项课题中要求为非数学类专业本科生编写一本以方法为主, 不追求理论的系统性和完整性, 方法要注意实用性和先进性, 结构模块化, 便于选用的数理统计方法选修课教材. 本书正是应此要求而编写的. 在本书的内容选择和写作手法上力求体现上述编写要求, 各章自成体系. 另外, 在附录中对当前国际上先进的 SAS 软件作了简明介绍, 并针对书中内容, 叙述了调用各方法的 SAS 主要语句及对输出结果的适当解释, 使学生能初步了解 SAS 系统的使用方法, 为今后进一步深入学习开启了窗口. 各章的习题一般也有两类, 一类是基本习题, 目的在于理解掌握所学的基本内容和方法, 另一类是需要借助 SAS 软件利用计算机进行计算和分析的综合性习题. 经过试用, 我们给出各章的参考教学时数如下 : 第一章 : 回归分析,8 学时. 第二章 : 主成分分析及典型相关分析,6 学时. 第三章 : 判别分析,6 学时. 第四章 : 聚类分析,4 学时. 第五章 : 非参数秩方法,8 学时. 第六章 : 列联表的独立性分析,6 学时. 第七章 : 试验设计,4 学时. 第八章 : 抽样调查,4 学时. 讲完全部内容大约需要 46 学时, 附录内容可结合课后作业以学生自学为主. 由于内容的模块化结构, 不同类型的专业可选择不同的模块. 下面是几个

4 ii 前言供参考的模块 : 工程类 : 第一三四五七章或再加第二章, 共计约 30 或 36 学时. 经济管理类 : 第一三四五六八章, 共计约 36 学时. 社科类 : 第一五六八章, 共计约 26 学时. 医学类 : 第一三四五六章, 共计约 32 学时. 以上教学时数及内容模块仅供参考, 各专业可适当予以调整, 使教学内容与时数安排更适合本专业的特点及要求. 本书的第一至第六章及附录由梅长林编写, 第七八章由周家良编写, 并由梅长林统稿. 限于作者水平, 书中难免有不妥和错误之处, 敬请广大读者提供宝贵的批评和建议, 使本教材不断得以完善. 另外, 对于引用了其中习题或例题的有关书籍, 我们均列入书末的参考文献中, 在此特向其作者表示衷心的感谢. 编者

5 目录第一章线性回归分析多元线性回归模型多元线性回归模型及其矩阵表示 β 及 σ 2 的估计有关的统计推断与回归参数有关的一般检验方法残差分析误差项的正态性检验残差图分析最优回归方程的选取与系统建模概述穷举法逐步回归法系统建模过程概述 42 习题一 49 第二章主成分分析及典型相关分析主成分分析总体主成分样本主成分典型相关分析总体的典型变量与典型相关样本的典型变量与典型相关典型相关系数的显著性检验 74 习题二 78 第三章判别分析判别分析的基本思想及意义距离判别两总体的距离判别多总体的距离判别判别准则的评价 90

6 iv 目录 3. 3 Bayes 判别 Bayes 判别的基本思想两总体的 Bayes 判别多总体的 Bayes 判别 104 习题三 110 第四章聚类分析分类统计量样品间的相近性度量距离变量间的关联性度量相似系数谱系聚类法类与类之间的距离谱系聚类法模糊聚类法模糊聚类的基本概念模糊聚类方法 139 习题四 143 第五章非参数秩方法两种处理方法比较的秩检验两种处理方法比较的随机化模型及秩的零分布 Wilcoxo 秩和检验 Smirov 检验多种处理方法比较的秩检验多种处理方法比较中秩的概念及其零分布 Kruskal-Wallis 检验成对分组下两种处理方法的比较符号检验 Wilcoxo 符号秩检验分组设计下多种处理方法的比较分组设计下秩的定义及其零分布 Friedma 检验改进的 Friedma 检验 187 习题五 190 第六章列联表的独立性分析定性变量与列联表 193

7 目录 v 6. 2 二维列联表的独立性检验 r s 列联表的 Pearso χ 2 检验几种特殊情况三维列联表的对数线性模型分析法三维列联表的对数线性模型对数线性模型的拟合与选择 207 习题六 215 第七章试验设计正交拉丁方格表拉丁方格和标准方格正交拉丁方格拉丁方格在安排试验中的应用正交表方法正交表及表头设计正交表的直观分析正交表的方差分析 238 习题七 242 第八章抽样调查抽样调查的概念及注意事项概率抽样和非概率抽样抽样单位和抽样框调查表的设计及注意事项调查数据的审核简单随机抽样定义简单随机抽样的实施调查目标量的估计估计量的性质与误差总体目标量的区间估计样本容量的确定分层抽样法分层抽样的定义及适用范围分层抽样的样本抽取调查目标量的估计量 260

8 vi 目录分层子样本容量的最优决策样本容量的确定整群抽样法和等距抽样法整群抽样法等距抽样法 269 习题八 271 附录 SAS 软件简介 276 Ⅰ SAS 系统简介 276 一数据的输入与输出 277 二利用已有 SAS 数据集建立新的 SAS 数据集 281 三 SAS 系统的数学运算符号及常用的 SAS 函数 283 四逻辑语句与循环语句 286 五几种基本统计分析的 SAS 过程 289 Ⅱ 几种常用统计分析方法的 SAS 过程 290 一 PROC REG 过程 290 二 PROC PRINCOMP 过程 293 三 PROC CANCORR 过程 294 四 PROC DISCRIM 过程 295 五 PROC CLUSTER 过程 299 六 PROC CATMOD 过程 305 参考文献 308 附表 309 附表 1 标准正态分布表 309 附表 2 t 分布表 310 附表 3 χ 2 分布表 311 附表 4 F 分布表 313 附表 5 Wilcoxo 秩和分布 :P(W a) 319 附表 6 Smirov 精确上侧概率 :P(D, a ) 323 附表 7 Smirov 极限分布 :K (z)= lim P[ m/(m + )D m, z] 325 附表 8 Wilcoxo 符号秩分布 :P(V v) 326

9 目录 vii 附表 9 Friedma 统计量的上侧概率 :P(Q c)(n 组 s 种方法 ) 331 附表 10 正交拉丁方格表 334 附表 11 正交表 336 附表 12 五千个随机数表 343

10 第一章线性回归分析回归分析是应用极其广泛的数理统计方法之一. 它基于观测数据建立变量间适当的相关关系, 以分析数据的内在规律, 并可用于预报控制等问题. 在数理统计基础部分, 我们已学习了一元线性回归分析的基本内容, 即当影响因变量 Y 的因素只有一个 ( 记为 X) 时, 如何建立 Y 与 X 的适当的线性回归关系. 在实际问题中, 影响 Y 的因素往往很多, 设有 X 1,X 2,,X p - 1 共 p - 1 个, 建立这 p - 1 个因素与 Y 的相关关系将具有更广泛的应用价值. 本章讨论多元线性回归模型的系统建模方法, 主要包括模型的参数估计假设检验残差分析以及最优回归方程的选取等多元线性回归模型多元线性回归模型及其矩阵表示设 Y 是一个可观测的随机变量, 它受到 p - 1 个非随机因素 X 1,X 2,, X p - 1 和随机因素 ε 的影响. 若 Y 与 X 1,X 2,,X p - 1 有如下线性关系 : Y = β 0 +β 1 X 1 +β 2 X 2 + +β p - 1 X p ε, ( ) 其中 β 0,β 1,,β p - 1 是未知参数 ;ε 是均值为零方差为 σ 2 >0 的不可观测的随机变量, 称为误差项, 并通常假定 ε~ N (0,σ 2 ). 该模型称为多元线性回归模型, 且称 Y 为因变量,X 1,X 2,,X p - 1 为自变量. 要建立多元线性回归模型, 首先要估计未知参数 β 0,β 1,,β p - 1, 为此我们进行 ( p) 次独立观测, 得到组数据 ( 称为样本 ) (X i1,xi2,,x i,p - 1 ;Y i ), i = 1,2,,. 它们应满足 ( ), 即有 Y 1 = β 0 +β 1 X 11 +β 2 X β p - 1 X 1,p ε 1, Y 2 = β 0 +β 1 X 21 +β 2 X β p - 1 X 2,p ε 2, ( ) Y = β 0 +β 1 X 1 +β 2 X 2 + +β p - 1 X,p ε.

11 2 第一章线性回归分析其中 ε 1,ε 2,,ε 相互独立且均服从 N(0,σ 2 ) 分布. 令 Y 1 1 X 11 X 12 X 1,p - 1 Y = Y 2, X = 1 X 21 X 22 X 2,p - 1, Y 1 1 X 1 X 2 X,p - 1 p β 0 ε 1 β = β 1, ε = ε 2. β p - 1 p 1 ε 1 则 ( ) 式可简写为如下的矩阵形式 : Y = Xβ + ε, ( ) 其中 Y 称为观测向量,X 称为设计矩阵, 它们是由观测数据得到的, 是已知的. 并假定 X 为列满秩的, 即 rak(x)= p.β 是待估计的未知参数向量,ε 是不可观测的随机误差向量. ( ) 式称为多元线性回归模型的矩阵形式 β 及 σ 2 的估计 1. β 的最小二乘估计如果 Y 与 X1,X2,,Xp - 1 满足线性回归模型 ( ), 则误差 ε 应是比较小的. 因此, 我们选择 β 使误差项的平方和 S(β) i = 1 ε 2 i = ε T ε=(y - Xβ) T (Y - Xβ)= i = 1 p - 1 (Y i - j = 0 X ijβ j ) 2 ( ) 达到最小, 其中 X i0 = 1(i = 1,2,,). 为此, 将 ( ) 分别对 β 0,β 1,, β p - 1 求偏导并令其等于零, 得 S(β) β k =- i = 1 p - 1 (Y i - j = 0 X ijβ j )X ik = 0, k = 0,1,,p - 1,

12 1. 1 多元线性回归模型 3 即 i = 1 Y i X ik p - 1 = i = 1 j = 0 进一步可写为矩阵形式 X ij X ikβ j p - 1 = j = 0 ( i = 1 X ij X ik )β j, k = 0,1,,p - 1, X T Xβ = X T Y, ( ) 称此方程为正规方程. 因为 rak(x T X)= rak(x)= p, 故 (X T X) - 1 存在. 解正规方程即得 β 的最小二乘估计 β 为 β = (X T X) - 1 X T Y. ( ) 2. β 的最大似然估计由于 ε i (i = 1,2,,) 相互独立且均服从正态分布 N(0,σ 2 ), 则可由最大似然估计法估计 β. 这时 Y i (i = 1,2,,) 相互独立, 且 Y i ~ N (β 0 + β 1 X i1 + +β p - 1 X i,p - 1,σ 2 ). 从而 Y =(Y 1, Y 2,,Y ) T 的似然函数为 L(β)= 1 exp{- 1 (2π) 2 σ 2σ (Y 2 i -β 0 -β 1 X i1 - -β p - 1 X i,p - 1 ) 2 } i = 1 = 1 (2π) 2 σ exp{- 1 2σ 2 S(β)}. 求 β 使 L(β) 达到最大等价于使 S(β) 达到最小. 因此在 ε i ~ N(0,σ 2 )(i = 1, 2,,) 之下,β 的最大似然估计和最小二乘估计是相同的, 均为 β = (X T X) - 1 X T Y. 由 ( ) 式可知,E(Y)= Xβ, 故 E(β )= (X T X) - 1 X T E (Y)= β, 即 β 为 β 的一个无偏估计. 当给出 β 的估计 β =(β 0,β 1,,β p - 1 ) T 后, 将其代入 ( ) 式并略去误差项, 则称 Y = β 0 + β 1 X β p - 1 X p - 1 为回归方程. 利用回归方程, 可由自变量 X 1,X 2,,X p - 1 的观测值求出因变量 Y 的估计值. 3. 误差方差 σ 2 的估计将自变量的各组观测值代入回归方程, 可得因变量的各估计值 ( 称为拟合

13 4 第一章线性回归分析值 ) 为 Y (Y 1,Y 2,,Y ) T = X β. 称 e Y - Y = Y - Xβ = [I - X(X T X) - 1 X T ]Y = (I - H)Y ( ) 为残差向量, 其中 H = X (X T X) - 1 X T 阵. 称数为阶对称幂等矩阵,I 为阶单位 e T e = Y T (I - H)Y = Y T T Y - β X T Y 为残差平方和. 由于 E(Y)= Xβ 且 (I - H)X = 0, 则 e T e =[Y - E(Y)] T (I - H)[Y - E (Y)]= ε T (I - H)ε, 由此可得 E(e T e)= E{tr[ε T (I - H)ε]} = tr[(i - H)E(εε T )] =σ 2 tr[i - X(X T X) - 1 X T ] =σ 2 { - tr[(x T X) - 1 X T X]} =σ 2 ( - p), 其中 tr( ) 表示矩阵的迹. 从而 2 σ 1 - p et e ( ) 为 σ 2 的一个无偏估计有关的统计推断 1. 回归关系的统计推断给定因变量 Y 与自变量 X 1,X 2,,X p - 1 的组观测值, 利用前述方法可得到未知参数 β 和 σ 2 的估计, 从而可给出 Y 与 X 1,X 2,,X p - 1 之间的线性回归方程. 但所求得的回归方程是否有意义, 也就是说 Y 与 X 1,X 2,, X p - 1 之间是否存在显著的线性关系, 还需要对回归方程进行检验. (1) 建立方差分析表 (i) 离差平方和的分解

14 1. 1 多元线性回归模型 5 我们知道观测值 Y 1,Y 2,,Y 之所以有差异, 是由下述两个原因引起的, 一是当 Y 与 X 1,X 2,,X p - 1 之间确有线性关系时, 由于 X 1,X 2,,X p - 1 取值的不同, 而引起 Y i 值的变化 ; 另一方面是除去 Y 与 X 1,X 2,,X p - 1 的线性关系以外的因素, 如 X1,X2,,X p - 1 对 Y 的非线性影响及随机因素的影响等. 记粡 Y = 1 Y i, 则数据的总的离差平方和 (Total Sum of Squares) i = 1 SST (Y i - 粡 Y) 2 ( ) i = 1 反应了数据 Y 1,Y 2,,Y 波动性的大小. 残差平方和 (Error Sum of Squares) SSE i = 1 反映了除去 Y 与 X 1,X 2,,X p - 1 的数据 Y 1,Y 2,,Y (Y i - Y i ) 2 ( ) 之间的线性关系 ( 即 Y i ) 以外的因素引起的波动. 若 SSE = 0, 则每个观测值可由线性关系精确拟合,SSE 越大, 观测值和线性拟合值间的偏差也越大. 对于回归平方和 (Regressio Sum of Squares) SSR (Y i - 粡 Y) 2, ( ) i = 1 1 由于可证明 Y i = 粡 Y, 故 SSR 反映了线性拟合值与它们的平均值的总偏 i = 1 差, 即由变量 X 1,X 2,,X p - 1 的变化所引起的 Y i (i = 1,2,,) 的波动. 若 SSR = 0, 则每个拟合值均相等, 即 Y i (i = 1,2,,) 不随 X 1,X 2,,X p - 1 的变化而变化, 这实质上反映了 β 1 =β 2 = =β p - 1 = 0. 另一方面, 经过代数运算及正规方程 ( ) 可证明 ( 证明从略 ) SST = SSE + SSR. ( ) 因此,SSR 越大, 说明由线性回归关系所描述的 Y i (i = 1,2,,) 的波动性的比例就越大, 即 Y 与 X 1,X 2,,X p - 1 的线性关系就越显著. 另外, 通过矩阵运算可证明 SST,SSE 和 SSR 有如下形式的矩阵表示 : SST = Y T Y - 1 Y T JY = Y T (I - 1 J)Y, ( )

15 6 第一章线性回归分析 SSE = e T e = Y T Y - β X T Y = Y T (I - H)Y, ( ) SSR = β X T Y - 1 Y T JY = Y T (H - 1 J)Y, ( ) 其中 J 表示一个元素全为 1 的阶方阵. (ii) 自由度的分解对应于 SST 的分解 ( ), 其自由度也有相应的分解. 这里的自由度是指平方和中独立变化项的数目. 在 SST 中, 由于有一个关系式 (Y i - i = 1 粡 Y )= 0, 即 Y i - 粡 Y (i = 1,2,,) 彼此不是独立变化的, 故其自由度为 - 1. 可以证明,SSE 的自由度为 - p,ssr 的自由度为 p - 1. 因此对应于 SST 的分解 ( ), 它们的自由度之间也有如下关系 : - 1 = ( - p)+ (p - 1). ( ) (iii) 方差分析表基于以上 SST 和其自由度的分解式 ( ) 和 ( ) 可建立如下的方差分析表 : 表方差分析表方差来源平方和 (SS) 自由度 (f) 均方 (MS) 回归 T SSR = β X T Y - 1 Y T JY p - 1 MSR = SSR p - 1 误差 SSE = Y T Y - β X T Y - p MSE = SSE - p 总和 SST = Y T Y - 1 YT JY - 1 其中回归平方和及残差平方和与各自的自由度之比分别称为均方回归 (Regressio Mea Square) 及均方残差 (Error Mea Square). 利用方差分析表, 可对回归方程的显著性做检验. (2) 线性回归关系的显著性检验为检验 Y 与 X 1,X 2,,X p - 1 之间是否存在显著的线性回归关系, 即检验假设 H 0 :β 1 =β 2 = = β p - 1 = 0, H 1 : 至少有某个 β i 0, 1 i p - 1. ( )

16 1. 1 多元线性回归模型 7 这是因为若 H 0 成立, 则 Y =β 0 +ε, 即 Y 与 X 1,X 2,,X p - 1 之间不存在线性回归关系. 基于上述方差分析表, 构造如下检验统计量 F MSR, ( ) MSE 当 H 0 为真时, 可以证明 F~ F(p - 1, - p), 这里 F(p - 1, - p) 表示自由度为 p - 1 和 - p 的 F 分布. 由上述对回归平方和 SSR 的讨论可知, 若 H 0 不真,F 的值有偏大的趋势. 因此, 给定显著性水平 α, 查 F 分布表得临界值 F α (p - 1, - p)( 即 F 分布的上侧 α 分位数 ), 计算 F 的观测值 F 0, 若 F 0 F α (p - 1, - p), 接受 H 0, 即在显著性水平 α 之下, 认为线性回归关系不显著 ; 若 F 0 > F α (p - 1, - p), 拒绝 H 0, 即认为 Y 与 X 1,X 2,,X p - 1 之间存在显著的线性回归关系. (3) 检验的 p 值法在现代统计应用中, 由于计算机的广泛使用, 计算各种常见分布的分布函数值已是一件十分容易的事情. 因此显著性检验问题一般不再通过查表求其临界值, 而是通过计算所谓的统计量的 p 值 (p-value) 来考察检验的显著性. 简单地说, 一个检验统计量的 p 值是当 H 0 成立时, 检验统计量取其观测值及更有利于备择假设 H 1 的值的概率. 具体地说, 设检验统计量为 T, 通过样本求得其观测值为 T 0, 若大的 T 值意味着拒绝 H 0 ( 或等价地有利于接受 H 1 ), 则其 p 值为 P H 0 (T T 0 ); 反之, 若小的 T 值有利于接受 H 1, 则 p 值为 P H 0 (T T 0 ); 若大的 T 值有利于接受 H 1, 则 p 值为 P H 0 ( T T 0 ), 其中 P H 0 表示在 H 0 为真时的概率. 有了 p 值后, 对于给定的显著水平 α, 任何检验准则均为若 p <α, 拒绝 H 0, 若 p α, 接受 H 0. ( ) 这样不需要查相应分布的分位数表, 而直接根据 p 和 α 的大小便可判断是拒绝还是接受 H 0, 在 SAS 及其它一些统计软件中, 对显著性检验问题, 其输出结果通常是统计量的 p 值. 对于线性回归关系的显著性检验问题, 其 p 值为 p = P H 0 (F F 0 ). 检验准则为 p α, 接受 H 0, 否则拒绝 H 0. 当然, 这两个准则是等价的, 因为

17 8 第一章线性回归分析由分布函数的单调不减性知 F 0 F α (p - 1, - p) 的充要条件是 P H 0 (F F 0 ) α. 2. 回归参数的统计推断回归关系显著并不意味着每个自变量 X i (1 i p - 1) 对 Y 的影响都显著, 可能其中的某个或某些对 Y 的影响不显著. 一般说来, 我们总希望从回归方程中剔除那些对 Y 的影响不显著的自变量, 从而建立一个较为简单有效的回归方程, 以便于实际应用. 这就需要对每一个自变量作考察. 显然, 若某个自变量 X k 对 Y 无影响, 那么在线性模型中, 它的系数 β k 应为零. 因此检验 X k 的影响是否显著等价于检验假设 H 0 :β k = 0, H 1 :β k 0. ( ) 下面我们讨论此假设的检验问题. 设 β =(X T X) - 1 X T Y 为 β 的最小二乘估计 ( 或极大似然估计 ), 则 E(β ) =β, 因此 β 的协方差矩阵为 Cov(β ) E(β -β)(β -β) T, 而 β =(X T X) - 1 X T Y =(X T X) - 1 X T (Xβ + ε)=β+(x T X) - 1 X T ε, 所以 Cov(β )= (X T X) - 1 X T E(εε T )X(X T X) - 1 =σ 2 (X T X) - 1. ( ) 由于 MSE = SSE 为 σ 2 - p 的无偏估计, 从而自然地以作为 Cov(β ) 的估计. 可以证明 S(β ) MSE(X T X) - 1 ( ) β k s(β -β k k) ~ t( - p), k = 0,1,,p - 1, ( ) 其中 s(β k ) 为 S(β ) 的主对角线上的第 k + 1 个元素的算术平方根,t ( - p) 为自由度为 - p 的 t 分布.

18 1. 1 多元线性回归模型 9 由此, 可检验假设 ( ). 若 H 0 为真, 由 ( ) 知 t = β k s(β ~ t( - p). ( ) k) 若 H 0 不真, 由于 E (β k )= β k 0, 则 t 有偏大的趋势. 因此, 给定显著水平 α α, 查表得 t 分布的上侧分位点 t 2 α ( - p), 记 t 的观测值为 t 0, 检验准则为 2 对上述检验统计量, 其 p 值为从而若 p α, 接受 H 0, 反之拒绝 H 0. 另外, 由 ( ) 可求得 β k 若 t 0 t α 2 ( - p), 则接受 H 0, 若 t 0 > t α 2 ( - p), 则拒绝 H 0. p = P H 0 ( t t 0 ), 的置信度为 1 -α 的置信区间为 β k ± t α ( - p)s(β k ). ( ) 2 3. 关于预报值的统计推断建立回归方程除了了解 Y 与 X 1,X 2,,X p - 1 的相依关系外, 另一重要应用就是进行预报. 设给定了自变量的一组新观测值 (X 01,X 02,,X 0,p - 1 ), 利用回归方程可得因变量 Y 的预报值 Y 0 = β 0 + β 1 X β p - 1 X 0,p - 1. ( ) Y 0 实际上是对应于 (X 01,X 02,,X 0,p - 1 ) 的 Y 的一个点估计. 但在实际应用中, 更感兴趣的是给出 Y 的真值 Y 0 的区间估计. 可证明 Y 0 - Y 0 s(y 0 ) ~ t( - p), ( ) 其中 s 2 (Y 0 )= MSE[1 + X T e w (X T X) - 1 X e w ], ( )

19 10 第一章线性回归分析且 X ew =(1,X 01,X 02,,X 0,p - 1 ) T. 由此可得 Y 0 的一个置信度为 1 -α 的置信区间为 0 Y ± t α2 ( - p)s(y 0 ). ( ) 例某公司在各地区销售一种新的化妆品. 该公司观测了 15 个城市在某月内对该化妆品的销售量 Y 及各地区适合使用该化妆品的人数 X 1 和人均收入 X 2, 得到数据如下 : 表化妆品销售的调查数据地区销量 ( 箱 ) 人数 ( 千人 ) 人均收入 ( 元 ) i Y i X i1 X i 假设误差服从正态分布 N (0,σ 2 ), 试建立 Y 与 X1,X2 并研究相应的统计推断问题. 设 Y 与 X 1,X 2 的观测值之间满足关系之间的线性回归方程 Y i =β 0 +β 1 X i1 +β 2 X i 2 + ε i, i = 1,2,,15, 其中 ε i (i = 1,2,,15) 相互独立, 均服从正态分布 N(0,σ 2 ). 基于所给数据可得

20 1. 1 多元线性回归模型 Y =, X = (1) 参数估计可求得 X T X = , X T Y = , (X T X) - 1 = 从而可得 β β = β 1 = (X T X) - 1 X T Y = β 因此回归方程为 Y = X X 2. 由回归方程可知, 若固定人均收入不变, 则人数每增加 1 千人, 销售量增加箱 ; 若固定人数数不变, 收入每增加 1 元, 销量增加箱. (2) 方差分析表及线性回归关系的显著性检验具体计算可得 Y T Y = , = 15, 1 Y T JY = ,

21 12 第一章线性回归分析 SST = Y T Y - 1 Y T JY = , SSE = Y T Y - β X T Y = , SSR = SST - SSE = 其方差分析表为表化妆品销售数据方差分析表方差来源平方和 (SS) 自由度 (f) 均方 (MS) 回归 SSR = MSR = 误差 SSE = MSE = 总和 SST = 基于上表可检验 Y 与 X 1,X 2 之间线性回归关系的显著性, 即检验假设 H 0 :β 1 = β 2 = 0, H 1 :β 1,β 2 至少有一个非零. 检验统计量的观测值为 F0 = SSR MSE = = 若给定显著水平 α=0. 05, 查表得 F 0. 05(2,12)= 因为 F 0 = 5680 >3. 89, 故拒绝 H 0, 即认为 Y 与 X 1,X 2 之间存在显著的线性回归关系. 另外, 从 p 值的角度看, 若 H 0 为真时, 概率 p = P (F 5680)< , 这里 F 为服从自由度为 2 和 12 的 F 分布的随机变量. 因此, 在 α= 水平上, 线性回归关系仍显著. 由此可知, 利用 p 值可以清楚地知道显著性的程度, 这也是利用 p 值作检验的优点之一. (3) 回归参数的统计推断下面我们分别检验 X 1 和 X 2 对 Y 的影响的显著性. 由于 S(β )= MSE(X T X) - 1 = 4. 74(X T X) = ,

22 1. 1 多元线性回归模型 13 由此可得 s(β 1 )= ( ) 1 2 = , s(β 2 )= ( ) 1 2 = β 1 若给定 α=0. 05, 检验假设 H 0 :β 1 = 0,H 1 :β 1 0, 计算 t = 的观测 s(β 1 ) 值得 t 0 = 查表知 t (12)= < t 0, 故拒绝 H 0, 即认为人口数对销量的影响是显著的. 再检验 H 0 :β 2 = 0,H 1 :β 2 0. 由于 t 0 = β 2 s(β 2 ) H 0, 即认为人均收入对销量的影响也是显著的. 另外, 可分别求出 β 1 和 β 2 的置信度为 95% 的置信区间为 = > t (12), 拒绝对 β 1 : β 1 ± t (12)s(β 1 )= ± , 即 ( , ); 对 β 2 : β 2 ± t (12)s(β 2 )= ± , 即 ( , ). (4) 关于预报值的置信区间若该公司欲预测适合购买此化妆品的人数为 220 千人, 人均收入为 2500 元的某城市对该化妆品的销量, 即给定这时预测销量为 X e w = (1,220,2500) T, Y 0 = = , s 2 (Y 0 )= MSE(1 + X T ew (X T X) - 1 X ew )= , s(y 0 )= , 从而可得该城市销量的置信度为 95% 的置信区间为 ± = ± , 即 ( , ). 由此可见此置信区间的长度是相当小的, 因而对该地区销量的预测有很好的实际指导意义与回归参数有关的一般检验方法上节我们仅对 β 1,β 2,,β p - 1 中的全部或某个是否为零给出了统计推断

23 14 第一章线性回归分析方法. 本节我们就更复杂的情况, 如其中的某几个是否同时为零或为某些常数, 一些 β i 是否满足一定的线性关系等情况, 给出一个统一的检验方法. 1. 检验统计量的构造及其零分布首先我们介绍全模型和约简模型的概念. 全模型所谓全模型这里是指人们认为适合于所给数据的一个线性回归模型. 在实际应用中, 通常是指包含所有可能的自变量的线性回归模型. 下面以 SSE(F) 表示全模型的残差平方和. 约简模型如果我们想要检验全模型中的回归参数是否满足一定的线性约束条件 ( 即可写为回归参数的线性方程或方程组的形式, 例如 β k = 0;β 1 + β 2 = C;β 2 = 0,β 4 = 0; 等等 ). 当回归参数满足约束条件时, 相应的线性回归模型称为约简模型, 其残差平方和记为 SSE(R). 全模型中独立变化的回归参数的数目总比约简模型中的多, 而对于线性回归模型, 可证若独立变化的回归参数越多, 该模型拟合数据的残差平方和就越小. 因此恒有 SSE(F) SSE(R). ( ) 利用此关系我们可以构造统计量检验如下假设 H0 : 参数的线性约束条件为真, H 1 : 参数的线性约束条件不真. 如果差值 SSE(R)- SSE(F) 很小, 说明约简模型和全模型的拟合效果无显著差异, 因此认为 H 0 为真是合理的, 这时可用较简单的约简模型描述数据. 若差值 SSE(R)- SSE(F) 较大, 说明全模型不能简化为相应的约简模型, 因而有理由怀疑 H 0 的正确性. 由此可见, 差值 SSE(R)- SSE(F) 是衡量 H 0 是否为真的一个重要的统计量, 为此令 F = SSE(R)- SSE(F) f R - f F SSE(F) f F, ( ) 其中 f R 和 f F 分别表示约简模型和全模型的残差平方和的自由度, 分别等于样本容量减去各模型中独立的未知参数个数. 可以证明, 对线性回归模型 ( ), 当参数的线性约束条件为真时, 统计量 ( ) 服从自由度为 f R - f F 和 f F 的 F 分布, 即 F ~ F(f R - f F,f F ). ( )

24 1. 1 多元线性回归模型 15 如上分析, 较大的 F 值意味着 H 0 平 α, 检验准则为不合理, 即应拒绝 H 0, 因此对给定的显著水若 F 的观测值 F 0 F α (f R - f F, f F ), 接受 H 0, 若 F 的观测值 F 0 > F α (f R - f F, f F ), 拒绝 H 0. ( ) 这里 F α (f R - f F,f F ) 表示自由度为 f R - f F 和 f F 的 F 分布的上侧 α 分位数. 2. 回归参数的线性约束检验举例 (1) 回归关系的显著性检验在这里, 我们将说明前节的回归关系的显著性检验是上述检验法的一个特例. 这时全模型即 ( ), 而回归参数的线性约束条件为因此约简模型为 β 1 = β 2 = = β p - 1 = 0, Y =β 0 + ε. 这时,SSE(F)= SSE,f F = - p. 而用观测值拟合约简模型, 则有 X =(1, 1,,1) T, 故 X T X =,X T Y = Y,β 的估计 β i = 1 i 0 0 =(X T X) - 1 X T Y = 1 i = 1 Y i = 粡 Y, 由此可得 SSE(R)= i = 1 且 f R (Y i - Y i ) 2 = i = 1 (Y i - β 0 ) 2 = = - 1. 将有关量代入统计量 ( ) 得 i = 1 (Y i - 粡 Y) 2 = SST, F = SST - SSE ( - 1)- ( - p) SSE - p = MSR. ( ) MSE 此检验统计量即上节中的检验统计量 ( ), 且二者服从相同自由度的 F 分布. (2) 检验某个回归参数是否为零这里, 我们的全模型仍为 ( ), 而回归参数的线性约束条件为 β k = 0 (1 k p - 1), 因此约简模型为 ( ) 中去掉含 β k 的项以后的线性回归模型. 这时 SSE (F)= SSE,f F = - p, 而 SSE (R)= SSE (X 1,,X k - 1, X k + 1,,X p - 1 ), 其中 SSE(X 1,,X k - 1,X k + 1,,X p - 1 ) 表示拟合含自变量 X 1,,X k - 1,X k + 1,,X p - 1 的线性回归模型的残差平方和. 由于

25 16 第一章线性回归分析 SSE(R)- SSE(F)= SSE(X 1,,X k - 1,X k + 1,,X p - 1 ) - SSE(X 1,X 2,,X p - 1 ), 我们用记号 SSR(X k X 1,,X k - 1,X k + 1,,X p - 1 ) 表示上面两个残差平方和的差, 它描述了把 X k 引入到已包含 X 1,,X k - 1,X k + 1,,X p - 1 的线性回归模型中时, 其误差平方和所减少的部分, 我们称此量为额外回归平方和. 推而广之, 设 A 表示已在模型中的自变量的集合,B 为新添入的自变量的集合, 则 SSR(B A)= SSE(A)- SSE(A,B). ( ) 用此记号, 则 SSE(R)- SSE(F)= SSR(X k X 1,,X k - 1,X k + 1,,X p - 1 ), 且 f R = -(p - 1)= - p + 1. 这时 F = SSR(Xk X1,,Xk - 1,Xk + 1,,X p - 1 ). ( ) MSE 当 β k = 0 为真时,F~ F(1, - p). 给定显著水平 α, 检验准则为若 F 的观测值 F 0 F α (1, - p), 接受 H 0, 若 F 0 > F α (1, - p), 拒绝 H 0. 此检验通常称为对 β k 的偏 F 检验. 事实上, 此检验和上节的 t 检验是等价的 ( 证明留作习题 ). (3) 检验几个回归参数是否同时为零为叙述方便, 我们假定检验后 p - q 个回归参数是否同时为零, 即线性约束条件 β q =β q + 1 = = β p - 1 = 0 是否成立. 这时全模型仍为 ( ), 约简模型为 Y =β 0 +β 1 X β q - 1 X q - 1 +ε, 故 SSE(R)- SSE(F) = SSE(X 1,X 2,,X q - 1 )- SSE(X 1,X 2,,X p - 1 ) = SSR(X q,x q + 1,,X p - 1 X 1,X 2,,X q - 1 ), 且 f R = - q,f F = - p, 所以当约束条件为真时,

26 1. 1 多元线性回归模型 17 F = SSR(Xq,Xq + 1,,Xp - 1 X1,X2,,Xq - 1 ) p - q SSE - p ~ F(p - q, - p). ( ) 检验准则同上. 我们看到当 q = 1 时, 即 ( ); 当 q = p - 1 时, 即 ( ). (4) 其它一些检验利用检验统计量 ( ), 还可对更复杂的回归参数的线性关系作检验. 下面以包含三个自变量的线性模型为例说明之, 这时全模型为 Y =β 0 +β 1 X 1 +β 2 X 2 +β 3 X 3 +ε, ε~ N(0,σ 2 ). ( ) 若检验假设 H 0 :β 1 = β 2, H 1 :β 1 β 1. 首先拟合全模型 ( ), 得残差平方和 SSE(F)= SSE,f F 合约简模型 = - 4. 然后拟 Y = β 0 +β c (X 1 + X 2 )+ β 3 X 3 + ε, ( ) 其中对应于 β 1 和 β 2 的公共值 β c 的自变量为 X 1 + X 2, 即在数据中将 X i1 与 X i2 对应相加作为新变量 X 1 + X 2 的观测数据. 此模型的残差平方和为 SSE(R),f R = - 3. 从而当 H0 为真时, F = SSE(R)- SSE(F) ( - 3)- ( - 4) SSE(F) SSE(R)- SSE(F) = ~ F(1, - 4). - 4 SSE(F)/ ( - 4) ( ) 又如, 要检验假设 H 0 :β 1 = 3, β 3 = 5, H a :β 1 3 或 β 3 5. 这时, 约简模型为 Y =β X 1 +β 2 X X 3 +ε, 改写为粨 Y Y - 3 X 1-5 X 3 =β 0 +β 2 X 2 + ε, ( ) 对此模型, 因变量粨 Y 的观测值为 Y i - 3 X i1-5 X i3 (i = 1,2,,). 利用粨 Y 及 X 2 的观测数据拟合模型 ( ) 得其残差平方和 SSE(R),f R = - 2. 当 H 0

27 18 第一章线性回归分析为真时, F = SSE(R)- SSE(F) 2 SSE(F) ~ F(2, - 4). ( ) - 4 利用检验准则 ( ) 可对上述假设作检验. 由此可见, 检验统计量 ( ) 可以解决很多类型的有关回归参数的假设检验问题. 综上所述可得其一般的检验步骤如下 : (i) 拟合全模型得残差平方和 SSE(F); (ii) 在 H 0 之下, 拟合约简模型得其残差平方和 SSE(R); (iii) 计算 SSE(F) 和 SSE(R) 的自由度, 它们等于样本容量减去各模型中独立回归参数的个数 ; (iv) 计算统计量 ( ) 的观测值 F 0, 利用检验准则 ( ) 确定接受 H 0 还是拒绝 H 0. 在本节最后需要指出的是, 当模型 ( ) 中包含自变量的高次项交叉乘积项或自变量的其它已知函数项 ( 如,X 2 1,X 1 X 2,l(X 2 X 3 ) 等等 ) 时, 只要将它们看成新的自变量, 在设计矩阵中加入这些新变量的观测值所成的列, 也可将含上述项的回归模型在给定组观测值时写为 ( ) 的矩阵形式. 如对模型 Y =β0 +β1 X1 +β2 X2 +β3 X1 X2 +β4 l(x 2 1 )+ ε, 在给定组观测值 (X i1,x i2 ;Y i )(i = 1,2,,) 时, 只要令 1 X 11 X 12 X 11 X 12 l(x 2 11 ) X = 1 X 21 X 22 X 21 X 22 l(x 2 21 ), 1 X 1 X 2 X 1 X 2 l(x 2 1 ) 则有 Y = Xβ + ε, 其中 Y,β,ε 与前相同, 因而本节以及后面各节的讨论均适合于包含上述项的模型. 其实, 只要 Y 与未知参数之间的关系是线性的, 均可按多元线性回归模型 ( ) 的方式进行分析残差分析在拟合一个回归模型之前, 人们并不能肯定这个模型适用于所给数据. 诸

28 1. 2 残差分析 19 如对回归函数的线性假设误差的正态性和同方差性假设等, 都有可能不适合于所给数据. 因此, 拟合一个模型之后, 进一步考察模型对所给数据的适用性, 是将此模型应用于实际之前所必须的, 而且也是十分重要的一个环节. 如果拟合的模型不能较好地反映数据的特点, 就必须对模型作必要的修正或者对数据作某些处理. 在这一方面, 残差分析起着十分重要的作用. 我们知道, 残差 e i Y i - Y i (i = 1,2,,) 是 Y 的各观测值 Y i 与利用回归方程所得到的相应的拟合值 Y i 之差. 因此, 如果模型正确, 则可将 e i 近似看作第 i 次的测量误差. 而真正的测量误差 ε i = Y i - E(Y i )(i = 1,2,, ) 是未知的. 而在回归分析中我们通常假定 ε i (i = 1,2,,) 是独立同正态分布的随机变量, 有零均值和常值方差 σ 2. 因此, 若拟合的回归模型适合于所给数据, 那么残差 e i (i = 1,2,,) 应该基本上反映未知误差 ε i (i = 1,2,, ) 的特性. 利用残差的特点反过来考察原模型的合理性就是残差分析的基本思想. 通过对残差 ei (i = 1,2,,) 作分析, 可以在一定程度上回答下列问题 : (i) 回归函数的线性假设的可行性 ; (ii) 误差项 ε i 的等方差假设的合理性 ; (iii) 误差项独立性假设的合理性 ; (iv) 误差项正态分布假定的可行性 ; (v) 观测值中是否有异常值存在 ; (vi) 是否在收集数据或模型拟合中遗漏了某些重要的自变量误差项的正态性检验通过对残差的正态性作检验, 我们可以了解对误差 ε i 的正态性假设的合理性. 下面主要介绍残差正态性的频率检验和正态概率图检验. 1. 残差正态性的频率检验残差正态性的频率检验是一种很直观的检验方法. 其基本思想是将残差落在某范围的频率与正态分布在该范围的概率 ( 或称为理论频率 ) 相比较, 通过二者之间偏差的大小评估残差的正态性. 在回归模型 ( ) 中, 若假定 ε i ~ N (0,σ 2 ), 则 2,,). 如果模型正确, 则由 ( ) 知均方残差 ε i σ ~ N (0,1)(i = 1, 2 1 MSE = σ = - p i = 1 e 2 i ( )

29 20 第一章线性回归分析是 σ 2 的无偏估计. 因此当较大时, ei MSE (i = 1,2,,) 可近似认为是取自标准正态分布总体的样本. 由于服从 N (0,1) 分布的随机变量取值在 (- 1,1) 内的概率约为 0. 68; 在 (- 1. 5,1. 5) 内的概率约为 0. 87; 在 (- 2,2) 内的概率约为 0. 95; 等等. 因此理论上, 点 e i MSE (i = 1,2,,) 中有大约 68 % 应在 (- 1,1) 内 ;87 % 应在 (- 1. 5,1. 5) 内 ;95% 应在 (- 2,2) 内 ; 等等. 如果残差在某些区间内的频率与上述理论频率有较大的偏差, 则有理由怀疑 ei ( 从而 ε i )(i = 1,2,,) 的正态性假定的合理性. 用这种方法检验残差的正态性是十分方便的. 在实际应用中, 一般取二三个具有代表性的区间即可. 当样本容量较小时, 将 e i MSE (i = 1,2,,) 落在某些区间内的频率与自由度为 - p 的 t 分布在对应区间上的理论频率比较将更为合理. 例以例中的具体数据为例, 其残差 e i 和标准化残差 e i MSE (i = 1,2,,15) 的具体数值如表 : 表化妆品销售数据的残差 (MSE = 4. 74) i e i e i MSE i e i e i MSE 由此可见, 对此例中的 e i MSE (i = 1,2,,15), 10 以实际频率为 15 = 67 % 13 ( 68%) 的点落在 (- 1,1) 内 ; 正好有 15 = 87% 的点落在 (- 1. 5,1. 5) 内 ; 100%( 95 %) 数据均落在 (- 2,2) 内. 综上可知, 基于所给数据, 残差的实际频率与标准正态分布的理论频率相差不大, 所以认为原模型中对误差的正态

30 1. 2 残差分析 21 性假定是合理的. 2. 残差的正态概率图检验 (1) 残差的正态概率图的作法 (i) 将残差 e1,e2,,e 按由小到大的顺序排列为 e(1),e(2),,e(); (ii) 对每个 i = 1,2,,, 计算 q (i) MSE Z i , 称 q (i) 为 e (i ) 的期望值, 其中 Z i 表示标准正态分布的下侧 i 分位数, 即满足 1 2π Z ( - i ) e - x 2 2 d x = i ; ( ) (iii) 在以残差为纵坐标, 期望值为横坐标的直角坐标系中描出点 (q (i), e (i))(i = 1,2,,), 称此散点图为残差的正态概率图. (2) 直观检验法理论上可以证明, 若 e i (i = 1,2,,) 是来自正态分布总体的样本, 则点 (q (i),e (i))(i = 1,2,,) 应在一条直线上. 因此, 若残差的正态概率图中的点的大致趋势明显地不在一条直线上, 我们则有理由怀疑对误差的正态性假定的合理性. 否则, 可认为误差正态性的假定是合理的. (3) 相关系数检验法除通过观察散点图中点是否大致在一条直线上外, 还可通过计算 e (i) 和 q (i) (i = 1,2,,) 之间的相关系数判断它们之间线性关系的强弱. 由于可证明 i = 1 e (i) = i = 1 e i = 0, i = 1 q (i) = 0. 故其相关系数为 ρ= i = 1 i = 1 e(i) q(i) e 2 (i) i = 1 q 2 (i), ( ) 若相关系数 ρ 的值接近于 1, 则说明点 (q (i),e (i)) 近似在一条直线上. 例以例中的数据为例, 画出其残差的正态概率图. 可求得 e (i),q (i) 的值见表 :

FJXBQ

FJXBQ 高等医学院校选用教材 ( 供成人教育中医药专业中西医结合专业使用 ) 方剂学闫润红主编 2 0 0 1 内容简介本书是供成人教育中医药专业中西医结合专业使用的教材全书分总论和各论两部分, 总论部分对中医方剂的基本理论, 如治法君臣佐使剂型剂量等及其现代研究进展进行了介绍各论部分对常用方剂的主治病证配伍意义临床应用加减变化规律及现代研究概况等内容, 按分类进行了系统阐述在保证方剂学学科知识结构完整性的前提下,