PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

闽向
5 years ago
Views:

1 非参数统计第五章两个相关样本的非参数检验授课教师 : 崔畅 017 年 10 月 017/11/9 1

2 相关样本的非参数检验相关样本 : 常常是指从一个对象身上测得的两个或多个指标两个相关样本非参数检验称名量表或顺序量表 McNemar 检验间隔量表或比例量表符号检验 Wilcoxon 检验

3 McNemar 变化显著性检验 McNemar 变化显著性检验的基本思想和方法 McNemar 变化显著性检验适合先后匹配型的设计, 每个研究对象以自身作为对照者, 研究试验前后变化的有效程度指标的测量水平较低, 只是称名量表或顺序量表首先设计一个四格频数表, 以记录前后变化情况, 如下表所示试验前后频数变化表试验前试验后 + + A B + C D 这里 + 和 - 表示不同的反应, 试验前后有变化的研究对象数量应填在 B 或 C 格内, 试验前后没有变化的研究对象数量应填在 A 或 D 格内 McNemar 变化显著性检验的基本思想是 : 如果试验对研究对象没有影响, 则 B C 的数量应当接 1 近其期望值 ( B C ), 否则,B C 的数量同其期望值 ( B C ) 差距较大 1 3

4 McNemar 变化显著性检验 McNemar 变化显著性检验的过程如下 : (1) 建立零假设和备择假设 H 0 H 1 () 构造统计量 : 试验对研究对象变化没有显著影响 ; : 试验对研究对象变化有显著影响根据检验的基本思想, 可以构造统计量 : 在 H 0 B C B C ( B ) ( C ) ( B C ). B C B C B C 成立时, 统计量近似服从自由度为 1 的卡方分布当用连续分布来近似 ( B C ) B C 替代离散分布时, 须使用连续性修正以消除误差, 修正后公式为 :. 当期望频数 1 ( B C ) 样本看作是一个来自 p=0.5 的二项分布 1 值小于等于 10 时, 应当使用二项分布检验, 将 B C 格 4

5 McNemar 变化显著性检验 (3) 设定显著水平和确定拒绝域当期望频数分布临界值表, 确定值小于等于 10 时, 可根据 n=b+c α 和 p 值, 通过查二项时, 拒绝零假设 ; 否则, 接受零假设当期望频数显著水平 α, 拒绝域为 (4) 计算统计量和做出统计决策计算统计量 1 ( B C ) max B,C 的临界值将 θ 与临界值比较, 当 θ 大于临界值 1 1 ( B C ) 值大于 10 时, 给定的值, 如果落在拒绝域 Θ 中, 拒绝零假设, 即试验对研究对象变化有显著影响 ; 否则, 接受零假设, 即试验对研究对象变化没有显著影响 5

6 McNemar 变化显著性检验举例 1 例 5.1 为了研究牛奶广告的效果, 我们抽取 50 户居民, 其广告发布前后牛奶订购状况如下表所示 : 广告发布后广告发布前频数订购不订购订购 6 8 不订购 8 8 分析牛奶广告是否对用户订购牛奶产生显著影响 6

7 McNemar 变化显著性检验举例 1 解 (1) 建立假设 : H H 0 1 : : 牛奶广告对用户订购牛奶没有显著影响 ; 牛奶广告对用户订购牛奶产生显著影响 () 计算统计量 : ( 8 8 1) (3) 给定显著性水平 α = 0.05, 否定域为 (4) 拒绝零假设, 即牛奶广告对订购牛奶产生显著影响 7

8 McNemar 变化显著性检验举例例 5. 某高校使用班车接送教师上下班, 由于班车时间安排问题, 乘坐班车的教师较少, 班车的利用率不高为了提高班车的利用率, 车队调整了班车时间新时间表实施一个月后, 随机抽取 30 名教师进行调查, 时间调整前后乘坐班车情况如下表所示 : 新班车时刻表旧班车时刻表频数乘坐不乘坐乘坐 9 1 不乘坐 17 3 分析新班车时刻表是否对教师乘坐班车情况产生显著影响 8

9 McNemar 变化显著性检验举例解 :(1) 建立假设 : H H 0 1 : : 新班车时刻对教师乘坐班车情况没有显著影响 ; 新班车时刻对教师乘坐班车情况产生显著影响 () 计算统计量 max( 1,17) 17. (3) 给定显著性水平 α = 0.05, 临界值为 14 (4) 拒绝零假设, 即新班车时刻表对教师乘坐班车情况产生显著影响 9

10 McNemar 变化显著性检验习题所示 : 为了研究某种新药是否对心脏病是否有效, 服药前后的患病情况如下表服药后服药前频数患病不患病患病不患病分析该种新药是否对心脏病的治疗有显著影响 (α = 0.05 ) 10

11 符号检验和分位数推断一基本概念符号检验是非参数统计中最古老的检验方法之一, 最早可追溯到 Arbuthnott 于 1701 年一项有关伦敦出生的男婴性别比是否超过 1/ 的研究这种检验被称为符号检验的一个理由是它所关心的信息只与两类观测值有关, 如果用符号 + 和 - 区分, 符号检验就是通过符号 + 和 - 的个数来进行统计推断, 故称为符号检验 11

12 符号检验和分位数推断例假设某城市 16 座预出售的楼盘均价 ( 单位 : 百元 /m ), 如下表所示 : 该地平均楼盘价格是否与媒体公布的 3700 元 /m 的说法相符? 解这是用样本推断总体位置参数的典型问题假设在统计时点上楼盘价格服从正态分布, 可以建立零假设和备择假设 : H : 37 H1: 假设其中,μ 是总体均值, 样本均值和样本方差分别为 X 36. 5,S 由于 n 为小样本, 采用 t 统计量计算检验统计值 : X t S / n. 根据自由度为, 得 t 检验的 p 值为 0.89, 在显著性水平 0.89下都不能拒绝零

13 符号检验和分位数推断总结一下刚才的推断过程 : 假定分布结构确定假设检验统计量在零假设下的抽样分布抽样分布计算拒绝域或计算 p 值与显著性比较做出决策逻辑推理中, 假设分布结构的正态性是否合理, 是 t 检验运用是否得当的关键我们注意到在以上 16 个数据中,3 个楼盘的价格高于 3700 元 /m, 而另外 13 个楼盘的价格都低于 3700 元 /m 3:13 显然支持的是 3700 元 /m 不能作为正态分布对称中心的观点, 这与 t 检验没有通过检验不一致, 是显著性证据不充分呢? 还是另有原因? 13

14 符号检验和分位数推断换个角度, 单一连续数据总体中心位置的参数有中位数和均值, 总体均值的点估计是样本均值, 总体中位数的点估计是样本中位数这对于单峰对称数据而言, 两者的差异不大 ; 但对于非对称分布, 中位数较均值而言是对总体中心位置更稳健的估计如果假设问题的结构是一般连续型分布, 将 37 理解为总体的中位数, 则假设检验问题表示为 : H0: Me 37 H1: Me 37. 其中, M e 是总体的中位数若零假设为真, 则数据中应该约各有一半在 37 的两侧用 S + 表示位于 37 右边点的个数,S 表示位于 37 左边点的个数, 数据中没有等于 37 的数,S + +S = 16 在零假设和独立同分布的随机抽样的条件下, S + ~b(n, 0.5) 从有利于接受备择假设的角度出发,S + 过大或过小, 都表示 37 不能作为总体的中心, 这个思路就是符号检验的基本原理 14

15 符号检验和分位数推断下面给出规范的符号检验推断过程其中,M 0 是待检验的中位数值假设机样本, 定义 : Y IX M, Z IX, 绝域为设总体 F M, M 是总体的中位数, 对于 : H0: M M0 H1: Me M i i S 0 i i M 0 n i1 n i X1,X,...,X n Y, S Zi. S S n',n' n i1 e 0 是从总体 F M 中产生的简单随令 K min S, S 在零假设之下, 假设检验问题等价于另一个结构问题 : 此时,K<k 可按照抽样分布 b(n, 0.5) 求解得到, 在显著性水平为 α 下的检验的拒其中,k 是满足上式最大的 k 也可以通过计算统计量 K 的 p 值作决策 ; 如果统计量 K 的值是 k,p 值 = { ( K k n', p 0. 5) }, 当 p时, 拒绝零假设 Y ~ b( 1, p ), p P X M 0 H : p. 5 H : p ( K k n', p 0. 5). P binom P binom

16 符号检验和分位数推断类似地, 给出单边假设检验问题的结果, 如下表所示单边假设检验问题的结果 H0 : M M0 «H1: Me > M e 0 H0 : M ³ M0 «H1: Me < M e P binom ( S < k n', p = 0. 5 ) a 其中 k 是满足上式最大的 k + P binom ( S < k n', p = 0. 5 ) a 其中 k 是满足上式最小的 k 也就是说, 当大部分数据都在 M 0 的右边, 此时 S + 较大,S 较小, 则认为数据的中心位置大于 M 0 ; 反之当大部分数据都在 M 0 的左边, 此时 S 较大,S + 较小, 则认为数据的中心位置小于 M 0 16

17 符号检验和分位数推断时, S 二大样本计算当样本量较大时, 可使用二项分布的正态近似进行检验, 即当 n' n' ~ N(, ) 4, 定义 Z S n' n' 4 N( 01, ), n. 1 ~ b( n', ) 当 n 不够大时, 可以用 Z 的正态性修正 : n' S C Z N( 0, 1). n' 4 n' n' 一般, 当 S 时,C=-1/; 当 S 时,C=1/,p 值为 P ) z ) ( Z N( 0, 1 S 17

18 符号检验和分位数推断同理, 可以得到单侧检验的结论如下左侧检验 : H 0 : Me M0 H1: Me M0, p值为 PN( 0, 1) ( Z z ); 右侧检验 : H 0 : Me M0 H1: Me M0, p值为 PN( 0, 1) ( Z z ). 18

19 符号检验和分位数推断正态性修正的讨论对离散分布应用正态性修正是非参数统计推断中较为普遍的做法正态性修正的具体定义为 : 设 X 服从离散分布, 所有可能取值为 01,,,...,n, 如果 X 近似的正态分布为 N(, ), 当待估计的点 X k n / 时,k 处的概率分布函数 P( X k ) 用正态分布 N( C, ) 在 k 处的分布函数估计 C=1/, 这相当于用位置参数向右平移 1/ 单位的分布来估计 k 的概率分布 ; 同理, 当 X k n / 时, k 处的概率分布函数 P( X k ) 用正态分布 N( C, ) 在 k 处的分布函数估计 C=- 1/, 这相当于用位置参数向左平移 1/ 单位的分布来估计 k 的概率分布 19

20 符号检验和分位数推断三符号检验在配对样本比较中的应用对两总体进行比较时, 配对样本是常遇到的情况, 如生物的雌雄, 疾病的有无, 前后两次试验的结果等设配对观测值为 x 1, y 1,, x n, y n n 对样本数据中, 若 x i < y i, 则记为 + ; 若 x i > y i, 则记为 - ; 若 x i = y i, 则记为 0. 于是数据可能被分成三类 (+,-,0) 我们只比较 + 和 - 的个数, 记 + 和 - 的个数和为 n,n < n 问题是比较两类数据的比例是否相等假设 P + 为 + 的比例,P 为 - 的比例, 则可以有假设检验 : H H 0 1 : P : P P P 这类问题由于只涉及符号的问题, 自然可以用符号检验来分析 0

21 符号检验和分位数推断四分位数检验符号检验的推广以上方法可以扩展到单一总体 p 分位数的检验如果总体的形状没有更进一步的假定, 那么关于中位数的符号检验是水平为 α 的一致最优势检验假设总体 F M p,m p 是总体的 p 分位数, 对于假设检验问题 : H0: M p M p H :, 0 1 M p M p0 M p0 是待检验的 p 0 分位数上述检验问题等价于 H0: p p0 H1: p p0. 定义 : Y I X M, Z I X M, 在零假设之下, ~ B( 1, p ), i i p i 0 p 0 S i n i0 Y n i, S Zi. i1 Z i 0 S + 是数据落在 M p0 右边的数据量,S 是数据落在 M p0 左边的数据量假设有效数据量 n = S + +S, 零假设下的结果如下页表所示 S ~ b( n', p0 ), S ~ b( n', 1 p0 ), 可得假设检验问题 1

22 符号检验和分位数推断 H : M = M «H : M ¹ 0 p p p p 0 1 H : M M «H : M > 0 1 分位数符号检验问题结果 M M 0 p p p p H : M ³ M «H : M < 0 p p p p 0 1 M S < k 1 S < k - ( S < k n', p = p ) a - + 拒绝域 { } 或 { } P binom 1 0 其中 k 1 是满足上式最大的 k 1 - P binom ( S > k 1 n', p = p 0 ) a 其中 k 是满足上式最大的 k - ( S < k n', p = p ) a P binom 0 其中 k 是满足上式最大的 k + ( S < k n', p = 1 - p ) a P binom 0 其中 k 是满足上式最大的 k

23 符号检验和分位数推断举例 1 例 5.3 为了检验工艺 A 和工艺 B 的生产效率是否相同, 从工厂中随机抽取 30 名工人, 其使用生产工艺 A 和工艺 B 每天生产的产品数量下表所示, 分析两种生产工艺是否存在显著差异编号 A B 编号 A B 编号 A B

24 符号检验和分位数推断举例 1 解 :(1) 建立假设 : H H 0 1 : + 和 - 的数量服从 p 0.5 的二项分布 ; : + 和 - 的数量不服从 p 0.5 的二项分布 () 计算统计量 Z (1 0.5) (3) 给定显著性水平 0.05, 否定域为 Z Z (4) 拒绝零假设, 两种生产工艺存在显著差异 4

25 符号检验和分位数推断举例例 5.4 公司目前招聘一名广告市场分析的研究员, 共有 0 名应聘者前来应聘客户部经理和市场部经理分别给出的这 0 名应聘者的面试分数如下表所示, 分析客户部经理和市场部经理的评价标准是否一致编号客户部经理市场部经理编号客户部经理市场部经理

26 符号检验和分位数推断举例解 : (1) 建立假设 : H H 0 1 : : 客户部经理和市场部经理的评价标准一致 ; 客户部经理和市场部经理的评价标准不一致 ; () 计算统计量 : (3) 给定显著性水平 0.05, 可查得临界值上界为 14 (4) 接受零假设 max( 10,18 10) 10. 6

27 Wilcoxon 符号秩检验 Wilcoxon 符号秩检验的基本思想和方法在对两个相关样本分布是否相同进行检验时, 如果收集到的数据的测量水平为间隔量表或比例量表, 可以使用 Wilcoxon 符号秩检验方法来判断两个配对总体分布是否存在显著性差异, 该方法比符号检验更能充分利用样本的信息 Wilcoxon 符号秩检验的基本思路是 : 首先去掉观察值相同的样本对, 然后再进行分析将试验组样本的观察值减去对照组样本的观察值, 差值为正记为 +, 差值为负记为 - 然后将差值绝对值数据按照升序排列, 并求出相应的秩 ( 如果存在同分秩, 则需要进行同分修正 ), 计算出正号秩总和 W + 和负号秩总和 W 如果正号秩和与负号秩和相差较小, 则两个样本分布基本相同 7

28 Wilcoxon 符号秩检验 Wilcoxon 符号秩检验的基本步骤如下 : (1) 建立零假设和备择假设 H 0 : 正号秩和与负号秩和相同, 即两个相关样本分布相同 ; H 1 : 正号秩和与负号秩和不同, 即两个相关样本分布不同 () 构造统计量令 W min W, W,n 为配对样本数量当 n<5 时, 可以根据 Wilcoxon 临界值表来判断拒绝域当 n 5 时, 可以构造统计量 Z W n( n 1) / 4. n( n 1)( n 1) / 4 零假设成立时, 统计量 Z 近似服从 N(0,1) 正态分布 8

29 Wilcoxon 符号秩检验当有很多同分秩存在时, 需要对 Z 统计量进行修正, 首先对于每个数对 (X i, Y i ) 定义符号秩 ( 记为 R i ) 如下 ( 其中 X i 为试验组,Y i 为对照组 ): 当试验组样本的观察值减去对照组样本的观察值的差值为负时,R i 等于赋给 x i y i 的秩当试验组样本的观察值减去对照组样本的观察值的差值为正时,R i 等于赋给 x i y i 的秩的负数修正后的 Z 统计量为 Z n i1 n i1 R i R i. 9

30 Wilcoxon 符号秩检验 (3) 设定显著水平和确定拒绝域当 n<5 时, 可以根据 Wilcoxon 临界值表来判断拒绝域为 W W 临界值. 当 n 5 时, 在显著性水平为 α 时, 拒绝域为 Z Z z. (4) 计算统计量和做出统计决策当样本量 n<5 时, 如果 W min W 小于临界值下界, 拒绝零假设 ; 否则, 接受零假设当样本量 n 5 时, 计算统计量的值, 如果落在拒绝域 Z Z z. 中, 拒绝零假设, 即两个相关样本分布不同 ; 否则, 接受零假设, 即两个相关样本分布相同, W 30

31 Wilcoxon 符号秩检验举例 1 例 5.5 某信息台采用了新的设备, 采用新设备前后 30 接线员每天接听电话数量如下表所示, 分析新设备使用前后接线员接线数量分布是否发生变化编号新设备旧设备编号新设备旧设备编号新设备旧设备

32 Wilcoxon 符号秩检验举例 1 解 :(1) 提出假设 : H H 0 1 : 新设备使用前后接线员接线数量分布没有发生变化 ; : 新设备使用前后接线员接线数量分布发生显著变化 ; () 计算统计量 Z (3) 给定显著性水平 0.05, 否定域为 : Z Z (4) 拒绝零假设 n R i i1 n Ri i

33 Wilcoxon 符号秩检验举例 1 例 5.6 某企业为了检验新工资制度是否会改变业务员的销售量, 随机抽取 10 业务员, 统计了实行新工资制度前一年和实行新工资制度当年每个业务员的销售量, 如下表所示 : 分析新工资适度是否会对业务员的销售产生影响编号新工资旧工资编号新工资旧工资

34 Wilcoxon 符号秩检验举例 1 解 :(1) 提出假设 : H H 0 1 : : 新工资制度对业务员的销售量没有影响 ; 新工资制度对业务员的销售量产生影响 () 计算统计量 W min( W, W ) min(41,14) 14. (3) 给定显著性水平 0.05, 否定域为 W W 8. (4) 接受零假设 34

35 Thank You! 35

第五章数理统计中的统计量及其分布

第五章数理统计中的统计量及其分布第五章数理统计中的统计量及其分布随机样本统计量三大抽样分布正态总体下常用统计量的一些重要结论数理统计以概率论为基础主要研究如何收集整理和分析实际问题的数据有限的资源以便对所研究的问题作出有效的精确而可靠推断基础概率论功能处理数据目的作出科学推断就概率特征总体与随机样本总体研究对象的某项数量指标值的全体记作 Y 个体总体中每个研究对象元素.