第十一章非参数检验

Size: px

Start display at page:

Download "第十一章非参数检验"

辈赫舍里
5 years ago
Views:

1 课程主页 : 课件下载 : 密码 : habs 吴国榕, 西南大学心理学部 34 邮箱 :guorongwu@swu.edu.cn

2 参数统计检验指进行统计假设检验时需要明确总体的分布形态, 总体参数需要满足某些假定条件的一类统计假设检验方法参数检验的特点 : 1. 以明确的总体分布为前提. 需要满足某些总体参数的假定条件例如 t 检验要求 : 样本所属总体为正态 ; 总体方差齐性

3 非参数模型 (non-parametric): 是指总体或样本的分布无法用有限的几个参数来确定时的统计分布形态非参数检验的方法对数据分布形态没有任何要求但是, 非参数检验本身是比较粗糙效率较低的, 它一般只顾及观察对象的类别 ( 符号 ) 与顺序也就是说, 使用非参数检验, 所有变量值只具有等级性了, 即使数据本身是等距连续测量的

4 非参数统计检验 (non-parametric statistical test), 又称为任意分布检验 (distribution-free test), 是指对总体的分布没有严格假定, 对总体参数也没有特殊规定条件的假设检验方法从该定义可看出它的特点有 : 不要求知道随机变量的函数分布 ; 不直接对分布参数 μ σ 等检验它往往用于处理顺序等级等计量信息较弱的数据资料例如检验

5 一般不需要严格的前提假设非参数检验特别适用于顺序资料或等级变量非参数检验很适用于小样本, 且方法简单非参数检验最大的不足是未能充分利用资料的全部信息非参数方法目前还不能处理交互作用

6 测量变量分类变量顺序变量等距变量等比变量数学性质描述统计量适合的统计检验 =, 众数, 频率, 列联系数 =,,>, < 中数, 百分位数, 肯德尔秩相关, 斯皮尔曼等级相关 =,,>, <, +,- =,,>, <, +,-,x,/ 平均值, 方差, 皮尔逊相关非参数检验非参数检验参数检验非参数检验几何均值, 标准差, 参数检验多重相关系数非参数检验 6

7 类似于参数检验两独立样本的检验两相关样本的检验秩和检验中位数检验符号检验法符号秩和检验小样本情况大样本情况等级方差分析完全随机设计克 - 瓦氏单向等级方差分析随机区组设计弗里德曼双向等级方差分析

8 最早由 Wilcox 提出, 后经 Mann-Whitney 加以完善适用资料 : 独立样本 t 检验, 当总体正态不成立时基本思想 : 假设两组数据没有显著性差异把这些数据充分混合再依次大小顺序重新排列则这两组数据中哪个数据排在第几的概率应该是一样的如果相差太大, 则应否定没有显著性差异的假设 8

9 秩 (rank): 指具有相同性质的统计数据按照如大小高低好坏等一定顺序排列后每个数据排列位次的顺序数 ( 可理解为 : 序列顺序等级 ) 秩和 (the sum of the ranks): 是指一列数据的排序位次或等级之和秩和检验以容量较小样本的秩和为 T ( 若 n1=n, 以均数小的样本秩和为 T) T 分布的特点 ( 此 T 非彼 t student s t) 间断而非连续的 ; 对称的 ; 与变量基础分布形式无关 ; n1,n 容量都大于 10 时, 接近正态分布 ; 相当于 t 检验, 用于不符合 t 检验基本假设的情形 9

10 过程 : 两样本混合从小到大排列赋予等级求 T 检验秩和检验统计决断规则 T 与两侧临界值比较显著性 T 1 <T<T 不显著 T T 1 或 T T 显著注意 : 与 student s t 检验判断显著与否的相似性例 : 1 T=3 显著 T=7 不显著 T=8 10

新法组原始分 9 78 94 88 76 87 新法组秩次 13 7 14 1 5.5 11 T= 6.

11 新法组原始分新法组秩次 T= 6.5 原法组原始分原法组秩次

12 例 1 的计算解 :1 建立假设 : H0: 两组舞蹈技能成绩相同 H1: 两组舞蹈技能成绩不相同编排秩次 : 见上页表 3 求秩和 :T= =6.5 4 统计决断 : 由 n1=6,n=8 及 α=0.05, 查秩和检验表 ( 附表 14, 此表为单侧检验 ) 得 : T1=9, T = 61, 因为 6.5> 61, 所以两种方法的训练有显著性差异从两组原始分数看, 新的训练方法优于原训练方法 1

13 秩和 T 的分布接近正态分布, 设 n1<n, 则其平均数, 标准差 (P343, 公式 11-1,11-): 检验公式 : Z T T T m T = n 1(n 1 + n +1) s T = n 1n (n 1 + n +1) 1 13

14 男生原始分男生秩次女生原始分女生秩次解 :1 提出假设 : H0: 成绩相同. H1: 不相同编秩次 : 见上表 3 求秩和 :T= =144.5 n1 4 计算统计量 : n1 n 判断结果 : p>0.05, 接受 H0 Z T T n n T 1 T T n n , 1 16, Z

15 上例中有等秩 (tie) 现象, 因此在使用正态近似法时也可使用下面的校正公式 : ( t 不变 ) 式中 t k 表示第 k 个相同等级中相同值的个数 n n n n t t n n n n k k T T T C T Z 5 0.

16 秩和检验对两个样本具体观测值的相互关系给予了关注, 比后面的符号检验法对数据信息利用率高, 故检验效能较高在正态分布总体下可达 t 检验效率的 95% 在偏态分布总体下, 其检验效能一般比 t 检验还高 16

17 顺序变量的数据常以中位数作为集中量对两个或几个独立样本的比较, 可以采用非参数检验法中的中位数检验法 (median test ) 中位数的检验方法相当于参数检验中两独立样本平均数之差的 t 检验如果样本的数据不能满足参数检验中独立样本 t 检验的要求, 可以用这种方法进行差异检验, 但检验精度比参数检验要差适用资料 : 与秩和检验法的适用条件基本相同其地位也与秩和法相当 17

18 计算过程 : 混合排列求中数四格表卡方检验具体的步骤 : 提出假设 (H 0 : 两独立样本中高于中位数和低于中位数的数据个数相同 ) 将两样本数据混合, 并找出共同的中位数分别统计两样本中大于中位数的数据个数和小于中位数的数据个数用独立样本四格表的 χ 检验方法进行检验 > 中数 < 中数 A 组 a b B 组 c d Nad bc a b c d a c b d

19 甲校乙校解 :1 建立假设 :H0: 成绩相等 ; H1: 成绩不相等将两组数据混合排列, 求中数得 :Md= 统计中数上下频数, 并列表 11-4 表 11-4 两校普通话成绩中数检验表校别中数以下中数以上合计甲校乙校合计

20 4 计算检验统计量 : 5 统计决断 : 查表得 : c = = N ( ad - bc) ( a + b) ( c + d) ( a + c) ( b + d) 4 ( ) = 因为 0.67<3.84, 所以 p>0.05, 接受 H0 故两所学校普通话测验成绩无显著差异注意 : 如果任何一个单元格中期望次数低于 1, 或者有 0% 的单元格的期望次数低于 5 时, 就不能使用中数检验方法 0

符号检验法是通过两个相关样本的每对数据之差的符号 ( 正号或负号 ) 进行检验, 从而比较两个样本差异的显著性符号检验法也是以中数作为集中趋势的量度, 具体地讲, 它是将两个样本每对数据之差用正负号表示, 若两个样本差异不显著, 正差值与负差值的数量应大致各占一半因此, 符号检验法的零假设

21 符号检验法是通过两个相关样本的每对数据之差的符号 ( 正号或负号 ) 进行检验, 从而比较两个样本差异的显著性符号检验法也是以中数作为集中趋势的量度, 具体地讲, 它是将两个样本每对数据之差用正负号表示, 若两个样本差异不显著, 正差值与负差值的数量应大致各占一半因此, 符号检验法的零假设 H0 为差值的中数等于零适用资料 ( 即适用范围 ) 符号检验法是以正负号作为资料的一种非参数检验, 它适用于相关样本的差异检验它与参数检验中相关样本差异显著性 t 检验相对应, 当资料不满足参数检验的条件时, 可以采用此法来检验两相关样本的差异显著性与配对样本差异性 t 检验相对应 1

r 与临界值的比较 P 值显著性 r >r 0.05 P>0.05 不显著 r 0.01 <r r 0.05 0.01<p 0.05 显著 r r 0.01 p 0.

22 r 与临界值的比较 P 值显著性 r >r 0.05 P>0.05 不显著 r 0.01 <r r <p 0.05 显著 r r 0.01 p 0.01 极显著注意 : n+ 与 n- 偏离越多, 则两配对样本差异越大 N=16,r= 显著 N=16,r=8 不显著

23 解释 : 直观地看, 若 n+ = n-, 则意味着 (Xi -Yj) 中除零外, 正负各占一半, 不认为有显著差异, 若 n+ 与 n- 偏离越多, 则表明 X 变量与 Y 变量的差异越大实际检验时, 可利用附表 15, 求 r 临界值, 这里附表中的临界值是以 min(n+,n-) 的理论个数出现的, 所以与参数检验临界值的判断相反 3

配对 1 3 4 5 6 7 8 9 10 实验组 x 80 75 73 8 79 75 74 89 85

24 配对实验组 x 对照组 y xi-yj

25 例 4 的计算解 :1 建立假设 : H0: P(X>Y)=P(X<Y); H1: P(X>Y) P(X<Y); 求差数并记符号 :n+ =6, n- =3, N=9, r=3 3 统计决断 : 过去没有资料可以说明识记与试背相结合的方法就优于反复阅读的识记法, 故采用双侧检验. 查附表 15,N=9,α=0.05 的单侧临界值 r 0.1 / =1 因为 r=3>1=r 0.1 /, 所以 p>0.1>0.05, 在 0.05 水平上接受 H0 故两种识记训练无显著差异 5

26 当样本容量大于 5 时, 二项分布接近正态分布在单侧符号检验表中给出了 n 从 1 到 90, 这个范围内的临界值, 人们可以附表 15 的方法来进行检验, 然而在实际中当 n>5 时, 常用近似正态法来进行检验由于在符号检验中差值的正负出现的概率各为 1/, 那么 : np 1 n, npq n, Z r r n n 应用中为了更接近正态分布, 使用校正公式为 : Z n r 0.5 (11 5) n 6

27 序号培训前 X 培训后 Y 差数符号序号培训前 X 培训后 Y 差数符号序号培训前 X 培训后 Y 差数符号

28 例 5 的计算解 :1 建立假设 : H0: P(X>Y)=P(X<Y); H1: P(X>Y) P(X<Y); 求差数, 记符号并求统计量 : 由表得 n+=10,n-=4, 则 n=n++n-=34,r=10 Z r 0.5 n n 统计决断 : 因为 1.96< -.3 <.58, 所以 0.01<p<0.05, 即在 0.05 水平上拒绝 H0, 而接受 H1. 故手工技能培训有显著差异 34 8

29 ( 一 ) 适用范围 : 与符号检验法相同, 但它比符号检验法的精度高 ( 二 ) 计算过程 : ⒈ 样本容量 n 5 时, 其计算步骤为 : (1) 把相关样本每对数据之差按绝对值从小到大作等级排列 ( 差数为零时, 零不计在内 ) () 在各等级前面添上原来的正负号 (3) 求 T+ 与 T-, 令 T=min(T+, T-) ( 注意 : 不是容量较小者 ) (4) 由 n 来查附表 16, 求出 T 的临界值, 当 T 大于 T 的临界值时, 则说明差异不显著 ; 当 T 小于 T 的临界值时, 则差异显著 ( 道理同符号检验法 ) 例 : T=3 显著 T=7 不显著 T 不是容量较小者, 所以它与秩和检验的临界值有差别 9

30 表 11-9 两组学生做图形再认实验结果配对实验组 X 控制组 Y D=X-Y D 的秩次添符号

31 例 6 的计算解 :1 建立假设 : H0: P(X>Y)=P(X<Y); H1: P(X>Y) P(X<Y); 求差数的等级并求 T : T-=+6+3+1=1 T+= =66, 显然 : T=1 3 统计推断 : 查附表 16, n=1,t.05=14,t.01=7( 双侧 ). 因为 7<1<14, 所以 0.01<P<0.05, 则在 0.05 水平上差异显著即反馈对图形再认实验有显著影响 31

32 . 当样本容量 n>5 时, 二项分布接近正态分布, 其平均数为 : 标准差为 : ( ) m T = n n +1 4 s T = n n +1 ( )( n +1) 4 检验公式为 : Z = T - m T s T 当出现相同等级 (tie) 较多时, 应计算校正统计量 Z C Z T 0.5 T 3 n( n 1)(n 1) 0.5 t t / 4 k k 3

33 Di=Xi-Yi D 的秩次添符号 Di=Xi-Yi D 的秩次添符号 Di=Xi-Yi D 的秩次添符号

34 T+= =141.5 T-= =443.5 显然 :T=T+=141.5 m T = n ( n +1 ) = = (35 个差值中有一个 0 不计在内, 故 n=34) ( )( n +1) ( ) ( )( 34 +1) s T = n n = = Z = T - m T = = -.67 s T 查正态表得 : Z.05=1.96,Z.01=.58 ( 双侧 ) 因为 -.67 >.58, 所以 P<0.01, 则在 0.01 水平上拒绝 H0 故手工技能训练有极显著效果 34

35 注意 : 对同一个问题, 如果用符号检验和符号等级检验得出的结论是矛盾的, 这时应该相信符号等级检验法的结果, 因为后者不仅考虑符号, 还考虑等级差大小, 利用了更多的信息, 结果就相对可靠性强一些符号检验和维尔克松符号秩和检验都针对连续性数据或有序分类数据, 如果要检验每一对二分变量之间的差异是否显著, 则应使用麦克内玛检验 (McNemar test) 例子 : 医学研究中, 要判断治疗对某症状是否有显著改善, 常常将同一病人就治疗前和治疗后进行配对观测由于治疗前后两种状态下某症状有或无是针对同一病人, 因此所得资料称作相依配对计数资料 (McNemar 检验公式即为相关样本四格表的检验公式 ) 治疗后具有症状 A 治疗后不具有症状 A 治疗前不具有症状 A a b 治疗前具有症状 A c d b c b c 35

36 进行方差分析时如果不能满足几个前提假设 : 总体服从正态分布, 各组方差齐性等可以使用非参数方法在进行非参数方差分析时, 大多数需要把原始数据转换成等级, 因此非参数方差分析又称为等级方差分析克 - 瓦氏单向等级方差分析的适用范围 : 与参数方法中的完全随机设计方差分析相对应, 即当实验是完全随机方式设计, 且所得的数据又不满足参数检验的前提条件时, 则需要此方法 36

37 计算过程 : (1) 将各组数据混合, 从小到大排等级 ; () 求各组的等级和 R i ; (3) 代入公式, 求 H: 1 R i H 3N N 1 N n i 1 N 为总样本容量,N= i=1 K n i (4) 查表求出 H 的临界值 (P48, 附表 17), 当 H 大于临界值时, 则说明各组之间差异是显著的 37

38 解 : 将三组数据混合求出等级, 并填入表相应格的括号内由它得到 R1=7,R=19,R3=45 代入公式 : H = 查附表 17 n 1 H ( ) 5, n H.05 æ 7 ç è n , H p ö ø ( ) = 序号 A 组 B 组 C 组 (8) 67(3) 8(10) 70(4) 63() 60(1) 7(5) 76(7) 73(6) 85(13) 79(9) 83(11) 84(1) Ri 故这三个小组的书法成绩有显著性差异 38

39 H 的分布接近自由度 df=k-1 的 χ 分布这时仍按照上面的计算步骤求出 H,, 然后用公式 (11-9) 进行校正, 求出自由度为 K-1 的理论 χ 值, 接着与其进行比较, 从而进行判断 1 HC H Ti 1 (11-9) 3 n n (P353) 当出现相同等级时应对 H 用上面的公式进行校正 ( 无论大样本还是小样本 ), 式中 T i =t 3 -t, t 表示某一个相同等级所含数据的数目 39

表 11-11 四所中学数学竞赛成绩表序号甲校乙校丙校丁校 1 3 4 5 6 7 8(8) 87(14) 86(13) 90(18.5) 88(15.

40 表四所中学数学竞赛成绩表序号甲校乙校丙校丁校 (8) 87(14) 86(13) 90(18.5) 88(15.5) 85(11) 96(5) 9(1) 95(4) 97(6) 94(3) 89(17) 91(0) 88(15.5) 93() 85(11) 90(18.5) 83(9) 81(6.5) 85(11) 76() 77(3) 78(4) 75(1) 81(6.5) 79(5) Ri

41 例 9 的计算解 :1 把四所学校的竞赛成绩混合并求出等级, 然后填入上表对应格的括号内计算检验统计量 : 由表得 :R1=80,R=136, R3=10.5, R4=3.5 代入公式 (11-8) 与 (11-9) 得 : ( 重复等级 6.5,15.5,18.5 各有两个 Ti= 3 -=6) H H C 6 H 统计判断 :df=k-1=4-1=3, 查 χ 值表得 , p 0.01 差异显著, 这说明四所学校的代表队成绩有极显著的差异 7.81,

42 适用范围 : 与参数方法中的随机区组设计方差分析相对应计算过程 : 1. 当样本容量小于等于 9,K=3; 或 n 4,K=4 时 (1) 将每个区组的 K 个数据 (K 为实验处理数 ), 从小到大排等级 ; () 求出每个实验处理 n 个数据 (n 为区组数 ) 的等级和 Ri; (3) 代入公式, 求出 χ 值 : 1 Ri 3nK nk K 1 (4) 查附表 18, 求出理论 χ 值, 当 χ > 其理论值时, 则表明实验处理间差异显著 1 4

43 教育家读物 A 读物 B 读物 C (3) 36(3) 35() 33(3) 30() 31() 5(1) 7(1) 6(1) 3() 9(1) 3(3) 33() 34() 36(3) 31(1) 35(3) 30(1) Ri

44 例 10 的计算解 :1 建立假设 :H0: 三部儿童读物被评的结果次数分布无区别 ; H1: 至少有两部儿童读物被评的价值有显著区别求出等级和并求其统计量 : 各读物的等级和分别为 : RA=15, RB=9, RC=1 代入公式 : 判断结果 :n=6, K=3, 查附表 18 得 :χ =3,p=0.5. (χ =6.33, 对应的 p=0.05), 因为 p>0.05, 所以在 0.05 水平上接受 H0. 即这三部儿童读物在教育价值方面无显著性差异 44

45 . 当 K=3,n>9; 或 K=4,n>4 时,χ r 的抽样分布接近 df=k-1 的 χ 分布于是可用 χ 近似处理其计算步骤 : (1,,3) 同上面的 ;(4) 当 χ 大于理论 χ 值时, 则表明实验处理间差异显著, 反之差异不显著 45

Parametric Non-parametric Assumed distribution Normal Any Assumed variance Homogeneous Any Typical data Ratio or Interval Ordinal or Nominal Data set relationships Independent Any Usual central

Independent measures, groups Independent measures, > groups Repeated measures, conditions Repeated measures, > conditions Independent-measures t-test One-way, independentmeasures ANOVA Matched-pair

46 Parametric Non-parametric Assumed distribution Normal Any Assumed variance Homogeneous Any Typical data Ratio or Interval Ordinal or Nominal Data set relationships Independent Any Usual central measure Mean Median Benefits Tests Choosing Can draw more conclusions Choosing parametric test Simplicity; Less affected by outliers Choosing a non-parametric test Correlation test Pearson Spearman Independent measures, groups Independent measures, > groups Repeated measures, conditions Repeated measures, > conditions Independent-measures t-test One-way, independentmeasures ANOVA Matched-pair t-test One-way, repeated measures ANOVA Mann-Whitney U test Median test Kruskal-Wallis test Wilcoxon Signed Rank test Sign test Friedman's test

)

.. 1. 2. ) () () Pilot test () 1. 2. 3. 4. Scale (1). (nominal scale) 1. 2. 3. (1,2,3) (scale value) (arithmetic mean) (median) (mode) (chi-square test) (2). (ordinal scale) 5 1 A>B>C>D>E A B C D (non-parametric

第十一章 非参数检验

第十一章非参数检验