第一章：概率统计基础

Size: px

Start display at page:

Download "第一章：概率统计基础"

叹否孵安
5 years ago
Views:

1 Chp1: 假设检验本节课内容

2 假设检验例 : 考虑某种化学物质是否致癌将一些老鼠随机分成两组, 其中一组置于正常环境, 另一组暴露于该化学物质原假设 / 零假设 : 两组的癌症发病率相同备择假设 : 两组的癌症发病率不相同若暴露于化学物质的一组的癌症发病率远远高于另一组, 则我们拒绝原假设, 得到结论为 : 证据更支持备择假设换句话说, 证据表明该化学物质会引起癌症

3 假设检验假设检验的形式化描述为 : 根据来自分布的样本数据, 其中我们希望检验 : 原假设 : 对备择假设 : F θ F X F= { F, θ Θ} H H : θ Θ : θ Θ c 1 其中 Θ Θ =Θ c 为整个样本空间假设检验为一个规则, 确定对哪些样本出拒绝的决定 H X = x, 做

4 假设检验双边假设 : 单边假设 : 或 H : θ= θ versus H : θ θ 1 H : θ θ versus H : θ> θ 1 H : θ> θ versus H : θ θ 1

5 χ 拒绝域令为随机变量 X 的取值范围, 我们通过找到一个拒绝域 R χ 进行假设检验 X R X R 拒绝 H 保留 ( 不拒绝 ) H 但根据全部数据 X设计一个规则通常很难 ( ) 常用方法 : 寻找一个检验统计量 T X, 统计量的大小可以反映对原假设 H 有利或不利这样 R 的形式为 R= x: T x > c ( ) { } 临界值 T

6 假设检验中的问题原假设和备择假设的确定统计量及其临界值的选择

7 假设检验的基本思想概率反证法 : 小概率原理假设命题 H是符合实际情况的, 即承认 H为真, 在这种条件下进行统计推导若结果得到了矛盾的结果, 则认为命题不成立, 因而接受反命题 H 矛盾意为小概率事件, 即发生的概率非常之小, 以至于我们原则上认为仅仅一次观测是不会出现的那么如果出现, 就认为有了矛盾与数学的反证法不同是 : H 在数学证明中, 一旦命题被推翻, 否命题就被完全接受在统计学中, 否定假设 H 时, 还应指出冒多大的风险, 不是简单的完全否定比如, 在显著性水平 α=.5 下拒绝 H, 就是说拒绝冒的风险不超过.5 H H 1

8 原假设 vs. 备择假设在假设检验中, 常常把那些保守的历史的经验的结论取为原假设, 而把那些猜测的可能的预期的结论作为备择假设原假设通常应该受到保护, 没有充足的证据不能被拒绝而备择假设只有当零假设被拒绝后, 才能被接受, 这就决定了零假设与备择假设不是处于对等的地位或者我们可以反过来说, 备择假设可能是我们真正感兴趣的, 接受备择假设可能以为得到有某种特别意义的结论, 或意味着采取某种重要决断因此对备择假设应取慎重态度, 没有充足的证据不能轻易接受

9 原假设 vs. 备择假设在假设检验中, 如果数据 / 证据强烈反对原假设, 我们拒绝原假设, 即认为原假设不成立当证据不足以反对原假设, 这时我们称拒绝原假设失败, 但并不意味着原假设是正确的, 可能的情况有原假设确实是正确的原假设是错误的, 只是该检验功效不够功效低, 犯第二类错误的概率大 ( 即虽然原假设为假, 但仍然保留原假设 )

10 法律上的类比原假设 : 被告无罪备择假设 : 被告是有罪的原则 : 无罪推论 ( 保护原假设 ) 最后的判决 : 当有明显犯罪证据时, 法官才判决被告有罪证据明显 : 由临界值决定 ( 法律条文的规定 ) 法律条文的严厉程度, 决定了对被告的保护程度如乱世用重典, 即法律条文严厉, 保护被告的程度弱不管怎样制定条文, 总有好人被冤枉, 总有坏人漏网, 即总会犯错误如在高考中, 一个水平很高的人可能这次考试分数低, 而不被录取, 这样我们做错了错误的选择, 即拒绝其进入高校继续学习相反, 某个人可能特别幸运, 本来水平一般, 但考试题都被他复习到了, 成绩很高, 从而被录取但这样的事件是小概率事件, 所以我们犯错误的可能性不是很大

11 两类错误假设检验是根据样本的信息并依据小概率原理, 作出保留还是拒绝 H 的判断由于样本具有随机性, 因而假设检验所作出的结论有可能是错误的这种错误有两类 : 当原假设 H 为真, 观察值却落入拒绝域, 而作出了拒绝 H 的判断, 称做第一类错误, 又叫弃真错误犯第一类错误的概率记为 α α 越小, 法律条文越严厉, 表示原假设为真 ( 被告无罪 ), 我们却做出拒绝的判断 ( 判其有罪 ) H 当原假设不真, 而观察值却没有落入拒绝域, 而作出了保留 H 的判断, 称做第二类错误, 又叫纳伪错误犯第二类错误的概率记为 β

12 两类错误真实情况 ( 未知 ) 保留 H 所作决策拒绝 H H 为真 H 不真正确犯第 II 类错误犯第 I 类错误正确 P ( T( X) H) P T( X) ( H ) 1

13 错误的概率当 θ Θ 时, 若 X R, 则检验会犯第一类错误则犯第一类错误的概率为 c c 当 θ Θ时, 若 X R, 则检验会犯第二类错误则犯第二类错误的概率为所以 P θ X θ α = P θ ( X R) ( c X R ) 1 P ( X R) β = P = ( R) θ 包含了拒绝域为 R 的检验的全部信息

14 ( ) 功效函数 P θ X R 包含了拒绝域为 R 的检验的全部信息 P θ P( Type I Error) θ Θ = 1 P ( Type II Error) θ Θ ( X R) 拒绝域为 R 的假设检验的功效函数 (Power Function) 定义为 θ 的函数 β( θ ) = Pθ ( X R), 即拒绝 H 的概率当时, β θ 越小越好 θ Θ 此时不应拒绝 θ Θ c ( ) ( ) β θ 当时, 越大越好此时功效越大, 越反对原假设 P ( T( X) H ) c P ( T( X) H ) 1

15 假设检验的容量和水平检验的容度 (size) 定义为 α= ( ) sup β θ θ Θ 检验的水平 (level): 若一个检验的容度小于等于 α, 则称检验的水平为 α 即犯第一类错误的概率, 亦称显著水平

16 例 : 二项分布的功效函数 ( ) X ~ Binomial 5, θ H : θ 1 2 vs. H1: θ> 1 H, 考虑假设检验 1: 当且仅当所有样本值都为 1 时, 才拒绝则功效函数为 β θ = P X R = P X = = θ ( ) ( ) ( ) 1 θ θ 5 当 θ 1 2时, 发生第一类错误的概率为 θ 12, β θ 12 =.312 1( ) ( ) 5 对大多数 θ >1 2的情况, 发生第二类错误的概率很大当时, 第二类错误的概率才小于.5 ( ) 15 θ > 12 =.87 5 β2( θ) β1( θ) 2 为了得到较小的第二类错误, 我们考虑第二个检验

17 例 : 二项分布的功效函数, 考虑假设 H : θ 1 2 vs. H : θ> 1 2 检验 2: 当 X 3, 即 X = 3, 4,5 时, 拒绝则功效函数为 ( ) X ~ Binomial 5, θ 1 ( ) P ( X R) P ( X 3, 4,5) C ( 1 ) 2 C ( 1 ) β θ = = = = θ θ + θ θ + θ θ θ 5 5 β 2 ( θ) 2 ( ) 当 θ >1 2时, 较大, 发生第二类错误的概率较小但当 θ 1 2时, β θ 也较大, 发生第一类错误的概率较大如果需要在这两个检验中选择, 我们应该考虑哪种错误结构对具体的应用来说更可以接受 H β2 ( θ) β1( θ)

18 例 : 正态分布的功效函数 ( ) 2 X ~ N μσ,,σ 已知要检验 H: μ vs. H1: μ> 因此 Θ = [, ), Θ 1= (,) 考虑检验 : 当 T > c, 拒绝 H 其中 T = X, 拒绝域为 R= {( x1,, xn) : T( x1,, xn) > c} 令 Z 表示标准正态分布的随机变量, 则功效函数为 ( ) P ( X c) β μ ( μ) n( c μ) n X = μ > = P μ > σ σ n( c μ) = P Z > σ n( c μ) = 1 Φ σ βμ ( ) 2 ( μσ, ) X~N n α μ

19 例 : 正态分布的功效函数 β( μ) n( c μ) = 1 Φ σ β( μ) 为增函数, 所以检测的容度为 nc supβ( μ) = β( ) = 1 Φ μ σ 为了得到一个容度为 α 的检验, 则 β( μ) nc σ 1 α= 1 Φ c = Φ ( 1 α) σ n σ n > Φ ( X ) > n σ 当 X 1 ( 1 α), 等价于时, 拒绝原假设 z α 2 α μ

20 例 : 正态分布的功效函数通常功效函数与样本数目 n 有关如果我们可以选择样本数, 通过功效函数可以帮助我们觉得样本数目假设我们需第一类错误的最大概率为.1,μ>σ 时, 发生第二类错误的最大概率为.2, 则 c=?, n=? 由于 β( μ) 为增函数 βμ ( ) nc nc β( ).1 1 = Φ 1.28 σ σ n( c σ) n( c σ) βσ ( ).8 1 = Φ -.84 σ σ 1 n 5, c 1.28σ n μ

21 两类错误当样本容量 n 一定时, 若减少犯第一类错误的概率, 则犯第二类错误的概率往往增大反之亦然若要使犯两类错误的概率都减小, 除非增加样本容量 n 若实验者可以选择样本数目 n, 根据功效函数可以帮助我们选择合适的 n

22 最优检验为了找到一个好的检验, 通常只考虑将第一类错误的概率控制在某个水平的检验, 然后再在这些检验中找发生第二类错误的概率较小的检验最优检验 : 在所有容量为 α 的检验中, 在 H1下功效 β( θ) 最大 (most powerful), 从而犯第二类错误的概率最小但通常找到最优检验很难, 我们在此只讨论几种常用检验方法 :Wald 检验似然比检验 (LRT) 检验和置换检验 2 χ 在特殊情况下, 可用 Neyman Pearson 定理找到最优检验 ( 见教材附录 )

23 显著性检验当样本容量给定时, 只是对犯第一类错误的概率加以控制, 使它小于或等于事先给定的水平 α, 我们称此水平为显著性水平这种先对犯第一类错误的概率加以控制, 再尽量减少犯第二类错误的概率的检验, 称之为显著性检验

24 显著性检验检验的结果是保留原假设还是接受备择假设与检验的显著性水平 α有关 α 如果取得很小, 则拒绝域也会较小, 其产生的后果是原假设难以被拒绝因此, 限制显著水平原则体现了保护原假设的原则, 显著水平的值越小, 对零假设的保护程度就越大反之, α 值越大, 对零假设的保护程度越小一般说来, 应保护零假设, 不能轻易否定, 所以根据实际问题的需要, 一般控制的值不宜过大, 通常取 α=.5,.1 α

假设检验的体系 Neyman & Person 体系 Jerzy Neyman Karl Pearson 原假设 H 和备择假设 H 1 1894-1981 1857-1936

先假假它不正确, 然后看是否发生了小概率事件, 从而推翻原假设 p 值就是显著性概率 ( 小概率到底有多小 ) 当 p 值很大时, 表示并不奇怪 ( 非小概率事件 ), 按反证法的原理来看,

25 假设检验的体系 Neyman & Person 体系 Jerzy Neyman Karl Pearson 原假设 H 和备择假设 H 看看究竟在原假设下更容易观测到手头的数据还是在备择假设下更容易观测到手头的数据二者相除即为几位 Likelihood Ratio Test Fisher 体系不存在备择假设无论想证明什么, 先假假它不正确, 然后看是否发生了小概率事件, 从而推翻原假设 p 值就是显著性概率 ( 小概率到底有多小 ) 当 p 值很大时, 表示并不奇怪 ( 非小概率事件 ), 按反证法的原理来看, 我们并不知道原假设是否正确但很小的 p 值说明原假设是不正确的 Baysian 体系原假设和备择假设都看成随机变量变量的分布有先验和后验共同决定因为两个假设都不是固定事实, 所以也谈不上哪个判断更正确, 所以在决策理论下看平均情况下哪个假设更可能发生

26 Wald 检验令 θ为一标量参数, θ 为 θ 的估计值, se为估计 θ的标准误差, 考虑检验 : H : θ= θ versus H1: θ θ 假设 θ 是渐近正态的, 即 θ θ N (,1) se 则显著水平为 α的 Wald 检验为 : 当 W > z α 2 时, 拒绝 H, 其中 W θ θ = se

27 Wald 检验 Wald 的渐近显著水平为, 即当 n 时, P { W z } 2 α θ > α α Wald 检验渐近等价于似然比检验 (Likelihood Ratio Test, LRT) 稍后介绍 LRT

28 Wald 检验的功效假设原假设为假 ( 即 θ θ, 其中 θ 为 θ的真值 ) 时, 功效 βθ ( ) 为正确拒绝原假设的概率, 其近似值为 θ θ θ θ β( θ ) = 1 Φ + z α 2 +Φ z α 2 se se 当样本数较多时, 很小, 这时功效较大当 θ θ * se 较大时, 功效较大

29 Wald 检验的功效证明 : θˆ θ βθ ( ) = Pθ { W > zα 2} = P θ > z α 2 se θˆ θ ˆ θ θ = P z 2 z θ > 2 se α + P < θ se α = P θˆ > θ + z se + P θˆ < θ z se { } { } 2 2 θ α θ α θˆ θ ˆ θ θ z θ θ θ θ θ α 2 θ z = P > + + P < α 2 se se se se θ θ Z z θ θ 2 Z z = P θ > + 2 se α + P < θ se α 1 θ θ z θ θ = Φ + α 2 +Φ z α 2 se se

30 Wald 检验 θ 的估计可以通过 MLE 来估计, 此时标准误差可以用 Fisher 信息来计算对非参数估计量 θ, 可以用嵌入式估计计算其估计值, 标准误差可以用 bootstrap 方法估计

31 Wald 检验例 1.7: 比较两种预测算法算法 1: 测试样本数为 m,x 表示预测不正确的样本数, X 算法 2: 测试样本数为 n,y 表示预测不正确的样本数, Y ~ Binomial( n, p2) 为了检验原假设 p1= p2, 记 H: δ= vs. H1: δ 其中 δ = p1 p 2 的极大似然估计为 ˆ X Y δ = pˆ ˆ ˆ ˆ 1 p2, 其中 p1=, p2= m n ˆδ 的标准误差为 ˆ 1( 1- ˆ 1) ˆ 2( 1- ˆ 2) se= p p + p p m n Wald 检验的显著水平为 α, 即当 W > z α 2 时, 拒绝 H, 其中 δˆ pˆ1 pˆ2 W = = se pˆ1( 1-pˆ1) pˆ2( 1-pˆ2) + m n 当 p 1 和 p 2 离得较远是, 功效大 ~ Binomial( m, p ) 1

32 Wald 检验例 1.7: 比较两种预测算法 ( 续 ) 如果用同一个测试集测试两个算法, 这样两个样本不再独立算法 1: Xi = 1 正确预测第 i个样本 Xi = otherwise 算法 2: Yi = 1 正确预测第 i个样本 Yi = otherwise 定义 D, i = Xi Yi 令 δ = E( D i ) δ 的嵌入式估计为 n n 1 ˆ S 1 δ = D= Di, se δ =, S = ( Di D) n n n 为了检验 H: δ= vs. H1: δ δˆ 令 W =, 当 W > z α 2 时, 拒绝 se ( ) 2 2 i= 1 i= 1 H

33 Wald 检验例 1.9 ( 比较两个中值 ): 令 X1,..., Xm, Y1,..., Yn 为分别来自两个分布的样本检验这两个分布的中值是否相等 : H : δ= versus H : δ 1 υ 2 δ= υ1 υ2, 1 和 υ是中值 δ 的非参数插值估计是 δ= υ1 υ2, 其中 υ 和 υ 1 2是样本中位数 δ 的标准差的估计 se 可用 bootstrap 方法得到 Wald 检验统计是 W = δ se

34 t 检验问题 : 数据,...,, 2 2 X1 X n N μσ, 其中 θ= μ, σ 均未知我们要检验 H : μ μ 对 H : μ μ 当样本数目很大时, 可用 Wald 检验当样本数目较小时, 一般用 t 检验令 n( X ) n μ T = Sn 2 其中 S n 为样本方差在 H 下, 当 n 很大时, T N(,1) 在 H 下, T 的真正分布为 tn 1 所以当 T > tn 1, α 2, 水平为 α的检验拒绝原假设分位数 ( ) ( ) = 1

35 Wald 检验 vs. 区间估计假设检验和区间估计是两种重要的统计推断形式, 初看起来, 二者似乎完全不同, 实际上有一定的联系在一般情况下, 利用参数的置信区间可以确定该参数假设检验的拒绝域 ; 反之亦然当且仅当 θ C 时, 其中 C= θ z 2se, α θ+ zα 2se 显著水平为 α的 Wald 检验拒绝假设 H : θ θ vs H : θ θ = 1 ( ) 即假设检验等价于检验原假设的值是否落在置信区间若落在置信区间内, 则保留, 否则拒绝 H H

36 Wald 检验 vs. 区间估计 ( ) μ 1 α σ σ C= X zα 2, X + z α 2 n n μ α 2 例如 X N μσ,, 已知, 的置信区间为由此可以确定的显著水平为拒绝域为 X μ σ n σ z α 2

37 置信区间 vs. 假设检验虽然置信区间亦可回答假设检验的问题, 并能提供更多的信息假设检验 : 统计显著, 但不一定科学 / 实践显著置信区间可提供更多信息但并不意味着置信区间能够完全代替假设检验, 置信区间只能在预先规定的概率检验水准 α 的前提下进行计算, 而假设检验能够获得一较为确切的概率 p 值

38 p 值引言仅仅报告拒绝 H 或保留 H 并不是很有信息量, 相反, 我们还关心对每个 α, 是否在水平 α 拒绝 H 通常, 如果检验在水平 α 拒绝也会拒绝 H 因此存在一个拒绝 H H, 则在水平 α > 的最小的值 α p 值 α 注意 : α 为冒第一类错误 ( H 为真却拒绝 ) 的风险 α 越大, 即越不保护原假设, 越容易拒绝 H

39 p 值的定义假设对每个, 水平为 α 的检验的拒绝域为则 α (,1) { ( n α ) } pvalue - = inf : T X R α H 即以现有的数据, 能拒绝的最小水平 H p 值可以度量证据反对的程度 p 值越小, 证据越反对通常证据强弱度量为 p 值证据 <.1 很强拒绝 H 的证据.1~.5 较强拒绝 H 的证据.5~.1 较弱拒绝 H 的证据 >.1 没有证据可以拒绝 H R α

40 p 值的计算 p 值较小发生了小概率事件或者 H 是错误的 ( ) f T H P t obs = ( T t H ) 4.5 obs 若水平为 α 的检验的形式为 n 当且仅当 T X c α 时, 拒绝 H 其中, 则当 Θ= {} θ 时, ( ) ( ) n X = X, 1, X n p-value = supp T X T x θ Θ θ { ( n) ( n) } 检验统计量的值,RV 当前的观测值 { ( n) ( n) } pvalue - = P T X T x θ

41 p 值的计算 ( ) f T H P ( T t H ) obs - sup θ Θ { ( n) ( n) } p value = P T X T x θ t obs = 4.5 即 p 值为 ( 在 H 成立的情况下 ) 观测检验统计量的值大于等于真正观测值的概率 ( 比观测数据更极端 ) 不要与在观测数据的条件下原假设的概率 P ( H Data ) 混淆在 H 成立的情况下, 如果重新采样, 结果比当前样本更极端的概率

42 证明 { } 若拒绝域形式为 R= x: T( x) c α 则 α R, 即 c α 为 α 的减函数 c α 显著水平 α 越大, 拒绝域 R 越大, 对应的 c 越小 { ( n α ) } pvalue - = inf : T X R α { ( n α T x ) c } α = inf : ( 给定数据 X n ) { ( n α c T x )} α = inf : { : ( n α )} cα T x = = ( inf 对应最小 α, n ( ) 对应 c α 最大, 即 c = α T x 记这个最小的 α 为 α )

43 证明又因为 θ Θ θ { } α = sup P X R α { ( n T X ) c } α = sup P > θ Θ θ n ( ) { α } α p- value = : c = T x 所以 { ( n) ( n) } pvalue - = supp T X > T x θ Θ θ

44 Wald 检验的 p 值在 Wald 检验中, W =, 令 w 为 W 的值, N,1 则 se = 2Φ( w ) θ θ ( ) { } P{ } p-value = P W w Z w θ { } = 2P Z w

45 p 值的性质如果测试统计量为连续分布, 则在 H: θ= θ 下,p 值服从 Uniform(,1) 换句话说, 如果 H 为真, 则 p 值为 Uniform(,1) 上的随机变量 ; 若 H 1 为真 ( H 为假 ), 则证据强烈反对 H,p 值很小, 集中于附近所以若 p 值小于等于.5, 则称结果在 5% 的水平上统计显著这意味着如果我们使用水平为 α =.5 的检验, 则拒绝原假设通常当且仅当 pvalue - < α 时, 水平为 α 的检验拒绝原假设

46 证明 ( ) f T H P ( T t H ) obs 令 G 为 T 的 CDF( 在 H 下 ) p 值为图中阴影部分的面积根据积分变换公式, () p-value = 1 CDF t = 1 Gt ( ) ( ) ~ Uniform(,1) G t p 值的 CDF 为 P p-value < c = P 1 G t < c ( ) ( ) ( ) ( Gt () 1 c) = P > ( Gt ( ) c) = 1 P < 1 t obs = 4.5 = 1 ( 1 c) = c 均匀分布的 CDF

47 例 1.14: p 值 51 位无心脏病病人的血浆胆固醇样本 : X = , se X = 位动脉狭窄病人的血浆胆固醇样本 : Y = , se Y = 2.4 原假设 H : δ vs. H1: δ, 其中均值差 (Wald 检验 ) δˆ X Y W = = = = se δˆ se X + se Y 则 ( ) ( ) = δ = X Y ( ) ( ) ( ) ( ( )) { } P{ } p-value = 2P Z 3.78 = 2 Z < 3.78 =.2 <.1 所以特别强烈 (very strong) 反对原假设, 即有显著差异

48 似然比检验 (Likelihood Ratio Test, LRT) 基本思想 : 考查在原假设下更可能观测到当前数据还是在备择假设下更可能观测到当前数据很自然的, 用二两个可能性 ( 似然 ) 相比 c 为了检验 H: θ Θ vs. H1: θ Θ, 定义似然比检验统计量 (likelihood ratio test statistic) 为 n = θ Θ ( ) ( ) ( θ) ( θ) ( θ ) 其中 L θ f Xi; θ 为似然函数, 其中为 θmle, 为 i= 1 在范围内的 MLE Θ supl L θ Θ λ = 2log = 2log supl( θ) L ˆ ˆ ˆθ ˆθ

49 似然比检验 (Likelihood Ratio Test, LRT) 似然比检验统计量 θ Θ ( θ) supl θ Θ λ = 2log = supl ( θ) L 2log L ˆ ( θ) ˆ ( θ ) 当 θ Θ, λ= c 当 θ Θ λ很大,, 所以似然比检验的拒绝域的形式为 n n x : λ x > c { ( ) }

50 似然比检验 Wald 检验适合检验标量, 而 LRT 检验更一般, 适合用来检测向量参数假设参数为 θ θ, 感兴趣参数为 1,..., θq, θq+ 1,..., θr Θ = θ: θ,..., θ = θ,..., θ 令 = ( ) ( θ,..., ) q+ 1 θr ( ) ( ) { } q+ r q+ r 1, 1, 则在 H : θ Θ 下, ( n λ X ) χ rq 2- 其中 λ 为似然比统计量,r-q 是 Θ 减去 Θ 的维数 2 检验的 p 值为 P χ > λ ( r-q ) ( ) 2-, n 所以水平为 α 的检验为 : 当且仅当 λ X > χrqα时, 拒绝 H

51 例 1.23:LRT 例 1.23( 孟德尔豌豆杂交试验 ): 用圆润黄色豌豆与皱皮的绿色豌豆杂交, 得到后代的可能有 4 种 : 圆润黄色皱皮黄色皱皮绿色圆润绿色对其概率 p 的历史预测为 : p =,,, ( 315,11,18,32) 现在 556 个样本中, 观测到 X = 我们要检验假设 : H : p= p vs. H : p p 1

52 λ 利用 LRT 检验量 : 4 = L( pˆ ) X ( p ) = L 2log 2 log 例 1.23:LRT pˆ j j j= 1 p j log log log log 556 = =.48 在 H 1 下, 共有 4 个参数, 但 j, 所以自由度为 3; j= 1 在 H 下, 没有自由参数, 所以自由度为 ; 所以两个参数空间的维度差为 3-=3 2 所以 p value = P( χ 3 >.48) =.92 不反对原假设 4 pˆ = 1 p X = =,,, ( 315,11,18,32)

53 分布的假设检验 Goodness of fit 前面我们讲的都是参数检验问题, 即事先认为样本分布为某种指定的形式, 而其中有一些参数未知下面我们讲述另一类问题 : 分布假设检验问题, 即目标不是针对具体的参数, 而是针对分布的类型 2 χ 如分布是否为正态分布 : 皮尔逊 (Pearson) 检验两部分样本 X, 1, X ~ m FX和 Y, 1, Y ~, n FY, 两个分布是否相同参数模型 : 同参数假设检验非参数模型 : 置换检验

54 χ 2 检验请见参考 ppt 2 χ 分布表网上可查 :

55 例 1.23: 2 χ 检验例 1.23 利用检验量 : χ 2 4 = ( X ) 2 j np j np j= 1 j χ ( ) ( ) ( ) ( ) =.47 自由度为 3, 所以 = ( ) p value = P χ 3 >.47 =.93 不反对原假设, 与 LRT 测试的结果相同 p X = =,,, ( 315,11,18,32)

56 置换 (permutation) 检验问题 : X, 1, X ~ m FX 和 Y, 1, Y ~ n FY为独立样本, 我们要检验假设 : H : F = F vs. H : F F X Y 1 X Y 令 ( 1,, m, 1,, n) (,,,,, ) T x x y y 为检验统计量, 如 T X X Y Y = X Y 1 m 1 n m n 置换检验 : 一种重采样技术, 用于上述假设检验问题

57 例 : 老鼠存活的数据 The mouse data [Efron] 比较两组观测 :16 只老鼠分成两组, 记录其治疗后存活的天数治疗组 :7 只控制组 :9 只问 : 治疗延长了生命吗? 数据 ( 治疗组 ) 94; 197; 16; 38; 99; 141; 23 数据 ( 控制组 ) 52; 14; 146; 1; 51; 3; 4; 27; 46

58 置换检验由 R.A. Fisher 与 193 年代提出置换样本 : 对原始样本 1 m 1 n 进行 N=m+n 次无放回采样, 得到 N 个样本, 称为一个置换样本 * * * * * Z = X,..., X, Y,..., Y ( ) b m n 1 1 共有 N! 个置换样本 ( 次序不同对应不同的置换样本, 因为 X 与 Y 分别属于 Z 中不同的部分 * bootstrap 样本中不计次序, 因为 ( * * X ) b = X,..., X 中每 1 n * 个的地位相等 X i 置换复制 : 置换样本对应的统计量的值 * * * * * T = T X,..., X, Y,..., Y ( ) b m n 1 1 (,,,,, ) Z = X X Y Y

59 t 置换检验在原假设 H 下, FX = FY,X 与 Y 的地位相等, 所以置换样本的分布为 Uniform 1, N! ( ) ( ) 置换分布 : Z * b ~ Uniform, N! 对应的统计量的分布 T * * 称为置换分布则 g t = P t H ( ) ( ) ~ ( ) G T * * b 老鼠例子数据中置换复制的直方图如右图所示 * * ( ) = P( ) g t t H p 值

60 t 置换检验的 p 值令则 (,...,,,..., ) t = T X X Y Y obs 1 m 1 n p-value N! 1 = P > = > * ( T t ) I( T t ) G obs b obs N! b = 1 * * ( ) = P( ) g t t H p 值

61 例 :1.17 本例为一个示例, 可以使思想更清楚假设数据为 X, X, Y = 1,9,3, T X, X, Y = X Y = 2 ( ) ( ) ( ) 置换为则置换 T 值概率 (1, 9, 3) 2 1/6 (9, 1, 3) 2 1/6 (1, 3, 9) 7 1/6 (3, 1, 9) 7 1/6 (3, 9, 1) 5 1/6 (9, 3, 1) 5 1/6 ( T ) p-value = P > 2 = 4 6

62 置换检验当 N 较大时, 通常不用所有的 N! 个置换样本, 而是从置换样本集合中随机选择一部分样本, 来近似 p 值置换检验的步骤 : 1. 计算检验统计量的观测值 2. 计算 B 个置换样本 Z * b, b= 1,..., B, 其中 * * * * * Z = X,..., X, Y,..., Y 3. 计算 B 个置换样本对应的统计量的值 ( 置换复制 ) * * * * * T = T X,..., X, Y,..., Y 4. p 值近似为 ( ) b m n 1 1 ( ) b m n 1 B I T * b ( b tobs) B = > (,...,,,..., ) t = T X X Y Y obs 1 m 1 n

63 例 :1.18 DNA 芯片可用来测量 DNA 的表达水平, 数据为每个基因的 erna 的水平,mRNA 可提供该基因产生的蛋白质的数目粗略地讲, 该数值越大, 基因越活跃下表 [Efron] 为 1 位携带两类肝癌细胞的病人的基因的表达水平, 共有个基因类型 1 类型 2 病人基因基因我们要检验 : 两组基因中基因 1 的中值是否有明显差异

64 例 :1.18 v 1 v 2 : 第一组基因中基因 1 的中值 : 第二组基因中基因 1 的中值检验统计量 : T = vˆ vˆ = 现在用置换检验, 得到 p value =.45 则我们取 α =.5> p value, 我们拒绝 H, 即两个中值有显著差异

65 假设检验总结假设检验的基本概念及基本步骤原假设备择假设拒绝域检验统计量两类错误及其概率 : 功效函数 p 值的含义计算及性质假设检验的基本思想 : 小概率原理常用的假设检验 ( 相应的统计量及其临界值 /p 值 ) Wald 检验似然比检验分布的假设检验 χ 2 检验置换检验

66 下节课内容作业 :Chp1: Chp11: 贝叶斯推断

67 证明证明 : 若拒绝域形式为则 c 越大, 拒绝域 R 越小, 对应显著水平 α 越小 c 1 : 较大 α 的对应的拒绝的临界点 c 2 : 较小 α 的对应的拒绝的临界点, 则 c 1) 若临界点 c1 < T x, 则 H 被拒绝, 但这是在较大显著水平下做出的判断 2) 若临界点 c ( ), 则 H 不被拒绝, 但这是在较小显著水平下做 2 > T x 出的判断所以, ( ) { : ( ) } R= x T x c α > c 2 1 降低 c1 对应的显著水平, 则 c1往右移, 但不能让它超过能拒绝的界限降低对应的显著水平, 则 c 往左移, 但不能让它超过能拒绝的界限 c2 2 最后, 与相遇于 T( x), 二者的显著水平合二为一, 即 p 值 c 1 c 2

68 证明 ( 续 ) 此时显著水平为 θ 为 H 的边界点 { ( n T X ) c; } α= P θ= θ 当显著水平 = p 值时, c n ( ) = T x { ( n) ( n) } pvalue - = P T X T x ; θ= θ

Microsoft PowerPoint - 概率统计Ch02.ppt [Compatibility Mode]

Microsoft PowerPoint - 概率统计Ch02.ppt [Compatibility Mode] 66 随机变量的函数.5 随机变量的函数的分布设是一随机变量, 是的函数, g(, 则也是一个随机变量. 本节的任务 : 当取值 x 时, 取值 y g 67 ( 一离散型随机变量的函数设是离散型随机变量, 其分布律为或 P { x } p (,, x x, P p p, x p 已知随机变量的分布, 并且已知 g 要求随机变量的分布. (, 是的函数 : g(, 则也是离散型随机变