Microsoft PowerPoint - 09_24_Convergence.ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint - 09_24_Convergence.ppt"

鼓在庞
5 years ago
Views:

1 第五章 : 随机变量的收敛性随机样本 :IID 样本, 统计量 : 对随机样本的概括 Y = T X1 X X (,..., ) X1, X..., X X i ~ F Y 为随机变量,Y 的分布称为统计量的采样分布如 : 样本均值样本方差样本中值收敛性 : 当样本数量趋向无穷大时, 统计量的变化大样本理论极限定理渐近理论对统计推断很重要

2 收敛性主要讨论两种收敛性依概率收敛大数定律 : 样本均值依概率收敛于分布的期望依分布收敛中心极限定理 : 样本均值依分布收敛于正态分布

3 例 1: 依概率收敛概率的频率解释 : 随着观测次数的增加, 频率将会逐渐稳定到概率 p = A 设在一次观测中事件 A 发生的概率为如果观测了次, 事件 A 发生了次, 则当充分大时,A 在次观测中发生的频率逐渐稳定到概率 p 那么 = f A = A lim f A p? 不对, 若则对于, 总存在 N >, 当 N时, 有 f A p < ε 成立但若取, 由于 A lim f A = p ε > 0 0 ε < p f A = 0 = 1 p > 0 { } 即无论 N 多大, 在 N 以后, 总可能存在, 使 f 所以不可能在通常意义下收敛于 p ( A) > 0 f A =

4 例 : 依分布收敛考虑随机序列, 其中直观 : 集中在 0 处, 收敛到 0 但 X ( X 0 ε ) > X1, X..., X V ( X ) ε 1 = > 0 ε X X ~ N 0,1 (Chebyshev 不等式 )

5 两种收敛的定义 5.1 定义 : 令 X1, X..., X为随机变量序列,X 为另一随机变量, 用 F 表示 X 的 CDF, 用 F 表示 X 的 CDF 1 如果对每个 ε > 0, 当时, ( X X > ε) 0 则 X 依概率收敛于 X, 记为 X X 如果对所有 F 的连续点 t, 有 lim = F t F t 则 X 依分布收敛于 X, 记为 X X 同教材上

6 两种收敛的定义当极限分布为点分布时, 表示为依概率收敛 : 1,, = = X c ad X X the X c 依分布收敛 : 1,, X = c = ad X X the X c

7 其他收敛还有一种收敛 : 均方收敛 (L 收敛, coverge to X i quadratic mea) lim E( X X) = 0 对证明概率收敛很有用 0,, qm if E X X as the X X 当极限分布为点分布时, 记为 X qm c 对应还有 :L 1 收敛 (coverge to X i L 1 ) L1 if E X X 0, as, the X X lim E X X = 0

8 其他收敛依概率收敛 ( X X ε ) lim 0 > = X X 或 { } lim ω: ω > ε = 0 随机变量序列 X1, X..., X, 当对任意 ε > 0, 或 ( X ) X ε lim > = 0 ({ X }) X ω : lim ω = ω = 0 则称随机变量序列 X1, X..., X,... 几乎处处依概率收敛到 X.. (coverge almost surely to X), 记为 : X as X 几乎处处收敛 : 比依概率收敛更强

9 各种收敛之间的关系点分布,c 为实数 ( X c) 1 = = (L ) oit-mass distributio Quadratic mea probability distributio L 1 almost surely 反过来不成立!

10 例 : 伯努利大数定律设在一次观测中事件 A 发生的概率为 p = A, 如果观测了次, 事件 A 发生了 A 次, 则当充分大时,A 在次观测中发生的频率 f( A) = A 逐渐稳定到概率 p 即对于 ε > 0, A lim p ε = 0 表示当充分大时, 事件发生的频率 A 与其概率 p 存在较大偏差的可能性小证明 : ~ Biomial(, p), ( ) = p, ( ) = p( 1 p) E V, A A A 所以 ( 1 ) E p p A A = p, = V, 对 ε > 0, 根据 Chebyshev 不等式, 有 A V ( 1 A p p) p ε = 0 ( ) ε ε

11 例 :5.3 令直观 : 集中在 0 处, 收敛到 0 依概率收敛 : X ~ N 0,1 X ( X 0 ε ) ( X ) > V ε 1 = ε ( X ε ) lim 0 > = 0 X (Chebyshev 不等式 )

12 例 : 续依分布收敛 : 令 F 表示 0 处的点分布函数,Z 表示标准正态分布的随机变量 X ~ N 0,1 X ~ N 0,1 for t < 0, () 0, F t = X < t = X < t = Z < t as for t > 0, () F t 0 t < 0 = 1 t 0 () 1, F t = X < t = X < t = Z < t as, 0 0 F t F t for all t X 1 for t = 0, F ( 0) = F ( 0) = 1 但是 t = 0 不是 F的连续点

13 收敛的性质 5.5 定理 : 设 X, X, Y, Y是随机变量, g是连续函数 a 如果 X X, Y Y, 那么 X + Y X + Y. qm qm qm b 如果 X X, Y Y, 那么 X + Y X + Y. () c 如果 X X, Y c, 那么 X + Y X + c. d 如果 X X, Y Y, 那么 X Y XY. () e 如果 X X, Y c, 那么 X Y cx. f 如果 X X, 那么 g ( X ) g( X) ( g) 如果 X X, 那么 g( X ) g( X)..

14 弱大数定律 (WLLN) 独立同分布 (IID) 的随机变量序列 X1, X..., X, E = 1 方差 V ( X i ) = σ <, 则样本均值 X = 依概率收 X i 敛于期望, 即对任意 ε > 0 i= 1 X μ ( X ) μ ε lim > = 0 称为的一致估计 ( 一致性 ) μ 证明 : 根据 Cheyshev 不等式 ( X ) μ ε ( X ) > V σ 0, as ε = ε ( X i ) μ 在定理条件下, 当样本数目无限增加时, 随机样本均值将几乎变成一个常量对样本方差呢? 依概率收敛于方差 σ

15 1 1 1 S = X X = X X = X X i i i i= 1 i= 1 i= 1 1 i = 1 E 根据大数定律, Xi ( Xi ) 又 1, as E i = 1 所以 Xi ( Xi ) X X Y Y ( 如果,, 则 XY XY) 同样, 根据大数定律, X μ, 由于 g( y) = y 为连续函数, 所以 X μ, X 1 μ 所以 E ( i ) S = X μ = σ 样本方差依概率收敛于分布的方差

16 强大数定律 (SLLN) ( X i ) 独立同分布 (IID) 的随机变量序列 X1, X..., X, E = 1 方差 V ( X i ) = σ <, 则样本均值 X = X i 几乎处处收 i= 1 敛于期望 μ, 即对任意 μ ε > 0 μ ( X ) μ ε lim > = 0

17 例 : 大数定律考虑抛硬币的问题, 其中正面向上的概率为 p, 令 X i 表示单次抛掷的输出 (0 或 1) 因此 p = X = 1 = E X 若共抛掷次, 正面向上的比率为根据大数定律, X 但这并不意味着在数值上等于 p 而是表示当很大时, X 的分布紧围绕 p 令 1, 若要求 , 则至少为多少? 解 : p X p = ( X ) E X ( X ) p 1, σ V( X ) p( 1 p) μ = E = = = = i V σ X = p= 1, X = = p 1 p = 14 ( 0.4 X 0.6) ( 0.1) = X μ ( X ) μ i 1 5 = 1 > = i i

18 中心极限定理 (Cetral Limit Theorem, CLT) 独立同分布 (IID) 的随机变量序列 X1, X..., X, 1 E( X, 则样本均值 X = i) = μ, V( Xi) = σ < 近似服从期望为方差为 σ i= 1 μ 的正态分布, 即 X μ Z Z σ z 1 x 其中 Z 为标准正态分布或 lim Z z =Φ z e dx = π 也记为 X N μσ, 无论随机变量 X 为何种类型的分布, 只要满足定理条件, 其样本均值就近似服从正态分布正态分布很重要但近似的程度与原分布有关大样本统计推理的理论基础 X i

19 中心极限定理中心极限定理试验

20 例 : 中心极限定理 ~, 5 每个计算机程序的错误的数目为 X, X oisso λ λ = 现有 15 个程序, 用 X1, X..., X15 表示各个程序中的错误的数目, 求 X 5.5 的近似值解 : μ = E X = λ = 5, σ = V X = λ = 5 ( X 5.5) 1 1 μ ( 5.5 μ ) X = σ Z 5 ( Z ) =.5 = σ

21 μ 中心极限定理的应用之一二项概率的近似计算设是重贝努里试验中事件 A 发生的次数, 则 ~ Biomial, p, 对任意, 有 μ a< b a μ < b = C p 1 p k k a k< b 当很大时, 直接计算很困难这时 p如果不大 ( 即 p<0.1,p<5) 或 ( 1 p) 不大, 则可用 oisso 分布来近似计算 μ oisso( λ), λ = p x k k ( 1 ) k λ C p p e x! λ k

22 中心极限定理的应用之一二项概率的近似计算 ( 续 ) 当 p 不太接近于 0 或 1 时, 可根据 CLT, 用正态分布来近似计算 1 X ~,,, ( ( 1 )) i Beroulli p X = X i E X = p V X = p p μ 根据 CLT, X N p, p 1 p, μ N p, p 1 p = Xi = i= 1 ( a μ b) X i = 1 ( ( ) ) a p μ p p < = < 德莫弗拉普拉斯定理 ( 1 ) ( 1 ) ( 1 ) p p p p p p b p a p =Φ Φ p ( 1 p) p( 1 p)

23 中心极限定理的应用之一二项概率的近似计算 ( 续 ) 例 : 已知红黄两种番茄杂交的第二代结红果的植株与结黄果的植株的比率为 3:1, 现种植杂交种 400 株, 求结黄果植株介于 83 到 117 之间的概率由题意 : 任意一株杂交种或结红果或结黄果, 只有两种可能性, 且结黄果的概率 p = 14 种植杂交种 400 株, 相当于做了 400 次贝努里试验, 记为 400 株杂交种结黄果的株数, 则 μ ~ Biomial 400 ( 400,1 4 ) 当 =400 较大时, 根据 CLT, ( 83 μ400 < 117) Φ Φ =Φ( 1.96) Φ( 1.96) = Φ( 1.96) 1 = = 0.95 μ 400

24 中心极限定理的应用之一二项概率的近似计算 ( 续 ) 例 : 某单位内部有 60 架电话分机, 每个分机有 4% 的时间要用外线通话可以认为各个电话分机用不同外线是相互独立的问 : 总机需备多少条外线才能以 95% 的把握保证各个分机在使用外线时不必等候? 一个分机使用外线的概率 p = 个分机中同时使用外线的分机数设总机确定的最少外线条数为 x, μ ~ Biomial 60, 则根据 CLT, x p x ( μ60 < x) Φ =Φ 0.95 p ( 1 p) x 16

25 中心极限定理标准差 σ 通常不知道, 可用样本标准差代替, 中心极限定理仍成立, 即其中 μ X S 1 S = X X 1 i= 1 Z i

26 中心极限定理无论随机变量 X 为何种类型的分布, 只要满足定理条件, 其样本均值就近似服从正态分布但近似的程度与原分布有关正态近似的程度 :Berry-Essee 定理 3 若 E X, 则 1 < 3 33 X1 μ sup ( Z z) Φ( z) E 3 z 4 σ 还有中心极限定理得多变量版本

27 多元分布的中心极限定理令 X1, X..., X 为 IID 随机向量, 其中 X μ X i X 1i i =... X ki, 均值向量为协方差矩阵为, 令样本均值向量为 X X 1 X =... X k, 其中则 X μ N 0, Σ Σ X j 1 i = 1 = μ X ji ( X i ) ( X ) 1 E 1 μ E μ k E( X ki ) i = =

28 Delta 方法随机变量的变换的中心极限定理 Y 假定 μ ' N ( 0,1), 且 g 可导, g ( μ) 0 σ 则 ( g( Y ) g( μ) ) N ( 0,1) ' g ( μ) σ 换句话说, σ ' σ Y N μ, g( Y) N g( μ),( g ( μ) )

29 例 : 令 X X X 为 IID,,..., 1 其均值和方差 ( 有限 ) 分别为 μ, σ 则根据 CLT: X μ σ N 假设 W = g X, g s = e 则利用 Delta 方法, 有 s g ( s) = e ( μ, μ σ ) W N e e s ( 0,1)

30 Delta 方法多元变量情况 ( 1 k) 假设 Y = Y, Y,..., Y 为随机向量序列, 且 Y μ N0,, k 令 g : R R 且 g y 1 g( y) =... g y = 令 μ 表示 y μ 时 g μ 的值, 假设 μ中的元素非 0, 则 ( ) ( T μ 0, ) g Y g N μ μ k

31 例 : 令 X 为 IID 随机向量, 1 X X 其均值为 μ = ( μ ) T 1, μ, 方差为 Σ 1 1 令, 根据 CLT: 定义, 其中则所以 X11 X1 X,,..., X = X, X = X 1 1i i i= 1 i= 1 X X μ μ 1 1 (, ) 1 N ( 0, Σ) (, ) g s s = ss Y = g X1 X = X1X 1 1 g s 1 s g() s = = g s 1 s σ11 σ 1 μ T μ μ = ( μ, μ ) = μ σ + μμ σ + μ σ σ σ μ X X μμ N μ σ + μμσ + μ σ ( 0, )

32 下节课内容 : 作业 : Chp5: 第题模拟方法 : 随机采样 (Chp4)

Remark：随机变量不只离散和连续两种类型

Remark：随机变量不只离散和连续两种类型 Remar: 随机变量不只离散和连续两种类型当题目要求证明随机变量的某些共同性质时很多同学只对连续和离散两种类型进行讨论这是比较典型的错误练习 4. () P( = ) = P( = ) = P( = ) = P( ) = = = = = = () 由 E < 且 lm a =+ 不妨设 a > 其中 j = f{ : a a j} ap ( a) = a p ap ap j j j a :