我们知道对于很多随机变量, 我们更多时候是以其密度函数来判断或者刻画分布的那么, 如何通过 iid 样本来估计或者刻画这组数据的密度函数 f(x)? 我们可以仿照之前的 V 统计量, 现在要估计 F (x), 那么我们用经验分布函数的导数 F n(x) 来估计, 我们有 : F n(x) = n

Size: px

Start display at page:

Download "我们知道对于很多随机变量, 我们更多时候是以其密度函数来判断或者刻画分布的那么, 如何通过 iid 样本来估计或者刻画这组数据的密度函数 f(x)? 我们可以仿照之前的 V 统计量, 现在要估计 F (x), 那么我们用经验分布函数的导数 F n(x) 来估计, 我们有 : F n(x) = n"

哀咸
5 years ago
Views:

1 第四章核估计王成 * 上海交通大学数学系介绍给定一组 iid 的样本 X,..., X n, 如何刻画其分布函数 F (x)? Definition. (Empirical distribution function) 我们可以定义经验分布函数 (Empirical distribution function), F n (x) = n I(X k x). () k= 作为 F (x) 的无偏估计,EDF 有如下的性质 :. For any fixed x, E( ˆF n (x)) = F (x), and V ar( ˆF n (x)) = F (x)( F (x)). () n Furter, if 0 < F (x) <, we ave n( ˆFn (x) F (x)) N(0, F (x)( F (x)). (3). Gilvenko-Cantelli Teorem: sup F n (x) F (x) a.s. 0. (4) x 3. Dvoretzky Kiefer Wolfowitz (DKW) inequality: For any ϵ > 0, P (sup ˆF n (x) F (x) > ϵ) e nϵ. (5) x * 关于讲义中的任何错误或者建议, 请联系 cengwang@sjtu.edu.cn

2 我们知道对于很多随机变量, 我们更多时候是以其密度函数来判断或者刻画分布的那么, 如何通过 iid 样本来估计或者刻画这组数据的密度函数 f(x)? 我们可以仿照之前的 V 统计量, 现在要估计 F (x), 那么我们用经验分布函数的导数 F n(x) 来估计, 我们有 : F n(x) = n δ Xk (x) k= 这里的 δ 是 Dirac delta 函数 : { if t = x; δ x (t) = 0 if t x. 并且满足 δx (t)dt =. 直方图. 如果确定直方图的结点 t 0 < t < < t m < t m, 定义一个新的函数 γ x (t) = 那么计数直方图可以表示为 : m I(t k < x, t t k ) k= H n (x) = 如果我们想展示密度函数, 可以定义 γ x (t) = 然后直方图表示为 : 实际上, 这里的 γ Xi (x). (6) i= m I(t k < x, t t k )/(t k t k ) k= γ x (t) = H n (x) = n γ Xi (x). (7) i= { t k t k t k < t t k ; 0 oters. 这里对于某个 k, t k < x t k, 且满足 γx (t)dt =. 对于一般直方图, 我们会选取一个起点 0 及固定的宽度 δ, 而实际问题中这两个参数的选取对于最后的结果影响也是很大的

3 核密度估计 Kernel Density Estimation. Motivations 仔细检查直方图, 我们会发现直方图对于所有发生在 (t k, t k ] 中的样本都同等的对待简单起见我们考虑 [0, ] 区间, 如果有两个样本取值 0 +,, 那么我们应该认为前者表达的信息是分布在 0 周围有密度, 而后者应该是在周围有密度, 而不能把两个完全同等的看待因此, 对于直方图, 给定宽度 δ, 我们认为样本 X i 应该反应区间 [X i δ/, X i + δ/] 的信息, 例如我们定义 K (x) = I( δ/ x δ/)/δ. 那么对应的估计为 : f n (x) = K δ (X i x). (8) n i= 再进一步我们把宽度 δ 看成参数, 直接定义 K(x) = I( x )/. 然后估计为 : f n (x) = n i= K( X i x ) (9) 当然这里我们取的是同等权重, 如果考虑一般的权, 那么我们也就得到了一般的核密度估计形式 : Definition. (Kernel density Estimate) ˆf (x) = n K(X t x ) = i= K (µ x)d ˆF (µ), (0) 这里 K ( ) = K( /)/ 称为核函数, 是窗宽 (Bandwidt) 参数. 核函数 Kernel function Wat is te condition tat K sould satisfy?. K(x) 0 for all x;. K(x)dx =. Terefore, K( ) is a density function and any density function can act as a kernel function in teory. Actually, a kernel function is usually a nonnegative symmetric, unimodal probability density function. Commonly used kernel functions: 3

4 Uniform K(µ) = I( µ ); () Triangular K(µ) = ( µ )I( µ ); () Epanecnikov: K(µ) = 3 4 ( µ )I( µ ); (3) Quartic (biweigt): Triweigt: K(µ) = 5 6 ( µ ) I( µ ); (4) K(µ) = 35 3 ( µ ) I( µ ); (5) Tricube: Gaussian: K(µ) = 70 8 ( µ 3 ) 3 I( µ ); (6) K(µ) = π exp( µ /); (7) Cosine: K(µ) = π 4 cos(π µ)i( µ ); (8) Logistic: K(µ) = e µ + + e µ (9) Q: ow to calculate te constant part suc as 35 3? 4

5 .3 Bandwidt Q: Wy do we use te tresolding not or oter parameters? Remark. If K(µ) is a kernel function, for any > 0, K(µ ) or K(µ) (0) can bot serve as te kernel functions. Notes on te bandwidt A large bandwidt -bias, over-smoot. A small bandwidt -large variance. Optimal bandwidt sould acieve a trade-off between bias and variance. Conclusion: It is well-known bot empirically and teoretically tat te coice of kernel functions is not very important to te kernel density estimator. As long as tey are symmetric and unimodal, te resulting kernel density estimator performs nearly te same wen te bandwidt is optimally cosen. 3 窗宽选择 Bandwidt Selection 为了估计样本的密度函数 f(x), 我们构造了核估计 ˆf (x) = n K(X i x ) = K (µ x)d ˆF (µ), () i= 作为一个估计, 我们可以考虑估计相关的性质 3. 期望 Expectation 我们直接计算核估计的期望 : E ˆf (x) = E n K(X i x ) = E K(X x ) i= = K(t x )f(t)dt = K(t)f(x + t)dt. 所以, 一般来说, 核估计是有偏的, 因为 K(µ)f(x + µ)dµ f(x). 我们可以看下不同核下的期望 : 5

6 . Uniform K(µ) = I( µ ), 我们有 E ˆf (x) = K(t)f(x + t)dt = I( t )f(x + t)dt = f(x + t)dt. 即从 [x, x + ] 上的平均密度窗宽度决定选取的区间宽度, 直观上窗宽越小误差越小, 但是方差越大反之选取的区间越大, 估计的偏差越大, 但是波动性越小. Gaussian: K(µ) = π exp( µ /), E ˆf (x) = K(t)f(x + t)dt = π 这里的 Y N(0, ). 象 3. 方差 Variance exp( t /)f(x + t)dt = Ef(x + Y ). 即整个实数区间上的加权平均, 窗宽也有类似现注意到核估计是独立同分布随机变量的样本平均, 所以 nv ar( ˆf (x)) = V ar( K(X x )) = K ( t x )f(t)dt ( K(t)f(x + t)dt) = K (t)f(x + t)dt ( K(t)f(x + t)dt) 所以估计的方差为 : V ar( ˆf (x)) = n K (t)f(x + t)dt n ( K(t)f(x + t)dt) 类似的我们可以看下 Uniform 核的情况 : 当 K(µ) = I( µ ), 我们有 V ar( ˆf (x)) = f(x + t)dt n n ( f(x + t)dt) 3.3 均方损失 Mean Square Error 因为核估计是有偏差的, 所以我们考虑均方损失来衡量估计的好坏 : MSE(x) = E( ˆf (x) f(x)) = V ar( ˆf (x)) + (f(x) E( ˆf (x))) = K (t)f(x + t)dt n n ( K(t)f(x + t)dt) + (f(x) K(t)f(x + t)dt) 6

7 3.4 窗宽选取当样本 n 时候, 注意到核估计是 iid 的平均, 所以经典 CLT 可以给出其渐近分布, 这里我们具体来看均方损失的极限状况一般窗宽 0, 把 f(x + t) 在 x 处做 Taylor 展开 : f(x + t) = f(x) + f (x)t + f (x) t + O( 3 t 3 ), () 我们有 : K (t)f(x + t)dt = K (t)(f(x) + f (x)t + f (x) t + O( 3 t 3 ))dt = f(x) K (t)dt + f (x) K (t)t dt + 类似的 K(t)f(x + t)dt = 所以 MSE(x) f(x) n K(t)(f(x) + f (x)t + f (x) t + O( 3 t 3 ))dt K(t)t dt f(x) + f (x) K (t)dt + 4 (f (x)) 4 ( t K(t)dt), 这里 0, 所以只有主项如果我们为了让在 x 处核估计的 MSE 最小, 优化上面的 MSE 即可但是一般的这里我们考虑的是一个密度函数的估计, 所以不能仅仅从某一点 x 来判断的选取为此, 我们引入 Mean Integrated Square Error (MISE): MISE = E ( ˆf (x) f(x)) dx [ f(x) K (t)dt + n 4 (f (x)) 4 ( t K(t)dt) ]dx K (t)dt + 4 (f (x)) dx( t K(t)dt). n 4 最小化 MISE, 我们得到最优窗宽 ( 实际上是渐近最优窗宽 ) opt = arg min MISE = n /5 ( (f (x)) dx) /5 ( K (t)dt) /5 ( t K(t)dt) /5. (3) 记 g = g (x)dx, µ (K) = t K(t)dt, (4) 7

8 最优窗宽为 : K opt = ( nµ (K) f ) /5 (5) 此时最小的 MISE 为 : MISE opt = 5 K 4 n ( K nµ (K) f ) /5 = 5 4 ( K n )4/5 (µ (K) f ) /5. (6) 4 最优核 Optimal Kernel function 这一节我们比较核函数对于核估计的影响从最优 MISE 的结果, 我们发现 : MISE opt = 5 K 4 T ( K T µ (K) f ) /5 所以最好的核函数应该是 : K opt arg min( K ) (µ (K)) = ( = 5 4 ( K T )4/5 (µ (K) f ) /5. (7) K (µ)dµ) ( µ K(µ)dµ) := β(k). (8) In addition, K opt sould satisfy K(µ)dµ =, µk(µ)dµ = 0. (9) Note te fact β(k(x)) = β( K(x )). (30) Terefore, if K opt ( ) is an optimal kernel, K( ) is also an optimal kernel. 所以我们只需要最小化 K (t)dt, K(t) 需要满足条件 K(t)dt =, tk(t)dt = 0, t K(t)dt =. (3) 记 Epanecnikov 核 K 0 (t) = 3 4 ( t )I( t ); (3) 8

9 我们考虑函数 δ(t) = K(t) K 0 (t), 我们有 t m δ(t)dt = 0, m = 0,,. 所以 ( t )δ(t)dt = 0. 现在考虑 : 4 3 δ(t)k 0 (t)dt = δ(t)( t )dt t = t > δ(t)( t )dt = K(t)(t )dt 0. 所以 K(t) dt = K0(t)dt + δ(t)k 0 (t)dt + δ (t)dt K 0(t)dt. 因此 Epanecnikov 核为最优核, 或者更一般的, 最优核函数为 : 5 窗宽的经验选取对于正态核函数 : 对于 Epanecnikov 核 : K opt (t) = 3 4α ( t /α )I( t α); (33) opt.06ˆσn /5. opt.34ˆσn /5. 这里的样本协方差是从的是方差 (f (x)) dx 项得到的, 对于正态分布, 两次导数得到 9

Stochastic Processes (XI) Hanjun Zhang School of Mathematics and Computational Science, Xiangtan University 508 YiFu Lou talk 06/

Stochastic Processes (XI) Hanjun Zhang School of Mathematics and Computational Science, Xiangtan University hjzhang001@gmail.com 508 YiFu Lou talk 06/04/2010 - Page 1 Outline 508 YiFu Lou talk 06/04/2010