Microsoft Word - 5-李英莉.doc

Size: px

Start display at page:

Download "Microsoft Word - 5-李英莉.doc"

敏弼韩
4 years ago
Views:

1 Vol.10 No 年 10 月 October 2017 逻辑回归模型中一种新的随机约束岭估计 * 李英莉, 左卫兵 ( 华北水利水电大学数学与统计学院, 郑州 ) 摘要 : 针对逻辑回归模型中解释变量存在复共线性问题, 在随机约束岭最大似然估计 (stochastc restrcted rdge maxmum lkelhood estmator,srrmle) 的基础上, 通过添加岭参数, 提出一种新的随机约束岭估计 (stochastc restrcted logstc rdge estmator,srlre) 在均方误差矩阵的意义下, 将新估计与最大似然估计 (maxmum lkelhood estmator,mle) 岭估计(logstc rdge estmator,lre) 随机约束最大似然估计(stochastc restrcted maxmum lkelhood estmator,srmle) SRRMLE 进行比较最后通过蒙特卡罗模拟方法验证新估计的优良性关键词 : 数理统计学 ; 逻辑回归 ; 复共线性 ; 随机约束岭估计 ; 均方误差矩阵中图分类号 :O212.1 文献标识码 :A 文章编号 : (2017) A new stochastc restrcted logstc rdge estmator n logstc regresson model LI Yngl, ZUO Webng (School of Mathematcs and Statstcs, North Chna Unversty of Water Resources and Electrc Power, Zhengzhou , Chna) Abstract: hs paper proposes a new stochastc restrcted logstc rdge estmator (SRLRE) wth stochastc lnear restrctons based on stochastc restrcted rdge maxmum lkelhood estmator (SRRMLE) by addng the rdge parameter to the multcollnearty problem of the explanatory varables n the logstc regresson model. In the mean square error matrx sense, the new estmaton s compared wth the maxmum lkelhood estmaton (MLE), logstc rdge estmator (LRE), stochastc restrcted maxmum lkelhood estmator (SRMLE) and SRRMLE. Fnally, the Monte Carlo smulaton method s used to verfy the superorty of the new estmaton. Key words: mathematcal statstcs; logstc regresson; multcollnearty; stochastc restrcted logstc rdge estmator; mean square error matrx 0 引言逻辑回归模型是一类重要的统计模型, 拥有丰富的理论基础, 在生物医学经济等领域中有广泛的应用然而, 在许多研究中解释变量之间存在近似线性关系, 即复共线性, 这种复共线性会使 MLE 的均方误差 (mean square error,mse) 变大, 精度变差为解决这一问题, 很多学者提出利用不同的估计代替 MLE. 文献 [1] 提出了逻辑岭估计 ; 文献 [2] 提出了主成分逻辑估计 ; 文献 [3] 提出了改进逻辑岭估计 ; 文献 [4] 提出了 Lu 型估计然而在实际问题中, 数据存在线性约束条件或随机约束条件在线性约束条件下, 文献 [5]~[7] 分别提出了约束最大似然估计约束 Lu 估计约束岭估计在随机约束条件下, 文献 [8]~[10] 分别提出了基金项目 : 河南省基础与前沿技术研究项目 ( ) 作者简介 : 李英莉 (1991 ), 女, 硕士研究生, 主要研究方向 : 概率论与数理统计通信联系人 : 左卫兵, 教授, 主要研究方向 : 概率论与数理统计. E-mal: zuowebng@ncwu.edu.cn

2 2017 年 10 月李英莉等 : 逻辑回归模型中一种新的随机约束岭估计 2138 SRMLE 随机约束 Lu 最大似然估计 (stochastc restrcted Lu maxmum lkelhood estmator,srlmle) SRRMLE. 本文基于文献 [10], 通过在 SRRMLE 上添加岭参数 k, 提出不同于 SRRMLE 的随机约束岭估计, 并在均方误差矩阵意义下, 将新估计与 MLE LRE SRMLE SRRMLE 等进行比较 1 SRLRE 考虑如下模型 : exp( x β ) 其中, π = 1 + exp( x β ) ; 随机误差, 且期望为 0, 方差为 π (1 π ). y = π + ε, = 1, 2,, n, (1) x 为 X 的第列 ;X 为 n ( p+ 1) 的矩阵 ;β 为 ( p + 1) 1的未知系数矩阵 ; ε 为 1 MLE 是估计参数 β 的常用方法,β 的 MLE 表达式 ˆ β = C - X WZ ˆ, 其中, C = X WX ˆ, Z 的第个 y ˆ π 分量为 log( ˆ π ) +, ˆ 1 1 W = dag[ ˆ π(1 ˆ π)], 协方差 Cov( ˆ βmle ) = ( X WX ˆ ) = C. ˆ π (1 ˆ π ) MLE 当解释变量存在复共线性时, 文献 [1] 提出的逻辑岭估计为 ˆ β LRE = C X WZ ˆ = Z ˆ, C = C + ki, Z = ( C + ki) C, k > 0, (2) k kβmle k k 其中,I 为 p+1 阶单位阵 ;k 为常数考虑如下约束条件 : h= Hβ + v; E( v) = 0, Cov( v ) = Ψ, (3) 其中,h 为 q 1 阶已知随机变量 ;H 为一个已知的 q ( p+ 1)( q< p+ 1) 的行满秩矩阵 ;v 为 q 1 随机误差 ; * Ψ 为 q q的正定阵假设 v 与 ε = ( ε, ε,, ε n ) 相互独立, 即 E( ε v ) = 在条件式 (3) 下, 文献 [8]~[10] 分别提出了 SRMLE SRLMLE 和 SRRMLE: ˆ β ˆ β C H ( Ψ HC H ) ( h H ˆ β ), (4) * SRMLE = MLE + + MLE ˆ ˆ 1 SRLMLE SRMLE ( ) = dβ, d = + ( + d ) β Z Z C I C I, (5) ˆ β ˆ β C H ( Ψ HC H ) ( h H ˆ β ), (6) SRRMLE = LRE + + LRE 其中,d 为常数,0 d<1. 本文提出一种新的有偏估计, 称为 SRLRE, 定义为 ˆ β ˆ β C H ( Ψ HC H ) ( h H ˆ β ), (7) SRLRE = LRE + k + k LRE 可以看出, 该估计为 SRRMLE 的改进估计 SRLRE 的期望方差偏差均方误差矩阵均方误差分别为 Var( ˆ β ) = D( ˆ β ) SRLRE E( ˆ β ) E( ˆ β ) ( Ψ ) E( ˆ β ) SRLRE = LRE + Ck H + HC H h H LRE SRLRE k k k k = Z β + C H ( Ψ + HC H ) ( Hβ HZ β), (8) k k k ( Ψ k ) ( Ψ k k )( Ψ k ) k = Z C Z + C H + HC H + HZ C Z H + HC H HC k Ψ k k k 2 C H ( + HC H ) HZ C Z, SRLRE = SRLRE = k + k + k d = 1 (9) B( ˆ β ) E( ˆ β ) β [ Z C H ( Ψ HC H ) ( H HZ ) I ] β δ, (10)

3 Vol.10 No.19 October 2017 中国科技论文在线精品论文 2139 MSEM( ˆ β ) D( ˆ β ) B( ˆ β )[B( ˆ β )] = C H HC H HZ C Z (11) 2 估计的优良性 SRLRE = SRLRE + SRLRE SRLRE ZkC Zk Ck H ( Ψ HCk H ) ( Ψ HZkC Zk H )( Ψ HCk H ) HCk 2 k ( Ψ + k ) k k + δ1δ1, MSE( ˆ β ) = tr[msem( ˆ β )]. (12) SRLRE SRLRE 引理 1 [11] A 为 n n矩阵,b 为 n n矩阵, 若 A >0, B 0, 则 A+ B >0. 引理 2 [12] M 为 n n矩阵,n 为 n n矩阵, 若 M >0, N 0, 则 M>N 当且仅当 λ max ( NM ) < 1. 引理 3 [11] β j = AJ y, j = 1, 2, 其中 β j 为 β 的估计,Cov( β j ) 为 β j 的协方差,MSEM( β j ) 为 β j 的均方误差矩阵, d j 为 β 的偏差若 D = Cov( β1) Cov( β2) >0, 则 MSEM( β1) MSEM( β 2) 0 当且仅当 j d ( D+ d d ) d 1. 定理 1 在均方误差矩阵的意义下, 随机约束岭估计 ˆ β SRLRE 优于最大似然估计 ˆ β MLE 的充要条件为 λ max 1 1 ( NM ) < 1. 证明 : Δ 1 = MSEM( ˆ β ˆ MLE ) MSEM( β SRLRE ) = [D( ˆ βmle ) D( ˆ βsrlre )] + {B( ˆ βmle )[B( ˆ βmle )] B( ˆ βsrlre )[B( ˆ βsrlre )] } = [ C ZkC Zk Ck H ( Ψ + HCk H ) ( Ψ + HZkC Zk H )( Ψ + HCk H ) HCk + 2 Ck H ( Ψ + HCk H ) HZkC Zk ] δ1δ1 = ( C + 2 AHB) ( B + AFG + δδ 1 1) = M N, 1 1 k ( Ψ k ) k k 1 = = + +δ1δ1 其中, A= C H + HC H ; B = Z C Z ; M C AHB ; N B AFG ; k F = ( Ψ + HZkC Z H ); G = ( Ψ + HCk H ) HC k. 显然 A B F G 为正定阵, M 1 也为正定阵, δ δ 为非负定阵根据引理 1, N 1 也为正定阵根据引理 2, 若 λ λ max NM ( ) 为 NM 的最大特征值以上定理得证定理 2 在均方误差矩阵的意义下, 当 λ max 2 2 max ( NM ) < 1, 则 M1- N 1为正定阵, 其中 ( N M ) <1时, 随机约束岭估计 ˆ β SRLRE 优于逻辑岭估计 ˆ β LRE 的充要条件为 δ1 [( M2 N 2) + δ2δ2] δ1<1. 证明 : Δ 2 = MSEM( ˆ β ˆ LRE ) MSEM( β SRLRE ) = [D( ˆ βlre ) D( ˆ βsrlre )] + {B( ˆ βlre )[B( ˆ βlre )] B( ˆ βsrlre )[B( ˆ βsrlre )] } = [ ZkC Zk ZkC Zk Ck H ( Ψ + HCk H ) ( Ψ + HZkC Zk H )( Ψ + HCk H ) HCk + 2 Ck H ( Ψ + HCk H ) HZkC Zk] + ( δ2δ2 δ1δ1 ) = 2AHB AFG + R2 = M2 N2 + R2, 其中, δ 2 = Z k β - β ; M 2 = 2AHB ; N 2 = AFG ; R 2 = δ 2δ2 - δ1δ1. 显然 M 2 N 2 为正定阵根据引理 2, 若 λ max 2 2 ( N M ) <1, 则 M2 - N 2为正定阵其中 λ max N2M ( ) 为 N M 的最大特征值根据引理 3, 可

4 2017 年 10 月李英莉等 : 逻辑回归模型中一种新的随机约束岭估计 2140 以证明以上定理定理 3 在均方误差矩阵的意义下, 随机约束岭估计 ˆ β SRLRE 优于随机约束最大似然估计 ˆ β SRMLE 的充 max 3 3 要条件为 λ ( NM ) <1. 证明 : Δ 3 = MSEM( ˆ β ˆ SRMLE ) MSEM( β SRLRE ) = [D( ˆ βsrmle ) D( ˆ βsrlre )] + {B( ˆ βsrmle )[B( ˆ βsrmle )] B( ˆ βsrlre )[B( ˆ βsrlre )] } = [ C C H ( Ψ + HC H ) HC ZkC Zk Ck H ( Ψ + HCk H ) ( Ψ + HZkC Zk H )( Ψ + HCk H ) HCk + 2 Ck H ( Ψ + HCk H ) HZkC Zk] δ1δ1 = ( C + 2 AHB) ( EHC + B + AFG + δδ 1 1) = M N, 其中, E = C H ( Ψ + HC H ) ; M3 = C + 2AHB ; N3 = EHC + B + AFG + δ1δ1. 显然 M 4 为正定 1 1 阵, δ δ 为非负定阵根据引理 1, N 3 也为正定阵根据引理 2, 若 λ 定阵, 其中 λ max NM ( ) 为 NM 定理 4 在均方误差矩阵意义下, 当 λ ˆ SRRMLE 的最大特征值以上定理得证 max 4 4 max 3 3 ( NM ) <1, 则 M3 - N 3为正 ( N M ) <1时, 随机约束岭估计 ˆ β SRLRE 优于随机约束岭最大似然估计 β 的充要条件为 δ1 [( M4 - N 4) + δ4δ4] δ1 <1. 证明 : Δ 4 = MSEM( ˆ β ˆ SRRMLE ) MSEM( β SRLRE ) = [D( ˆ βsrrmle ) D( ˆ βsrlre )] + {B( ˆ βsrrmle )[B( ˆ βsrrmle )] B( ˆ βsrlre )[B( ˆ βsrlre )] } = [ ZkC Zk + C H ( Ψ + HC H ) [ Ψ + HZk( C + ki) H ]( Ψ + HC H ) HC 2 C H ( Ψ + HC H ) HZkC Zk ZkC Zk Ck H ( Ψ + HCk H ) ( Ψ + HZkC ZkH )( Ψ + HCk H ) HCk + 2 Ck H ( Ψ + HCk H ) HZkC Zk] + ( δ3δ3 δ1δ1 ) = ( EJM + 2 AHB) (2 EHB + AFG) + R4 = M N + R, k k k k 其中, δ3 = [ Z + C H ( Ψ + HC H ) ( H Z ) I] β; M= ( Ψ + HC H ) HC ; J= Ψ+ HZ ( C+ I) H ; M4 = EJM + 2AHB; N 4 = 2EHB + AFG ; 阵根据引理 2, 若 λ max 4 4 根据引理 3, 可以证明以上定理 3 蒙特卡罗模拟 4 = δ3δ3 - δ1δ1 R. 显然 J M 为正定阵, M 4 N 4 也为正定 ( N M ) <1, 则 M4 - N 4为正定阵, 其中 λ max N4M ( ) 为 N M 的最大特征值为阐述以上理论成果, 本节通过蒙特卡罗模拟进一步分析不同程度的复共线性, 采用文献 [10] [13]~ [15] 生成解释变量如下 : 2 1/2 j ρ j ρ, p x = (1 ) z + z ( = 1, 2,, n; j = 1, 2,, p), (13) 其中,z j 为服从标准正态分布的伪随机数 ;ρ 为给定常数 ;ρ 2 为两个解释变量之间的相关性, 因此 ρ 2 在某些程度上可以体现模型复共线性的程度令 ρ 取值为和 0.99,n 取和 200,

5 Vol.10 No.19 October 2017 中国科技论文在线精品论文 2141 exp( x β ) 2 在式 (1) 中 y 由 π = 服从伯努利二项分布而产生对于 β 1, β2,, β p 满足 1 + β j = 1, exp( x β ) β = β = = β. 1 2 p 此外, 选择以下约束 : H = 0 1 0, h = 2, Ψ = (14) 对于参数 k, 选择 0 k < 1. 随机模拟和运算通过 R 软件完成, 重复模拟次用式 (15) 模拟出 MLE LRE SRMLE SRRMLE 和 SRLRE 的均方误差 MSE( ˆ β) = Mean{tr[MSEM( ˆ β, β)]} = Mean(tr{E[( ˆ β β)( ˆ β β)]}) ˆ ˆ = Mean(E{tr[( β β)( β β) ]}) ˆ = Mean(E{tr[( β β) ( ˆ β β)]}) ˆ = Mean[( β β) ( ˆ β β)] ˆ ˆ = ( β β) ( β β ). (15) n= 1 结果如表 1~ 表 12 所示表 1 对不同 k 的各个估计的均方误差 (n=20,ρ=0.70) ab. 1 Estmated MSE values for dfferent k (n=20 and ρ=0.70) MLE LRE SRMLE SRRMLE SRLRE 表 2 对不同 k 的各个估计的均方误差 (n=20,ρ=0.80) ab. 2 Estmated MSE values for dfferent k (n=20 and ρ=0.80) MLE LRE SRMLE SRRMLE SRLRE 表 3 对不同 k 的各个估计的均方误差 (n=20,ρ=0.90) ab. 3 Estmated MSE values for dfferent k (n=20 and ρ=0.90) MLE LRE SRMLE SRRMLE SRLRE p j= 1

6 2017 年 10 月李英莉等 : 逻辑回归模型中一种新的随机约束岭估计 2142 表 4 对不同 k 的各个估计的均方误差 (n=20,ρ=0.99) ab. 4 Estmated MSE values for dfferent k (n=20 and ρ=0.99) MLE LRE SRMLE SRRMLE SRLRE 表 5 对不同 k 的各个估计的均方误差 (n=100,ρ=0.70) ab. 5 Estmated MSE values for dfferent k (n=100 and ρ=0.70) MLE LRE SRMLE SRRMLE SRLRE 表 6 对不同 k 的各个估计的均方误差 (n=100,ρ=0.80) ab. 6 Estmated MSE values for dfferent k (n=100 and ρ=0.80) MLE LRE SRMLE SRRMLE SRLRE 表 7 对不同 k 的各个估计的均方误差 (n=100,ρ=0.90) ab. 7 Estmated MSE values for dfferent k (n=100 and ρ=0.90) MLE LRE SRMLE SRRMLE SRLRE 表 8 对不同 k 的各个估计的均方误差 (n=100,ρ=0.99) ab. 8 Estmated MSE values for dfferent k (n=100 and ρ=0.99) MLE LRE SRMLE SRRMLE SRLRE

7 Vol.10 No.19 October 2017 中国科技论文在线精品论文 2143 表 9 对不同 k 的各个估计的均方误差 (n=200,ρ=0.70) ab. 9 Estmated MSE values for dfferent k (n=200 and ρ=0.70) MLE LRE SRMLE SRRMLE SRLRE 表 10 对不同 k 的各个估计的均方误差 (n=200,ρ=0.80) ab. 10 Estmated MSE values for dfferent k (n=200 and ρ=0.80) MLE LRE SRMLE SRRMLE SRLRE 表 11 ab. 11 对不同 k 的各个估计的均方误差 (n=200,ρ=0.90) Estmated MSE values for dfferent k (n=200 and ρ=0.90) MLE LRE SRMLE SRRMLE 表 12 对不同 k 的各个估计的均方误差 (n=200,ρ=0.99) ab. 12 Estmated MSE values for dfferent k (n=200 and ρ=0.99) MLE LRE SRMLE SRRMLE SRLRE 由表 1~ 表 12 可知, 当 n k 不变,ρ 变大时, 上述 5 个估计的均方误差会变大 ; 当 ρ k 不变, n 增大时, 上述 5 个估计的均方误差会减小 ; 当 ρ n 不变,k 增大时,MLE 与 SRMLE 的均方误差不变, LRE SRRMLE SRLRE 会减小然而, 对于所有 n ρ k, 新估计 SRLRE 均优于 MLE; 当 0 k ρ = 0.80 时, 新估计 SRLRE 均优于 MLE LRE SRMLE SRRMLE. 4 结论本文针对逻辑回归模型中解释变量存在复共线性的问题, 提出一种新的 SRLRE 估计在均方误差矩阵的意义下, 得到了其优于 MLE LRE SRMLE SRRMLE 的充分或充要条件, 并用蒙特卡罗模拟

8 2017 年 10 月李英莉等 : 逻辑回归模型中一种新的随机约束岭估计 2144 方法验证了其优良性在保证均方误差不增大的前提下, 如何降低新估计的偏差是下一步研究的重点 [ 参考文献 ] (References) [1] SCHAEFER R L, ROIL D, WOLFER A. A rdge logstc estmator[j]. Communcaton n Statstcs-heory and Methods, 2007, 13(1): [2] AGUILERA A M, ESCABIAS M, VALDERRAMA M J. Usng prncpal components for estmatng logstc regresson wth hgh-dmensonal multcollnear data[j]. Computatonal Statstcs & Data Analyss, 2006, 50(8): [3] OGOKE U P, NDUKA E C, NJA M E. he logstc regresson model wth a modfed weght functon n survval analyss[j]. Mathematcal heory & Modelng, 2013, 3(8): 127. [4] INAN D, ERDOGAN B E. Lu-type logstc estmator[j]. Communcaton n Statstcs-Smulaton and Computaton, 2013, 42(7): [5] DUFFY D E, SANNER J. On the small sample prospertes of norm-restrcted maxmum lkelhood estmators for logstc regresson models[j]. Communcatons n Statstcs-heory and Methods, 1989, 18(3): [6] ŞIRAY G Ü, OKER S, KAÇIRANLAR S. On the restrcted Lu estmator n the logstc regresson model[j]. Communcaton n Statstcs-Smulaton and Computaton, 2015, 44(1): [7] ASAR Y, ARASHI M, WU J. Restrcted rdge estmator n the logstc regresson model[j]. Communcaton n Statstcs-Smulaton and Computaton, 2016: 1-7. [8] NAGARAJAH V, WIJEKOON P. Stochastc restrcted maxmum lkelhood estmator n logstc regresson model[j]. Open Journal of Statstcs, 2015, 5(7): [9] VARAHAN N, WIJEKOON P. Logstc Lu estmator under stochastc lnear restrctons[j]. Statstcal Papers, 2016: 18. [10] VARAHAN N, WIJEKOON P. Rdge estmator n logstc regresson under stochastc lnear restrctons[j]. Brtsh Journal of Mathematcs & Computer Scence, 2016, 15(3): 14. [11] RAO C R, OUENBURG H. Lnear models: least squares and alternatves[m]. 2nd. ed. New York: Sprnger, [12] RAO C R, OUENBURG H, SHALABH, et al. Lnear model and generalzatons[m]. Berln: Sprnger, [13] RENKLER G, OUENBURG H. Mean squared error matrx comparsons between based estmators-an overvew of recent results[j]. Statstcal Papers, 1990, 31(1): [14] KIBRIA B M G. Performance of some new rdge regresson estmators[j]. Communcaton n Statstcs-Smulaton and Computaton, 2003, 32(2): [15] McDONALD G C, GALARNEAU D I. A Monte Carlo evaluaton of some rdge-type estmators[j]. Journal of the Amercan Statstcal Assocaton, 1975, 70(350):