第 6 期刘应安等 : 误差为 ARMA(1,1) 的非线性回归模型相关性和异方差的检验 Y = f+ε } ε = M -1 Na~ N(0,σ 2 M -1 NWN T M -T ) 2 似然比检验和 Score 检验 95 (3) 2.1 似然比检验由式 (3) 可知, 模型 (1) 中参

Size: px

Start display at page:

Download "第 6 期刘应安等 : 误差为 ARMA(1,1) 的非线性回归模型相关性和异方差的检验 Y = f+ε } ε = M -1 Na~ N(0,σ 2 M -1 NWN T M -T ) 2 似然比检验和 Score 检验 95 (3) 2.1 似然比检验由式 (3) 可知, 模型 (1) 中参"

胡晓阳
5 years ago
Views:

1 东南大学学报 ( 自然科学版 ) JOURNAL OF SOUTHEAST UNIVERSITY(NaturalScieceEditio) 第 31 卷第 6 期 Vol 31 No 年 11 月 Nov.2001 误差为 ARMA(1,1) 的非线性回归模型相关性和异方差的检验刘应安韦博成林金官 ( 东南大学应用数学系, 南京 ) 摘要 : 本文讨论了误差为 ARMA(1,1) 序列的非线性回归模型. 首先得到随机误差相关性和异方差性检验的似然比检验统计量和 Score 检验统计量 ; 其次利用参数正交变换, 得到了修正的似然比检验统计量和修正的 Score 检验统计量, 推广了韦博成胡跃清 (1994) 的结果和韦博成 (1995) 的结果 ; 最后给出了几种特殊情形的似然比检验统计量和 Score 检验统计量. 关键词 : 非线性回归模型 ; 相关性 ; 异方差性 ; 修正的似然比检验 ; 修正的 Score 检验中图分类号 :O212.1 文献标识码 :A 文章编号 : (2001) 非线性回归模型在实际应用中具有十分重要的作用, 通常随机误差都假设是正态白噪声, 但实际问题中常常会出现不合适的情况, 如 Seber 和 Wild(1989) [1] 所举的实例. 因此, 非线性回归模型的随机误差的独立性和方差齐性应进行检验. 线性模型中关于随机误差的异方差性检验的 Score 函数已由 Cook 和 Weis berg(1983) [2] 获得,Simoof 和 Tsai(1994) [3] 曾经研究了修正的 Score 检验统计量. 韦博成 (1995) [4] 给出了非线性回归模型的方差齐性 Score 检验, 推广了 Cook 和 Weisberg(1983) [2] 的结果. 韦博成胡跃清 (1994) [5] 对误差为 AR(1) 的非线性回归模型进行了讨论.Richard,RobadAla(2000) [6] 对误差为 AR(p) 的非线性回归模型进行了研究. 本文讨论了误差为 ARMA(1,1) 的非线性回归模型, 得到了误差相关性和异方差性检验的似然比检验 Score 检验统计量 ; 应用感兴趣参数和多余参数的正交化方法 (CoxadReid,1987) [7], 给出了修正的似然比检验统计量和修正的 Score 检验统计量, 推广了韦博成胡跃清 (1994) [5] 的结果 ; 最后, 给出几种特殊情形的似然比检验 Score 检验统计量. 1 误差为 ARMA(1,1) 的非线性回归模型设误差为 ARMA(1,1) 序列的非线性回归模型为 y t = f t +εt 1 t ε1 = a,εt- 1 ρεt-1 = a - t } φ a (1) t-1 2 t 式中,f t =f(x t, β ) 对 β 有二阶连续导数 ;x t 为自变量, β 为 m 维未知向量 ;{a t :t=0,±1,±2 } 为一白噪声序列,a t ~ N(0,σ 2 ), = w,γ),z t 为某一协变量,1 t,γ 为一 q 维未知向量, 对 γ 有二阶连续偏导数, 且存在惟一的 γ0 使得 w,γ0)=1,1 t,σ 2 为未知参数. 记 α =( ρ, φ,γ T ) T,α0 =(0,0,γ 0) T T,θ =(α T, βt,σ 2 ) T,θ0 =(α 0, T βt 时, 模型 (1) 即为通常的正态非线性回归模型, 因此对误差 { ε t (2) 记 Y =(y t ) 1,f=(f t ) 1,a=(a t ) 1,ε =(εt) 1,W =diag(w 1,w 2,, ),M -T =(M -1 ) T,M = ρ,n = - φ, 则模型 (1 ) 的矩阵形式为 0 - ρ φ 1 收稿日期 : 作者简介 : 刘应安, 男,1965 年生, 副教授, 博士研究生. 基金项目 : 国家自然科学基金资助项目 ( ) 和江苏省自然科学基金资助项目 (BK99002).

2 第 6 期刘应安等 : 误差为 ARMA(1,1) 的非线性回归模型相关性和异方差的检验 Y = f+ε } ε = M -1 Na~ N(0,σ 2 M -1 NWN T M -T ) 2 似然比检验和 Score 检验 95 (3) 2.1 似然比检验由式 (3) 可知, 模型 (1) 中参数 θ 关于 Y 的对数似然函数可表示为 l(θ)=-/2log(2πσ 2 )-2-1 log -(2σ 2 ) -1 (y-f) T M T N -T W -1 N -1 M(y-f) (4) 定理 1 分别记参数 θ 和 θ0 的极大似然估计为 θ ^=( 珘 α T, 珘 β T, 珓 σ 2 ) T,^θ0 =(α T 0,^βT,^σ2 ) T, 则模型 (1) 关于假设检验问题 (2) 的似然比检验统计量为 LR = log(^σ2 / 珓 σ 2 )-log, γ) 珘 (5) 式中,^σ2 = -1 ^ ε 2 t;^εt = y t -f(x t,^β). 由式 (4) 可求得 l p ( α)=-2 珘 -1 (log(2π 珓 σ 2 )-log, γ)-), 珘再由 LR =2{l p ( α)-l 珘 p (α0)} 就可得式 (5) 的结果. 证毕. l p (α0)=-2-1 (log(2π^σ 2 )-) 当 φ =0 时,LR = log(^σ2 / 珓 σ 2 )-log, γ), 珘其 ^σ2 1 = -1 ε T M T W -1 Mε, 珘 γ1 是相应的极大似然估计, 这是韦博成胡跃清 (1994) [5] 的结果. 当 ρ =0, φ =0 时,LR = log(^σ2 / 珓 σ 2 1)-log, γ1), 珘其中 σ 2 1 = -1 ε T M T W -1 Mε, 珘 γ2 是相应的极大似然估计. 2.2 Score 检验引理 1 记 D =( / γi) q,v =( f t / γi) p, 则模型 (3) 中参数 θ 的 Fisher 信息阵为 A B J= E(- l(θ))= D T W -2 D 0 D T W -1 1/(2σ 2 ) F T W -1 D/(2σ 2 ) 0 /(2σ 4 ) 式中 A=tr( M T / ρ N-T W -1 N -1 M/ ρ M-1 NWN T M -T ) B =tr( N -T / φ W-1 N -1 / φ NWNT ), F =σ -2 V T M T N -T W -1 N -1 MV 首先, 对任意矩阵 Φ 有 E(ε T Φε)=σ 2 tr(φm -1 NWN T M -T ), 且 ( M/ ρ )M-1 为对角线为零的下三角阵, 应用以上结果, 从式 (4) 出发求导求期望就可求得式 (6). 证毕. 定理 2 式中 u= ^ε 2 2 ( t/^σ ) 模型 (1) 关于假设检验问题 (2) 的 Score 检验统计量为 SC =2(^ρ0) 2 /(-1)+u T D u/2-1 1,^ρ0 = εt^εt+1/^σ ^ 2,D = 珚 D( 珚 D T 珚 D) -1 珚 D T, 珚 D =(I- -1 l T )D. 将 J 按 α =( ρ, φ,γ T ) T =θ1 与 ( βt,σ 2 ) T =θ2 的维数分块 :J= ( Jij ), 当 2 2 θ =θ0 时,(J 11 -J 12 J -1 22J 21 ) -1 =diag((-1) -1,(-1) -1,2( 珚 D T 珚 D) -1 ). 由式 (4) 的对数似然函数可求得 l(θ)/ ρ θ0 = ^σ -1-2 ^ εt^εt+1 = ^ρ0 = l(θ)/ φ, θ0 所以由韦博成鲁国斌史建清 (1991) [8] 的 (A.1.14) 式可得 l(θ)/ γ = D T (u-1)/2= 珚 D T u/2 (6) (7)

3 96 东南大学学报 ( 自然科学版 ) 第 31 卷 SC=( l(θ)/ α) T (J 11 -J 12 J -1 22J 21 ) -1 ( l(θ)/ α)θ=θ 0 =2(^ρ0) 2 /(-1)+u T D u/2. 证毕. 当 φ =0 时,SC=(^ρ0) 2 /(-1)+u T D u/2, 这是韦博成胡跃清 (1994) [5] 的结果. 当 ρ =0, φ = 0 时,SC = u T D u/2. 这是韦博成 (1995) [4] 的结果. 3 修正的似然比检验和修正的 Score 检验 3.1 参数的正交变换由式 (6) 知, 参数 ρ 与 φ, γ, β,σ 2 正交, φ 与 γ, β,σ 2 正交,γ 与 β 正交, β 与 σ 2 正交, 但 γ 与 σ 2 不正交. 作正交变换 θ =(α T, βt,σ 2 ) T θm =(α T, βt,δ) T 使其中 δ 与 α, β 正交. 由 Cox 和 Reid(1987) [7] 中的式 (4) 知, 上式的正交变换必需满足方程 /(2σ 4 ) σ 2 / γ +(2σ 2 ) -1 D T W -1 1=0 (8) 求解方程 (8) 可得 σ 2 =δ( ) -1/, 从而 l(θm)=-{log(2πδ)-δ -1 (y-f) T M T N -T G -1 N -1 M(y-f)}/2 (9) 式中,G -1 1/ = ( wt ) W -1. 记 θm2 =( βt,δ) T,θm =(α T,θ T m2) T,θm0 =(α T 0,θ T m2) T,θm 与 θm0 的极大似然估计分别为 ^θm =( 珘 α T, 珓 β T, 珓 δ 2 ) T,^θm0 =(^αt,^δ) T 0,^βT.V(α)= G -1/2 N -1 MV,U =( 2 f t / β β T ) p p, ε(α)=g -1/2 N -1 Mε ( α, βα,δ α ),U(α)=[G -1/2 N -1 M][U], 这里 [ ][ ] 表示立体阵的乘积 ( 韦博成, 1989) [9].V(α),ε(α),U(α) 在 ^θm,^θm0 处的值分别记为 V( 珘 α),ε( 珘 α),u( 珘 α);v(0),ε(0),u(0). 对 V(α) 作 QR 分解 :V(α)=Q(α)R(α). p 矩阵 Q(α) 满足 Q T (α)q(α)= I p,r(α) 为 p 阶上三角阵. 3.2 修正的似然比检验据 Cox 和 Reid(1987) [7] 中的式 (10), 修正的对数似然函数和修正的似然比检验统计量分别为 l m (α)= l(α)-2-1 logdet(- 2 l(θm)/ θm2θ T m2) ( α, βα,δ α ), L A =2{l m ( 珘 α)-l m (α0)} (10) 且修正的 Score 检验统计量 S A 则为修正的似然比检验统计量 L A 的一阶近似. 定理 3 模型 (1) 关于假设检验问题 (2) 的修正似然比检验统计量为 L A =(1-(p+2)/)LR-logT(α)/T(0) (11) 式中,T(α)=det(V T (α)v(α))det(i p -[ε T (α)][r -T (α)u(α)r -1 (α)]),t(0)= T(α0). 由式 (9) 的修正对数似然函数可以求得 ( ) det - 2 l(θm) θm2 θ T m 2 (α, βα,δ α ) = (^δα ) -p-2 T(α)/2 将上式代入式 (10), 则 L A = LR+(p+2)log 珓 δ/^δ -logt( 珘 α)/t(^α). 又因为 LR = log^δ/ 珓 δ, 所以式 (11) 成立. 证毕. 当 φ =0 时,L A =(1-(p+2)/)LR-logT 1 ( 珘 α)/t 1 (0), 其中 V 1 (α)= G -1/2 MV,ε1(α) = G -1/2 Mε ( α, βα,δ α ),U 1 (α)= [G -1/2 M][U],V 1 (α) 作 QR 分解 :V 1 (α)= Q 1 (α) R 1 (α), T 1 (α)=det(v 1(α)V T 1 (α))det(i p -[ε 1(α)][R T -T 1 (α)u 1 (α)r -1 1 (α)]),t 1 (0)=T 1 (α0). 这是韦博成胡跃清 (1994) [5] 的结果. 当 ρ =0, φ =0 时,L A =(1-(p+2)/)LR-logT 2 ( α)/t 珘 2 (0), 其中 V 2 (α)= G -1/2 V G (α, βα,δ α ),ε2(α)= -1/2 ε,u 2 (α)=[g -1/2 ][U],V 2 (α) 作 QR 分解 :V 2 (α)= ( α, βα,δ ) (α, α βα,δ ) α Q 2 (α)r 2 (α),t 2 (α) = det(v T 2(α)V 2 (α))det(i p - [ε T 2(α)] [R -T 2 (α)u 2 (α)r -1 2 (α)]), T 2 (0) = T 2 (α0).

4 第 6 期刘应安等 : 误差为 ARMA(1,1) 的非线性回归模型相关性和异方差的检验修正的 Score 检验定理 4 模型 (1) 关于假设检验问题 (2) 的修正的 Score 检验统计量为 S A = SC+2^ρ0/(-1) i-j =1 h ij +(tr[hk]) T ( 珚 D T 珚 D) -1 珚 D T u (12) 式中,H =(h ij )= V(V T V) -1 V T,K =( G/ γi) q =(K i ). 由式 (9) 经计算得 Ω(θm)= E(- 2 l(θm)/ θm2 θ T m2)=diag(v T M T N -T G -1 N -1 MV/δ,/(2σ 2 )) (13) 当 θ = ^θm0 时 Ω(θm)/ ρ =diag(vt ( M/ ρ T + M/ ρ )V/^δ,0) (14) Ω(θm)/ φ =diag(vt ( N T / φ + N/ φ )V/^δ,0) (15) Ω(θm)/ γi =diag(^δ-1 (-V T W/ γi+ -1 V T 1 T W/ γi1v),0) i=1,2,,q (16) Ω(θm)=diag(V T V/^δ,/2^δ 2 ) (17) l(θm)/ ρ = ^ρ0 = l(θm)/ φ, l(θm)/ γ = 珚 D T u/2 (18) E(- l 2 (θm)/ α α T )=diag(-1,-1,( 珚 D T 珚 D)/2) (19) 由式 (18),(19) 可得珘 α -α0 E - l 2 (θm) -1 l(θm) ( T ) = α α α ^θ m0-1^ρ0, -1^ρ0,(( 珚 D T 珚 D) -1 珚 D T T ( u) ) T (20) 由 Wei(1998) [10] 的式 (6.79), 式 (14)~(17) 及式 (20) 得 ΔS=-2^ρ0/(-1) i-j =1 h ij -(tr[hk]) T ( 珚 D T 珚 D) -1 珚 D T u 由 Wei(1998) [10] 知修正的 Score 检验统计量为 S A = SC-ΔS, 从而式 (12) 成立. 证毕. 当 φ =0 时,S A = SC+^ρ0/(-1) i-j =1 h ij +(tr[hk]) T ( 珚 D T 珚 D) -1 珚 D T u. 这是韦博成胡跃清 (1994) [5] 的结果. 当 ρ =0, φ =0 时,S A = SC+(tr[HK]) T ( 珚 D T 珚 D) -1 珚 D T u. 这是韦博成 (1995) [4] 的结果. 4 其它几种情况的似然比检验和 Score 检验 4.1 H 1 : ρ =0,γ =γ0 的似然比检验和 Score 检验记 α =( ρ,γ T ) T,α0 =(0,γ 0) T T,θ =(α T, φ, βt,σ 2 ) T,θ0 =(α 0, T φ, βt 时, 模型 (1) 即为通常的正态非线性回归模型式 (3), 因此对误差 { ε t (21) 定理 5 分别记参数 θ 和 θ0 的极大似然估为 :^θ = ( 珘 α T, 珘 φ, 珘 β T, 珓 σ 2 ) T,^θ0 =(α T 0,^φ,^βT,^σ2 ) T, 则模型 (3) 关于假设检验问题 (21) 的似然比检验统计量和 Score 检验统计量分别为 LR = log(^σ2 / 珓 σ 2 )-log, γ), 珘 SC = ^ρ 2 01/b+ 珘 u T D 珘 u/2 (22) 式中,b=tr( M T / ρ N-T N -1 M/ ρ NNT ),^ρ01 =^ε T ( M T / ρ ^N -T^N-1 +^N -T^N-1 M/ ρ )^ε/(2^σ 2 ), σ ^ 2 = ε ^ 2 t/, 珓 ε = ^N -1^ε,^εt = y t -f(x,^β), t 珘 u= 珓 ε 2 2 ( /^σ ) 4.2 H 1 :γ =γ0 的似然比检验和 Score 检验记 α =γ,α0 =γ0,θ =(α T, ρ, φ, βt,σ 2 ) T,θ0 =(α 0, T ρ, φ, βt 时, 模型 (1) 即为通常的正态非线性回归模型式 (3), 因此对误差 { ε t (23) 定理 6 分别记参数 θ 和 θ0 的极大似然估计为 ^θ = ( 珘 γ T, 珓 ρ, 珘 φ, 珘 β T, 珓 σ 2 ) T,^θ0 =(γ T 0,^ρ,^φ,^βT,^σ2 ) T, 则模型 (3) 关于假设检验问题 (23) 的似然比检验统计量和 Score 检验统计量分别为 1. LR = log(^σ2 / 珓 σ 2 )-log, γ), 珘 SC = u T D u/2 (24)

5 98 东南大学学报 ( 自然科学版 ) 第 31 卷式中,^σ2 = ε ^ 2 2 t/, ε = ^N-1^M^ε,^εt = y t -f(x t,^β), u = ( ε2 t/^σ ) 当 a t ~ N(0,σ 2 ) 时,H 1 : ρ =0, φ =0 的似然比检验和 Score 检验记 α =( ρ, φ ) T,α0 =(0,0) T,θ =(α T, βt,σ 2 ) T,θ0 =(α T 0β T,σ 2 ) T, 因此对误差 { ε t } 的检验问题可表示为 (25) 定理 7 分别记参数 θ 和 θ0 的极大似然估计为 :^θ = ( 珓 ρ, 珘 φ, 珘 β T, 珓 σ 2 ) T,^θ0 =(0,0,^βT,^σ2 ) T, 则关于假设检验问题 (25) 的似然比检验统计量和 Score 检验统计量分别为 LR=log(^σ2 / 珓 σ 2 ),SC=2(^ρ0) 2 /(-1). 参考文献 1 SeberGAF,WildCJ.Noliearregresio.NewYork:JohWileyadSos,1989.1~324 2 CookRD,WeisbergS.Diagosticsforheteroscedasticityiregresio.Biometrka,1983,70:1~10 3 SimoofJS,TsaiCL.Improvedtestsforocostatvariaceiregresiobasedothemodifiedprofilelikelihood.ApplStatist, 1994,43:357~370 4 韦博成. 加权非线性回归的 Score 检验及其局部影响分析. 应用概率统计,1995,11(2):147~156 5 韦博成, 胡跃清. 非线性回归模型相关性和异方差性的检验. 工程数学学报,1994,11(4):1~12 6 RichardF,RobJH,AlaV.Residualdiagosticplotsforcheckigformodelmis specificatioitimeseriesregresio.austnzj Stat,2000,42:463~477 7 CoxDR,ReidN.Parameterorthogoalityadapproximatecoditioaliferece.JRStatistSocB,1987,49:1~39 8 韦博成, 鲁国斌, 史建清. 统计诊断引论. 南京 : 东南大学出版社, ~614 9 韦博成. 近代非线性回归分析. 南京 : 东南大学出版社, ~ WeiBC.Expoetialfamilyoliearmodels.Sigapore:Spriger Verlag, ~154 TestsofAuto CorrelatioadHeteroscedasticityoftheNoliear RegresioModelswithaARMA(1,1)SequeceRadom Error LiuYiga WeiBocheg LiJigua (DepartmetofAppliedMathematics,SoutheastUiversity,Najig210096,Chia) Abstract: ThelikelihoodratiotestadScoretestareproposedtotesttheautocorelatioadheteroscedasticityofthe ARMA(1,1)sequeceradomerorsioliearregresiomodels.Basedotheparameterorthogoalitytrasforma tio,boththemodifiedlikelihoodratiotestadthemodifiedscoretestarederived.theresultsareaextesioofthe worksofweiadhu(1994)adwei(1995).thepaperalsodiscusesthetestsofautocorelatioadheteroscedasti cityisomespecialmodels. Keywords: oliearregresiomodel;auto corelatio;heteroscedasticity;themodifiedlikelihoodtest;themodi fiedscoretest

28 东南大学学报 ( 自然科学版 ) 第 37 卷 y i =f(x i,β)+ε i ε =e ε 2 =e 2 +φ ε ε p+ =e p+ +φ ε p +φ 2 ε p- + +φ p ε ε =e +φ ε - +φ 2 ε φ p ε -p () 式中,>p,x i 为已

28 东南大学学报 ( 自然科学版 ) 第 37 卷 y i =f(x i,β)+ε i ε =e ε 2 =e 2 +φ ε ε p+ =e p+ +φ ε p +φ 2 ε p- + +φ p ε ε =e +φ ε - +φ 2 ε φ p ε -p () 式中,>p,x i 为已第 37 卷第 6 期 2007 年月东南大学学报 ( 自然科学版 ) JOURNAL OF SOUTHEAST UNIVERSITY(NaturalScieceEditio) Vol 37 No 6 Nov.2007 具有 AR(p) 误差的非线性模型异方差和相关性检验,2 冯翠莲林金官 ( 东南大学数学系, 南京 20096) ( 2 北京市经济管理干部学院信息系, 北京 0002) 摘要

第 6 期 刘应安等 : 误差为 ARMA(1,1) 的非线性回归模型相关性和异方差的检验 Y = f+ε } ε = M -1 Na~ N(0,σ 2 M -1 NWN T M -T ) 2 似然比检验和 Score 检验 95 (3) 2.1 似然比检验 由式 (3) 可知, 模型 (1) 中参

第 6 期刘应安等 : 误差为 ARMA(1,1) 的非线性回归模型相关性和异方差的检验 Y = f+ε } ε = M -1 Na~ N(0,σ 2 M -1 NWN T M -T ) 2 似然比检验和 Score 检验 95 (3) 2.1 似然比检验由式 (3) 可知, 模型 (1) 中参