28 东南大学学报 ( 自然科学版 ) 第 37 卷 y i =f(x i,β)+ε i ε =e ε 2 =e 2 +φ ε ε p+ =e p+ +φ ε p +φ 2 ε p- + +φ p ε ε =e +φ ε - +φ 2 ε φ p ε -p () 式中,>p,x i 为已

Size: px

Start display at page:

Download "28 东南大学学报 ( 自然科学版 ) 第 37 卷 y i =f(x i,β)+ε i ε =e ε 2 =e 2 +φ ε ε p+ =e p+ +φ ε p +φ 2 ε p- + +φ p ε ε =e +φ ε - +φ 2 ε φ p ε -p () 式中,>p,x i 为已"

坪苏
5 years ago
Views:

1 第 37 卷第 6 期 2007 年月东南大学学报 ( 自然科学版 ) JOURNAL OF SOUTHEAST UNIVERSITY(NaturalScieceEditio) Vol 37 No 6 Nov.2007 具有 AR(p) 误差的非线性模型异方差和相关性检验,2 冯翠莲林金官 ( 东南大学数学系, 南京 20096) ( 2 北京市经济管理干部学院信息系, 北京 0002) 摘要 : 讨论随机误差是 AR(p) 序列的非线性回归模型的异方差和自相关性检验问题. 首先导出联合检验的 score 统计量, 然后利用参数的正交变换, 得到了调整的 score 检验统计量. 当模型存在自相关性时, 给出了检验异方差性的 score 统计量和调整的 score 统计量. 最后利用得到的检验方法分析了氯化物数据, 分析结果表明, 该数据具有显著的异方差和 AR(2) 相关性. 关键词 : 非线性模型 ; 异方差 ; 自相关性 ;AR(p) 误差 ;score 检验 ; 调整的 score 检验中图分类号 :O22 2 文献标识码 :A 文章编号 : (2007) Testigforheteroscedasticityadautocorrelatio ioliearmodelswithar(p)errors FegCuilia,2 LiJigua ( DepartmetofMathematics,SoutheastUiversity,Najig20096,Chia) ( 2 DepartmetofIformatioSciece,EcoomicMaagemetIstitute,Beijig0002,Chia) Abstract:Thetestsforheteroscedasticityofradom erorsadautocorelatioioliearregres siomodelswithar(p)erorsarediscused.firstly,thescoreteststatisticforcompositetestof heteroscedasticityadautocorelatioisdeveloped.the,basedotheparameterorthogoality trasformatio,themodifiedscoretestisderived.itheautocorelatedmodels,thescoreteststatis ticaditsadjustmetaregive.thechloridedataisusedtoilustrateourresults,whichshowsthat thesedatahavesigificatheteroscedasticityadar(2)autocorelatio. Keywords:oliearregresio;heteroscedasticity;autocorelatio;AR(p)eror;scoretest;ad justedscoretest 回归模型已在许多实际问题中得到应用, 随机误差相互独立及其方差齐性的假设有助于模型的处理. 但是, 在一些实际问题中, 上述假设未必合适, 因而要对随机误差的相关性及其方差齐性进行检验. 文献 [] 对线性模型的异方差性进行了检验, 得到了检验的 score 统计量 ; 文献 [2] 在文献 [] 的基础上, 利用文献 [3] 提出的参数正交化方法, 得到了修正的似然比和修正的 score 检验统计量 ; 文献 [4] 研究了非线性回归模型的异方差检验, 得到了 score 检验统计量并研究了该统计量的局部影响 ; 文献 [5 6] 分别利用随机系数法和随收稿日期 : 基金项目 : 国家自然科学基金资助项目 (067032). 作者简介 : 冯翠莲 (965 ), 女, 硕士, 副教授,fegcuilia@sia. com.c. 机权函数法, 讨论了普通非线性回归模型的异方差检验问题, 得到了 score 检验统计量. 当按时间顺序收集数据时, 随机误差可能产生自相关性, 这种情形经常发生在经济数据中. 随机扰动的相关性可从残差的时间序列图或滞后图得到检验. 文献 [7] 研究了具有 AR() 误差的线性回归模型的异方差和相关性的 score 检验 ; 文献 [8] 研究了具有 ARI MA(0,,0) 误差的非线性模型的异方差的检验. 本文讨论具有 AR(p) 误差的非线性回归模型的异方差性及自相关性的检验问题. 问题的引出具有 AR(p) 误差的非线性回归模型的表达形式为

2 28 东南大学学报 ( 自然科学版 ) 第 37 卷 y i =f(x i,β)+ε i ε =e ε 2 =e 2 +φ ε ε p+ =e p+ +φ ε p +φ 2 ε p- + +φ p ε ε =e +φ ε - +φ 2 ε φ p ε -p () 式中,>p,x i 为已知的协变量 ;β 为 r 维回归系数 ; f 为关于 β 的二阶可微函数 ;e,e 2,,e 为白噪声序列, 且 e i ~N(0,σ 2 i). 在该模型中, 若 σ 2 i =σ 2, 且随机误差间不存在自相关时, 利用通常的方法可求出参数 β 和 σ 2 2 的极大似然估计. 但是, 若 σ i 不恒等时, 推导参数 β 和 σ 2 i (i=,2,,) 的极大似然估计可能会出现问题. 例如, 当 σ 2 i (i=,2,,) 全不相同时, 会出现参数的个数比观察值的个数多的情形, 此时, 难以求出参数的极大似然估计. 因而对非线性 AR(p) 回归模型的白噪声进行异方差检 2 验是必要的. 为了进行异方差检验, 进一步将 σ i 参数化, 即假设 σ 2 i =σ 2 m i =σ 2 m(z i,λ),λ 为 q(r +p+q+<) 维未知向量, 存在 λ 0, 使得 m(z i, λ 0 )=,σ 2 为未知参数. 当 λ=λ 0 时, 白噪声序列 {e i } 有共同方差. 记 φ ={φ,φ 2,,φ p } T, 显然, 当 φ =0 时, 随机误差 {ε i } 不存在自相关性. 本文讨论模型 () 的异方差和自相关性的检验问题. 由上述分析可知, 对模型 () 的异方差检验和自相关性的联合检验, 即检验假设 : H 0 :ψ =ψ 0, H :ψ ψ 0 (2) 式中,ψ =(φ T,λ T ) T,ψ 0 =(0 T,λ 0) T T. 2 异方差性与自相关性的复合检验记 θ={ψ T,β T,σ 2 } T, 则对式 (2),ψ 为兴趣参数,β 和 σ 2 为多余参数. 再记 y={y,y 2,,y p } T, f(x,β) ={f(x,β),,f(x -,β),f(x,β)} T,M =diag(m,m 2,,m );W 为 ε={ε,ε 2,,ε } T 和 e={e,e 2,,e } T 之间的变换矩阵. 且 y~ N(f(X,β),σ 2 W - MW -T ). 从而参数 θ 的似然函数为 l(θ)=c- 2 logdet(m) (y-f(x,β)) T W T M - W(y-f(X,β)) (3) 2σ 2 式中,C 为常数,W -T =(W - ) T. 定理对模型 (), 假设 (2) 的 score 检验统计量为 T = p k= (^φk ) 2 -k +ut m( m T m) - m T u 2^σ 4 (4) 式中,^φk = ^ε i^ε i-k ^ε 2 i,k=,2,,p; = i=k+ i= {ψ T,β T,σ 2 } T 表示参数 θ 在 H 0 成立时的 MLE;u ={ε 2,ε 2 2,,ε 2 } T, m = I - T m 为 m 的中心化, m =( m(z i,λ)/ λ j ) q. 由文献 [9], 当 H 0 成立时,T 都近似地服从 χ 2 (p+q) 分布. 证明为求检验的 score 统计量, 通过求 l(θ) 的前两阶导数在 H 0 成立时的数学期望可得参数的 Fisher 信息阵为 I Y (θ)= I φφ mt M -2 m σ 2 mt M - 0 M - I 2σ 2 mt σ 2 F T W T M - W F 0 4 2σ (5) 式中,I φφ = (tr[w (j)t M - W (k) W - MW - ]) p p, 而 W (j) = W/ φ j. 当 H 0 成立时,I φφ =diag(-, -2,,-p); F =( f(x i,β)/ β j ) r, F j 为 F 的第 j 列 ; m = m/ λ. 从而得检验原假设 H 0 的 score 统计量为 T = l T I ψψ l { } (6) 式中, l() = ( l() T θ ),( l() T T [ λ ) ] 为检验假设 H 0 的 score 函数, 由 ^σ 2 = ut = ( i= ^ε 2 i), 及 l(θ) 关于 φ j,λ j 的一阶导数知 : l() φ =^φ [ ] l() λ = u 2 mt σ - 2 = 2^σ 2 mt u (7) 式中,^φ = {^φ,^φ2,,^φp } T, l() 称为检验的 λ score 函数. 另一方面, 当 θ= 时,I ψψ =diag(i - φφ,2( mt m) - ), 其中 m =(I - T /) m 表示 m 的中心化. 代入式 (6), 得到检验原假设 H 0 的 score 统计量式 (4). 由文献 [9], 在 H 0 成立时,T 近似地服从 χ 2 (p+q) 分布, 由式 (4) 知, 计算 T 只需求出 θ 在 H 0 成立时的极大似然估计, 因而在实际应用中是非常方便的.

3 第 6 期冯翠莲, 等 : 具有 AR(p) 误差的非线性模型异方差和相关性检验 29 3 调整的异方差性和自相关性的 score 检验由参数正交的定义 [3], 从式 (6) 可看出, 参数 φ 和 λ,β,σ 2 正交 ;λ 和 β 正交,β 和 σ 2 正交 ; 但 λ 和 σ 2 不正交 2σ 2 mt M - 0. 因而检验的 score 统计量需加于调整. 为得到调整的检验统计量, 首先做正交变换 ( 正交变换并不总是存在的 ), 使新的参数间是相互正交的. 对 AR(p) 回归模型, 作如下变换 : θ=(φ T,λ T,β T,σ 2 ) T θ =(φ T,λ T,β T,δ) T 式中,σ 2 =σ 2 (λ,δ). 欲使 λ β,β δ,δ λ, 根据文献 [3], 上述变换满足微分方程即 logσ 2 σ 2 σ 2 (λ,δ) λ =-σ2 mt M - (8) =- logdetm λ. 求解该方程即得 :σ 2 =δdetm -/. 进而得到参数 θ 的似然函数为 l(θ )=C- 2 logδ-εt detm / M - ε 2δ 定理 2 检验统计量为 T A = p k= (9) 对模型 (), 由式 (2) 得调整的 score ^φk ^φk + h i-j=k -k (u+2^σ 2 h) T m( m T m) m T u (0) 2^σ 4 式中,h ij 为 H = F( F T F) - F T 第 (i,j) 位置的元素 ; h={h,h 22,,h } T 为 H 的对角元素组成的向量. 证明为求调整的 score 检验统计量, 需要求出 θ 的 Fisher 信息阵. 通过 l(θ ) 关于各参数的二阶导数的期望, 可得 θ 的 Fisher 信息阵为 J Y (θ )= diag ( I φφ, 2 mt M - I - T ( ) M- m, F δ detm/ T W T M - W F, ) () 2δ 2 由文献 [3], 调整的 score 统计量为 T A = T + ΔT, 而 ij + ΔT =- p+q tr[j - 22 J 22j ] ( ψ珟 j -ψ 0j ) k= 式中, 珟 ψ 表示参数 ψ 的 MLE;J 22 为 J Y (θ ) 中右下 4 个子块组成的准对角矩阵 ; J 22j = J 22 / j ; 为参数 θ 在 H 0 成立时的 MLE. 经过计算, 当 θ = 时, 有 J 22 / φ j = diag ( F δ T [W (j) +W (j)t ] F, 0 ) j=,2,,p J 22 / λ j =diag - F δ T M T jf, 0 j=,2,,q 式中, M j = diag ( m ij - m ij,i=,2,, i- ) = diag( m ij,i=,2,,). 而 m ij 和 m ij 分别为 m 和 m 的 (i,j) 元素. 所以, 当 ψ j =φ j 时, 有 tr[j - 22 J 22j ] =tr[( F T F) - F T (W (j) +W (j)t ) F] (2) 而当 ψ j =λ j 时, 有 tr[j - 22 J 22j ] =-tr[( F T F) - F T M j F](3) 现用 h ij 表示 H = F( F T F) - F T 的 (i,j) 元素, 而 h 表示有 H 的对角元素所组成的向量, 经过计算, 式 (2) (3) 分别为 :tr[( F T F) - F T (W (j) + W (j)t ) F] =- h kl,j =,2,,p; k=l=j -tr[( F T F) - F T M j F]=- h ij m ij. 另一方面, ψ珟 i= -ψ 0 J - l( ) = ( -^φ, -2^φ 2,, -p^φ p, ^σ m) - m T u) T, 从而, 得到 ΔT 2( mt = ^φk -k h ij + ^σ m( m T m) - m T u, 所以, 得 i-j=k 2hT 到式 (0). p k= 4 异方差性的 score 检验及其调整形式记 θ={λ T,φ T,β T,σ 2 } T, 则模型 () 的异方差检验问题, 即假设检验 :H 0 :λ =λ 0,H :λ λ 0. 对该检验来说,λ 是兴趣参数, 其余为多余参数. 定理 3 和对模型 () 假设 H 0 :λ=λ 0 的 score 检验统计量和调整的 score 检验统计量分别为和 T 2 = vt m( m T m) - m T v 2^σ 4 (4) T 2A = (v+2σ2 d) T m( m T m) - m T v (5) 2^σ 4 式中,v 为由向量 Wε 的各分量的平方组成的向量 ; d 为 F( F T W T W F) F T 的对角线元素组成的向量 ; 式 (4) (5) 中的参数均在 H 0 :λ =λ 0 成立时的参数 θ 的极大似然估计 0 处取值.

4 30 东南大学学报 ( 自然科学版 ) 第 37 卷证明记 α=wε,0 为参数 θ 在 H 0 :λ=λ 0 成立时的参数的极大似然估计, 因而有 ^σ 2 = αt α 0 = α 2 i, 再记 v={α,α 2,,α } T, i= 则检验 H 0 的 score 函数为 l(0 ) λ = 2^σ 2 mt v- 2 mt = 2^σ 2 mt v 另一方面, 在 H 0 成立时, 参数的 Fisher 信息阵为 2 mt m mt I 0 I φφ 0 0 J Y (θ)= 0 0 σ 2 F T W T W F 0 2σ 2IT m T σ (6) 式中,I φφ =(tr[w (j)t W - W -T W (k) ]) p p. 从而, 即可得到检验统计量式 (4). 在 H 0 成立时, 参数 φ, β,σ 2 的极大似然估计, 可由下式迭代得到 φ (i+) =φ (i) +I - φφ (φ(i) ) l φ (φ (i),β (i),σ 2(i) ) β (i+) =β (i) +[( F T W T W F) - F T W T Wε] (φ (i),β (i) ) σ 2(i+) = [εt W T Wε] (φ (i),β (i) ) 式中, l φ 表示 l/ φ, 其第 j 个元素为 ε T W T W (j) ε/σ 2. 作与上节相同的正交变换, 变换后的参数的 Fisher 信息阵与式 () 相同. 根据文献 [3], 调整的异方差的 score 检验统计量为 :T 2A = T 2 +ΔT 2, 而 ΔT 2 =- q tr[j - 22 J 22 ] 0 ( λ珘 j -λ 0j ), k= 此处,J 22 是 J Y (θ ) 中对应 φ,β,σ 2 的子块组成的准对角矩阵 ; J 22j = J 22 / λ j ; 0 是参数 0 在 H 0 : λ=λ 0 成立时的 MLE. 经过与上节类似的计算, 可得 J 22 / λ j =diag ( F δ T W T M j W F,0, 0) tr[j - 22 J 22jj ] 珋 θ 0 =-tr[( F T W T W F) - F T W T M j W F] 珘 λ-λ ^σ 2( mt m) - m T v (7) 式中, 珘 λ 为参数 λ 的 MLE, 将式 (7) 代入 ΔT 2, 有 ΔT 2 = ^σ 2dT m( m T m) - m T v, 所以得到调整的检验统计量式 (5). 5 数值例子 [0] 氯化物数据分析了氯离子通过血球壁迁移的浓度与时间的关系. 根据离子迁移理论, 氯化物浓度的观察值 y i 与时间 x i 的关系为 y i =θ (-θ 2 exp(-θ 3 x i ))+ε i i=,2,,54 式中,θ 为氯化物的最终质量分数 ;θ 2 为氯化物未知的反应速度 ;θ 3 为比例常数 ;ε i 为随机误差. 文献 [0] 通过描述残差的时间序列图, 发现随机扰动项 {ε i } 是不独立的. 进一步通过描述残差滞后图 (ε i,ε i- ),(i=2,3,,54), 发现数据有显著的 AR() 自相关性. 若再描述残差滞后图 (ε i,ε i-2 ), (i=3,4,,54), 也发现数据有显著的 AR(2) 自相关性. 但 (ε i,ε i-3 )(i=4,,54) 残差滞后图显示 AR(3) 自相关不合适. 所以, 分别假设随机误差 ε i 是 AR() 和 AR(2) 误差序列. 在刻画模型的异方差时, 对线性模型和幂积模型是 2 种常用的模型, 有相似的检验的效果 [,4]. 此处, 用对数线性模型刻画异方差, 即 :m i =e λx i,i=,2,,54, 则参数 θ={θ,θ 2,θ 3 } T 及 σ 2 在不存在异方差和自相关时的极大似然估计分别为 :={ ,0 8284, 0 585} T,^σ 2 = 利用式 (4) 和 (0), 分别可得在 AR() 和 AR(2) 误差序列条件下, 联合检验异方差和自相关性的 score 统计量和调整的 score 统计量为 :T = ,T A ,T 2A =28 和 T 2 = = 40 56, 由于,χ 2 (2;0 05) = 5 99,χ 2 (2;0 0)=9 20,χ 2 (3;0 05)=7 85, χ 2 (3;0 0)= 345. 因而, 该模型存在显著的异方差和自相关性. 考虑模型存在自相关性时白噪声的异方差性检验. 分别考虑 AR() 和 AR(2) 情形, 通过计算得知, 在 λ =0 时, 参数 θ,σ 2,φ 的估计分别为 = { ,0 8208,0 547} T,^σ 2 = 0 088,^φ= 和 ={39 344,0 82, 0 548} T, ^σ 2 =0 087,^φ =0 7237,^φ2 = 对随机误差的方差, 仍假设 :m i =e λx i,i=,2,,54, 则检验模型 () 异方差性, 即检验假设 H 0 :λ =λ 2 =0. 利用式 (4) (5), 在 AR() 误差假设下, 有 :T = ;T A =3 0772; 相应地, 在 AR(2) 误差假设下, 有 :T 2 = ,T 2A =3 223; 因而模型 () 在在 AR() 和 AR(2) 误差假设下, 均存在显著的异方差性. 参考文献 (Refereces) []CookRD,WeisbergS.Diagosticsforheteroscedastic ityiregresio[j].biometrika,983,70(): 0. [2] SimoofJS,TsaiCL.Improvedtestsforocostat variaceiregresiobasedothemodifiedprofilelike

5 第 6 期冯翠莲, 等 : 具有 AR(p) 误差的非线性模型异方差和相关性检验 3 lihood[j].appliedstatistics,994,43(2): [3]CoxDR,ReidN.Parameterorthogoalityadapproxi matecoditioaliferece[j].jrstatistsocserb, 987,49(): 39. [4] 韦博成. 加权非线性回归的 score 检验及其局部影响分析 [J]. 应用概率统计,995,(2): WeiBocheg.Scorestatisticaditslocaliflueceaal ysisiweightedoliearregresio[j].chiesejour alofappliedadstatistics,995,(2): (ichiese) [5] 林金官, 韦博成. 加权非线性随机系数模型异方差的 score 检验 [J]. 工程数学报,2002,9(2):09 5. LiJigua,WeiBocheg.Scoretestsofheteroscedas ticityioliearregresiowithradom coeficiets [J]. Chiese JouralofEgieerig Mathematics, 2002,9(2):09 5.(iChiese) [6] 林金官, 韦博成. 随机权非线性回归模型异方差统计分析 [J]. 应用概率统计,2002,8(4): LiJigua,WeiBocheg.Scoretestsofheteroscedas ticity i oliearregresio with radom weighted fuctio[j].chiesejouralofappliedadstatistics, 2002,8(4): (iChiese) [7] TsaiC L.Scoretestforthefirst orderautoregresive modelwithheteroscedasticity[j].biometrika,986,73 (4): [8] 林金官, 韦博成. 具有 ARIMA(0,,0) 误差的非线性模型异方差的检验 [J]. 数学杂志,2005,25():7 76. LiJigua,WeiBocheg.Scoretestsofheteroscedas ticityioliearregresiowitharima(0,,0)er rors[j].chiesejouralofmathematics,2005,25 ():7 76.(iChiese) [9] CoxD R,HikleyD V.Theoreticalstatistics[M]. Lodo:ChapmaadHal,974. [0] BatesDM,WatsDG.Noliearregresioaalysis aditsapplicatio[m].new York:JohWiley& Sos,988.

第 6 期刘应安等 : 误差为 ARMA(1,1) 的非线性回归模型相关性和异方差的检验 Y = f+ε } ε = M -1 Na~ N(0,σ 2 M -1 NWN T M -T ) 2 似然比检验和 Score 检验 95 (3) 2.1 似然比检验由式 (3) 可知, 模型 (1) 中参

第 6 期刘应安等 : 误差为 ARMA(1,1) 的非线性回归模型相关性和异方差的检验 Y = f+ε } ε = M -1 Na~ N(0,σ 2 M -1 NWN T M -T ) 2 似然比检验和 Score 检验 95 (3) 2.1 似然比检验由式 (3) 可知, 模型 (1) 中参东南大学学报 ( 自然科学版 ) JOURNAL OF SOUTHEAST UNIVERSITY(NaturalScieceEditio) 第 31 卷第 6 期 Vol 31 No 6 2001 年 11 月 Nov.2001 误差为 ARMA(1,1) 的非线性回归模型相关性和异方差的检验刘应安韦博成林金官 ( 东南大学应用数学系, 南京 210096) 摘要 : 本文讨论了误差为 ARMA(1,1)