<4D F736F F D20CAB1BCE4D0F2C1D0C4A3D0CDBCB0A3C1A3D2A3CDA3C1C4A3D0CDCCD6C2DB2DD5D4BFAADEC82E646F63>

Size: px

Start display at page:

Download "<4D F736F F D20CAB1BCE4D0F2C1D0C4A3D0CDBCB0A3C1A3D2A3CDA3C1C4A3D0CDCCD6C2DB2DD5D4BFAADEC82E646F63>"

裕宗
5 years ago
Views:

1 时间序列模型及其 ARMA 模型参数估计讨论. 时间序列是指 : 按时间先后顺序排列的随机序列, 或者说定义在概率空间 ( Ω, ξ, P) 上的一串有序随机变量集合 { X,, } 先后顺序对 ±,..., 该集合的每一个样本序列, 是指按时间 X 所反映的具体现象或系统进行观测得到的一串动态数据序列为了进一步分析平稳时间序列的统计特性, 研究人员提出了所谓的参数化模型, 该模型是根据时间序列的观测值 {,,,... } 种参数模型既能反映产生时序互的时序 X 转化为相互的白噪声序列 X ± 构造一个带有参数的数学模型, 是这 X 的具体物理过程或动态系统的规律性, 又能将相 a, 以便进行分析和处理, 为预报或控制提供依据, 实际中常用的时间序列模型包括 :AR 模型,MA 模型以及 ARMA 模型 3 自回归模型 AR( p ) 一般的, 随机过程 X ( 因变元 ) 的观测值与 m 个自变元 u, u,... u m 的取值的依赖关系, 可用线性方程 X u + u + + u + ε, ( N) (.) 来描述, 并称式... m m (.) 为 m 元线性回归模型其中实数 ( m) 称为回归系数, ε 是因变元 X 中无法用 u ( m) 表示的各种随机因素组成的随机干扰, 一般称为剩余误差或残差, 并假定 ε 是均值为, 方差为 σ, 相互独立 r ε σ ( k E( ) { ε ) εε + ( k ) k k 且服从正态分布 ε σ ε NID(, ) 的随机过程回归模型式 (.) 描述了因变元 X 对另一组自变元 u ( m) 的相关性在数据处理, 曲线拟合, 建立经验公式等实际问题中, 回归模型都有广泛的应用但是, 还有一类实际问题, 它所表现的随机过程或时序的观测值 { X,, ±,...}, 与其自身前一个或前几个时刻的观测值 X 型的随机差分方程, X,... 有关或有依赖性在一定条件下, 也可以用类似于线性回归模 X ϕx ϕx... ϕpxp a (.)

2 来描述, 式 (.) 称为 p 阶自回归模型, 记做 AR( p ) 其中实数 ϕ ( p) 称为自回归参数, a 表示残差, 且满足如下条件 : () 均值为. Ea ( ) () 相互独立, 且方差为 (3) 服从正态分布 : a NID(, σ ) σ a a (4) a 是与前一时刻的 X k( k > ) 互不相关, 即 EaX ( k) ( k> ) 的纯随机序列 (5) 通常称 a 为白噪声, 由于 S ( f) re a k k π kf σ a r k <, 所以 a 的谱密度存在, 即 k 可见, 谱密度 S ( a f ) 是常数, 表示各频率上有相同分量, 正像白色光等量地包含了各种有色光的光谱分量一样, 因此称 a 为白噪声, a 普遍存在于各种波动或干扰现象中 a 显然是理想的随机序列, 在实际过程中, 序列前后时刻往往都存在相关性和记忆性, 这种人为的相互独立或无记忆序列, 能够为构造更复杂的数学模型提供方便条件亦称为新信息序列, 在时间序列分析的预报理论中具有重要应用 3 滑动平均模型 MA( ) 由随机过程分析可知, 利用白噪声 a 的特性, 对于任一相关随机时序 { X,, ±,... }, 总可以用一个相互独立的正态白噪声序列 a 经线性滤波作用而得到, 也就是说, 以 a 为输入, 由滤波器将 a 加权叠加, 给出输出时序 X 这种输入, 输出及滤波器三者的关系可用模型 X a θ a θ a... θ a ( θ ) (.3) 来描述式 (.3) 中 θ (,,...) 是实数权重, 且 θ < 式(.3) 通常称为 a 的滑动和, a 是将时序 X 用现在与过去时刻的白噪声 a 的加权和表出, 并且是均方收敛

3 的特别地, 当 > 时, θ, 式 (.3) 可以写成 X a θa θa... θa (.4) 式 (.4) 称为阶滑动平均模型, 记做 MA( ) 显然, 凡是满足 MA( ) 模型的时序 X, 总是平稳的, 而不论 θ ( ) 的值如何引入后移算子 B, 有 X θ ( Ba ) (.5) ( BA A, B A B( BA) A ) 式 (.5) 中 ( B) B B... B 如果多项式 θ ( B) θ θ θ θ 可逆, 即 θ ( B) 存在, 则 (.5) 可写成 θ ( B) X a (.6) 将 θ ( B) 分解因式 θ( B) ( υ B) 于是 a b ( ) ( ) X υ B θ B X, 式中 b ( ) 为常数 4 自回归滑动平均模型 ARMA( p, ) 零均值随机序列 {,,,... } X ± 的一般数学描述为 X ϕx... ϕpxp a θa... a θ (.7) 其中 ϕ ( p) 和 θ ( ) 为实参数, 是满足条件的白噪声方程 (.7) 称为 p 阶自回归阶滑动平均混合模型, 记为 ARMA( p, ) 显然, ARMA( p, ) 模型是 AR( p ) 和 MA( ) 的混合模型引入后移算子 B 后, 方程 (.7) 可表示为 ϕ( B) X θ ( B) a (.8) p 其中 ϕ( B) ϕ( B)... ϕ B, θ( B) θb... θ B, 并假定 ϕ ( B) 和 θ ( B) 无公因式 p a 5 非线性时间序列 ARMA 模型的优化估计法阻尼最小二乘法由以上介绍可知, ARMA 模型是将实际问题利用时间序列建立起来的模型, 只要把 ARMA 模型的参数估计出来, 实际问题就能解决了 ARMA 参数估计大致分为三类 : 一类是由时序理论本身发展的参数估计方法, 称为 ARMA 模型参数的时序理论估计方法 ; 另一

4 类是将优化理论中的迭代算法用于模型估计方法, 称为 ARMA 参数优化理论估计方法 ; 第三类是将控制理论中差分模型的参数估计方法用于 ARMA 模型参数估计, 称为 ARMA 模型的控制理论估计方法下面介绍 ARMA 模型参数的优化理论估计方法的一种 : 阻尼最小二乘法 6 阻尼最小二乘法的优点阻尼最小二乘法结合了 Newo 法在 s( ) 的极小值附近收敛快和最速下降法可对任意初值都能收敛这两个优点, 不但保证了迭代计划的收敛性, 又加快了收敛速度, 在计算过程中只须求一阶导数, 不必求逆矩阵, 而且比最小二乘法参数估计值更为显著, 拟合模型更优 7 ARMA( p, ) 模型的阻尼最小二乘法的优化算法对于观测时序 { x}(,,... ), 需对其拟和出数学模型 : x f( X, ) + ε (.9) 式中 X [ x, x,... x ], 是由不同时刻的观测值组成的 k 维向量, k m [,,... ] 它是由待估计的模型参数 km, <, ε 是模型的残差, f 表示,,... m组成的 M 维向量, 一般 X 与之间的函数关系对于 ARMA( p, ) 模型, x φx + φx φpxp + ε θε... θε 根据 (.9) 式, 可以写成 x X + ε, 式中 X [ ] x x xpε ε, k p+, [ φφ... φ ], m p+ f( X, ) (.) 由于模型 X ε, ε,..., ε 是 x,... x p的函数, 从而导致的非线性项出现, 故对于 ARMA X 与之间具有非线性关系, 从而 ARMA 模型的目标函数 s( ) 定义为模型的残差平方和 ( ) ε [ (, )] p+ p+ (.) s x f X 从优化理论的角度来看, 参数的估值问题就是对 s( ) 的寻优 ( 最小值 ) 的问题 8 初值的确定 9 参数初值的选取十分重要, 关系到迭代计算收敛速度的快慢, 文中采用了 AR( p ) 的

5 长自回归模型. 由 AR( p ) 模型描述的等价系统传递函数为 : φp ( B) o I B P (.) 式中, I 是逆函数, I 等于 AR 模型参数 φ, 如式 I, I φ ( ) { ( > ) 所示 θp ( B) 由 AR( p ) 模型描述的等价系统传递函数为 : φ ( B) P θ B φ B (.3) 由于各传递函数所描述的系统是等价的, 故 (.) 与 (.3) 两式应相等, 即 P 有 : ( IBIB... I B ) ( θ B θ B... θ B ) P φ B φ B... φ B P θ I P (.4) 比较两边的 B 算子的同次幂系数, 有 : φ +, φ θ I... θ I + I, P p p p θ I... θ I + I ( k > p) (.5) k k k 对于此式中的前 p 个方程, 当 θ 为已知时, 这是关于 φ 的线性方程组, 可方便解出 φ φ θ... I φ θ... I θ 为 : φ θ θ θ... I φ θ θp θp θp 3... I p p p (.6) 注意此式中, 当 > 后, 取 θ 对于(.5) 中的最后一式, 分别令 k p+, p+,..., p+, 且 p + p, 写成矩阵形式有 :

6 Ip+ Ip Ip Ip... Ip+ θ I p Ip Ip Ip... I + + p+ θ Ip+ Ip+ Ip+ Ip Ip θ (.7) 此式仍是关于 θ 的线性方程, 可方便的解出 θ 因此, 可先解 (.7) 式得 θ 后, 再解 (.6) 式得 φ, 这就是长自回归模型的计算原理利用此原理可得到的初值这时, 一般在极值点附近, 只需进行少数几次迭代计算即可熟练呢残差 ε 初值的确定残差 ε 初值的确定通常是采用下面两种方法 : (!) 由于 E( ε ), 故可直接取 ε ε... ε p () 由下式确定初值 : ε x ε x φx+ θε ε3 x3 φx φx+ θε + θε + θε p θε p (.8) 基于阻尼最小二乘法的优化算法 ) 对于 ARMA( p, ) 模型式 (.9), 设 X 给定了参数初值 (,,..., ) [ φ,..., φ, φ,..., φ ] m p+, 梯度模的允许误差 ε >, m p I 为单位阵,α 是阻尼系数, 由 (.) 式, 残差平方和 s( ) 在处的梯度为 : g [ x f( X, )] f( X, ) (.9),,..., m s( ) p 写成向量形式为 : g s( ) s( ) s( ),..., m 为了便于计算, 在处时的 ARMA 模型中的 x 进行泰勒展开 : (.)

7 f( X, ) f( X, ) x f( X, ) + ( ) ( ) m m m {( ) ( )... ( m m) } + o 记 η { o ( ) + ( ) ( m m ) } (.) 把式 (.) 右边第一项移到左边, 并由 (.9) 式可得 : f( X, ) ε x f( X, ) ( ) f( X, ) f( X, ) + ( ) + ( ) + η m m m (.) 记 f( X, ) u, w 写成向量形式为 : [,,..., ] u u u u m (.3) w [ w, w,..., w ] (.4) 由式 (.)-(.4) 有 : ε w [ u ] + η (.5) 当 p+, p+,..., 时, 可有 :,, m, w w, p w, p... w + +, p+ w, p+ w, p+... w, p w, w,... w, (.6) η [ η, η,..., η ] (.7) p+ p+ ε [ ε, ε,..., ε ] (.8) p+ p+ 而 s( ) ε [ x f( X, )] 实例分析 (.) p+ p+

8 由表所示的时间序列, 依据长自回归法可估计出 ARMA(,), 编写 malab 程序进行计算得到要求参数估计值 Malab 程序 : 数据文件 f.m 为一文本文件, 其内容如表所示. 主要计算程序如下 : fucofs (x) % 定义外部函数 N5; % 数据个数 ffope ( f.m, r ) ; % 打开文件 xfscaf (f, %f ) ; % 读入数据 fclose(f) ; % 关闭文件 ; yx (:N ) ; mn-; yx (:m ) ; [y;y]; % 构造矩阵 f () 3 ( () -x () -x () 3 ()) P( () -x (3) 3 ()) ; % 存盘 f.m x[.,.5,.5]; % 初值 [x,resdual]lsol ( s,x) % 待估参数运行结果为 : x[ ] resdual.3858e-9

9 结论 : 利用检验统计量 m 检验, aq( ) 其中 x x... x x x... x + ε X Q( ), a... a am... a mm m ' ( XX) x x... x N N N m φ 的统计量值 :.e+ 9, θ 的统计量值 :.576e+ 9, > ( ) m ( a.5) a 认为该参数显著, 所以该拟合模型显著有效利用最小二乘法计算得 : φ 的统计量值 : 3.5 θ 的统计量值 : 6.34 > ( ) m a 3 结论阻尼最小二乘法由于充分利用了序列观察值的信息, 因而精度很高, 在此适当的把 Newo 法和最速下降法结合, 形成阻尼最小二乘法应用与时间序列当初值远离极值点时, 以最速下降法的速度很快逼近极值点, 然后适当调节阻尼系数, 以 Newo 法的速度很快收敛, 且与最小二乘法相比, 参数估计值更为显著, 模型更优 4 参考文献 : [] 吴怀宇, 等时间序列分析和综合武汉 : 武汉大学出版社,4 [] George E.P.Box,Gwlym M.Jeks,Gregory C.Resel, 顾岚, 范金城译时间序列分析预测和控制北京 : 中国统计出版社,997 [3] 郑彩萍, 单锐非线性时间序列 ARMA 模型的优化估计法佳木斯大学学报,(8) -8-5 [4] 杨叔子, 等. 时间序列分析的工程应用. 武汉 : 华中理工大学出版社,99.3,37-3. [5] 薛嘉庆. 最优化原理与方法. 北京 : 冶金工业出版社, ,77-84.

8 9 8 Δ 9 = 1 Η Ι4 ϑ< Κ Λ 3ϑ 3 >1Ε Μ Ε 8 > = 8 9 =

!! % & ( & ),,., / 0 1. 0 0 3 4 0 5 3 6!! 7 8 9 8!! : ; < = > :? Α 4 8 9 < Β Β : Δ Ε Δ Α = 819 = Γ 8 9 8 Δ 9 = 1 Η Ι4 ϑ< Κ Λ 3ϑ 3 >1Ε 8 9 0 Μ Ε 8 > 9 8 9 = 8 9 = 819 8 9 =