第 2A 期彭宇 : 基于回声状态网络的时间序列预测方法研究 149 战性的是储备池的适应性问题 [4,5,8], 所谓储备池适应性问题就是如何产生或者训练一个与具体问题相关的

Size: px

Start display at page:

Download "第 2A 期彭宇 : 基于回声状态网络的时间序列预测方法研究 149 战性的是储备池的适应性问题 [4,5,8], 所谓储备池适应性问题就是如何产生或者训练一个与具体问题相关的"

首既钱
7 years ago
Views:

1 第 2A 期 2010 年 2 月电子学报 ACTAELECTRONICASINICA Vol.38 No.2A Feb 基于回声状态网络的时间序列预测方法研究彭宇 1, 王建民 1,2, 彭喜元 1 (1 哈尔滨工业大学自动化测试与控制研究所, 黑龙江哈尔滨 ;2 哈尔滨理工大学电子科学与技术系, 黑龙江哈尔滨 ) 摘要 : 针对回声状态网络 (EchoStateNetworks,ESNs) 输入序列延迟时间 ( 和嵌入维数 D 的选择以及储备池的适应性问题, 利用自相关性分析法从被预测样本序列构建 ESNs 网络输入, 并通过移动通信话务量的预测问题, 采用实验分析的方法讨论了储备池参数选择对于时间序列预测性能的影响. 与采用 ARMA 和 BP 神经网络的预测方法相比, 新方法在保证预测精度和效率的情况下, 具有更好的泛化能力. 关键词 : 回声状态网络 ; 自相关系数 ; 时间序列 ; 移动通信话务量中图分类号 : TP183 文献标识码 : A 文章编号 : (2010)2A ResearchesonTimeSeriesPredictionwithEchoStateNetworks PENGYu 1,WANGJian min 1,2,PENGXi yuan 1 (1 AutomaticTestandControlInstitute,HarbinInstituteofTechnology,Harbin,Heilongjiang150001,China; 2 DepartmentofElectronicsScienceandTechnology,HarbinUniversityofScienceandTechnology,Harbin,Heilongjiang150080,China) Abstract: Thechoiceofdelaytimeandembeddeddimensionintimeseriesmodelingandpredictionandtheproblem of reservoiradaptionarechalengesforechostatenetworks(esns).corelationanalysisisintroducedtoconstructtheinputsvector fromthetimeseriesinesnsnetworks.moreover,theefectsofdiferentparameterssetingsonpredictionperformancesinreservoir isanalyzedbyexperimentsofmobilecommunicationtraficprediction.comparedwitharmaandbpneuralnetworks,thepro posedmethodcanensurenotonlytheaccuracyandeficiencybutalsothegoodgeneralities. Keywords: echostatenetworks;self corelationcoeficient;timeseries;mobilecommunicationstrafic 1 引言时间序列数据往往具有高噪声随机性以及非线性等特点, 其建模分析以及预测问题一直是学术界研究的热点. 一般地讲, 为了更加准确地预测时间序列, 需要时间序列模型既具有良好的非线性逼近能力, 又具有良好的记忆能力. 这对于经典的时间序列建模和分析方法提出极大的挑战. 为了解决非线性时间序列预测问题, 支持向量机神经网络等人工智能方法被引入到时间序列分析领域, 用于时间序列的建模和预测. 支持向量机采用结构风险最小原则, 将整个问题的求解过程转化为一个凸二次优化问题, 可以保证解是全局最优的, 并且是唯一的. 支持向量机的这些优点, 可以保证支持向量机具有良好的非线性逼近能力和学习能力. 但是由于支持向量机网络属于前向网络结构 ( 无反馈 ), 使得支持向量机网络一般不具有记忆能力, 限制了它在时间序列建模和预测中的应用. 神经网络 (NeuralNetworks) 是另外一种常用的时间序列预测方法. 递归神经网络虽然从理论上更适合处理时间序列问题, 但是由于其训练过程过于复杂, 严重限制了其在实际工程问题中的应用. 另外递归神经网络存在的记忆渐消 (FadingMemory) 问题, 也限制了其在时间序列预测问题中的应用. 针对递归神经网络训练困难以及记忆渐消问题, Jaeger 于 2001 年提出一种新型递归神经网络回声状态网络 (EchoStateNetworks,ESNs) [1].ESNs 网络一经提出便成为学术界的研究热点, 并应用到各种不同领域, 包括动态模式分类机器人控制对象跟踪核运动目标检测事件监测等, 尤其是时间序列预测问题 [1~3,6,7,10,11]. 尽管 ESNs 方法在处理时间序列预测问题时体现出了一系列的优势, 但同时也存在一些不可回避的问题. 首先, 在采用 ESNs 的时间序列预测方法中设计中, 如何根据时间序列的特点, 确定输入序列的嵌入维数和延迟时间, 为 ESNs 网络选择合适的输入向量是利用其展开预测分析的基础条件之一 [12]. 另外, 更为突出和具有挑收稿日期 : ; 修回日期 : 基金项目 : 装备预研重点基金 (No.9140A HT01); 教育部高等学校博士学科点专项科研基金 (No )

网络 (EchoStateNetworks,ESNs) 输入序列延迟时间 ( 和嵌入维数 D 的选择以及储备池的适应性问题, 利用自相关性分析法从被预测样本序列构建 ESNs 网络输入, 并通过移动通信话务量的预测问题, 采用实验分析的方法讨论了储备

2 第 2A 期彭宇 : 基于回声状态网络的时间序列预测方法研究 149 战性的是储备池的适应性问题 [4,5,8], 所谓储备池适应性问题就是如何产生或者训练一个与具体问题相关的储备池. 针对上述两个问题, 结合中国移动黑龙江省分公司对移动通信网络话务量预测的需求, 本文开展了相关实验研究和理论分析. 移动通信话务量的变化在一定程度上体现了话音信道被占用的强度, 是网络管理和优化的重要技术指标之一. 但是, 话务量时间序列数据具有强非线性高噪声非平稳等特点, 传统的时间序列预测方法以及人工智能方法一般难以取得让人满意的预测效果. 本文采用自相关函数法确定 ESNs 网络的输入向量, 完成 ESNs 网络的构建, 并实现对移动通信话务量业务的预测, 通过与 ARMA 模型和 BP 神经网络的对比实验, 分析 ESNs 方法的预测精度效率以及泛化能力等特性. 最后结合话务量数据特点, 以实验的方式分析储备池参数的选取对于预测性能的影响. 2 回声状态网络的数学模型本节介绍经典回声状态网络的数学模型. 这里所说的经典回声状态网络指的是 Jaeger 在文献 [1] 中提出的网络结构, 与其它改进和修正的模型相对应. 2.1 回声状态网络的数学模型考虑如图 1 所示的 ESNs 的网络结构 [13]. 假设系统具有 M 个输入单元,N 个内部处理单元 (ProcesingEle ments,pes), 即 N 个内部神经元, 同时具有 L 个输出单元. 输入单元内部状态以及输出单元 n 时刻的值分别为 u(n)= [ u 1 (n),u 2 (n),,u M (n )] T, x(n)= [ x 1 (n),x 2 (n),,x N (n )] T, y(n)= [ y 1 (n),y 2 (n),,y L (n )] T. 从结构上讲,ESNs 是一种特殊类型的神经网络, 其基本思想是使用大规模随机连接的递归网络, 取代经典神经网络中的中间层, 从而简化网络的训练过程. 回声状态网络的状态方程为 : { x(n+1)=f(wx(n)+w in u(n)+w back y(n)) ^y(n+1)=f out (W out [x(n+1),u(n+1),y(n)] +W out bias ) (1) 其中 W,W in,w back 分别表示状态变量输入和输出对状态变量的连接权矩阵 ;W out 表示储备池输入和输出对于输出的连接权矩阵,W out bias 表示输出的偏置项或者可以代表噪声.f=[f 1,f 2,,f N ] 表示内部神经元激活函数, 通常情况下,f i (i=1,2,,n) 取做双曲正切函数. f out =[ f 1 out,f 2 out,,f L out ] 表示输出函数. 典型情况下 f i out (i=1,2,,l) 取恒等函数. 在网络训练过程中, 连接到储备池的连接权矩阵 W in,w,w back 随机产生, 一经产生就固定不变. 而连接到输出的连接权矩阵 W out 需要通过训练得到, 因为状态变量输入和输出与输出之间是线性关系, 所以通常这些连接权只需通过求解线性回归问题得到. 2.2 ESNs 的训练 ESNs 的训练过程就是根据给定的训练样本 (u (n),y(n),n=1,2,,p), 确定系统输出连接权矩阵 W out 的过程. 为了简单起见, 这里假定 W back =0, 同时输入到输出以及输出到输出连接权也假定为 0. 回声状态网络的训练过程可以分为两个阶段 : 采样 (Sampling) 阶段和权值计算 (WeightComputation) 阶段 [9] 采样采样阶段首先任意选定网络的初始状态, 但是通常情况下选取网络的初始状态为 0, 即 x(0)=0. 训练样本 (u(n),n=1,2,,p) 经过输入连接权矩阵 W in 被加入到储备池中. 按照方程 (1), 依次完成系统状态和输出珋 y(n) 的计算与收集. 为了计算输出连接权矩阵, 需要从某一时刻 m 开始收集 ( 采样 ) 内部状态变量, 并以向量 (x 1 (i),x 2 (i),,x N (i))(i=m,m+1,,p) 为行构成矩阵 B(P-m+1,N), 同时相应的样本数据 y (n) 也被收集, 并构成一个列向量 T(P-m+1,1) 权值计算权值计算就是根据在采样阶段收集到系统状态矩阵和样本数据, 计算输出连接权 W out. 因为状态变量 x (n) 和系统输出 ^y(n) 之间是线性关系, 而需要实现的目标是利用网络实际输出 ^y(n) 逼近期望输出 y(n), 即 y(n) ^y(n)= L w out ix i (n) i=1 也就是希望计算权值 w out i (w out i 为矩阵 W out 的元素 ), 满足系统的均方误差最小, 即需要求解如下的优化问题 :

但是, 话务量时间序列数据具有强非线性高噪声非平稳等特点, 传统的时间序列预测方法以及人工智能方法一般难以取得让人满意的预测效果.

3 150 电子学报 2010 年 P L 1 min w P-m+1 (y(n)- w out ix i (n)) 2 (2) out i n=m i=1 从数学的观点看, 这是一个线性回归问题, 进而可以归结为求矩阵 B 的逆矩阵问题, 即 W out =B -1 T 至此,ESNs 网络训练已经完成. 训练好的网络可以用于时间序列建模等具体问题. 2.3 储备池的关键参数目前, 虽然有大量的研究是关于如何获得与具体问题相关的好的储备池, 但是并没有形成一个系统的方法, 多数研究是从实验的角度进行的 [10,11,15,16]. 这也是目前 ESNs 方法遇到的最大的挑战 [5,8].ESNs 的最终性能是由储备池的各个参数决定的, 下面首先简要介绍储备池的四个关键参数储备池内部连接权谱半径 SR 所谓储备池内部连接权谱半径指的是储备池内部连接权矩阵 W 的绝对值最大的特征值, 记为 λmax.sr 是储备池的关键参数, 只有当 λmax<1 时,ESNs 才能具有回声状态属性 (EchoStateProperty) [1], 从而确保网络的状态和输入在经过够长的时间后, 对网络的影响会消失, 这是保证网络稳定的必要条件储备池规模 N 所谓储备池规模, 指的就是储备池中神经元的个数, 储备池规模的选择与训练样本的个数有关, 对网络性能有较大影响 [4]. 通常情况下, 储备池规模越大,ES Ns 能够表示的动态系统可能越复杂. 对于给定的动态系统, 储备池规模越大 ESNs 对其描述就越准确. 但是, 储备池规模不能任意增大, 因为如果储备池规模过大可能会引起过拟合问题 [9]. 过拟合会导致模型对于测试数据的泛化能力下降. 通常的选择原则是逐步增加储备池规模, 直到网络的对于测试样本的处理能力 ( 比如分类错误率预测误差等 ) 变坏为止储备池输入单元尺度 IS 储备池输入单元尺度参数 IS 就是储备池的输入信号连接到储备池内部神经元之前需要相乘的一个尺度因子. 因为储备池中神经元激活函数选择的不同以及样本数据特点不同, 通常不是将输入信号直接加到储备池, 而是通过一个尺度因子 IS, 即首先对输入信号进行一定的缩放. 文献 [9] 给出了输入单元尺度的一个规则 : 如果需要处理的任务的非线性越强, 那么输入单元尺度越大. 该原则的本质是通过输入单元尺度, 将输入变换到神经元激活函数相应的范围 ( 神经元激活函数的不同输入范围, 其非线性程度不同 ) 储备池稀疏程度 SD 储备池稀疏程度 SD 表示储备池中神经元之间的连接情况. 储备池中并不是所有神经元之间都存在连接关系, 参数 SD 表示的是储备池中相互连接的神经元占总的神经元数 (N) 的百分比. 该参数可以衡量储备池中所包含向量的丰富程度, 储备池中向量的丰富程度影响网络的非线性逼近能力, 网络的向量越丰富, 其非线性逼近能力越强 [18]. 3 基于 ESNs 的时间序列预测如上所述, 基于 ESNs 时间序列预测方法需要重点解决好两个问题, 一个是 ESNs 网络的输入向量的确定, 一个是储备池适应性问题, 即储备池参数选择问题. 本节将介绍采用自相关函数法确定 ESNs 网络输入向量以及基于 ESNs 的时间序列预测的一般方法. 关于储备池适应性问题将在第 5 部分结合具体问题进行分析. 3.1 自相关法确定 ESNs 网络的输入向量假设待预测时间序列为 {x(n)}, 预测原点为 k, 预测时域为 h, 时间序列预测问题可以表述为给定 {x (k)} 以及 k 时刻之前的序列值, 求解预测 k+h 时刻的序列值. 为达到预测目的, 首先需要建立预测原点 k 和预测时域 k+h 之间的定量映射关系 [7]. 通常情况下, 不直接建立 x(k) 与 x(k+h) 之间的映射关系, 而是通过序列 {x(n),n k} 构造一个多变量序列 d(k)= [ x(k),x(k-τ),,x(k-(d-1)τ )] (3) 其中,τ 和 D 为正整数, 分别称为延迟时间和嵌入维数. 然后再建立 d(k) 和 x(k+h) 之间的函数关系, 即确定映射 F( 通常的方法是从输入输出数据中学习获得 ), 使成立 [12]. x(k+h)=f(d(k)) 延迟时间 τ 和嵌入维数 D 的选择对时间序列的建模和预测的影响巨大 [12]. 确定延迟时间 τ 和嵌入维数 D 的过程, 从本质上讲可以理解为寻求与预测时域 h 最密切相关的序列历史值的过程. 本文将采用自相关函数方法确定 ESNs 网络的输入向量. 相关系数是样本之间或者样本的多个属性之间的相关性的一种度量. 时间序列分析中采用的自相关系数, 衡量的是时间序列的一种周期行为, 表示不同时间点上样本数据之间的相关程度. 本文采用自相关系数来确定时间序列预测过程中 ESNs 网络的输入向量, 即采用序列的自相关系数确定回声状态网络的输入 {d(k)}. 具体步骤如下 : 首先, 计算序列的自相关系数. 假定 x(k) R, 那么自相关函数定义为 R(m)=E(x(n)x(n+m)) (4) 其中 E( ) 代表数学期望, 如果 n 遍历序列的所有值, 上式可以等价于

这也是目前 ESNs 方法遇到的最大的挑战 [5,8].ESNs 的最终性能是由储备池的各个参数决定的, 下面首先简要介绍储备池的四个关键参数. 2.3.

4 第 2A 期彭宇 : 基于回声状态网络的时间序列预测方法研究 R(m)=lim x(n)x(n+m) (5) A 2A+1 n=-a 实际应用中, 序列的观测值总是有限的, 通常采用式 (4) 的无偏估计进行计算 A ^R(m)= 1 n=a-1-m A x(n)x(n+m) (6) n=1 为了便于比较, 对式 (6) 进行归一化操作 ^ ρ (m)=^r(m) (7) ^R(0) 式 (7) 为本文所采用的自相关系数的计算方法, 其范围 [-1,1]. 根据自相关系数的计算结果以及事先给出的相关系数阈值 θ, 即可以确定式 (4) 中与参数 D 等价的参数 m k (k=1,2,,l). 令 m 1 =1,m 2 =2,,m L = D-1. 式 (1) 中的参数 τ 可以根据被预测时间序列的实际特点选取, 例如序列明显具有一定的周期性, 那么 τ 可以选取为该序列的周期, 否则默认可以选择为 1. 至此, 通过序列的自相关系数, 确定了 ESNs 网络的输入序列为 d(k)= { x(k-m 1τ),x(k-m 2τ),,x(k-m Dτ )} 3.2 算法流程在根据自相关函数法确定了 ESNs 网络的输入向量后, 可以按照如下步骤构建用于时间序列预测的 ES Ns 网络. (1) 确定网络的输入和输出根据样本数据特点以及预测问题实际需求确定训练样本的长度 T 以及预测时域 h, 得到网络的输入输出对, 即网络的训练数据集为 { d(k),x(k+h),k=1,2,, T} (2) 初始化网络参数设定储备池参数, 包括输入单元尺度 IS, 储备池内部连接权值矩阵的谱半径 SR, 储备池规模 N, 储备池稀疏程度 SD 等. (3) 计算网络的输出连接权矩阵完成 ESNs 网络参数设定以及输入输出数据对的构造后, 可以按照第 2 部分介绍的 ESNs 网络训练过程对 ESNs 网络进行训练, 计算输出连接权矩阵. (4) 新序列值的预测给定时间序列预测任务预测原点前一段足够长的时间点信息, 按照步 (1) 介绍的方法构造新的输入序列 d New (k), 并将其输入到训练好的回声状态网络, 即可得到预测结果 x(k+h). 不同特点的 130 个话务小区, 以验证方法的泛化能力. 同时为比较预测效果和效率, 采用 ARMA 模型和 BP 神经网络与 ESNs 方法进行了对比实验. 本文研究工作提供的话务量数据预测方法, 满足了中国移动黑龙江省分公司的网络管理和优化过程对话务量进行深层次分析的需求, 既有利于降低通话掉线率提供语音服务质量, 又可以为网络扩容提供依据, 降低运营成本, 避免单纯依赖经验扩容带来的容量冗余大网络利用率低等问题. 4.1 移动通信话务量中国移动黑龙江有限公司提供的话务量数据以 1 小时为采集间隔, 包含全省所有小区共约 500,000 条记录. 数据属性包括记录时间小区名称话务量信道拥塞率切换成功率等. 其中话务量变化规律和趋势预测是我们现阶段的分析目标. 按照一定时间尺度 ( 一般是小时 ) 进行采集和计算的话务量数据序列是典型的时间序列. 图 2 所示是比较典型的移动通信话务量数据. 数据来自某商业区的一个小区, 时间范围从 2008 年 1 月 23 日 ( 星期三 ) 至 2008 年 1 月 29 日 ( 星期二 ). 如图所示, 话务量在一天的分布不均匀, 一般在上午下午或晚上达到峰值, 而在凌晨附近达到谷值, 具有 24 小时的基本周期特性. 4.2 基于 ESNs 的移动通信话务量预测实验 (1)ESNs 输入向量的确定选取某小区 2008 年 4 月 1 日到 4 月 30 日的话务量数据, 采用式 (7) 计算序列的自相关系数, 令 A=192, 结果如图 3 所示. 其中纵轴表示自相关系数 ρ (m), 横轴 m 表示与当前输入的间隔. 实验中选择 θ =0 75, 根据 4 实验验证为了验证以上方法的有效性, 结合中国移动黑龙江省分公司提供的话务量预测分析需求, 进行了方法性能的评估实验. 实验数据分别来自随即选取的具有

根据自相关系数的计算结果以及事先给出的相关系数阈值 θ, 即可以确定式 (4) 中与参数 D 等价的参数 m k (k=1,2,,l). 令 m 1 =1,m 2 =2,,m L = D-1.

5 152 电子学报 2010 年自相关系数的计算结果可以发现, 当 m = 1,2,23,24, 25,47,48,49 时自相关系数值大于 θ =0 75, 同时考虑网络训练过程的复杂程度, 确定 m 1 =1,m 2 =2,m 3 = 23,m 4 =24,m 5 =25,ESNs 的输入变量可以构造为 d(k)={x(k-1),x(k-2),x(k-23),x(k-24), x(k-25)} 其中 x(k) 表示序列在 k 时刻的值. 计算结果与前面分析的话务量序列以 24 小时为基本周期是一致的. 按照以上的实验过程, 对随机抽取的黑龙江省内 130 个小区的话务量数据重复进行输入向量的相关性分析, 得到结果与以上的分析基本一致, 图 3 只是全部计算结果的一个示例. (2) 回声状态网络的训练在开始网络的训练之前, 需要确定网络的输入输出以及训练的样本数. 按照前面的讨论, 网络的输入是 5 维的时间序列 d(k), 网络输出为 1 维的时间序列 x (k+h). 实验中选择所有小区在 2008 年 4 月 1 日 4 月 29 日的话务量序列作为训练样本, 预测 2008 年 4 月 30 日 1 天内的 24 小时的话务量. 因此, 训练样本长度 T =29 24=6965, 预测时域 h=24. ESNs 网络的训练包括两个步骤 : 储备池参数的初始化和输出连接权值的计算. 储备池参数的选择对于预测效果起着至关重要的作用. 本文第 5 部分将结合移动通信话务量预测问题, 对储备池参数选择问题做进行分析, 这里只给出实验中具体参数选取情况. 储备池内部连接权矩阵的谱半径 SR=0 75, 储备池规模 ( 储备池中神经元个数 )N=50, 输入单元尺度 IS=0 4, 储备池稀疏程度为 SD=0 8. 采用以上参数设置, 针对全省 130 个话务小区进行话务量的预测实验. 实验采用的误差评价指标是无偏估计均方误差 : ε= 1 H Hσ 2 槡 n=1 2 (^x(n)-x(n)) (8) 其中 x(n) 和 ^x(n) 分别表示话务量的真实值和预测值. H 表示样本数量. 训练和预测误差统计直方图分别如图 4 和图 5 所示. 其中训练误差的范围是 [0 1220,0 5270]. 测试误差的范围是 [0 1132,0 6023]. 分析以上结果, 基于 ESNs 移动通信话务量预测误差分布基本属于正态分布. 预测误差也可满足实际需要. 由于实验针对具有不同特点的 130 个话务小区展开, 说明 ESNs 具有较好的泛化性. 表 1 给出的是 ESNs 方法与 ARMA 模型以及 BP 神经网络进行话务量预测实验的对比情况. 其中 BP 神经网络模型参数选取如下 : 选取输入单元个数为 5, 输出单元个数为 1, 隐层神经元个数为 7. 其隐层神经元的激活函数为双曲正切函数, 输出层神经元的激活函数为线性函数. 表 1 预测性能比较 (h=24) 预测方法测试误差计算时间 (s) ESNs ARMA BP 神经网络 ARMA 模型参数 ( 模型阶数 ) 的确定采用遍历方式, 即遍历所有可能的阶数组合, 然后基于 AIC 最小准则确定最佳模型结构 [17]. 表 1 中测试误差是由式 (8) 给出的 130 个小区实验结果的平均值. 计算时间是每种方法完成 1 次预测任务所需时间的平均时间. ARMA 模型所用的时间包含模型检验时间 ( 遍历模型参数所需要的时间 ) 以及预测时间.BP 神经网络运行时间包括网络训练和预测时间.ESNs 方法是在储备池参数已经确定的情况下, 完成一个小区的训练和预测所需要的时间. 可以发现 ESNs 方法无论在预测精度上, 还是在效率上都具有的一定的优势. 从预测精度角度看,ESNs 方法具有最好的预测效果, 预测误差最小,BP 神经网络次之,ARMA 模型是最差的. 这是因为话务量数据是非线性非平稳的时间序列. 从效率角度看,ESNs 所用的时间要比 BP 神经网络少的多, 这也正好体现了 ESNs 方法提出的初衷.

按照以上的实验过程, 对随机抽取的黑龙江省内 130 个小区的话务量数据重复进行输入向量的相关性分析, 得到结果与以上的分析基本一致, 图 3 只是全部计算结果的一个示例.

6 第Ａ期彭宇基于回声状态网络的时间序列预测方法研究５储备池参数选择储备池的参数选择对于ＥＳＮ网络的性能起着至关重要的作用针对具体问题选择合适的储备池参数也是目前ＥＳＮ网络领域研究的热点被称为储备池的另外ＥＳ适应性问题５Ｎ网络的性质与样本数据的性质有很大关系因此针对具体的应用问题进行以参数选择方法为核心的储备池适应性分析是非常必要的９这也是ＥＳＮ在实际应用中面临的问题下面将结合移动通信话务量的数据特点从实验角度讨论储备池的参数选择对于话务量预测性能的影响分析储备池规模Ｎ储备池内部连接权矩阵谱半径ＳＲ输入单元尺度ＩＳ以及储备池内部连接权稀疏程度ＳＤ等参数对于移动话务量预测性能的影响参数Ｎ和ＳＲ对预测性能的影响及选择采用固定的输入单元尺度ＩＳ和内部连接权稀疏程度Ｓ不同的ＳＤＲ和Ｎ对某话务小区实验中Ｎ的取值范围为的预测实验结果如图６所示步长为５谱半径的取值范围为步长为可以发现在输入序列长度固定的情况下增５加储备池规模并不能提高预测精度反而使预测性能明显下降在储备池规模Ｎ选择合适的情况下Ｎ谱半径的变化对预测性能的影响并不大５５度对预测性能的影响图给出的是固定Ｎ５ＳＲ５情况下预测误差随输入单元尺度和内部稀疏程度变化的情况不难发现内部稀疏程度对于预测误差的影响比较大在内部稀疏程度取值大于６时预测内部输入尺度Ｉ误差较小Ｓ在稀疏程度取值在综合５范围内预测误差也明显小于其它取值范围以上情况内部稀疏程度取值ＳＤ可以取６而内部输入尺度可以取５６结论本文采用自相关函数法构造ＥＳＮ网络的输入序列建立了基于自相关分析和ＥＳＮ的时间序列预测方法移动通信话务量预测实验表明该方法不但具有一定的通用性而且较经典的时间序列预测方法在预测精度和效率上都有较显著的提高目前关于ＥＳＮ研究中最具有挑战性的热点问题是储备池适应性问题本文结合实际的移动通信话务量预测问题从实际应用的角度探讨了ＥＳＮ网络中储备池参数内部连接权谱半径ＳＲ储备池规模Ｎ储备池稀疏程度ＳＤ以及输入尺度ＩＳ的选择问题并给出了移动通信话务预测过程中参数选择的一般原则需要指出本文对储备池适应性问题的研究是从实验的角度针对移动通信话务量的预测问题进行的后续研究可考虑从理论角度探讨储备池的适应性问题从更为一般的角度考虑储备池参数选择问题或者结合智能优化方法寻求更优的储备池参数分析方法参考文献ＨＪＡＴＡｚＴＲＧＭＤＲＮＮｗＧＭＤＲＧｍＮＲＩｆＣｍＳ参数ＩＳ和ＳＤ对预测性能的影响及选择通过上面分析确定谱半径和储备池规模分别为ＮＳ下面分析输入单元尺度和内部稀疏程５Ｒ５ＨＪＨＨＰＨｍｗｍｍＪＳＳＨＺｗＭＳｍｆｍＪＩＥＥＥＴＮＮｗ５９ＭＬＨＪＲｍＣｗＪｍＳＲ９９ｗ５ＢＤＪｊｍＳｗＶＶＣｍＴＡｗｆｍＡｍｍＰｆ５ＥＳｍＣｍＡｆＮＮｗＰｆ５ＢＥＳｍｍＡｆＮＮｗＢｍ

Ｎ对某话务小区实验中Ｎ的取值范围为的预测实验结果如图６所示步长为５谱半径的取值范围为步长为可以发现在输入序列长度固定的情况下增５加储备池规模并不能提高预测精度反而使预测性能明显下降在储备池规模Ｎ选择合适的情况下Ｎ谱半径的变化对预测性能的影响并不大５５度对预测性能的影响图给出的是固定Ｎ５ＳＲ

7 154 电子学报 2010 年 [6] 史志伟, 韩敏.ESN 岭回归学习算法及混沌时间序列预测 [J]. 控制与决策,2007,22(3): SHIZhi wei,hanmin.ridgeregresionlearninginesnfor chaotictimeseriesprediction[j].controlanddecision,2007, 22(3): (inChinese) [7] 韩敏, 史志伟, 郭伟. 储备池状态空间重构与混沌时间序列预测 [J]. 物理学报,2007,56(1): HanMin,ShiZhi Wei,GuoWei.Reservoirneuralstaterecon structionandchaotictimeseriesprediction[j].actaphysica Sinica,2007,56(1): (inChinese) [8]M Lukosevicius,HJaeger.OvervewofReservoirRecipes[R]. TechnicalReport,No.11,JacobsUniversity,Bermen,2007. [9]HJaeger.Tutorialontrainingrecurentneuralnetworks,cover ingbptt,rtrl,ekfandthe EchoStateNetwork Ap proach[r].technicalreportgmd Report159,GermanNa tionalresearchcenterforinformationtechnology,2002. [10]H Jaeger,M Lukosevicius,D Popovici,UdoSiewert.Opti mizationandapplicationsofechostatenetworkswithleaky integratorneurons[j].neuralnetworks,2007,20: [11]AndreeaLazar,GordonPipa,JochenTriesch.Fadingmemory andtimeseriespredictioninrecurentnetworkswithdiferent formsofplasticity[j].neuralnetworks,2007,20: [12] 韩敏. 混沌时间序列预测理论与方法 [M]. 北京 : 中国水利电力出版社,2007. HanMin.PredictionTheoryandMethodofChaoticTimeSe ries[m].beijingchinawaterpowerpres,2007. [13]MCOzturk,DXu,JCPrincipe.Analysisanddesignofecho statenetworks[j].neuralcomputation,2007,19(1): [14]DavidHWolpert.Thesupervisedlearningno free lunchtheo rems[a].proceedingsofthe6thonlineworldconferenceon SoftComputinginIndustrialApplications[C/OL] [15]BenjaminSchauwen,MarionWardermann,DavidVerstraeten, JochenJSteil.ImprovingReservoirsusingintrinsicplasticity [J].Neurocomputing,2008,71: [16]OliverObst,XRosalindWang,MikhailProkopenko.Usinge chostatenetworksforanomalydetectioninundergroundcoal mines[a].informationprocesinginsensornetworks,2008 [C].Louis,Misouri, [17]GeorgeEPBox,GwilymM Jenkins,GregoryCReinsel.Time SeriesAnalysis:Forecasting and Control[M].Englewood Clifs,NJ:Prentice Hal,1994. [18]SeWang,Xiao JianYang.Cheng JianWei.Harnesingnon linearity by sigmoid wavelethybrid echo state networks (SWHESN)[A].The6thWorldCongresonInteligentCon trolandautomation[c].wuxi,actaautomaticasinica, 作者简介 : 彭宇男,1973 年 6 月生于陕西西安, 教授博士生导师, 哈尔滨工业大学自动化测试与控制研究所副所长, 主要研究方向为测试诊断技术无线传感器网络技术和数据挖掘技术等. E mail:pengyu@hit.edu.cn 王建民男,1976 年生于吉林长春, 现为哈尔滨工业大学自动化测试与控制系博士研究生, 主要研究方向为时间序列分析数据挖掘故障诊断. E mail:wjmfuzy@126.com

第 2A 期 彭 宇 : 基 于 回 声 状 态 网 络 的 时 间 序 列 预 测 方 法 研 究 149 战 性 的 是 储 备 池 的 适 应 性 问 题 [4,5,8], 所 谓 储 备 池 适 应 性 问 题 就 是 如 何 产 生 或 者 训 练 一 个 与 具 体 问 题 相 关 的

第 2A 期彭宇 : 基于回声状态网络的时间序列预测方法研究 149 战性的是储备池的适应性问题 [4,5,8], 所谓储备池适应性问题就是如何产生或者训练一个与具体问题相关的