F8

Size: px

Start display at page:

Download "F8"

蝴殿袁
5 years ago
Views:

1 DOI: /j.issn 网络出版地址 : The Wireless Channel Equalization Based on Data-Driven Deep Learning Method /YANG Yang 1,2 李扬 /LI Yang 1 周明拓 /ZHOU Mingtuo 2 (1. 中国科学院上海微系统与信息技术研究所, 上海 21899; 2. 上海无线通信研究中心, 上海 2121) (1. Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences, Shanghai 21899, China; 2. Shanghai Research Center for Wireless Communications, Shanghai 2121, China) 数字无线通信系统中, 二进制在符号通过色散信道传输, 导致产生时延扩展和符号间串扰 (ISI); 而 ISI 的存在阻碍了频率带宽的有效 [1] 利用和系统性能的提高无线信道基本上可以用一个复数值有限脉冲响应 (FIR) 滤波器来表示, 而信道输出是滤波器抽头权重的线性组合, 并且被噪声污染信道均衡则是基于信道观测来抵消 ISI 和噪声的影响, 从而重建传输序列通常, 传输信道会受到线性和非线性失真的影响, 现实中往往将信道建模为一个非线性系统传统的线性均衡算法, 如递归最小二乘 (RLS) [2] 算法, 在信道非线性特性强烈及多径丰富的情况下无法保证较低的误码率人工神经网络的强大非线性拟合能力近来在无线信道均衡领域受到了较多关注文献 [3-4] 中, 作者分收稿日期 : 网络出版日期 : 摘要 : 无线信道均衡可以被看成将接收端符号恢复成发射符号集中某个符号的问题 ; 而无线通信系统中的许多恢复过程可以被认为是通过学习一组具有良好的概率包络和相干时间的随机滤波器来克服信号的线性混合旋转时移缩放以及卷积特性具体地, 使用卷积神经网络 (CNN) 来学习这些滤波器, 然后将学习到的滤波器送入后续的循环神经网络进行时域建模, 最后对信号进行分类实验显示 : 卷积 - 循环神经网络 (CRNN) 均衡器与传统的递归最小二乘滤波器 (RLS) 多层感知机滤波器 (MLP) 在达到相同误码率 (SER) 情况下好 2~4 db 关键词 : 信道均衡 ; 无线通信 ; 深度学习 ; 神经网络 Abstract: Channel equalization can be viewed as a task that classifies or reconstructs the received signal as a symbol from the transmitting symbol set at the receiver. Many recovery processes in wireless communication systems can be considered to overcome linear mixing, rotation, time-shift, scaling and convolution by learning a set of random filters with good probabilistic envelope and coherent time. Concretely, convolutional neural network (CNN) is used to learn these filters, which are send into the subsequent recurrent neural network (RNN) for temporal modeling, and finally the signals are classified. Experimental results show that our convolutional recurrent neural network-based (CRNN) equalizer outperforms the recursive least square (RLS) and multi-layer perceptron network (MLP) equalizers by average 2 to 4 db with the same symbol error rate (SER). Key words: network 中图分类号 :TN929.5 文献标志码 :A 文章编号 : (218) channel equalization; wireless communications; deep learning; neural 别使用了不同结构的神经网络进行均衡, 并与传统的信道均衡器做对比, 发现神经网络算法能达到更低的误比特率文献 [5] 中作者提出一种基于自适应决策反馈的信道均衡器, 其中使用了多层感知机 (MLP) 神经网络结构, 来解决通信卫星的信道均衡问题由于无线信号由复数值表示, 文献 [6] 中作者提出一种基于复数值的多层感知机神经网络, 并提出一种基于复数值的反向传播算法, 使得其更适用于实际系统受时变信道的影响, 无线信号属于时间序列数据, 但是上述信道均衡器并未将这一特性考虑在内因此, 本文中我们提出一种基于卷积 - 循环神经网络 (CRNN) 的信道均衡器, 其特点是既考虑了信道的非线性又兼顾了信道的时变性我们利用卷积神经网络的平移不变性来学习像传统滤波器抽头权重那样的匹配滤波器, 然后再将学习到的滤波器送入接下来的循环神经网络进行时间建模, 继而就可以用于对接收到的信号进 218 年 4 月第 24 卷第 2 期 Apr. 218 Vol.24 No 中兴通讯技术 D:\MAG\ /VOL23\F8.VFT 5PPS/P1

2 行分类具体地, 我们使用自制的 8 8 并行多输入多输出 (MIMO) 通信系统收集实际的收发信号, 构建成用于训练我们神经网络的数据集特别地, 收发端仅使用一根天线, 从而组成一个单发单收系统, 信号发送采用正交相移键控 (QPSK) 调制据我们所知, 我们是第一个采用 CRNN 结构进行 [7] 信道均衡的我们的主要贡献总结如下 : (1) 通过将信道均衡建模成一个条件概率分布学习问题, 从而可以使用神经网络算法进行求解 (2) 基于问题建模, 我们提出一种基于 CRNN 的信道均衡器, 在其中既考虑了信道的非线性失真又兼顾了信道的时变性我们将所提出的 CRNN 均衡器与传统的 RLS 均衡器, 以及 MLP 均衡器在误码 (SER) 率性能上进行了比较大量实验结果显示 : 我们的 CRNN 均衡器要比其他另外两个均衡器在达到相同 SER 时好 2~4 db 1 问题建模无线信道均衡可以表示成如图 1 所示的条件概率分布学习问题具体地, 我们假设发送符号集为 S, 当中包含 K 个符号, 为方便建模, 我们以自然数 1~K 来表示这 K 个符号对于给定的接收信号 y (i), 信道均衡的作用就是将其识别或者还原为发 x (i ) 送符号集的某符号 x (i) = k, 通过计算对应于每个发送符号的条件概率 ( 也即整个符号集的条件概率分布 ), 我们可以得出条件概率最大的符号即为 y (i) 最可能的对应发送符号在这当中,y (i) 由有限个时延副本构成 : y (i) =[y (i),y (i - 1),...,y (i - N + 1) ] T (1) 其中,N 为信号经历的多径个数, 假设其可在均衡前提前估计出同时, 条件概率可以表示为 : p X Y = y = P(X = x Y = y) (2) 然后, 我们可以用一个神经网络作为近似函数来参数化这个条件概率, 以如下方式 : f w f w :R N R K (3) 即以 w =(w 1,...,w K ) T 为参数的神经网络近似函数, 作用是将一个 N 维输入映射为一个 K 维输出 w 为 N K 的矩阵, 为神经网络各神经元之间连接的权重具体地,f w 可以由下面的函数形式将条件概率分布参数化 : P X Y = y (i) = f w (y (i) ) = e x K j = 1 e x j 其中,x =(w 1 T y (i),...,w K T y (i) ) T [,1] (4), 值得注意的是此函数处处可微, 分母项将 K 个条件概率归一化 w 控制条件概率分布的表现, 我们通过调节 w 即神经网络的连接权重来优化基于条件概率分布的符号预测准确率, 即信道均无线信道 1/z 1/z 1/z 图 1 将信道均衡建模成一个条件概率学习问题 y (i ) y (i -1) y (i -2) (i -N +1) y 条件概率分布学习 P (x (i ) =1/y (i ) ) P (x (i ) =K /y (i ) ) 衡性能基于以上推导, 目前我们需要一个标准对神经网络调整参数后的预测性能进行评估具体地, 我们引入交叉熵损失函数进行这项评价, 其表示如下 : 其中,m 为训练集样本的个数, 一个训练样本可表示为 (y (i),x (i) ) y (i) 为接收符号,x (i) 为该接收信号对应的真实发送符号, 在机器学习的语境中则为样本对应的标签 1{ } 为指示函数, 表示在大括号里的假设若为真则返回 1, 否则返回该函数对一组神经网络权重 w 所导致的预测误差进行计算, 我们利用收集到的训练样本集合通过调节 w 最小化这一函数从而提高预测准确率 m E(w) = - 1 m i = 1 K j = 1 1{x (i) = j}log e w T j y (i) K l = 1 e w T l y (i) 2 CRNN 无线信道均衡器基于以上问题建模, 我们提出一种流水线式神经网络均衡器, 由 2 部分构成 : 第 1 部分为一个卷积神经网络 ; 第 2 部分为一个循环神经网络神经网络的原理详细可见文献 [8], 本文由于篇幅所限将不深入讨论 (5) 我们所提出的 CRNN 均衡器如图 2 所示, 除输入和输出之外, 其为一个 5 层神经网络结构输入层为一个 2xN 的接收符号, 分别由 N 个时延副本的实部和虚部构成输入层后接第 1 个卷积层 Conv, 卷积层是卷积神经网络中最关键的环节, 用于提取 [9] 输入样本的特征每个卷积层都由若干个卷积核组成, 每个卷积核都是一个特定长宽的 2D 滤波器, 在计算机中由一个随机初始化的 2D 权重矩阵表示这些卷积核会以一定的步长遍历整个上层输入进行卷积操作, 生成特征图, 即我们前文提到的匹配滤波器神经网络下一层为 Dropout, 表示上层有多少比例的神经元与下一层进行连接, 由 1 个 ~1 之间的参数控制该层的作用是适当降低神中兴通讯技术年 4 月第 24 卷第 2 期 Apr. 218 Vol.24 No. 2 D:\MAG\ /VOL23\F8.VFT 5PPS/P2

出表现最好的模型具体地, 每个子数据集包含 11 万对收发数据, 其中原始接收信号 Conv Dropout Conv Max pooling LSTM Softmax 条件概率分布 1 万对数据用于训练 CRNN, 其余数据用于对模型进行测试 4 模型训练及测试结果图 2 CRNN 均衡器经网络的表达能力, 降低神经网络过拟合的可能性接下来的卷积层的作用与第 1 个卷积层相同,

3 出表现最好的模型具体地, 每个子数据集包含 11 万对收发数据, 其中原始接收信号 Conv Dropout Conv Max pooling LSTM Softmax 条件概率分布 1 万对数据用于训练 CRNN, 其余数据用于对模型进行测试 4 模型训练及测试结果图 2 CRNN 均衡器经网络的表达能力, 降低神经网络过拟合的可能性接下来的卷积层的作用与第 1 个卷积层相同, 但是进一步学习更加抽象地表达, 即可能得到的是有利于识别信号的幅度相位多普勒频移特征卷积神经网络的最后一层是 1 个 Max-pooling 层, 具体操作类似于卷积核, 但仅提取对应面积内最大的权重值, 一方面用于减少连接数, 降低复杂度, 另一方面可以获得局部相似性特征我们使用卷积神经网络的原因在于无线通信系统中许多信号识别或还原是通过学习一组具有良好的概率包络和相干时间的随机滤波器来克服信号的线性混合旋转时移缩放以及卷积特性那么经过上述一系列操作之后, 卷积神经网络就学习出了这些滤波器卷积神经网络部分下一步我们将这些学习到的匹配滤波器送入由长短时记忆 (LSTM) [1] 单元构成的循环神经网络用于时间建模, 以克服无线信道的时变特性具体地,LSTM 单元通过记忆上一时刻的状态并把这一状态加入当前状态的计算, 来进行时间依赖学习需要注意的是 :LSTM 层的权重在每一时刻都是共享的最后, 我们使用 Softmax 对结果进行归一化并得到发送符号的条件概率分布至此, 我们可以开始使用大量预先收集的收发数据训练所提出的 CRNN 均衡器下一步, 我们将讨论卷积 - 循环神经网络均衡器 LSTM: 长短期记忆网络如何获取这些所需数据 3 数据获取循环神经网络部分如图 3 所示, 我们采用自研的 8 8 MIMO 系统进行数据采集, 为了保证测试数据的真实性和均衡算法的可靠性, 保证采集数据的多样化, 我们在多个典型室内通信场景下采集无线收发数据在采集实验中信号发射端采用正交相移键控 (QPSK) 调制模式, 发送端以 1 Mbit/s 的码片速率连续发送 4 96 个 QPSK 码片 2 次采集的数据平均分布于信噪比为 -1~2 db 的区间内, 且为简单地验证起见, 采集过程中我们仅使用单发单收设置值得注意的是 : 在特定信噪比下收集的数据将单独构成子数据集, 我们的 CRNN 训练将由每个不同的子数据集单独训练并筛选图 3 数据采集设备与环境 4.1 超参数优化在第 3 节中, 我们指出通过调整神经网络的连接权重 w, 就可以优化神经网络均衡器对于接收信号的预测结果除了连接权重这些参数, 类似于神经网络隐藏层个数特定隐藏层的神经元个数神经网络进行训练时的梯度下降学习率需要人工试验的参数, 我们称之为超参数因此, 均衡器最终的预测效果除了依赖于神经网络的连接权重, 也取决于神经网络的各个超参数而如何确定超参数的值, 以及采取何种操作使得神经网络的预测效果最好的过程被称为超参数优化在实际工程中, 我们通常使用网格搜索法进行超参数优化, 也即采用穷搜法逐个试验各个人工设定的超参数组合, 从而确定一组最佳超参数组合本文中, 我们将固定一些超参数从而避免搜索空间过大, 导致调节效率低下除批数量外, 表 1 中选取固定的超参数基本为我们的 CRNN 均衡器的结构参数批数量是利用数据集 218 年 4 月第 24 卷第 2 期 Apr. 218 Vol.24 No 中兴通讯技术 D:\MAG\ /VOL23\F8.VFT 5PPS/P3

4 表 1 选取固定的超参数输入层大小 2 x 12 第 1 层卷积大小 2 x 4 x 64 第 2 层卷积大小 2 x 4 x 32 Max-pooling 大小 2 x 2 LSTM 层大小 1 输出层大小 4 批数量 1 24 LSTM: 长短期记忆网络进行最小化损失函数的随机梯度下降操作时需要确定的参数, 它决定了在每次梯度下降时可同时参与更新权重 w 所应选取的数据个数选取了固定的超参数之后, 我们需要对剩下的超参数进行优化具体地, 我们将优化学习率 γ Dropout 层神经元连接丢弃比率训练批次 3 个超参数如图 4 所示, 在训练过程中交叉熵损失在当学习率 γ = 或 γ = 时下降虽然不够明显, 但 γ = 时交叉熵损失函数收敛到一个更低的值我们还可以看到 : 当 γ = 时, 交叉熵损失一直处于振荡状态并未明显下降这说明此学习率过大, 对于梯度下降步长过大导致无法找到正确的使损失函数下降的方向我们将训练集划分为互不相交的训练集和验证集, 与之对应得到的准确率分别为训练准确率和验证准确率验证准确率指示了模型的泛化性能, 因为验证集中的数据在训练集中从未遇到过从而, 我们可以利用验证准确率来判断该超参数设置是否真正有效图 5 表示当我们设置不同的神经元连接丢失比率时,CRNN 均衡器预测准确率的表现, 其中实线为训练准确率, 虚线为验证准确率可以看出 : 当 Dropout 层神经元连接丢弃比率为时, 我们得到更高的训练准确率和验证准确率, 这说明先前的超参数设置导致的模型训练结果并未过拟合我们的训练集因此, 针对本文实验而言,Dropout 层并无必要加入 CRNN 均衡器结构中最后一个需要优化的超参数为训练批次, 其定义为训练集被完全迭代的次数, 而训练过程遍历完一次训练集称为训练一个批次当训练批次较大时, 不同的训练批次导致的验证准确率差别很小, 因此我们使用验证误差来评价超参数的影响如图 6 所示, 训练批次对于准确率的增益是有上限的那么我们需要找到最小的上限, 以防止过度训练在工程实验中, 我们可以使用训练提前停止方法, 即监测控制训练批次对于准确率增益的影响, 当相邻若干次准确率增长非常小时, 我们认为训练批次达到了它对于准确率增益的上限, 这时便可以提前终止训练在我们的实验中, 当训练批次为 4 时, 验证误差最小, 也即验证准确图 4 训练过程中不同学习率下的交叉熵损失趋势图 5 Dropout 层神经元连接丢弃比率对训练验证准确率的影响交叉熵损失准确率 /% 率最大另外, 需要强调的是 : 上述超参数优化是在信噪比为 15 db 的数据集下进行的我们在线下对比发现 : 信噪比为 15 db 时的数据集训练出的 CRNN 均衡器的泛化性能最好, 因此我们在其他信噪比下也使用信噪比为 15 db 的数据集模型 4.2 误码率性能误码率 (SER) 是信道均衡器的一个重要性能指标, 我们也实现了 RLS 均衡器和 MLP 均衡器并将它们与我们训练得到的 CRNN 均衡器对比 SER 性能图 6 显示了 3 种信道均衡器在信噪比为 -1~2 db 时的 SER 性能, 显然当信噪比低于 db 时, 它们均无法 3 4 迭代次数 4 5 训练批次 6 6 :γ = :γ = :γ = :. :. :.2 :.2 :.6 :.6 :.9 : 中兴通讯技术年 4 月第 24 卷第 2 期 Apr. 218 Vol.24 No. 2 D:\MAG\ /VOL23\F8.VFT 5PPS/P4

SER 1 1-1 1-2 1-3 1-4 :RLS :MLP :CRNN Study[C]// Proceedings of the Aisa-Pacific Conference on Communications (APCC). USA:IEEE, 217. DOI: 1.23919/ APCC.217.8349 [8] GOODFELLOW I, BENGIO Y, COURVILLE A.

USA:IEEE, 1998, 86(11):2278-2324 [1] HOCHREITER S, SCHMIDHUBER J. Long Short-Term Memory[J].

外两个均衡器平均高 4 db, 这意味着 CRNN 在信号特征明显时能比传统均衡器学习到更多的信道特征 5 结束语 -5 CRNN : 卷积循环神经网络 MLP : 多层感知机网络信噪比 /db 本文中我们提出了一种基于 CRNN 的算法, 来解决非线性时变信道的均衡问题, 并在实际系统中进行了验证具体地, 我们使用卷积神经网络来学习匹配滤波器, 然后将学习

5 SER :RLS :MLP :CRNN Study[C]// Proceedings of the Aisa-Pacific Conference on Communications (APCC). USA:IEEE, 217. DOI: / APCC [8] GOODFELLOW I, BENGIO Y, COURVILLE A. Deep Learning[M]. USA:MIT Press, 216 [9] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-Based Learning Applied to Document Recognition[C]//Proceedings of the IEEE. USA:IEEE, 1998, 86(11): [1] HOCHREITER S, SCHMIDHUBER J. Long Short-Term Memory[J]. Neural Computation, 1997, 9(8): 符合性能要求, 此时 CRNN 基本只能从噪声中学习而无法学习到有效的信道特征当信噪比在 ~1 db 时, CRNN 均衡器在达到相同 SER 情况下要比 RLS MLP 均衡器平均高 2 db 而当信噪比在 1~15 db 时,CRNN 均衡器在达到相同 SER 情况下比另外两个均衡器平均高 4 db, 这意味着 CRNN 在信号特征明显时能比传统均衡器学习到更多的信道特征 5 结束语 -5 CRNN : 卷积循环神经网络 MLP : 多层感知机网络信噪比 /db 本文中我们提出了一种基于 CRNN 的算法, 来解决非线性时变信道的均衡问题, 并在实际系统中进行了验证具体地, 我们使用卷积神经网络来学习匹配滤波器, 然后将学习到的滤波器送入后续的循环神经网络进行时域建模, 最后对信号进行分类实验表明 : 相比 RLS MLP 算法, CRNN 均衡算法能够更好地处理真实通信环境中的无线信道均衡问题参考文献 [1] LYU X, FENG W, SHI R, et al. Artificial Neural Networkbased Nonlinear Channel RLS : 递归最小二乘法 SER : 误码率 2 图 6 不同信噪比下 CRNN 与 RLS MLP 的 SER 性能对比 Equalization: A Soft-Output Perspective[C]// Proceedings of the International Conference on Telecommunications (ICT). USA:IEEE, 215: DOI: 1.119/ ICT [2] WANG Y. Channel Equalization Using a Robust Recursive Least-Squares Adaptive- Filtering Algorithm[C]//Proceedings of the IEEE International Conference on Computer and Information Technology (ICCIT).USA: IEEE, 212: DOI: 1.119/ CIT [3] BURSE K, YADAY R N, SHRIVASTAVA S C. Channel Equalization Using Neural Networks: A Review[J].IEEE Transactions on Systems, Man,and Cybernetics, Part C (Applications and Reviews),21,4(3): DOI: 1.119/TSMCC [4] PATRA J C, BENG POH W, CHAUDHARI N S, et al. Nonlinear Channel Equalization with QAM Signal Using Chebyshev Artificial Neural Network[C]// Proceedings of the IEEE International Joint Conference on Neural Networks. USA:IEEE, 25,(5): DOI: 1.119/IJCNN [5] CHANG P, WANG B. Adaptive Decision Feedback Equalization for Digital Satellite Channels Using Multilayer Neural Networks [J].IEEE Journal on Selected Areas in Communications, 1995,13(2): [6] HUANG R C, CHEN M S. Adaptive Equalization Using Complex-Valued Multilayered Neural Network Based on the Extended Kalman Filter[C]// Proceedings of the International Conference on Signal Processing. USA:IEEE, 2: [7] LI Y, CHEN M H, YANG Y, M.T.et al. Convolutional Recurrent Neural Network- Based Channel Equalization: An Experimental 作者简介, 中国科学院上海微系统与信息技术研究所研究员学位委员会副主任, 中国科学院无线传感网与通信重点实验室主任, 上海无线通信研究中心主任, 上海雾计算实验室联合主任, 国际雾计算产学研联盟大中华区主任, 中国通信学会学术工作委员会委员 ; 研究领域包括无线传感器网络 ( 物联网 ) 新一代移动通信系统 (5G) 雾计算与网络技术开放无线测试验证平台 ; 承担了国家科技重大专项 (3 专项 ) 国家 863 计划国家自然科学基金重点一系列前沿课题研究 ; 获选 IEEE Fellow 中组部万人计划上海市千人计划中科院百人计划上海市优秀学术带头人和领军人才荣誉 ; 发表论文 15 余篇, 申报专利 8 余项李扬, 中国科学院上海微系统与信息技术研究所博士研究生在读 ; 主要研究方向为机器学习 / 深度学习在无线通信系统中的应用强化学习基于 Wi-Fi 的室内定位数据分析周明拓, 上海无线通信研究中心计算通信部部长, 曾在包括 ICC GLOBECOM PIMRC 在内的 4 多个国际会议担任技术计划委员会成员财务主席当地安排主席和会议主席 ; 研究方向包括雾计算 5G 无线传感器网络工业物联网工业 4. 和网络物理系统 ; 发表论文 7 余篇, 出版书籍 6 部 218 年 4 月第 24 卷第 2 期 Apr. 218 Vol.24 No 中兴通讯技术 D:\MAG\ /VOL23\F8.VFT 5PPS/P5

y 1 = 槡 P 1 1h T 1 1f 1 s 1 + 槡 P 1 2g T 1 2 interference 2f 2 s y 2 = 槡 P 2 2h T 2 2f 2 s 2 + 槡 P 2 1g T 2 1 interference 1f 1 s + n n

y 1 = 槡 P 1 1h T 1 1f 1 s 1 + 槡 P 1 2g T 1 2 interference 2f 2 s y 2 = 槡 P 2 2h T 2 2f 2 s 2 + 槡 P 2 1g T 2 1 interference 1f 1 s + n n 37 1 Vol 37 No 1 2013 1 Journal of Jiangxi Normal UniversityNatural Science Jan 2013 1000-5862201301-0037-05 MISO 郭荣新, 袁继昌 361021 2 RVQ 2 MISO 3 TN 911 7 A 0 MIMO 2 MISO 3 MIMOnetwork MIMO 3GPP LTE-A 2