201810

Size: px

Start display at page:

Download "201810"

税些屠
5 years ago
Views:

1 Computer Engineering and Applications 28,54() 9 基于改进深度孪生网络的分类器及其应用沈雁,2, 王环, 戴瑜兴 SHEN Yan, WANG Huan,2, DAI Yuxing,2. 湖南大学电气与信息工程学院, 长沙 482,2 2. 温州大学数理与电子信息工程学院, 浙江温州 College of Electrical and Information Engineering, Hunan University, Changsha 482, China 2.College of Mathematics, Physics and Electronic Information Engineering, Wenzhou University, Wenzhou, Zhejiang 32535, China SHEN Yan, WANG Huan, DAI Yuxing. Deep siamese network-based classifier and its application. Computer Engineering and Applications, 28, 54():9-25. Abstract:Siamese neural network consists of twin networks which share the same parameters, and can map nonlinear data with high dimension onto a low dimension and easy separable feature space. By taking use of its excellent performance on similarity computing, an efficient classifier based on Siamese network is proposed. Convolutional Neural Networks(CNNs)are used as building blocks, combined with max-pooling and dropout techniques, to construct a multi-scale CNNs for feature extraction. A spatial transformer network is used as a supplementary to promote the accuracy of the classifier. Through experiments on traffic sign data GTSRB, the classifier obtains 99.4% accuracy rate for this recognition benchmark. The proposed method for classification has virtues of simple structure, high accuracy, short training and fast recognition. Key words:siamese network; classifier; spatial transformer networks; traffic sign recognition 摘要 : 孪生神经网络由两组共享参数的孪生神经网络组成, 可对高维度非线性的数据进行低维度映射, 其在低维特征空间中变得可分利用其优异的相似度计算性能, 针对像交通标志识别这样具有复杂环境条件的分类问题, 提出并设计基于孪生神经网络结构的高效分类器采用卷积神经网络作为其基本构成, 运用 max-pooling,dropout 等技术形成特征提取所需的多尺度卷积神经网络同时辅助以空间变换器网络来进一步提高识别的准确率通过对 GTSRB 交通标志数据集进行测试, 其识别的准确率达到了 99.4% 该分类器方法同时具备了结构简单训练时间短准确率高以及识别速度快的优点关键词 : 孪生神经网络 ; 分类器 ; 空间变换器网络 ; 交通标志识别文献标志码 :A 中图分类号 :TP39.4 doi:.3778/j.issn 引言在机器学习领域中, 大多数的应用问题都是通过分类器模型来解决的从 Rosenblatt 研究出感知机 (Perceptron) 这一线性分类模型以来, 对分类器的研究得到了迅速的发展感知机仅能对线性的数据进行分类, 而在现实中许多问题都是非线性的后向传播算法的出现使得神经网络成功地应用于非线性的分类问题此时的神经网络还较为简单, 通常为三层, 即输入层, 隐藏层和输出层 Vapnik 等人在 992 年提出了支持向量机, 巧妙地运用核函数方法将非线性问题转换为线性问题由 Hinton 和 LeCun 等进一步发展出来神经网络深度学习算法, 使得神经网络的学习能力得到了飞跃式的提高使得深度学习成为当前机器学习的主流方向 Belzmann 机和卷积神经网络等技术的发明, 使基金项目 : 浙江省自然科学基金重点项目 (No.LZ6E52) 作者简介 : 沈雁 (985), 男, 博士研究生,CCF 会员, 研究领域为机器学习, 计算机视觉, shenyan72@hnu.edu.cn; 王环 (983), 男, 博士研究生, 讲师, 研究领域为机器人控制, 智能控制算法 ; 戴瑜兴 (956), 男, 博士, 教授, 研究领域为自动控制, 机器学习收稿日期 :28--7 修回日期 : 文章编号 :2-833(28)-9-7

2 2 28,54() 得深度学习算法在各个领域的应用都超越以往的方法, 取得了最好的效果随着深度学习领域的不断发展, 出现了许多优秀的计算框架, 例如 Caffe,Pytorch,Tensorflow, MXNet 等等其中 Pytorch 是以 Torch 为基础, 使用 Python 脚本语言实现的版本针对于大型的多层神经网络和大规模的训练数据, 这些平台都可以使用 GPU 进行加速, 从而极大地缩短训练的时间机器学习方法也越来越多地应用于现代生活当中例如汽车的辅助驾驶系统或者是无人驾驶系统, 对道路交通标志的识别都将是其中必不可少的一环考虑到路况的复杂性, 交通标志的识别及分类必须要考虑到各种极端条件, 例如夜间暗光, 雾霾, 标志牌上的污渍等等因此, 分类器必须要有极好的可靠性和鲁棒性 Computer Engineering and Applications 目前已经提出了很多分类器算法支持向量机 (SVM) [] 方法采用非线性核函数映射来解决非线性问题, 具有较强的泛化能力, 且能很好地处理高维度的数据但由于其中正比于样本数量的矩阵计算的复杂性, 使得其并不适合于具有大规模训练样本的应用另外,SVM 作为二分类算法在解决多分类问题时必须使用多个 SVM 组合来解决 Adaboost 方法则是在训练时, 通过 T 次的迭代训练出 T 个弱分类器, 再采用加权投票形成一个强分类器其中的弱分类器可以是简单的逻辑回归, SVM, 极限学习机 (ELM) [2], 以及神经网络 Adaboost 方法具有结构简单容易实现, 不易于过拟合等优点但同时, 当对 Adaboost 方法选择越复杂的弱分类器时, 则越可能发生过拟合, 而像图像类的高维数据通常是需要 [3-6] 较复杂的弱分类器的卷积神经网络目前以其超越其分类器的优异性能得到越来越多的应用常用的卷积神经网络都采用了非常多的网络层来获得较好的效果, 如 ResNet AlexNet VGG 和 GoogleNet 等这样的网络无论在训练还是使用上都需要相当巨大的计算量本文在深度学习的理论基础之上, 将用于相似度计算的孪生神经网络构造成分类器在具有相同结构和共享权值的两组多层神经网络中, 分别采用了卷积神经网络层,ReLU,max-pooling 以及全连通网络, 同时还利用 dropout 技术来预防过拟合问题该方法能将在原始图像空间难以划分的图像变换到以基准图像为中心的特征空间, 再通过距离的测量达到分类的功能该孪生神经网络只使用很少的网络层, 利用相似度计算来实现一个快速的分类器针对交通标志识别的应用, 将原始数据重新构建为具有正负匹配对的训练集通过短时间的训练, 即可达到非常高的准确率 2 用于相似度计算的孪生神经网络 2. 孪生神经网络模型 [7] 孪生神经网络构架最早由 Bromley 和 LeCun 在 99 年为了解决数字签名的校验问题而提出一个孪生神经网络系统由一对孪生的两个神经网络构成这两个神经网络之间共享权值和偏置等参数, 但输入的是不同的数据通过神经网络的前向处理, 可以将原本在原始空间中分辨困难的数据进行维度规约 [8], 从而变得容易分辨例如的图像块, 其原始的维度便是 2 34, 这样很难对一对图像块进行比较, 也就是说很难采用常用的欧式距离计算它们之间的相似度通过神经网络的处理便可以只提取出其中的特征向量, 在孪生神经网络的后端只需对提取的特征向量进行欧式距离计算即可这是因为在特征空间中, 各个图像块的特征向量能反应出它们之间的真实相似度孪生神经网络的构架见图图为了能够对孪生神经网络进行训练, 需要定义可微分的代价函数因为孪生神经网络的目的不是为了对输入进行分类因此用于分类的代价函数 ( 例如交叉熵 [9] ) 并不太合适令 X,X 2 为孪生神经网络的输入,Y 为指示 X 和 X 2 是否匹配的二值标签, 有 Y {,} 如果 X 和 X 2 相似, 则 Y =, 如果不相似则 Y = 采用的代价函数为如下的形式 : L(w,y,x,x 2 ) = 2 ( - y)d2 w + 2 y [ max(,m - D w) ] 2 () 其中 D w 为孪生神经网络输出的两个特征向量的欧式距离, 即 D w (X,X 2 ) = G w (X ) - G w (X 2 ) 由 G w 来表示孪生神经网络将输入 X,X 2 映射到它们的特征向量 m 值用于在 G w 上定义一个边界, 使得只有距离在该范围内的负样本才对损失函数有影响对于所有的训练样本, 最后得到的总体损失函数为 : L(w) = N i = 2.2 使用深度网络的实现 N G w ( ) 相似度 X - X 2 X X 2 L( w,(y,x,x 2 ) i ) (2) 本文使用的深度孪生神经网络构架见图 2 其分为特征提取网络和相似度计算两个部分在特征提取网络中, 共包含四层的卷积神经网络不同层次的卷积神经网络用于提取不同层次的特征以容易理解的第一层卷积神经网络而言, 其直接接受输入的图像, 并从图像上提取所需的特征经过训练, 其通过都会提取图像中的各式各样的点和边特征在卷积神经网络的后面 G w ( ) 孪生神经网络的构架

3 沈雁, 王环, 戴瑜兴 : 基于改进深度孪生网络的分类器及其应用 28,54() 2 使用非线性的 Relu 激活函数作为该层的神经元对于大规模的数据来说,ReLu 激活函数具有比 sigmoid 激活函数和 tanh 激活函数等更好的拟合能力 [] 其也更能增强网络的非线性, 以及使得后面的神经网络更具判别性第三层的卷积网络层产生的结果和第四个卷积网络层的结果会共同输出到全连通神经网络层因为第四层卷积网络层比第三层卷积网络提取更全局的特征, 因此第一个全连通网络接受到的是来自前级多尺度的特征输入, 形成多尺度卷积神经网络 [] 另外, 在前三个卷积网络层的后面都使用了 max-pooling 层来提供对微小移动的不变性每个卷积网络层还使用 dropout 技术 [2] 来防止网络的过拟合第一层全连通网络同时连接到第三层和第四层卷积网络的特征输出, 起到承接的作用第二层的全连通网络的输出为 28 维的最终特征向量 Full_ Full_+Relu Conv_3+Relu 权 Conv_2+Relu Conv_+Relu Conv_+Relu Patch Patch X - X 2 所定义的网络的配置参数见表使用的名称中, 前缀的 Conv 表示卷积网络层, Pool 表示 max-pooling 层, 而 Full 则表示全连通网络层通过插入 max-pooling 层可以逐步地减少特征的维度, 从而减少计算量值共S Full_ Full_+Relu Conv_3+Relu Conv_2+Relu Conv_+Relu Conv_+Relu 2 孪生神经网络的结构图享图 3 作为分类器的孪生神经网络前面论述了孪生神经网络作为计算各图像间相似度的一个强有力的工具据此, 便可以将孪生网络进行相应的改装, 使之变为非常高效的分类器首先, 为每一个类别在训练样本中选择一个基准样本, 并通过大量的正反图像对对孪生网络进行训练在测试或实际使用中, 基准样本和待测样本都会通过孪生网络提取出它们的特征向量最后通过计算待测样本与各个基准样本的欧式距离, 选择具有最高相似度基准样本所对应的类别作为该待测样本的类别该方法在实现上具有两个优点其一是只需要使用很少的网络层即可达到良好的效果在本文中仅使用了 4 个卷积网络层,4 个 ReLU 层,3 个 max-pooling 层, 以及两个全连通网络层其二是所需的计算量很小在网络训练完成之后, 各类别基准样本的特征向量可以预先进行提取在对待测样本进行预测时只需要提取其特征向量, 然后再计算与各个基准样本的特征向量的距离即可识别过程的示意图见图 3 为了将孪生神经网络应用为分类器, 如何对其进行训练是非常重要的在一般的采用单一深度网络结构的分类器上, 只需要利用给定的分类标签对原始的训练数据集进行训练即可而如果采用孪生神经网络结构, 则需要对原始的训练数据集进行处理, 使之符合孪生神经网络的训练模式首先, 需要一个从每个交通标志类的训练样本中确定一个样本作为基准, 使得在进行相似度计算时有一个参照 ( 见图 4(a)) 然后将原始数据集中的样本两两组合成大量预先计算图 3 特征提取特征提取 Siamese 网络作为分类器使用的孪生网络相似度计算表孪生神经网络各个网络层的参数名称 Conv_ Pool_ Conv_ Pool_ Conv_2 Pool_2 Conv_3 Full_ Full_ 输出维度尺寸步进图 4(a) 前 6 个交通标志的基准图像 (a) 图 4(b) 生成的 (b) 8 对随机样本

4 22 28,54() 的正样本对和负样本对正样本由基准样本和同类别其他样本形成, 负样本由基准样本和不同类别的其他样本形成具体的孪生神经网络训练集的生成算法为 : 算法生成正负样本对 for n = 43 do i = p s n + p zj n idxs range ( p s n,p s n + c n ) idxs shuffle(idxs) for m = c i do Sample.append (i, idxs[m]) l_idxs range (,p s n) r_idxs range ( p s n + c n,n s ) idxs concat(l_idxs,r_idxs) Computer Engineering and Applications idxs shuffle(idxs) for m = c i do Sample.append (i, idxs[m]) return Sample 其中使用了两次随机函数用于随机地挑选不同类别中的某个样本作为负的样本对同时, 为了提高训练的效果, 对原始的数据进行扩充是非常重要的在交通标志识别的应用中, 必须考虑到采集的标志图像可能会存在包括位移和旋转等各种变换为了应对这些不确定的变换, 必须在训练中对已有的有限样本尝试进行不同的变换在实际使用中, 可以将图像在 x,y 坐标上进行相比于图像尺寸 ±T% 的随机位移,±R 位的随机旋转, 以及相比于图像尺寸进行 ±S% 的缩放一个包含这些变换的正负样本对见图 4(b) 4 空间变换器网络 4. 理论分析理想的模式识别系统的主要特性就是其对目标位置旋转以及形变的不变性在 CNN 中引入的 maxpooling 层可以用来实现微小的位置不变性但其对于较大的位置旋转以及形变等起不到太好的作用因此空间变换器网络 (STN) [3] 作为一种有效的解决方案变应运而生 STN 可以作为孪生神经网络的前级网络, 在无需对输入图像进行标定的情况下, 能够自适应地对数据进行空间变换和对齐 ( 包括平移缩放和旋转等 ) 因此在原有孪生神经网络上加入空间变换网络, 可以进一步地提高匹配的准确性 STN 由三个模块组成, 分别为定位网络, 网格生成器和采样器, 其结构见图 5 图中 U 和 V 分别为 STN 的前级网络和后级网络在本文的应用中,U 就是输入的图像块, 而 V 则是孪生网络的其中一组卷积网络定位网络是一个很小的子网络, 同样可以由卷积网络和全连通网络混合组成该网络通过大量的样本进行自学习来产生一个有利于匹配的变换参数 θ, 这里的变换可以是简单的位移, 旋转或者是常用的仿射变换对于仿射变换来说, 由得到的变换参数组成变换矩阵 T θ, 对输入的图像块进行如下的变换 : æ x s ö ç è y s T θ (x t ) = é æ θ θ 2 θ 3 ù ø ë ê ç ú θ 4 θ 5 θ 6 ûç è x t y t ö ø (3) 其中 θ 3 和 θ 6 表示平移,θ 和 θ 5 的值的大小表示不同程度的缩放, 而 θ θ 2 θ 4 和 θ 5 共同表示对原始图像的旋转网格生成器的作用是用于计算变换后图像 I t 中每个像素的位置对应到的原始图像中的位置即给定 I t 中任意一点的坐标 x t, 通过网格生成器能计算出其对应在原图像 I s 中的坐标 x s 变换图像 I t 的生成还需要满足可微分性, 这样才能够通过后向传播中的梯度下降算法进行有效的训练为了保证变换后输出图像的准确性, 采样器中可以采用双线性插值方法从输入中获取变换输出的像素值双线性插值的公式为 : V c U 其中 V c i W H i = [U c nm max(, - x t i - m ) n m max(, - y t i - n ) ] i, c (4) 输出的变换图像通道 c 上任意像素 i, 其坐标由 T θ (x t ) 计算为 (x t i,y t i) U c nm 则是输入中同样通道坐标为 (n,m) 的像素 max 函数确保插值的邻域仅为 (x t i,y t i) 对应输入中 (x s i,y s i) 处的一个像素范围内该式对于 U c nm 和 x t i 的偏导数分别为 : V c i U c nm V c i x t i H = n 图 5 W m [max(, - x t i - m ) max(, - y t i - n ) ] (5) W 定位网络空间变换器网络网络生成器采样器 H = [U c nm max(, - y t i - n ) n m sign(, - x t i - m ) ] (6) 其中 sign( ) 为符号函数对于 y t i 的偏导数与对 x t i 的偏导数是相似的公式使得梯度的后向传播从输出流向输入的前级网络 U 而公式则使得梯度的后向传播从输出流向 STN 中的网格生成器和定位网络因此, 不断地运用基于梯度下降的优化算法, 便可以令 STN 不断地得到训练鉴于 STN 完全可微分, 其可以作为一个通用 θ 空间变换器网络的结构 V

5 沈雁, 王环, 戴瑜兴 : 基于改进深度孪生网络的分类器及其应用 28,54() 23 的神经网络层添加到整个网络的任意地方通常 STN 网络仅需使用很小规模的 CNN 来进行学习, 即很少的计算量, 但对整个分类器准确度的提升具有显著的效果 4.2 具体实现结构由这三个模块组成的 STN 由于在整体上都是可微分的, 自然便可以作为一个功能层无缝地添加到已有的神经网络中为了提高图像块的匹配率, 本文将其作为对每个图像块的预处理层具体的结构见图 6 特征提取网络空间变换器网络在图中的定位网络中, 使用的卷积网络分别为 Conv_(32,3) 和 Conv_(64,4), 其中前后数字分别为滤波器数量和尺寸使用的全连通网络分别为 Full_ (6 4,64) 和 Full_(64,6), 其中前后数字分别为输入和输出神经元的数量最后输出的是 6 个仿射变换的参数从前馈的角度来看,STN 形成了一个具有学习能力的非线性函数 : I out = I(I in,p),p = f (I in ) (7) 其中函数 f 是一个可学习的几何参数预测器, 即 STN 中的定位网络部分通过它便可以预测出输入图像与基准图像之间的几何变换通常这一几何变换是能够包含平移缩放和旋转在内的仿射变换在训练阶段, STN 是作为一种弱监督学习的形式存在的也就是说对于所有输入的样本对, 只给出了该样本对的是否匹配的标签, 而并不知道样本中实际目标的相对于基准的变换通过大量的训练,STN 需要自主地学习来获得这些信息在 STN 的使用中有两个需要注意的地方, 一是定位网络要足够大才能比较好地捕捉到图片的抽象特征, 可以参考论文中的结构, 二是空间变换器的初始化要满足一开始输出图片和输入图片相同, 否则一开始就随机对图片做变换很难训练得到比较好的结果以仿射变换为例, 空间变换器最后一层输出 6 个参数的全连接层初始化的权值为, 偏置为 [ ], 这样能够开始时保证输出图像和输入图像一样 5 实验与结果相似度相似度计算特征提取网络空间变换器网络 Patch Patch 图 6 5. 实验数据与平台定位网络 Full_ Full_+Relu Conv_+Relu Conv_+Relu 加入空间变换器网络的孪生网络实验的平台为一台 PC 机, 主要配置为 :Intel E V2,6GB DDR3 RAM,Intel 24 G SSD,NVIDIA GTX 7 实现的代码均采用 Python 语言在 Pytorch 框架下完成利用 CUDA 和 cudnn 提供的并行加速能力实现快速的训练和识别任务为了验证所设想的深度神经网络模型, 采用 GTSRB 路标数据集 [4] 来完成测试该数据集中包含了 43 个不同的路标在各种条件下的样本图像整个数据集分为训练集和测试集训练集共有个样本图像, 测试集共有个样本图像这些样本图像具有各种不同的尺寸, 而神经网络系统要求的图像为统一的尺寸为此, 在载入图像时对图像进行不同比例的缩放, 统一尺寸为个像素通过生成算法, 为孪生网络提供个正负样本对的索引以及每对样本是否匹配的标签, 通过它们可以用来进行训练和验证在构建神经网络模型之前, 还必须完成相关的数据准备工作对于巨大的训练样本来说, 在训练时为神经网络模型快速地提供数据是至关重要的为了加快训练的速度, 在一般情况下都是采用高性能的 GPU 来进行训练如果训练的样本仍然存储于硬盘 ( 即使是非常快速的固态硬盘 ) 上, 则其读取速度会跟不上 GPU 的计算速度导致的结果就是,GPU 在很大一部分时间上是处于空闲状态的为了很好地解决这个问题, 则可以将训练样本存储于内存上在 Linux 下, 采用 tmpfs 文件系统格式在内存上创建一个临时文件系统然后, 在该文件系统下采用基于键值对的 leveldb 数据库存储每个图像的像素值及其编号在存储之前, 还需要将表示尺寸 patch 的 numpy 数组进行序列化读取的代码则非常简单, 只需要使用 db.get 函数即可取出指定编号的序列化后的图像使用 pickle.loads 函数还原到原始的图像通过实验表明, 在该方法下 GPU 始终处于满负荷的工作状态 5.2 实验结果在测试样本输入到神经网络之前, 所有输入的彩色样本都经过归一化处理, 分别采用了两种方法来实现第一种是零均值归一化, 公式为 z =(x - u)/σ, 其中 u 和 σ 分别为各个颜色通道上的颜色均值和方差第二种方法则为对比度受限的自适应直方图均衡化 (CLAHE) 在实验中, 对原始样本图像进行四种不同变换组合, 以及加入空间变换器网络 (STN) 对孪生网络的训练相比于单组的网络并没有太多的特别之处, 因为孪生网络中的两组深度网络结果相同且共享权值的因此, 利用在前向计算中得到的损失函数, 在进行后向误差传播方式的优化时仅需作用于一组网络即可在训练时对神经网络的优化采用随机梯度下降 (SGD) 方法和 Adam 方法, 设置它们的学习率分别为. 和.,SGD 方法中的动量 (momentum) 设置为.9 训练中每批次的样本对数量为 52, 这样可以充分利用到 GPU 中的显存,

6 24 28,54() 以加快训练速度对整个网络训练 2 次, 即 2 个 Epoch, 得到的损失函数曲线见图 7 损失函数值.2E+ Adam 5.2E- Adam-STN 2.56E- SGD-STN.28E- 6.4E-2 3.2E-2.6E-2 8.E-3 4.E-3 2.E-3.E Epoch 次数图 7 训练的损失函数曲线 Adam 方法能够在训练的过程中自适应地调整各个参数的学习率, 可以很快地收敛而 SGD 方法虽然设 Computer Engineering and Applications 置了比 Adam 方法更高的学习率, 但其收敛的速度仍然比 Adam 方法慢很多这充分体现了 Adam 方法具有非常优异的自适应学习率调整能力, 这使得其非常适合于高维度和大数据集的非凸优化从图中可以看到, 使用了 STN 方法得到了更快的收敛速度这是由于作为前端的 STN 会逐步地学习经验, 对输入图像进行调整, 从而提高后端分类器的效果另外, 还可以看到, 每隔 4 个 epoch 在损失函数曲线上会存在一个小的波动这是因为每隔 4 个 epoch, 会重新生成一次样本对, 以及对样本对重新进行随机的变换这一过程可以称为重采样过程对于前次已训练的很好的神经网络, 新生成的训练样本对会产生一点小小的冲击但随着神经网络不断的学习, 这种影响会逐渐变小训练样本对的重采样是训练数据扩充的重要手段当数据集本身比较庞大时, 为每个样本都进行不同程度的位移缩放和旋转时, 那么训练样本将会成几何级的增长因此, 随机地对样本进行变换, 并在训练过程中重采样, 可以在不增加太多训练时间的情况下, 使分类器神经网络获得更好的性能在训练时, 每隔个 epoch 便会对学习得到神经网络参数进行存储, 以供测试之用从所有保存的神经网络参数中确定出最好的一组神经网络参数在使用和不使用 STN 的情况下, 所得到的测试结果见表 2 表 2 测试结果变换位移 /% 旋转 /( ) 5 5 缩放 /% 使用 STN 测试准确率 /% 原始图像 σ CLAHE 从表中可以看到, 随着使用的随机变换种类越多, 对测试样本集得到的准确率会更高这充分说明在训练时样本的多样性对于神经网络的训练是至关重要的因为在训练中所学习到的对样本的各种变形可能在测试或者实际应用中就有可能遇到同时, 也对比了采用两种归一化方法, 以及不采用归一化方法的测试, 显然进行归一化处理后的样本能达到更好的效果而 CLAHE 方法也要优于零均值归一化方法表中的最后一行为在同时使用位移旋转和缩放的条件下加入 STN 方法的结果,STN 方法的使用进一步提高了识别的准确率, 这说明 STN 能够很好地对原始的输入样本进行校正, 使其能够更好地分类图 8 给出了原始图像和经过 STN 变换后的结果图 8(a) 选取了限速 3 km 的标志的 8 个不同的输入图像的对比图 8(b) 则选取了其他 8 种不同标志的对比可以发现,STN 会进行各种不同程度的自适应的仿射变换, 使它们尽可能地趋近训练时使用的基准样本图像可以看到图 8(a) 的第二行 STN 变换得到的限速 3 km 标志图像都变得与图 4(a) 中的基准相似由于仿射变换本身便是偏移缩放以及旋转的合成, 所以只要由多层卷积和全连通网络构成的定位网络识别出了这些变换并预测出仿射变换参数, 便可以使用网格生成器和采样器对原始输入图像进行校正经过 STN 处理之后的图像变得更容易为后续的分类器神经网络所识别原始 STN (a) 图 8(a) 原始图像原始 STN 图 8(b) STN (b) 结果对比最后与近年来针对交通标志识别的主要方法进行了对比, 结果见表 3 Committee of CNNs [5] 方法为当前取得测试结果最好的方法该方法利用了深度卷积神经网络和多层感知器进行组合来选择最可能的识别结果, 达到了 99.46% 但该方法既使用了深度卷积神经网络, 又使用了多层感知器, 在训练和预测的时间上的花费都比较高其利用两块 GTX 48 和两块 GTX58, 训练时间达 37 小时以上 WELM-AdaBoost 采用了多分类 AdaBoost 算法, 并辅以 ELM 模型作为弱分类器来进行快速的学习和识别, 也达到了 99.2% 的不错的准确率 Multi-Scale CNNs 方法与本文中所提出的孪生神经网络中的单组网络结构很相似, 只达到了 98.3% 的准确率本文所提孪生神经网络方法采用简练的神经网络结构, 取得了仅次于 Committee of CNNs 方法的

7 沈雁, 王环, 戴瑜兴 : 基于改进深度孪生网络的分类器及其应用 28,54() 25 结果, 准确率达到了 99.4% 在实际应用中这样的差 6 结束语本文提出了一种基于孪生神经网络结构的高效分类器该分类器使用孪生的一对多尺度卷积网络来实现特征提取, 并在易分的特征空间中实现两个样本间的相似度计算为了使孪生神经网络满足分类器的要求, 从训练数据集中提取各分类的基准样本, 并据此生成孪生神经网络所需的大批量正负样本对在训练时, 还随机地对样本进行了包括平移旋转和缩放在内的变换, 以加大神经网络学习的样本的多样性在卷积网络的前端无缝地增加了空间变换器网络, 在使用时增强神经网络对各种变换的不变性, 从而提高了分类器的准确率将所提的分类器应用于具有复杂环境条件下的交通标志识别任务通过对 GTSRB 数据集的实现验证, 该分类器能够到达极好的准确率, 并能够高效地运行参考文献 : [] Greenhalgh J,Mirmehdi M.Real- time detection and recognition of road traffic signs[j].ieee Transactions on Intelligent Transportation Systems,22,3(4): [2] 徐岩, 王权威, 韦镇余. 一种融合加权 ELM 和 AdaBoost 的交通标志识别算法 [J]. 小型微型计算机系统,27,38(9): [3] 周俊宇, 赵艳明. 卷积神经网络在图像分类和目标检测应用综述 [J].,27,53(3):34-4. [4] 王龙, 刘辉, 王彬, 等. 结合肤色模型和卷积神经网络的手势识别方法 [J].,27,53(6): [5] Paulin M,Mairal J,Douze M,et al.convolutional patch 距是微乎其微的, 且结果都好于人工识别 98.84% 的准 representations for image retrieval:an unsupervised 确率本文方法在单个 GTX 7 的支持下只需要很少的训练时间, 约 3 个小时因此综合考虑, 本文的方法是一种性能优异的分类器方法 approach[j].international Journal of Computer Vision,26, 2():-2. [6] 郭克友, 贾海晶, 郭晓丽. 卷积神经网络在车牌分类器中的应用 [J].,27,53(4): 表 3 与其他方法结果的对比 [7] Bromley J,Bentz J W,Bottou L,et al.signature verification 方法准确率 /% using a SIAMESE time delay neural network[c]// Committee of CNNs International Conference on Neural Information Processing Siamese Network 99.4 Systems.Morgan Kaufmann Publishers Inc,993: WELM-AdaBoost 99.2 人工识别 [8] Hadsell R,Chopra S,Lecun Y.Dimensionality reduction Multi-Scale CNNs 98.3 by learning an invariant mapping[c]//26 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.IEEE,26: [9] Murphy K P.Machine learning:a probabilistic perspective[m].[s.l.]:mit Press,22. [] Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification with deep convolutional neural networks[c]//international Conference on Neural Information Processing Systems.Curran Associates Inc,22:97-5. [] Chen Y,Chen Y,Wang X,et al.deep learning face representation by joint identification-verification[c]//international Conference on Neural Information Processing Systems.[S.l.]:MIT Press,24: [2] Srivastava N,Hinton G,Krizhevsky A,et al.dropout:a simple way to prevent neural networks from overfitting[j]. Journal of Machine Learning Research,24,5(): [3] Jaderberg M,Simonyan K,Zisserman A,et al.spatial transformer networks[c]//international Conference on Neural Information Processing Systems.[S.l.]:MIT Press, 25: [4] Houben S,Stallkamp J,Salmen J,et al.detection of traffic signs in real-world images:the German traffic sign detection benchmark[c]//international Joint Conference on Neural Networks.IEEE,28:-8. [5] Ciresan D,Meier U,Masci J,et al.a committee of neural networks for traffic sign classification[c]//international Joint Conference on Neural Networks.IEEE, 2:98-92.

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位自然科学版文章编号视网膜图像中视盘的快速自动定位方法赵晓芳林土胜李碧摘要基于眼底视网膜血管的分布结构及视盘本身的特点提出一种快速自动定位视盘的方法首先根据视网膜血管的网络分布结构大致定位视盘的垂直坐标然后根据视盘的亮度信息及视盘与血管的关系来定位视盘的水平坐标最后把视盘限定在以粗定位的视盘为中心的一个小窗口内用变换精确定位视盘中心该方法不需要事先分割视网膜血管也不需要对算法进行训练