201902

Size: px

Start display at page:

Download "201902"

齐方
5 years ago
Views:

1 ,55(2) 基于深度学习的工业视觉检测系统晋博 1 1,2, 蔡念, 夏皓 1, 林健发 1. 广东工业大学信息工程学院, 广州佛山缔乐视觉科技有限公司, 广东佛山 Computer Engineering and Applications 2 摘要 : 针对零部件在工业生产线包装过程中存在检测速度慢, 自动化检测水平低下, 检测准确率不高等问题, 提出一种基于深度学习的工业零部件检测系统的方案设计, 实现对零部件自动检测的功能设计一种实验检测平台用于获取包含待检测零部件的图像 ; 提出一种改进网络共享卷积层结构的方法, 融合区域建议网络和区域卷积网络建立一种检测方法对目标零部件进行准确定位识别, 适应各种形状大小不一的零部件检测, 实现端到端训练输出定位检测结果实验结果表明, 系统的检测效果与传统的检测方法相比, 具有速度快, 检测准确率高等优越性关键词 : 工业零部件 ; 深度学习 ;RPN+RCNN 检测网络 ; 定位检测文献标志码 :A 中图分类号 :TP242.6 doi: /j.issn 晋博, 蔡念, 夏皓, 等. 基于深度学习的工业视觉检测系统.,2019,55(2): JIN Bo, CAI Nian, XIA Hao, et al. Industrial vision inspection system based on deep learning. Computer Engineering and Applications, 2019, 55(2): Industrial Vision Inspection System Based on Deep Learning JIN Bo 1, CAI Nian 1, 2, XIA Hao 1, LIN Jianfa 2 1.School of Information Engineering, Guangdong University of Technology, Guangzhou , China 2.Foshan Deepler Vision Technology Co. Ltd., Foshan, Guangdong , China Abstract:Several object detection problems inevitably occur when the product components are detected in the packaging procedure of the traditional industrial production line, including slow detection speed, low- level automation, and low detection accuracy. To solve these problems, a vision-based industrial objects detection system is established to automatically inspect the product components, which is based on deep learning. Firstly, an experimental platform is designed to obtain the images containing product components. The olution layer structures shared by the region proposal network and region olutional neural network are modified. Thus, a novel object detection method is proposed to accurately locate the product components, which can adaptively detect different product components with different shapes and different sizes by means of an end-to-end mode. The experimental results show that the established system is superior to the existing detection methods, which has the advantages of high detection speed and high detection accuracy. Key words:industrial objects; deep learning; Region Proposal Network and Region Convolutional Neural Network (RPN+RCNN); location detection 1 引言工业零部件是组成产品的重要组成部分, 出厂前必须确保没有任何错装漏装现象目前, 很多零部件的检测还处于人工检测阶段, 检测的效率和质量还有待提高随着机器视觉在工业上的快速应用, 有很多基于视觉的检测算法应用到工业生产线零部件检测但是, 工 [1] 业检测坏境复杂且有很多不稳定的因素, 一是待检测零部件种类繁多且形状大小不一, 二是待检测的工业零基金项目 : 国家自然科学基金 (No ); 广东省科技计划项目 (No.2015B ,No.2015B ); 广州市产学研协同创新重大专项项目 (No ) 作者简介 : 晋博 (1993 ), 男, 硕士研究生, 研究方向为计算机视觉系统 ; 蔡念 (1977 ), 通讯作者, 博士, 教授, 研究方向为机器视觉人工智能, cainian@gdut.edu.cn 收稿日期 : 修回日期 : 文章编号 : (2019) CNKI 网络出版 : ,

2 晋博, 等 : 基于深度学习的工业视觉检测系统 2019,55(2) 267 部件表面纹理特征较少很难提取有效特征, 并且检测的背景和待检测目标较为相似易存在漏检问题因此, 基于视觉的工业零部件检测仍拥有众多问题待解决传统的工业零部件检测方法主要基于零部件的形状和颜色特征建立模板, 利用模板对待检测零部件进行匹配检测文献 [2] 提出基于形状匹配的检测方法, 该方法需要根据纹理特征准确提取零部件轮廓, 对光照要求比较高, 受外界因素影响较大, 不能保证检测效率并且对较小零部件检测效果很差近几年, 深度学习在目标检测领域得到了快速发展文献 [3] 是选择性 [4] 搜索 (Selective Search,SS) 和区域卷积神经网络 [5] (Region Convolutional Neural Network,RCNN) 相结合的目标检测方法 (SS+RCNN) 该检测方法分为两步, 先使用选择性搜索方法获取可能是目标的 1 000~2 000 个候选框, 然后再用 RCNN 对提取的目标进行定位识别该方法可以应用于工业零部件检测, 但是当背景和待检测目标较为相似, 零部件表面纹理细节特征较少时, 往往检测效果很不稳定并且检测速度慢不能满足生产线实时检测本文根据实际工业的需求, 提出一种应用于工业生产线零部件检测的视觉检测方案通过分析实际工业生产线的检测环境和采集到的包含待检测零部件的图像, 改进基于 Faster RCNN [6] 检测框架的共享卷积层网络结构, 提出一种 RPN+RCNN 检测网络来适应对形状大小不一的零部件进行准确检测, 同时提高检测效率以确保生产线实时检测 2 视觉检测系统的构成整个视觉检测系统由硬件系统和图像处理分析软件系统两个部分构成 2.1 硬件系统构成硬件系统主要包括工业相机光源计算机下位机控制器和检测平台等核心组成部分检测系统的整个结构如图 1 所示首先通过检测平台工业相机获取多幅训练样本, 对图像预处理后输入 RPN+RCNN 检测网络进行训练学习获得检测模型 ; 然后利用光电传感器触发信号采集单张图像输入检测模型 ; 最后输出检测结果到下位机控制器模块进行下一步操作待检测零部件检测平台光源系统图像检测模块计算机 2.2 视觉检测系统软件的设计工业相机通信模块下位机控制器光电传感器图 1 检测系统结构视觉检测系统的软件主要由相机模块通信模块图像算法处理模块组成相机模块主要完成对相机 SDK 调用, 负责整个系统的图像采集工作通信模块主要基于串口通信与下位机控制器进行数据交流图像算法处理模块的实现主要基于深度学习框架 caffe 和图像处理开源库 opencv 研究开发, 主要负责对采集到的图像进行预处理, 然后通过所提出的 RPN+RCNN 检测网络对数据样本训练学习获取检测模型, 并将检测结果发送至通信模块 3 视觉检测系统软件的算法设计软件算法设计主要包括图像样本的采集训练和图像样本检测三部分, 其中样本的训练和检测是视觉检测系统的核心部分软件算法流程图如图 2 所示使用有监督的学习方式 [7] 对样本进行训练, 首先在样本中标注待检测零部件, 获取其位置坐标为保证训练样本的多样性和丰富性, 利用图像的物理变换分别对图像进行上下左右翻转, 然后再旋转扩展样本以产生足够多的训练数据将打好标签的样本数据输入 RPN+RCNN 检测网络进行训练, 建立检测模型通过触发采集图像信号, 加载训练好的检测模型, 利用 GPU 加速处理网络参数, 进一步提高检测速度最后输出定位零部件的位置坐标和类别视频图像触发采集信号获取当前帧图像图像标注图像样本扩充 RPN+RCNN 图检测网络结构图像算法流程图建立检测模型 GPU 加速定位零部件位置输出检测结果工业生产线上零部件排布密集, 且形状大小不一, [4,8] 现有目标检测方法主要针对较大目标进行检测, 对较小零部件检测结果不是很稳定, 网络训练时有较多的网络参数, 训练速度比较慢本文提出一种改进的 RPN+ RCNN 检测网络, 改变卷积层滤波器核参数和滤波器个数以适应对工业零部件目标特征的提取, 并且两个子网络共享前五段卷积层参数, 采用端到端训练方法减少训练时间 RPN 子网络主要根据标注的训练样本集产生可能包含目标的候选框 ;RCNN 子网络对候选框进行多任务分类和输出候选框位置坐标, 将得分大于设定阈值候选框通过非极大值抑制方法合并成目标所在位置的

3 268 精确区域 2019,55(2) RPN 网络结构 RPN 是一个全卷积神经网络, 使用卷积神经网络直接产生区域目标建议候选框 (Region Proposal), 其本质是一种滑动窗口方法, 其网络结构如图 3 所示网络进行五层卷积层操作后, 得到最后一层卷积特征图, 在这个特征图上使用 3 3 的滤波器窗口进行滑动遍及整个特征图为适应网络, 可以检测不同形状大小的零部件使用一个 Anchor 结构 [6], 即在最后的一个卷积特征图的每个位置上, 用 3 3 滑动窗口的中心位置同时预测 9 个长宽比大小不同的候选框网络的最后两个全卷积层一个用于候选框分类, 一个用于候选框回归其中候选框分类是判断得到的边框属于前景还是背景 [9], 候选框 Computer Engineering and Applications 回归主要获取边框位置坐标信息 ( 边框左上角坐标 :x y 和边框的宽度高度 :w h) 输入图片 5 5,1,32 3 3,1,32 力同理,Faster RCNN [6] 中第二个卷积层卷积核大小为 5 5, 用两个 3 3 大小的卷积核串联代替, 参数量只有原来的 72% 在每个卷积段的卷积核的数量一样, 越靠后段的卷积核数量越多, 对应五段分别是 [32,64,128, 384,256] 这里为适应对小目标零部件的检测, 设置 Anchor 结构所产生的候选框大小为 [16,32,64], 三个比例分别为 [1 1,1 2,2 1] 随着网络深度的增加, 获取更好的多样性和更深层次目标的特征 RCNN 网络结构 RCNN 是一个带有全连接层的神经网络, 网络结构如图 4 所示, 通过和 RPN 网络共享卷积层对产生的目标候选框进行多任务分类共享卷积层方法是定义了一个 ROI 池化层 (ROI pooling) 层, 把 RPN 网络产生的候选框映射到最后一个卷积特征图上这样在用 RCNN 网络进行多任务分类时不用重复进行卷积计算提取目标特征, 通过卷积层的共享提高检测的效率和速度网络最后接入全连接层实现多任务分类 ROI 池化层需 [10] 要将大小不一的候选框归一化到同样大小, 这样得到待检测目标的粗选区域, 对这些粗选区域窗口进行回归运算, 微调窗口得到待检测目标的精确位置 3 3,3, ,4, ,5, ,rpn/,256 输入图片 5 5,1,32 3 3,1,32 3 3,3,128 1x1,rpn_cls,18 1x1,rpn_box, ,4,384 Softmax 图 3 RPN 网络结构图 Faster RCNN 中的 RPN 网络拥有五层卷积层, 且第一个卷积层的卷积核大小为 7 7, 因此当检测尺寸较小的零部件时会将一些背景信息融入到网络中, 从而造成检测效果差本文提出了一种改进的 RPN 网络结构, 该网络有五段卷积层, 其中第一段和第二段都有两个卷积层, 选择用两个卷积核大小分别为 5 5 和 3 3 的卷积层串联代替, 这样两个串联的卷积层效果相当于一个 7 7 的卷积层, 同时串联的两个卷积层拥有更少的学习参数量, 只有原来的 69%(( )/(7 7)=69%) 比较重要的一点是, 两个串联的卷积层比一个 7 7 的卷积层拥有更多的非线性变换 ( 前者每个卷积层之后分别跟一个 ReLU 激活层, 可以进行两次非线性变换, 而后者只有一次 ), 可以增强卷积神经网络对特征的学习能图 4 3 3,5,256 cls_score Softmax ROIpooling RCNN 网络结构的前五段卷积层和 RPN 一样, 两者通过共享卷积层减少网络训练参数第五段卷积层 [11] 5 后接 ROI 池化层实现卷积层共享并进行网络端到端训练 ROI 池化层的输入是 RPN 网络产生预测目标的候选框和最后一层卷积特征图, 其输出接入到一个 512 维度全连接层 (fc6) 最后, 全连接层连接两个输出层, 分别预测待检测零部件的类别数和位置坐标 fc6 box_pred RCNN 网络结构图

晋博, 等 : 基于深度学习的工业视觉检测系统 2019,55(2) 269 3.

7 的候选框作为网络训练的正样本, 取重叠区域比例小于 0.3 的候选框作为训练的负样本, 重叠比例大于 0.3 小于 0.

的精确位置 [15] 网络训练时, 最小化两种误差构造训练损失函数, 第一类是分类误差, 判断 RPN 网络产生的候选框是前景还是背景 ; 第二类是边框回归误差, 判断产生候选框的位置坐标和实际标注边框坐标的的误差损失函数 [8] 是两类误差之和 : L({ p i

如果为前景样本则 p * i 等于 1, 否则为 0;t i 是标注边框的位置的向量, t * i 是产生候选框位置的向量 ;λ 是回归参数分类误差和边框回归误差分别通过 N cls 和 N reg 以及入进行平衡权重归一化 N cls 项归一化值是

项的权重近似相等, 有利于网络误差项优化, 后续实验验证了该推断根据损失函数使用 mini-batch 梯度 [16] 下降算法优化网络, 使损失函数收敛到全局最优化 [17] 端到端训练方式如图 5 所示输入样本特征映射层 RPN 网络 ROIs ROI 池化层

利用目标纹理颜色等信息提取待检测目标的候选框, 但是由于目标零部件和背景信息比较相似, 增加了背景和目标分离的难度, 并且易受外界条件光照影响, 所以在检测时会造成大量漏检现象, 其检测效果是三种方法中最差的文献 [6] 可以较好地检测较大目标 ( 如图 8 的

表达能力不强提出的 RPN+RCNN 网络改变卷积层网络结构增加网络的特征表达能力的同时减少了网络训练参数, 把漏检的错误率降到最低满足了工业生产要求, 针对小目标零部件取得比较鲁棒的检测效果 ( 图 6 的 C F 和图 7 的 C F), 并且

4 晋博, 等 : 基于深度学习的工业视觉检测系统 2019,55(2) 网络训练方法 RPN+RCNN 检测网络由两个卷积网络构成, 通过共享卷积层进行网络参数共享, 采用端到端的训练方式 [12] 直接输出检测结果即不用两个网络互相初始化参数交替训练, 而是先训练 RPN 网络, 选取产生的候选框和标注样本区域重叠比例为 0.7 的候选框作为网络训练的正样本, 取重叠区域比例小于 0.3 的候选框作为训练的负样本, 重叠比例大于 0.3 小于 0.7 的候选框舍去 [13] RCNN 网络的训练直接把 RPN 输出的大小不一的候选框和特征映射图 [14] 输入 ROI 池化层, 并将候选框归一化到同样大小, 然后送入 RCNN 网络使用 SoftMax 进行多任务分类训练, 最终输出待检测零部件的类别和微调后的精确位置 [15] 网络训练时, 最小化两种误差构造训练损失函数, 第一类是分类误差, 判断 RPN 网络产生的候选框是前景还是背景 ; 第二类是边框回归误差, 判断产生候选框的位置坐标和实际标注边框坐标的的误差损失函数 [8] 是两类误差之和 : L({ p i },{t i })= 1 N cls L cls ( p i,p * i) + λ 1 N i reg p * i L reg (t i,t * i )(1) i 其中 L 是分类误差和边框回归误差之和,i 是样本数索引 ;p i 是产生候选框是前景目标的概率, 如果为前景样本则 p * i 等于 1, 否则为 0;t i 是标注边框的位置的向量, t * i 是产生候选框位置的向量 ;λ 是回归参数分类误差和边框回归误差分别通过 N cls 和 N reg 以及入进行平衡权重归一化 N cls 项归一化值是 mini-batch [14] 大小, 根据系统硬件环境, 这里设置为 64;N reg 项归一化值是产 [15] 生的候选框位置的数量, 由于最后一层的卷积特征图大小是 30 40, 即得到 N reg 当 λ = 20,N cls 和 N reg 项的权重近似相等, 有利于网络误差项优化, 后续实验验证了该推断根据损失函数使用 mini-batch 梯度 [16] 下降算法优化网络, 使损失函数收敛到全局最优化 [17] 端到端训练方式如图 5 所示输入样本特征映射层 RPN 网络 ROIs ROI 池化层 cls_score pre_bbox 献 [4,6] 和提出的 RPN+RCNN 网络进行对比图 6~8 中分别为文献 [4](SS+RCNN) 文献 [8](Faster RCNN) 和本文 RPN+RCNN 网络的检测结果如图 6~8 所示, 文献 [4] 利用目标纹理颜色等信息提取待检测目标的候选框, 但是由于目标零部件和背景信息比较相似, 增加了背景和目标分离的难度, 并且易受外界条件光照影响, 所以在检测时会造成大量漏检现象, 其检测效果是三种方法中最差的文献 [6] 可以较好地检测较大目标 ( 如图 8 的 B E 所示 ) 但是, 在进行小目标零部件检测时, 易出现少量漏检的情况, 如螺钉 ( 图 6 的 B E) 胶粒 ( 图 7 的 B) 这是因为其前两层利用比较大的卷积核, 在提取小目标零部件浅层特征时, 背景信息占比很大会使提取的目标特征信息不够充分, 表达能力不强提出的 RPN+RCNN 网络改变卷积层网络结构增加网络的特征表达能力的同时减少了网络训练参数, 把漏检的错误率降到最低满足了工业生产要求, 针对小目标零部件取得比较鲁棒的检测效果 ( 图 6 的 C F 和图 7 的 C F), 并且对较大目标的检测效果与文献 [6] 相当 D E F 图 6 螺钉检测图 7 金属框胶粒检测图 5 端到端训练方式框架图 4 实验结果与分析实验数据采集于工业自动化装备生产线, 用图像采集器对每个种类零部件采集张样本数据, 其中 2 张样本制作为训练集, 张样本为测试集实验运行环境为 Linux 操作系统,caffe 深度学习框架 ; 硬件 CPU 为 i7/2.53 GHz,16 GB/RAM,GPU 为 GTX1080/ 8 GB RAM 为验证检测系统的性能随机选择几种产品中易错检漏检的零部件, 在相同的检测环境下, 分别用文 D E F 图 8 书架零部件检测为了进一步客观对比三种方法, 表 1~3 给出了具体检测时间和准确率的详细数据

5 ,55(2) 如表 1~3 所示, 文献 [4] 针对大小不同的目标使用不同比例的滑动框搜索方法获取候选框, 因此与文献 [6] Computer Engineering and Applications 和 RPN+RCNN 相比所用时间较多, 并且检测准确率不高, 检测效率低下文献 [6] 和 RPN+RCNN 直接使用卷积神经网络在最后的卷积特征图上产生候选框, 且在每计 [J]. 组合机床与自动化加工技术,2017(5): [2] Xie S,Zhang W,Ying W,et al.fast detecting moving objects in moving background using ORB feature matching[z] [3] Girshick R.Fast R-CNN[C]//Proceedings of ICCV 2015, 个位置上使用 Anchor 结构产生不同比例的边框, 因此相比于文献 [4] 提高了检测效率而且, 这两种方法在 [4] Uijlings J R,Sande K E,Gevers T,et al.selective search 检测时间上相当, 并且在针对较大零部件检测时准确率也是比较近似但是,RPN+RCNN 网络改变了共享卷积层网络结构, 在对小目标零部件检测时具有更高的检测准确率 for object recognition[j].international Journal of Computer Vision,2013,104(2): [5] Girshick R,Donahue J,Darrell T,et al.rich feature hierarchies for accurate object detection and semantic segmentation[c]//proceedings 表 1 SS+RCNN 方法测试结果数据表 of IEEE Conference on Com- puter Vision and Pattern Recognition,2014: 零部件种类测试样本 / 张检测时间 /s 检测准确率 /% [6] Erhan D,Szegedy C,Toshev A,et al.scalable object detection 螺钉 using deep neural networks[c]//proceedings of CVPR 胶粒 ,2014. 脚轮 [7] Redmon J,Divvala S,Girshick R,et al.you only look 书框 once:unified,real- time object detection[c]//proceedings of 表 2 Faster RCNN 方法测试结果数据表 CVPR 2016,2016. 零部件种类螺钉胶粒脚轮书框表 3 零部件种类螺钉胶粒脚轮书框测试样本 / 张检测时间 /s 检测准确率 /% RPN+RCNN 方法测试结果数据表测试样本 / 张检测时间 /s 检测准确率 /% 表 4 给出了不同回归参数入对 RPN+RCNN 网络的检测准确率的影响实验结果表明, 在一定取值范围内 (1~100), 不同的回归参数入值对检测准确率有 1% 左右的影响尤其是, 当 λ = 20 时, 检测准确率达到最大, 此时分类误差和边框回归误差对检测准确率的贡献度近似相等, 有利于网络误差项优化表 4 不同回归参数对检测准确率的影响 λ 平均准确率 /% 结论零部件是工业产品生产中重要的组成部件, 错检以及漏检不能保证产品的质量问题, 传统的人工检测比较耗时且准确率低下本文设计一种基于深度学习的工业视觉检测系统, 对检测网络的结构和训练方法进行改进, 与现有方法相比具有耗时低, 检测准确率高等优点, 尤其是针对尺寸较小的零部件具有较高的检测准确率该检测方法可以提高工业生产效率和出厂良品率, 为工业产线零部件的检测提供新的方法参考文献 : [1] 陈琦, 阮鸿雁. 基于机器视觉的滑动轴承缺陷检测系统设 [8] Ren S,He K,Girshick R,et al.faster R- CNN:towards real-time object detection with region proposal networks[j]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2015,39(6): [9] Sermanet P,Eigen D,Zhang X,et al.overfeat:integrated recognition,localization and detection using olutional networks[c]//proceedings of CVPR 2014,2014. [10] Shrivastava A,Gupta A.Contextual priming and feedback for faster R-CNN[C]//Proceedings of European Conference on Computer Vision,2016: [11] Liu H,Tian Y,Wang Y,et al.deep relative distance learning:tell the difference between similar vehicles[c]// Proceedings of Conference on Computer Vision and Pattern Recognition,2016: [12] Liu W,Anguelov D,Erhan D,et al.ssd:single shot MultiBox detector[c]//proceedings of ECCV 2016,2016. [13] He K,Zhang X,Ren S,et al.deep residual learning for image recognition[c]//proceedings of CVPR 2016,2016. [14] Zitnick C L,Dollár P.Edge boxes:locating object proposals from edges[c]//proceedings of ECCV 2014,2014: [15] Ren S,He K,Girshick R,et al.object detection networks on olutional feature maps[j].ieee Transactions on Pattern Analysis & Machine Intelligence,2017,39(7): [16] Qian Q,Jin R,Yi J,et al.efficient distance metric learning by adaptive sampling and mini- batch Stochastic Gradient Descent(SGD)[J].Machine Learning,2015, 99(3): [17] Szegedy C,Vanhoucke V,Ioffe S,et al.rethinking the inception architecture for computer vision[c]//proceedings of IEEE Conference on Computer Vision and Pattern Recognition,2016:

RPN 2 DeepParts 22 part pool 2 3 HOG 12 LBP 13 Harr - like 15 DPM 16 Deformable Parts Model VGG16 X. Wang 14 VGG Convolutiona

RPN 2 DeepParts 22 part pool 2 3 HOG 12 LBP 13 Harr - like 15 DPM 16 Deformable Parts Model VGG16 X. Wang 14 VGG Convolutiona 2017 22 2 CHINESE JOURNAL OF STEREOLOGY AND IMAGE ANALYSIS Vol. 22 No. 2 June 2017 209 1007-1482 2017 02-0209 -0215 DOI 10. 13505 /j. 1007-1482. 2017. 22. 02. 014 RPN 1 2 3 3 1 1 2 3 1. 100090 2. 100090