201904

Size: px

Start display at page:

Download "201904"

苍鲁
5 years ago
Views:

1 模式识别与人工智能 Computer Engineering and Applications 209,55(4) 37 基于卷积神经网络的嵌入式手势检测算法王锟, 宋永红, 郑斐, 梅魁志西安交通大学电子与信息工程学院, 西安摘要 : 针对嵌入式平台下卷积神经网络运行速度慢, 无法快速手势检测的问题, 提出一种基于 SSD 的卷积神经网络的嵌入式手势检测算法, 该算法显著提高了手势检测速度, 并保持了高精度首先通过一种预处理方法, 对原来的手势数据库进行 5 倍扩展 ; 然后对 SSD 算法的基础神经网络层进行卷积因子分解, 使用 obilenet 神经网络获得了在 CPU 下的 3 倍加速 ; 最后通过改变输入图片大小同时改变网络结构, 减少了算法的计算复杂度实验结果表明所提算法在两个数据集上的平均精度均值 (ean Average Precision,mAP) 下降 2.7%, 但是在 Qualcomm SnapDragon 820 平台下检测一张图片时间可达到 s, 检测速度提高 40 倍以上关键词 : 嵌入式神经网络加速 ; 手势检测 ; 卷积神经网络 ;SSD 文献标志码 :A 中图分类号 :TP39 doi:0.3778/j.issn 王锟, 宋永红, 郑斐, 等. 基于卷积神经网络的嵌入式手势检测算法.,209,55(4):37-4. WANG Kun, SONG Yonghong, ZHENG Fei, et al. Embedded gesture detection algorithm based on convolutional neural network. Computer Engineering and Applications, 209, 55(4):37-4. Embedded Gesture Detection Algorithm Based on Convolutional Neural Network WANG Kun, SONG Yonghong, ZHENG Fei, EI Kuizhi School of Electronic and Information Engineering, Xi an Jiaotong University, Xi an 70049, China Abstract:Aiming at solving the problems that the convolutional neural network runs slowly and people can not detect fastly gesture under embedded platform, this paper proposes an embedded gesture detection algorithm based on convolution neural network, which significantly improves the speed of gesture detection and maintains high accuracy. Firstly, a new preprocessing method is used to extend the original gesture database by 5 times. Then, the original neural network layer of the Single Shot ultibox Detector(SSD)algorithm is changed, and a 3 times acceleration under the CPU is obtained by using the obilenet neural network. Finally, using different sizes of input pictures and changing the network structure at the same time, the amount of calculation of the algorithm is greatly reduced. The experimental results show that the proposed algorithm reduces mean Average Precision(mAP)by 2.7% in two datasets, but under the Qualcomm SnapDragon 820 platform, a picture can be detected to reach s and the detection speed is increased by more than 40 times. Key words:embedded neural network acceleration; gesture detection; convolutional neural network; Single Shot ulti- Box Detector(SSD) 引言基于计算机视觉的手势识别技术是人机交互方式中重要的发展方向手势是人们日常生活中除了自然语言外, 最常用到的交流方式利用手势进行交互, 即通过计算机视觉等技术识别人的手势动作, 并转化为命令来操作设备, 彻底颠覆单一通过鼠标键盘的操作模基金项目 : 国家重点研发计划 (No.207YFB3000) 作者简介 : 王锟 (993 ), 男, 硕士生, 研究方向为深度学习物体检测 ; 宋永红 (97 ), 女, 高级工程师, 研究方向为图像 / 视频内容分析与理解方法文本图像处理算法基于视觉的人机交互技术 ; 郑斐 (99 ), 女, 硕士生, 研究方向为专用处理器集成开发环境设计 ; 梅魁志, 通讯作者, 男, 教授, 博导, 研究方向为视频图像 / 视觉信息处理图像分类与识别 VLSI 与多核 SOC 设计嵌入式系统软件及应用, meikuizhi@mail.xjtu.edu.cn 收稿日期 : 修回日期 : 文章编号 : (209)

38 209,55(4) 式, 使得人机互动的理念更加彻底地展现出来, 能够更 Computer Engineering and Applications 进一步地提升用户体验, 因此手势识别技术有着广阔的的场景中, 两种不同的光照条件 ( 日光白炽灯光 ) 下采应用领域集, 一共 2 750 张图片实验室采集的手势数据集包括传统的手势识别方法可以分为基于模板匹配的方两类手势,

5~2 m 之间, 而采用的 The NUS Hand Posture Datasets () 测试环境严重依赖于采集的训练数据的环境 (2) 即 II 手势数据集的拍摄距离为 m 同时, 神经网络的参使在相同环境下, 对测试者所在的位置也有着限制 (3) 这数特别多 ( 可以达到上亿, 目前已经可以支持到万亿参些传统的手势识别方法在大样本复杂情况下检测的识数 ), 参数越多,

2 38 209,55(4) 式, 使得人机互动的理念更加彻底地展现出来, 能够更 Computer Engineering and Applications 进一步地提升用户体验, 因此手势识别技术有着广阔的的场景中, 两种不同的光照条件 ( 日光白炽灯光 ) 下采应用领域集, 一共张图片实验室采集的手势数据集包括传统的手势识别方法可以分为基于模板匹配的方两类手势, 拳头和手掌, 这个手势数据集共有张手 [-2] [3] [4] 法基于机器学习的方法基于几何特征的方法势图片 [5] [] 隐马尔可夫模型的方法动态时间规整方法但是考虑到在实际使用环境中, 通常手距离摄像头为这种传统的手势识别方法仍然会出现以下三个问题 : 0.5~2 m 之间, 而采用的 The NUS Hand Posture Datasets () 测试环境严重依赖于采集的训练数据的环境 (2) 即 II 手势数据集的拍摄距离为 m 同时, 神经网络的参使在相同环境下, 对测试者所在的位置也有着限制 (3) 这数特别多 ( 可以达到上亿, 目前已经可以支持到万亿参些传统的手势识别方法在大样本复杂情况下检测的识数 ), 参数越多, 表示模型的搜索空间就越大, 必须有足够别率不高的数据才能更好地刻画出模型在空间上的分布因此, 由于深度神经网络 AlexNet [7] 在 202 年的 ImageNet 无论从实际手势识别的使用环境, 还是训练深度神经 LSVR 图像分类比赛中成绩优异, 越来越多的研究者关网络的数据量上来看, 仅使用 The NUS Hand Posture 注使用深度神经网络对图像进行分类与识别深度神经网络已经成功应用于手写数字识别人脸识别等领 Datasets II 手势数据集的原始手势图片是不可行的域深度神经网络用于目标检测的主要方法有 R-CNN 本文对 The NUS Hand Posture Datasets II 手势数据集 (Regions with Convolutional Neural Network) [8] Faster 的原始手势图片进行倍的缩放, 并且把 R-CNN [9] YOLO(You Only Look Once) [0] SSD [] 等, 缩放后的图片粘贴到一些大小为 0 20 的背景图片这些方法都保持了高检测精度但是深度神经网络也上, 手势数据增广示例如图所示这样张原始有自己的局限性, 其一般依赖于图形处理器 (Graphics Processing Unit,GPU) 的强大计算能力这种局限性限制了深度神经网络在移动设备上的使用随着智能移动设备的普及, 便携性移动设备得到了空前的发展, 将深度神经网络应用于嵌入式设备中来改善用户体验, 扩大适用范围, 已经展现出了极强的工程吸引力 AR(Advanced RISC achine) 嵌入式处理器近些年也取得了飞速的发展, 最新的 Samsung Exynos 8895 处理器为八核, 最高主频为 2.5 GHz 使用更高效的卷积层来减少神经网络的运算复杂度, 应用到嵌入式设备中得到许多研究者的重视, 例如谷歌的 obilenet [2] 网络和 face++ 的 ShuffleNet [3] 网络因此本文通过改进网络结构, 提出了基于 SSD 的卷积神经网络的嵌入式手势检测算法, 该算法在嵌入式平台下能够高效运行 2 数据预处理及 SSD 算法深度学习依赖于大型标记数据集和大规模计算能 [4] 力, 其中深度学习中物体检测的性能仍然以训练数据集规模呈线性增加 SSD 算法在深度学习物体检测算法 [5] 中以精度高速度快著称, 适合在嵌入式平台上实现 2. 小样本数据集增广预处理为了尽可能地扩大手势数据集规模, 本文采取多种手势数据集融合进行训练的方法, 并对 The NUS (National University of Singapore)Hand Posture Datasets II 手势数据集进行增广预处理本文使用的手势数据库有 The NUS Hand Posture Datasets II 和实验室采集的手势数据集 The NUS Hand Posture Datasets II 手势数据集包括 0 类手势这些手势图片在 40 种不同手势图片被扩充为张不同大小的手势图片同时, 为了不使得 0 类手势图片数量之间有过大差异, 没有对实验室采集的两类手势图片进行扩充, 直接加入这张手势图片, 组成一个张 0 类手势的手势数据集图手势数据增广示例 2.2 SSD 算法 default box 是目标检测的候选区域,default box 越多, 需要的时间越长 ;default box 越少, 需要的时间越短如图 2 所示,feature map cell 就是 feature map(4 4) 中的一个个小格子 ; 而 default box 就是每一个小格子上一系列固定大小的虚线框原始图片 4 4 feature map 图 2 feature map cell 和 default box 的示意图

3 王锟, 等 : 基于卷积神经网络的嵌入式手势检测算法 209,55(4) 39 SSD 算法基于前馈卷积网络, 其产生固定大小的边界框集合和框中对象类别的分数, 接着是非最大化抑制信度 conv4_3 fc7 conv7_2 conv8_2 conv9_2 卷积层步骤以产生最终检测 SSD 算法的网络结构可以分为处理过程与卷积层相同两部分 : 卷积网络和辅助网络卷积网络也就是特征提 default box 数量是 SSD 算法计算复杂度的关键取网络, 用于降低图片维度, 提取图片特征, 并且加入非具体来说 conv4_3 conv8_2 conv9_2 卷积层每个 feature map cell 产生 4 个 default box, 而 fc7 线性提升网络的表达能力 SSD 算法前面是用于特征提取的卷积网络, 使用的是 VGG(Visual Geometry conv7_2 卷积层产生个, 一共产生 Group) 网络前 5 层卷积层, 并在后面添加了 8 层卷积层 =8 732 个 default box (conv_~conv9_2) 使用其中的 conv4_3 fc7 conv7_2 conv8_2 conv9_2 来产生一系列不同尺度的 feature map 用于检测, 在底层的 feature map 的感受野比较小, 高层的 feature map 的感受野比较大卷积网络结构图如图 3 所示辅助网络是指用于产生 feature map 的特征层后面添加的 mbox_loc mbox_conf mbox_priorbox 层 mbox_loc 层用于生成物体位置的预测 ;mbox_conf 层用于生成物体类别的预测 ;mbox_priorbox 层用于生成 default box 的大小范围, 宽长比为 2 或者 3 如图 4 所示, 以卷积层为示例说明一层卷积层如何经过 mbox_loc mbox_conf mbox_priorbox 层的处理得到物体位置和置 3 SSD 算法网络结构改进本文提出了基于 SSD 的卷积神经网络的嵌入式手势检测算法手势检测算法的改进主要包括两部分 : 基础网络卷积层的因子分解, 使用不同大小的输入图片同时改变网络结构首先, 卷积因子分解 SSD 算法的卷积网络为 obilenet 然后, 更改输入图片大小进而更改网络结构, 减少 default box 的数目, 最终加快手势图片的检测速度, 并且保持高检测精度对所提算法详述如下输入维度 data pool fc conv_ conv4_ conv_ conv_2 conv4_ pool conv4_ conv7_ conv2_ pool conv7_ conv2_2 conv5_ conv8_ pool2 conv5_ conv8_2 conv3_ conv5_ conv9_ conv3_2 pool conv9_ conv3_3 fc 25 图 3 SSD 算法卷积网络结构图 _mbox_loc _mbox_conf _mbox_priorbox _mbox_loc_perm _mbox_conf_perm _mbox_loc_flat _mbox_conf_flat mbox_priorbox mbox_loc mbox_conf mbox_loss 图 4 卷积层的处理过程图

4 40 209,55(4) 3. 基础网络卷积层的因子分解 obilenet 网络是一种对卷积层进行卷积因子分解, 以降低计算复杂度的神经网络卷积因子分解原理如图 5 所示 Computer Engineering and Applications obilenet 网络将标准的卷积分解为深度卷积和卷积来减少运算量, 卷积层将单个滤波器应用到每一个输入通道, 然后用卷积来组合成一组新的输出通过因子分解卷积可以减少的计算量为 : D K D K D F D F + N D F D F = D K D K N D F D F N + D 2 K 式中,D K 为卷积核的大小, 一般为 3;N 为输出通道的数量, 比较大 ( 几百或者上千 );D F 是正方形特征图的宽和高 ; 是输入通道的数量这样使用卷积因子分解的计算量为标准卷积运算的 /8~/9 SSD 算法中基础网络卷积层为 VGG 卷积层 (conv~conv5_3), 为了加快卷积层的计算速度, 本文把基础网络卷积层用 obilenet 进行卷积因子分解卷积因子分解时最重要的是维度匹配, 因此使用 obilenet 网络的 conv~conv5_5/sep, 与 VGG 网络的输出特征图维度保持一致为 9 9 使用的 obilenet 网络结构如表所示 3.2 default box 数目的调整本文把 SSD 算法的基础网络卷积层改用 obilenet 网络的 conv~conv5_5/sep, 经过基础网络可以把输入图片缩小到大约 /, 如大小的图片经过基础网络后 feature map 大小为 9 9 添加的卷积层每两层卷积操作,feature map 大小缩小到 /2, 以便于提供更多尺寸大小的 feature map, 最底层的 feature map 大小为 D K N 传统卷积核 D K D K 图 5 深度卷积核 N 卷积核从最底层逆向推输入图片的大小有两种方案 : 方案, 最底层的 feature map 大小为, 次底层大小为 2 2, 再上一层大小为 4 4 方案输入的最小图片大小为 4 4 方案 2, 最底层的 feature map 大小为, 次 + 卷积因子分解原理底层大小为 3 3, 再上一层大小为 5 5 方案 2 输入最小图片大小为最大输入图片设定为原始的大小按上述的两种方案可以设置组实验, 输入图片大小分别为 ,25 25,50 50,28 28,75 75,4 4 它们的基础网络卷积层数是相同的, 添加卷积层数依次递减由于图片大小的依次变小,feature map 大小也依次变小, 使得检测过程中使用的 default box 数目依次减小, 从而减少检测过程中的计算量, 提高检测速度组实验中, 最底层特征层使用的框的个数为 4, 其他特征层使用的框的个数为表 2 是实验组 default box 数目计算方法网络层 conv4_3 fc7 conv7_2 conv8_2 conv9_2 共计网络层 conv conv2_/dw conv2_/sep conv2_2/dw conv2_2/sep conv3_/dw conv3_/sep conv3_2/dw conv3_2/sep conv4_/dw conv4_/sep conv4_2/dw conv4_2/sep conv5_5/sep 表 2 组实验中使用的 default box 数目如表 3 所示表 3 表 4 实验结果使用的 obilenet 网络结构卷积核大小 feature map cell 数目个数输入维度实验组 default box 数目检测模型 SSD+obileNet_ SSD+obileNet_25 25 SSD+obileNet_50 50 SSD+obileNet_28 28 SSD+obileNet_75 75 SSD+obileNet_8 8 使用 obilenet 神经网络和 VGG 神经网络分别 4 default box 数目组实验中使用的 default box 数目 default box 数目

5 王锟, 等 : 基于卷积神经网络的嵌入式手势检测算法 209,55(4) 4 SSD 表 5 SSD+obileNet_ SSD+obileNet_25 25 SSD+obileNet_50 50 SSD+obileNet_28 28 SSD+obileNet_8 8 第一张图在 ImageNet 数据集上进行测试,obileNet 的 top- 准确加载 caffemodel 模型后检测图片分为两部分 : 加载图片率为 70.%,VGG 的准确率为 7.5% [2] 从准确率方面位置信息检测图片 default box 数目的调整测试结果 obilenet 网络和 VGG 网络是相近的, 但是 obilenet 网络比 VGG 网络在乘加次数方面减少到 /2, 在参数方面减少到 /32 在 SSD 检测模型中使用的是 VGG 网络的卷积层 (conv_~conv5_3) 来提取图像特征, 可以把 SSD 中负责特征提取的卷积层因子分解为 obilenet 中的卷积层 (conv~conv5_5/sep) 来减小模型大小, 提高检测速度实验使用的环境为 Ubuntu4.04,GPU 型号为 Titan X,CPU 型号为 Intel I7 3930K, 在基于神经网络框架 Caffe 的基础上实现本文算法测试数据是手势数据库中 0% 的图片, 一共 575 张图片手势数据库包含 The NUS Hand Posture Datasets II 手势数据集和实验室采集的手势数据集, 图片归一为大小使用 Faster RCNN 检测模型做对比实验,SSD+obileNet 检测模型使用了卷积层的因子分解方法 Faster RCNN 检测模型 SSD 检测模型和 SSD+obileNet 检测模型对上述测试集进行测试得到 map, 并对 0 张图片在 GPU 下所用平均时间和在 CPU 下所用平均时间进行测试, 卷积层的因子分解后的比较结果如表 4 所示表 4 卷积层的因子分解后比较结果 Qualcomm SnapDragon 820 平台下 default box 数目的调整测试结果耗时 /s 模型加载位置信息和第二张图第三张图第四张图第五张图第六张图 map SSD+obileNet_ 如表 5 所示, 表中 map 为在 575 张手势测试图片上得到的准确度在这 7 组实验中,SSD+obileNet_8 8 实验组的检测速度最快, 在 Qualcomm SnapDragon 820 平台下检测一张图片大约需要 s, 在测试集下的 map 为 SSD 实验组检测一张图片需要 s, 在测试集下的 map 为.000 本文提出的算法在 Qualcomm SnapDragon 820 平台下检测一张图片的检测速度提高了 40 倍以上, 并依然保持了很高的检测精度 5 结束语本文在分析传统机器学习方法和现有深度学习方法在手势检测方面局限性的基础上, 结合手势检测和深度学习的特点, 改进了手势数据集的预处理方法, 提出了一种基于 SSD 的卷积神经网络的嵌入式手势检测算法所提算法使用了轻量级的神经网络 obilenet 的卷积层因子分解方法, 同时改变输入图片大小和网络结构, 能够实现嵌入式平台下的快速手势检测对比实验取得了大幅度的加速效果在未来的工作中将试验 ShuffleNet 神经网络, 以进一步提高检测速度检测模型测试集 map GPU 耗时 /s CPU 耗时 /s Faster RCNN SSD SSD+obileNet 三种检测模型中,Faster RCNN 耗时最长 SSD 和 SSD+obileNet 在 GPU 下的耗时是相似的, 在 CPU 下 SSD+obileNet 比 SSD 加速 3 倍本文的最终目的是将手势检测模型移植到嵌入式平台上, 因此更关注在 CPU 下的耗时本文使用 SSD 和上述的两种方案一共设置 7 组实验, 输入图片大小分别为 , ,25 25, 50 50,28 28,75 75,4 4 嵌入式测试平台为 Qualcomm SnapDragon 820 CPU, 主频.8 GHz, 四核, 运行环境 Android 7.0 ADB shell 一共检测张图片, 参考文献 : [] Hong S J,Setiawan N A,Lee C W.Real- time vision based gesture recognition for human- robot interaction[c]// International Conference on Knowledge- Based Intelligent Information and Engineering Systems.Berlin:Springer- Verlag,2007: [2] Hasanuzzaman,Zhang T,Ampornaramveth V,et al. Gesture based human robot interaction using a knowledge based software platform[j].industrial Robot,2005, 33(): [3] Feng K P,Yuan F.Static hand gesture recognition based on HOG characters and support vector machines[c]// International Symposium on Instrumentation and easurement,sensor Network and Automation,204: ( 下转第 78 页 )

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位自然科学版文章编号视网膜图像中视盘的快速自动定位方法赵晓芳林土胜李碧摘要基于眼底视网膜血管的分布结构及视盘本身的特点提出一种快速自动定位视盘的方法首先根据视网膜血管的网络分布结构大致定位视盘的垂直坐标然后根据视盘的亮度信息及视盘与血管的关系来定位视盘的水平坐标最后把视盘限定在以粗定位的视盘为中心的一个小窗口内用变换精确定位视盘中心该方法不需要事先分割视网膜血管也不需要对算法进行训练