Microsoft Word _钱卫东_ _1 _1_.doc

Size: px

Start display at page:

Download "Microsoft Word _钱卫东_ _1 _1_.doc"

炖简容
4 years ago
Views:

1 红外应用基于 BRISK 的模板匹配在变电设备红外监测中的应用钱卫东 1, 王建平 1, 赵宝瑞 1, 徐国智 2, 戚银城 (1. 国网甘肃省电力公司兰州供电公司, 甘肃兰州 ;2. 华北电力大学电气与电子工程学院, 河北保定 ) 摘要 : 为了提高电力系统变电设备红外监测的效率, 同时对多个相似目标进行监测, 提出了一种改进的基于 BRISK(Binary Robust Invariant Scalable Keypoints, 二进制鲁棒尺度不变特征 ) 的模板匹配方法首先在对目标模板图像与被监测图像预处理的基础上, 利用 BRISK 算法提取模板与被监测红外图像的特征点, 生成二进制描述子 ; 利用滑动窗口在被监测图像上等步长滑动, 检测出图像中存在的多个疑似目标区域, 然后通过 Hamming 距离来判断正确匹配点对, 从而正确识别变电设备通过实验平台进行了相关实验, 通过与模板匹配方法比较, 该方法明显减少了运算量, 充分满足系统实时性要求, 提高了变电设备红外监测的效率关键词 : 模板匹配 ;BRISK; 变电设备 ; 红外监测中图分类号 :TM755,TP 文献标识码 :A 文章编号 : (2014) Application of BRISK Based Template Matching in Infrared Image Monitoring for Substation Equipment QIAN Wei-dong 1,WANG Jian-ping 1,ZHAO Bao-rui 1,XU Guo-zhi 2,QI Yin-cheng 2 (1. State Grid Gansu Electric Power Corporation Lanzhou Power Supply Company, Lanzhou , China; 2.School of Electric and Electronic Engineering, North China Electric Power University, Baoding , China) Abstract:In order to improve the efficiency of infrared monitoring on power system equipment and monitoring multiple targets at the same time, an improved substation equipment infrared image recognition method based on Binary Robust Invariant Scalable Keypoints(BRISK)is proposed. The method first extracts the feature points of the template image and the monitored image using BRISK algorithm, and generates the binary descriptors; then applies a sliding detection window to search the multiple suspected target areas, then determines the correct matching points by Hamming distance; so we can locate the target area on the monitored image. Some experiments are taken to investigate the performance of the method; the result shows that this method can significantly reduces the amount of computation, fully meets the requirements of real-time systems. This method improves the efficiency of infrared monitoring on power system equipment. Key words:template matching,brisk,substation equipment,infrared monitoring 0 引言在变电设备监测中, 基于红外热成像的监测方法近几年快速发展, 由于其采用非接触方式进行检测, 能够在不影响正常生产运行的条件下及时准确地发现变电设备的热故障 [1-3], 具有显著的社会效益和经济效益, 越来越广泛地应用于电力工业中, 成为变电设备健康状态监测和故障诊断的重要手段 [4-6] 为了获得更好的监测效果, 常常需要同时识别多个相似变电设备目标, 而多相对称设备 ( 如绝缘子套管等 ), 其外形特征往往极其相似若采用人工检测往往需要大量人力, 不能及时完成检测, 且易出现漏检误检的情况为了能识别出同一场景收稿日期 : ; 修订日期 : 作者简介 : 钱卫东 (1969-), 男, 高级工程师, 主要研究方向为高电压技术基金项目 : 国家电网公司科技项目, 编号 :SGGSLZ00YJJS

第 36 卷第 11 期 Vol.36 No.11 2014 年 11 月钱卫东等 : 基于 BRISK 的模板匹配在变电设备红外监测中的应用 Nov.

2 第 36 卷第 11 期 Vol.36 No 年 11 月钱卫东等 : 基于 BRISK 的模板匹配在变电设备红外监测中的应用 Nov 中的多个相似目标, 目前常采用基于灰度相关性的模板匹配方法, 在长期的应用中取得了多方面的成功 [5] 该方法虽然应用简便, 但计算量非常大, 识别速度较慢 [7], 且当目标存在光照尺度和角度等变化时很难保证鲁棒性, 另外红外图像具有低分辨率噪声大等特点 [8-9], 仅利用其灰度信息, 模板匹配方法的识别精度很难满足现场要求本文在对模板匹配方法进行深入分析的基础上, 提出了基于 BRISK 的变电设备红外图像识别方法, 可以准确识别出多个相似设备该方法采用局部不变特征信息代替原有模板匹配方法中的灰度信息进行相似性计算, 采用滑动检测窗确定多个目标的区域, 利用二进制描述子以及 Hamming 距离匹配, 实验结果表明, 在多目标识别过程中, 较原有的模板匹配方法, 运算速度及内存占用量有了明显改善 1 二进制鲁棒尺度不变特征 (BRISK) 算法近几年, 局部不变特征算法获得了极大发展, 其中较出色的有尺度不变性特征转换 (SIFT), 加速鲁棒特征 (SURF), 定向快速旋转 Brief 特征 (ORB) 及二进制鲁棒尺度不变特征 (BRISK) 等 [10-13] 而 BRISK 算法是一种新的特征点检测和描述算法, 在特征点描述中由于其采用二进制描述子并在匹配中运用 Hamming 距离, 故在运算资源占用量上相对 SIFT 等算法有了明显改善整个算法流程包括特征点检测和描述子建立 2 个阶段 1.1 BRISK 特征点检测 BRISK 特征点检测算法是在文献 [13] 中提出的 AGAST(Adaptive and Generic Accelerated Segment Test) 角点检测算法基础上发展而来的其实现方法是检测以待提取点为圆心的 Bresenham 圆周上各点的像素值, 如果待提取点的像素值比周围若干个点的像素值大或者小, 则认为该待提取点为一特征点如图 1 [13] 所示,BRISK 采用的是 9-16 判决掩膜, 即如果圆周上 16 个像素中至少存在 9 个连续的像素比中心像素更亮或者更暗, 则该中心点为特征点为了获取具有尺度不变性的特征点,BRISK 不仅在图像空间域中检测, 而且还在其尺度域中进行搜索, 尺度空间金字塔如图 2 所示, 该尺度空间金字塔由 n 个外层 (octaves)c i 以及 n-1 个中间层 (intra-octaves)d i 构成,i={0,1,2,, n-1}, 一般 n=4 其中 c 0 为原图, 其他外层通过连续对 c 0 进行下采样获取, 每个中间层处于两个相邻外层之间, d 0 由对 c 0 进行因子为 1.5 的下采样得到, 其余中间层由对 d 0 连续下采样获取然后利用 FAST 算子以 T 为阈值对每一外层和中间层进行检测, 得到疑似的兴趣区 [11] 对这些疑似兴趣区中关键点在尺度空间进行非极大值抑制, 并对极大值进行亚像素和连续尺度校正图 2 描述了尺度空间中关键点的搜索策略 1.2 BRISK 描述子建立特征点检测后, 可得到一组坐标确定的特征点集, 接下来对特征点生成 BRISK 二进制描述子该二进制描述子是通过对特征点周围采样点的灰度值对比来获得文献 [14] 中证明, 这类二进制描述子在运算速度上具有明显优势图 3 是 BRISK 算法的采样模式 BRISK 算法在采样时对特征点周围的采样点 ( 共计 60 个 ) 进行采样, 图中所示实线小圆圈表示采样点坐标, 虚线大圆圈用来调整采样点距离中心区域的密度为了避免对灰度图像进行采样时出现图像混叠效应, 需要利用高斯函数进行平滑滤波处理, 可用标准差参数为 i 的高斯函数来处理图像图 3 中的虚线大圆半径即为相应采样点的高斯平滑核的标准差一个特征点 k 周围有 z (z-1)/2 个采样点对 (p i,p j ), 其平滑强度值分别设为 I(p i, i ) 和 I(p j, j ), 则局部梯度为 : I p g p p p p i, j j i j, j I pi, i p j p 2 i (1) 图 1 AGAST 角点检测 Fig.1 AGAST segment test 图 2 尺度空间关键点检测 Fig.2 Scale-space interest point detection 935

1, I( pj, j) I( pi, i) b 0, 其他 (6) 2 改进的变电设备红外图像识别方法图 3 BRISK 抽样模式 Fig.

67t 定义短距离采样对的 S 子集和长距离采样对的 L 子集分别为 : S={(p i, p j ) A p j -p i < max } A (3) L={(p i, p j ) A p j -p i >δ min } A (4) 那么由式 (1)~(4) 得特征点 k 的模式方向为 : gx 1 g gpi, pj g (5) y L pi, pjl

首先利用滑动窗口对监测图像进行滑动检测, 对检测结果中的多个疑似区域采用 BRISK 特征匹配从而确定多个目标的位置本文的方法具体描述如下 : 1) 模板图像与监测图像预处理首先分别对红外监测图像和红外模板图像进行灰度化, 然后利用形态学上的开运算分别对监测图像和模板图像先腐蚀再膨胀完成去噪, 最后对它们进行对比度增强操作使图像的边缘更加明显 2) BRISK

3 1, I( pj, j) I( pi, i) b 0, 其他 (6) 2 改进的变电设备红外图像识别方法图 3 BRISK 抽样模式 Fig.3 BRISK sampling pattern 令集合 A 为所有采样点对集 : A={(p i,p j ) R 2 R 2 i<n j<i i, j N} (2) 式中 :R 2 表示所有二维向量的集合,N 为自然数集令 t 为特征点 k 的尺度, 距离阈值分别设置为 δ max =9.75t,δ min =13.67t 定义短距离采样对的 S 子集和长距离采样对的 L 子集分别为 : S={(p i, p j ) A p j -p i < max } A (3) L={(p i, p j ) A p j -p i >δ min } A (4) 那么由式 (1)~(4) 得特征点 k 的模式方向为 : gx 1 g gpi, pj g (5) y L pi, pjl 以特征点为中心, 将采样模式旋转一个角度, =arctan2(g y,g x ), 这样特征点就可以具有旋转不变性在采样模式旋转后对所有短距离采样点对进行亮度比较, 生成 512 位二进制描述子, 其中每个比特 b 按照如式 (6) 计算 : 为了解决红外图像中多个相似设备识别问题, 本文对模板匹配方法进行改进, 利用 BRISK 特征代替灰度信息首先利用滑动窗口对监测图像进行滑动检测, 对检测结果中的多个疑似区域采用 BRISK 特征匹配从而确定多个目标的位置本文的方法具体描述如下 : 1) 模板图像与监测图像预处理首先分别对红外监测图像和红外模板图像进行灰度化, 然后利用形态学上的开运算分别对监测图像和模板图像先腐蚀再膨胀完成去噪, 最后对它们进行对比度增强操作使图像的边缘更加明显 2) BRISK 特征点提取利用 BRISK 算法分别对红外监测图像和红外模板图像进行 AGAST 角点探测算法来检测局部极值点并去除噪声和边缘得到特征点实现特征提取 ; 进而生成二进制描述子特征点提取结果如图 4 所示, 采用 BRISK 算法分别对绝缘子红外图像图 4(a) 与变电站套管红外图像图 4(c) 进行 AGAST 角点检测, 提取的特征点坐标如图 4(b) 图 4(d) 中所示 (a) 绝缘子红外原图 (b) 绝缘子特征点图 (c) 变电站套管红外原图 (d) 变电站套管特征点图图 4 采用 BRISK 算法对红外图像进行特征点检测 Fig.4 Using BRISK algorithm for infrared image keypoints detection 936

4 第 36 卷第 11 期 Vol.36 No 年 11 月钱卫东等 : 基于 BRISK 的模板匹配在变电设备红外监测中的应用 Nov ) 搜索空间及搜索算法将模板在图上移动遍历并计算相似度, 相似度最大处即为匹配最佳处如图 5 所示, 假定尺寸为 m n 的小图像为模板图像 w(x,y), 尺寸为 M N 的大图像为监测图像 f(x,y)(m<m, n<n), 如果要寻找监测目标在 f(x,y) 中的位置, 可以用 w(x,y) 在 f(x,y) 上以一定的步长滑动, 每滑动到一个位置,w(x,y) 在所覆盖位置就有一个子图像 g(x,y) 若子图像 g(x,y) 中包含 T 个特征点时, 则进入步骤 4) 利用 BRISK 进行特征点匹配若 g(x,y) 中包含特征点数小于 T, 则 w(x,y) 继续移动图 5 模板在监测图像中遍历规则 Fig.5 Traversal rules of the template in the monitoring image 4) BRISK 特征点匹配先利用 Hamming 距离作为判据对模板和监测图像中的特征点进行匹配, 然后利用 RANSAC (Random Sample Consensus) 对检测出的特征点对进行消除错误匹配处理, 得到正确匹配的点对对 w(x,y) 与 g(x,y) 的正确匹配点对数 n 进行排序, 从中得到若干接近的子图像 5) 目标区域定位因为模板与监测图像之间存在平移缩放及旋转关系, 故设 (x, y) (x', y') 分别为模板与监测图像中对应点对的坐标, 其仿射变换模型可表示为 : x a11 a12 x b1 y a21 a 22 y b2 式中有 6 个参数 [a 11, a 12, a 21, a 22, b 1, b 2 ], 其决定了两幅图像的坐标之间的仿射关系, 故至少需 3 对点对即可确定这 6 个参数对模板图像利用上述仿射变换模型得到模板图像在监测图像中的位置, 从而确定定位区域 6) 目标区域显示在监测图像的定位区域内, 将目标在监测图像中用矩形框标示, 这样就完成了变电设备的自动识别 3 实验结果对比分析实验分别对绝缘子红外图像和套管红外图像采用文献 [15] 中的模板匹配方法与本文方法进行识别实验, 实验用计算机的配置是 Pentium(R) Core i5 CPU 2.8 GHz, 内存 4 GB, 实验平台为 Windows 7, 编译环境为 Microsoft Visual Studio 2010,OpenCV 版本为实验结果分别如图 6 图 7 所示所得实验比较数据如表 1 所示由于模板匹配方法在目标出现尺度变化时鲁棒性较差, 图 6(a) 中所示的 3 个被监测绝缘子中, 左下方的一个由于存在尺度变化未被检出 BRISK 算法本身具有出色的尺度不变性, 因此本文方法在绝缘子红外图像中正确地识别并成功定位该绝缘子, 实验结果如图 6(b) 所示在对变电站套管红外图像进行识别时, 由图 7(a) 发现该 3 个套管之间存在较大的角度变化, 采用模板匹配方法并不能正确地进行识别, 如图 7(a) 所示, 仅正确检测出一个套管, 其他两个均出现错误通过图 7(a) (b) 之间比较, 本文的方法在旋转不变性上具有明显优势通过图 6 和图 7 中两种方法识别效果的比较, 本文所提出的方法能够正确的对多个目标进行有效识别与定位, 能够在存在光照不均对比度不强且存在尺度旋转变化的情况下具有较好的鲁棒性由实验的数据比较可知, 本文所提出的方法在计算机内存占用量与运算时间上相比模板匹配方法得到了大量优化 (a) 模板匹配方法识别结果 (b) 本文方法识别结果图 6 绝缘子红外图像识别实验 Fig.6 The insulator infrared image recognition experiment 937

5 (a) 模板匹配方法识别结果 (b) 本文方法识别结果图 7 套管红外图像识别实验 Fig.7 The bushing infrared image recognition experiment 表 1 本文方法与模板匹配方法比较 detection of insulators in electrified railway based on feature Table 1 The method compared with traditional methods matching of speeded-up robust features[j]. Power System Technology, 2013, 37(8): 方法运算时间正确识别正确内存占 [5] 赵永俊. 变电站巡视中图像分析方法的研究 [D]. 保定 : 华北电力 /ms 区域数识别率用量 /kb 大学, ZHAO Yong-jun. Study of image analysis methods in substation 模板匹配 % 8219 inspecting[d]. Baoding: North China Electric Power University, 方法本文方法 % 910 [6] 王祖林, 黄涛, 刘艳, 等. 合成绝缘子故障的红外热像在线检测 [J]. 电网技术, 2003, 27(2): 结束语本文提出了一种新的变电设备红外图像多目标 WANG Zu-lin, HUANG Tao, LIU Yan, et al. Infrared thermal image of the synthetic insulator fault line detection[j]. Power System Technology, 2003, 27(2): [7] 闫辉, 许廷发, 吴青青, 等. 多特征融合匹配的多目标跟踪 [J]. 中识别方法, 对基于灰度信息的模板匹配方法进行改国光学, 2013,6(2): 进, 即采用特征匹配代替灰度相似性计算, 并利用 YAN Hui, XU Ting-fa, WU Qing-qing, et al. Multi-object tracking BRISK 二进制描述符对特征点进行描述, 采用滑动监测窗检测出多个监测目标最后利用 Hamming based on multi-feature joint matching[j]. Chinese Optics, 2013, 6(2): [8] 杨悦, 刘兴淼, 郭启旺, 等. 基于改进互信息的红外目标匹配跟踪距离进行匹配实验结果表明, 该方法在对相似多算法 [J]. 红外技术, 2013, 35(6): 目标同时定位时, 可大大减少了运算量, 提高了准 YANG Yue, LIU Xing-miao, GUO Qi-wang, et al. Infrared object 确率对内存占用量的减少更加方便嵌入到各种移 matching tracking algorithm based on improved mutual 动检测设备中, 为变电设备图像监测在工程中进一 information[j]. Infrared Technology, 2013, 35(6): [9] 许伟琳, 武春风, 逯力红, 等. 基于光谱角时序不变性的红外目标步应用提供了参考识别 [J]. 中国光学, 2012, 5(3): XU Wei-lin, WU Chun-feng, LU Li-hong, et al. IR target recognition 参考文献 : based on invariant sequential spectral angle[j]. Chinese Optics, 2012, [1] 蔺丽华, 吴冬梅, 刘健, 等. 采用对象分割和图像配准方法的变电 5(3): 站红外预警系统 [J]. 高电压技术, 2010(7): [10] Bay H, Tuytelaars T, Van Gool L. Surf: Speeded up robust LIN Li-hua, WU Dong-mei, LIU Jian,et al. Substation infrared early features[c]//european Conference on Computer Vision(ECCV), warning system using object segmentation and image registration[j]. 2006(1): High Voltage Engineering, 2010(7): [11] Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative [2] 张浩, 王玮, 徐丽杰, 等. 图像识别技术在电力设备监测中的应用 to SIFT or SURF[C]//IEEE International Conference on Computer [J]. 电力系统保护与控制, 2010,(6): Vision (ICCV), 2011(1): Zhang Hao,WANG Wei, XU Li-jie, et al. Application of image [12] Leutenegger S, Chli M, Siegwart R Y. BRISK: Binary robust recognition technology in electrical equipment on-line monitoring[j]. invariant scalable keypoints[c]//ieee International Conference on Power System Protection and Control, 2010(6): Computer Vision(ICCV), 2011(1): [3] 姚建刚, 关石磊, 陆佳政, 等. 相对温度分布特征与人工神经网络 [13] Rosten E, Drummond T. Machine learning for high-speed corner 相结合的零值绝缘子识别方法 [J]. 电网技术, 2012, 36(2): detection[c]//european Conference on Computer Vision(ECCV), YAO Jian-gang, GUAN Shi-lei, LU Jia-zheng, et al. Identification of 2006(1): zero resistance insulators by combining relative temperature [14] Calonder M, Lepetit V, Strecha C, et al. Brief: Binary robust distribution characteristics with artificial neural network[j]. Power independent elementary features[c]// European Conference on System Technology, 2012, 36(2): Computer Vision(ECCV), 2010(1): [4] 杨红梅, 刘志刚, 韩烨, 等. 基于快速鲁棒性特征匹配的电气化铁 [15] Bradski G, Kaehler A. Learning OpenCV: Computer vision with the 路绝缘子不良状态检测 [J]. 电网技术, 2013, 37(8): OpenCV library[m]. O'reilly, YANG Hong-mei, LIU Zhi-gang, HAN Ye, et al. Defective condition 938

Stock Transfer Service Inc. Page No. 1 CENTURY PEAK METALS HOLDINGS CORPORATION (CPM) List of Top 100 Stockholders As of 12/31/2015 Rank Sth. No. Name

Stock Transfer Service Inc. Page No. 1 CENTURY PEAK METALS HOLDINGS CORPORATION (CPM) List of Top 100 Stockholders As of 12/31/2015 Rank Sth. No. Name Citizenship Holdings Rank ------------------------------------------------------------------------------------------------------------------------