<4D F736F F D203137B8C4BDF8D0CD4C4250CBE3D7D3D4DAD2ECD4B4CDBCCFF1C6A5C5E4B5C4D3A6D3C3>

Size: px

Start display at page:

Download "<4D F736F F D203137B8C4BDF8D0CD4C4250CBE3D7D3D4DAD2ECD4B4CDBCCFF1C6A5C5E4B5C4D3A6D3C3>"

房寓霍
5 years ago
Views:

1 204-0 兵工自动化 33(0) Ordnance Industry Automaton 63 do: /bgzdh 改进型 LBP 算子在异源图像匹配的应用胡俊杰, 雍扬, 徐倩, 纪应军, 宋志鹏 ( 西南技术物理研究所, 成都 6004) 摘要 : 针对现有异源图像处理方法的不足, 提出一种适合于描述异源图像纹理分布特征的改进的 LBP 特征的匹配算法通过改进的 LBP 算子分别得到基准图和实时图的全局纹理分布特征 ; 在此基础之上提取出基准图和实时图分块加权后的联合直方图特征并作为最终特征 ; 并对图像分块加权后得到的联合 LBP 特征进行异源图像的特征匹配, 在基准图上对此特征进行相似搜索得到相似系数图, 峰值点即为匹配点实验结果表明 : 通过 LBP 算子提取的纹理特征能够很好地应用于异源图像匹配, 且匹配效果稳定优异, 具有很好的工程应用价值关键词 : 异源图像 ; 图像匹配 ;LBP; 直方图相关中图分类号 :TP39 文献标志码 :A Modfed LBP Operator n Applcaton of Mult-Source Image Matchng Hu June, Yong Yang, Xu Qan, J Yngun, Song Zhpeng (Southwest Insttute of Techncal Physcs, Chengdu 6004, Chna) Abstract: Amng at the defcency of exstng mage processng method of mult-source, presents a matchng algorthm whch s sutable for the descrpton of the mproved LBP feature of mult-source mage texture descrpton. The reference mage and real-tme mage of global texture dstrbuton characterstcs are obtaned by usng the mproved LBP operator; based on the ont hstogram features extracted from the reference mage and real-tme mage block weghted and as the fnal feature; feature matchng combned wth LBP features and block weghted mage of mult-source mage, whch features n the reference mage smlarty search coeffcent map, the peak pont s the matchng pont. The expermental results show that: the texture features extracted by LBP operator can be well used n mult-source mage matchng, and excellent matchng effect s stable, and has good engneerng applcaton value. Keywords: mult-source mages; mage matchng; LBP; hstogram correlaton 0 引言目前在异源图像匹配领域常用的方法大致可以归为基于区域的方法和基于特征的方法两类基于区域的方法将整幅图像的灰度或梯度信息进行匹配, 包括灰度匹配法 [] 梯度匹配法 [2] 互信息法 [3] 由于异源图像的成像机理不同, 基于区域的匹配方法计算复杂度高, 鲁棒性不强, 性能不够稳定基于特征的方法通过对图像提取出的特征之间进行匹配, 包括点特征线特征和边缘等特征文献 [4] 利用特征点的形状上下文描述对红外图像和可见光图像进行匹配 ; 文献 [5] 提出基于直线特征和虚拟交点的匹配算法对机场图像进行匹配 ; 文献 [6] 利用边缘特征和改进 Hausdorff 距离实现红外与可见光图像的匹配但是由于异源图像之间存在扭曲和畸变等影响, 使得上述特征存在提取困难且难以互相对应的问题, 因此在选取特征时对其适应性和稳定性均提出了更高的要求 [7] Oala 等提出的局部二值模式 (local bnary patterns,lbp) 是一种有效的纹理特征描述算子, 可实现灰度图像中局部近邻区域的纹理信息的提取, 因其具有计算量小旋转和灰度不变性等优点, 近年来已经应用于纹理分类图像检索人脸图像识别等领域 [8-0] 考虑到图像的纹理分布特征是识别和分析图像时最直观和最稳定的特征之一, 而对人脸图像在不同光照和表情下的识别类似于异源图像之间的匹配, 因此纹理特征在人脸识别方面的成功应用对于异源图像的匹配具有很好的借鉴意义在此基础之上, 笔者提出一种适合于描述异源图像纹理分布特征的改进的 LBP 特征的匹配算法, 有效地增强了对异源图像进行边缘检测的适用性和可靠性, 进一步提高了匹配正确率 LBP 算子基本原理及其改进纹理特征通过图像的灰度信息及其邻域像素之间的关系反映灰度模型的空间分布特点, 可以同时兼顾图像的宏观结构和微观信息 LBP 算子由 Oala 等人于 996 年提出, 是从纹理局部近邻定义中衍生收稿日期 : ; 修回日期 : 作者简介 : 胡俊杰 (990 ), 男, 湖北人, 在读硕士, 从事信号分析与处理研究

兵工自动化 64 第 33 卷而来的用来分析图像纹理特征的算子该算子对于每幅图上的像素点, 以其周围 3 3 邻域像素值作为窗口,

则按一定顺序排列二值化结果可得 8 位二进制编码, 对应为该中心点的 LBP 值计算公式如下 : 7 c () = 0 LBP( xy,

为圆心的 8 邻域像素值在对整幅图像进行扫描后可以得到一个 LBP 图谱, 图谱各点的取值不再对应于灰度而是该点的 LBP 值通过

可能导致在灰度分布不均匀或梯度分布不均匀的区域对于噪声过于敏感, 这对于灰度没有直接对应关系的异源图像而言更是如此针对这一问题,

(3) = 0 LBP( x, y) = s( g E )2 8 xy, = ( + c ) 9 = E g g (4) LBP

是笔者改进后的 LBP 算子对长波红外图像的提取效果通过比较可以看出, 图 (c) 所显示的纹理更为清晰准确, 因此文中改进的 LBP

特征描述 (a) 长波图像 (b) LBP 效果图 (c) 改进后 LBP 效果图图 LBP 图谱效果比较对于上面所得到的 LBP

而是用该图谱的直方图矢量来描述实时图的纹理特征由 LBP 算子的定义可以发现, 如果对整幅图像进行特征提取的话, 将只有 2 8 =

对每一块建立特征的直方图, 将全部小块所得到的直方图矢量融合在一起作为图像的纹理特征描述基本过程如图 2 图 3 中 (a) (e)

2 兵工自动化 64 第 33 卷而来的用来分析图像纹理特征的算子该算子对于每幅图上的像素点, 以其周围 3 3 邻域像素值作为窗口, 通过将邻域的 8 个像素值与窗口中心像素值进行比较, 若邻域像素值大于中心像素值则该像素标记为, 否则标记为 0 如此, 则按一定顺序排列二值化结果可得 8 位二进制编码, 对应为该中心点的 LBP 值计算公式如下 : 7 c () = 0 LBP( xy, ) = sg ( g)2 x 0 sx ( ) = (2) 0 x < 0 其中 : g c 表示中心点的像素值 ; g 表示以 g c 为圆心的 8 邻域像素值在对整幅图像进行扫描后可以得到一个 LBP 图谱, 图谱各点的取值不再对应于灰度而是该点的 LBP 值通过 LBP 算子的定义可以发现, 利用 LBP 算子提取的特征严重依赖于中心像素的灰度值, 这就可能导致在灰度分布不均匀或梯度分布不均匀的区域对于噪声过于敏感, 这对于灰度没有直接对应关系的异源图像而言更是如此针对这一问题, 笔者提出改进型的 LBP 算子, 将窗口内的平均像素值取代中心像素值作为阈值, 从而尽可能地降低噪声的干扰计算公式如下 : 7 x, y (3) = 0 LBP( x, y) = s( g E )2 8 xy, = ( + c ) 9 = E g g (4) LBP 图谱的提取效果如图所示, 其中图 (a) 是长波红外图像, 图 (b) 是 LBP 算子对长波红外图像的提取效果, 图 (c) 是笔者改进后的 LBP 算子对长波红外图像的提取效果通过比较可以看出, 图 (c) 所显示的纹理更为清晰准确, 因此文中改进的 LBP 算子对图像纹理的提取效果更好 2 异源图像匹配算法 2. 特征描述 (a) 长波图像 (b) LBP 效果图 (c) 改进后 LBP 效果图图 LBP 图谱效果比较对于上面所得到的 LBP 图谱, 虽然直观上能反映图像一定的纹理特征, 但为了不失一般性, 通常不直接利用图谱进行匹配, 而是用该图谱的直方图矢量来描述实时图的纹理特征由 LBP 算子的定义可以发现, 如果对整幅图像进行特征提取的话, 将只有 2 8 = 256 维的特征矢量进行描述为了得到更加详细和准确的纹理特征, 可采用分块处理的方法, 将 LBP 图谱划分成均匀的小块, 对每一块建立特征的直方图, 将全部小块所得到的直方图矢量融合在一起作为图像的纹理特征描述基本过程如图 2 图 3 中 (a) (e) 分别是对同一场景拍摄得到的可见光图像和红外图像, 图中 2 条垂直的白线示意将图划分成均匀的 4 小块分别对 2 幅图像的各个区块进行特征提取, 为显示方便, 只选取 2 幅图对应的 3 个区块 block block2 block3 的直方图特征分别如图 3(b~d) (f~h) 所示图 2 特征提取示意图 (a) 可见光图像 (b) block (c) block2 (d) block3

第 0 期胡俊杰等 : 改进型 LBP 算子在异源图像匹配的应用 65 (e) 红外图像 (f) block (g) block2 (h) block3 图 3 直方图特征 [] 用直方图相似法来计算原图及其对应子块的直方图相关系数如表, 通过比较可以发现,2 幅图像对应区块的直方图特征相似度相比于原图有很大的提高表边缘强度图的相关系数原图像块块 2 块 3 块 4 0.

2 特征匹配设 Iref Ireal 是 2 幅待匹配的异源图像的 LBP 图谱, 其中 I ref 对应于参考图, I real 对应于实时图在 I ref 以 I real 大小为窗口逐点进行直方图相似性搜索, 从而得到相似系数图 F : F( x, y) = D( Iref ( x: x+ w, y: y+ h), Ireal ) (5) 其中 w 和 h 分别是实时图 I real

) 为直方图相关函数 D( S, M ) = mn( S,, M, ) (6) 其中 : S, 区间的概率 ;, 表示搜索位置第区块对应直方图在第 M, 表示待匹配图第区块对应直方图在第区间的概率在使用 LBP 算子对图像的纹理分布特征进行描述时, 固然是对图像划分的区块越多特征的维度越大则描述的信息越丰富, 但如果包含形式太多, 数据量变大, 存储信息和处理速度则会受到影响

否则划分为非统一模式例如 000 000 00 000 是统一模式, 而 0 0 0 0 是非统一模式统一模式可用下式来判断 : U(LBP) = S( g g ) S( g g ) + P c 0 c P Sg ( gc) Sg ( gc) = 0 (7) 其中 : g c 表示中心点的像素值 ; g 表示以 g c 为圆心的 8 邻域像素值如果该计算结果不大于 2,

3 第 0 期胡俊杰等 : 改进型 LBP 算子在异源图像匹配的应用 65 (e) 红外图像 (f) block (g) block2 (h) block3 图 3 直方图特征 [] 用直方图相似法来计算原图及其对应子块的直方图相关系数如表, 通过比较可以发现,2 幅图像对应区块的直方图特征相似度相比于原图有很大的提高表边缘强度图的相关系数原图像块块 2 块 3 块特征匹配设 Iref Ireal 是 2 幅待匹配的异源图像的 LBP 图谱, 其中 I ref 对应于参考图, I real 对应于实时图在 I ref 以 I real 大小为窗口逐点进行直方图相似性搜索, 从而得到相似系数图 F : F( x, y) = D( Iref ( x: x+ w, y: y+ h), Ireal ) (5) 其中 w 和 h 分别是实时图 I real 的宽度和高度, D (.) 为直方图相关函数 D( S, M ) = mn( S,, M, ) (6) 其中 : S, 区间的概率 ;, 表示搜索位置第区块对应直方图在第 M, 表示待匹配图第区块对应直方图在第区间的概率在使用 LBP 算子对图像的纹理分布特征进行描述时, 固然是对图像划分的区块越多特征的维度越大则描述的信息越丰富, 但如果包含形式太多, 数据量变大, 存储信息和处理速度则会受到影响针对这一问题,Oala 等在研究过程中发现, 在 8 个邻域点的情况下, 有 58 种模式出现的频率非常高, 达到 90% 以上, 且足够描述图像主要纹理分布特征,Oala 将这些模式定义为统一模式 (unform pattern) 其定义为: 如果局部二值模式首尾相连组成的圆环二进制数最多包含 2 次从 0 到 ( 或从到 0) 的跳变, 则该模式称为个统一模式, 否则划分为非统一模式例如是统一模式, 而是非统一模式统一模式可用下式来判断 : U(LBP) = S( g g ) S( g g ) + P c 0 c P Sg ( gc) Sg ( gc) = 0 (7) 其中 : g c 表示中心点的像素值 ; g 表示以 g c 为圆心的 8 邻域像素值如果该计算结果不大于 2, 则这个模式就属于统一模式由此, 将原来每个子块 256 维的特征精简到了 59 维, 使得在给图像划分子区块以增加特征维数时可以减少冗余信息在给图像划分子区块的时候发现, 有些子块包含的纹理信息比其他子块要丰富, 因此不同子块对于特征描述的贡献是不同的为了使纹理特征的描述更加准确合理, 笔者在提取 LBP 算子直方图特征时, 把待匹配图像分割成大小为 M N 的 n 个子块, 对各个 LBP 分块图像, 融入结构对比信息来进行分块加权处理, 权值通过下式来计算 : M N = ( M N rc 2 ) (8) r= c= w m m 其中 : w 对应第个 LBP 分块的权重 ; m 表示子块中各点对应的十进制编码值 ;m 表示子块十进制编码值均值相应的直方图相关函数如下式 DSM (, ) = wmn( S, M ) (9) 2.3 优化匹配速度,,, 对 LBP 直方图进行特征匹配的过程中需要对直方图进行大量的计算和比较, 因此存在明显的时间消耗问题可以利用积分直方图 [2] (ntegral hstogram) 技术快速计算 LBP 图像中任意位置局部规则区域的直方图特征它不需要访问图像中各像素值, 只需对图像进行次遍历即可得到积分直方图, 继而可以通过对目标区域 4 个顶点的加减运算, 即可得到该区域的直方图由于文中算法在匹配的过程中需要对参考图进行全局搜索, 因此随着图像的增大匹配所需时间将 rc

兵工自动化 66 第 33 卷不断增加, 实时性有待增强为了优化匹配速度, 可以采用先粗搜索后精搜索搭配的方法例如对于搜索范围为

个像素为间隔进行粗搜索, 然后选取相关系数最大的 20 个位置以 5 5 为大小进行精搜索, 最后得到的相关系数最大点即为匹配点,

8 s, 使得实时性有了很大幅度的提高 3 实验结果与分析笔者在基于 Intel Pentum 2.

对同一组异源图像进行测试和比对如图 4 所示, 其中图 4(a) 为 SAR 基准图图 4(b) 为可见光实时图, 图 4(c)

4(d) 比相关平面更为光滑且相关峰更为突出进一步观察可以发现, 图 4(c) 主峰明显而且分布集中, 而图 4(d) 相关峰多

(c) 改进 LBP 算法 (d) 梯度互相关法图 4 3D 相似系数图比较 3.

4 兵工自动化 66 第 33 卷不断增加, 实时性有待增强为了优化匹配速度, 可以采用先粗搜索后精搜索搭配的方法例如对于搜索范围为的图像, 需要进行次相关运算, 耗时约 27 s 为了减小搜索范围提高效率, 可以先对参考图以 3 个像素为间隔进行粗搜索, 然后选取相关系数最大的 20 个位置以 5 5 为大小进行精搜索, 最后得到的相关系数最大点即为匹配点, 这样只需进行 =8 600 次相关运算, 耗时约.8 s, 使得实时性有了很大幅度的提高 3 实验结果与分析笔者在基于 Intel Pentum 2.66 GHz 502 MB 内存以及 Wndows XP 操作系统平台下, 通过 Matlab R2009a 进行仿真为了验证文中算法的稳定性和适应性, 进行了如下 3 个实验 3. 实验分别采用文中改进的 LBP 算法和梯度互相关法 (gradent cross-correlaton,gcc) 对同一组异源图像进行测试和比对如图 4 所示, 其中图 4(a) 为 SAR 基准图图 4(b) 为可见光实时图, 图 4(c) 是使用文中算法进行直方图相似匹配后得到的相似系数图, 图 (d) 是用梯度互相关法得到的相似系数图由结果可以看到图 4(c) 与图像 4(d) 比相关平面更为光滑且相关峰更为突出进一步观察可以发现, 图 4(c) 主峰明显而且分布集中, 而图 4(d) 相关峰多峰值大小差异不大且分布杂乱由此可见, 笔者所采用的算法与梯度互相关法相比匹配效果更好 (a) SAR 图像 (b) 可见光图像 (c) 改进 LBP 算法 (d) 梯度互相关法图 4 3D 相似系数图比较 3.2 实验 2 分别选用红外与可见光图像长波红外与中波红外图像以及 SAR 与可见光图像对算法进行测试实验得到的 3 组匹配结果图如图 5, 每组共 2 幅图像, 左侧大图为参考图, 右侧小图为实时图, 其中参考图中的白色方框即为实时图在参考图中的匹配结果实验结果说明, 文中的匹配算法对于多种不同种类的异源图像都能得到较好的匹配结果 (a) 可见光模板图和红外实时图匹配 (b) 长波模板图和中波实时图匹配

5 第 0 期胡俊杰等 : 改进型 LBP 算子在异源图像匹配的应用 67 (c) SAR 模板图和可见光实时图匹配图 5 多种异源图像的匹配结果 3.3 实验 3 测试文中算法对图像旋转和图像缩放的适应性, 并与梯度互相关法和边缘 Hausdorff 距离法对比用 28 组匹配图像测试文中算法, 其中 6 组为中波红外图像和长波红外图像匹配,6 组为 SAR 图像与可见光图像匹配,6 组为红外图像与可见光图像匹配分别对实时图做了旋转和缩放, 匹配正确率见表 2 表 2 匹配正确率比较方法原始图放大 0% 旋转 5% 旋转 5 放大 0% 梯度互相关法边缘 Hausdorff 距离法文中算法实验结果表明 : 前 2 种算法对图像的旋转和缩放均比较敏感, 使用文中算法存在较小尺度和旋转变形, 但相比于其他 2 种算法也能达到较高的正确率, 说明文中算法对图像旋转和缩放的有较好的适应性 4 结论 LBP 算子是一种优秀的局部纹理特征描述算子, 笔者对其进行一定改进, 使其能适应于异源图像的特征描述, 在此基础上提出了改进的 LBP 图像匹配算法实验结果表明 : 文中的算法具有良好的匹配效果, 且对多种异源图像具有较好的稳定性但还有如下不足 :LBP 算子做一阶差分, 在提取局部特征的同时忽略了许多细节特征, 在纹理相似的图像进行匹配时效果会大受影响在后续的研究中可以考虑将纹理特征和其他特征进行一定的融合, 以弥补各自的不足, 增强匹配的适应性参考文献 : [] Sur S., Renartz P. On the Possblty of Intensty Based Regstraton for Metrc Resoluton SAR and Optcal Imagery[C]. Proceedngs of 2th AGILE Internatonal Conference on Geographc Informaton Scence, Hannover Germany, June [2] Eldad H, Jan M. Intensty Gradent-based Regstraton and Fuson of Mult-modal Images[C]. MICCAI, 2006, [3] Plum J, Mantz J, Vergever M. Mutual Informaton Based Regstraton of Medcal Images: A Survey[J]. IEEE Transactons on Medcal Imagng, 2003, 22(8): [4] 曹治国, 鄢睿丞, 宋喆. 利用模糊形状上下文关系的红外与可见光图像匹配方法 [J]. 红外与激光工程, 2008, 37(6): [5] 苏娟, 林行刚, 刘代志. 一种基于结构特征边缘的多传感器图像配准方法 [J]. 自动化学报, 2009, 35(3): [6] 于秋则, 程辉, 田金文, 等. 基于边缘特征的 SAR 图像与光学图像的匹配 [J]. 雷达科学与技术, 2003, (4): [7] Oala T., Petkänen M., Harwood D D. A comparatve study of texture measures wth classfcaton based on featured dstrbutons[j]. Pattern Recognton, 996, 29 (): [8] Ahonen T., Hadd A., M. Petkänen. Face Descrpton wth Local Bnary Patterns: Applcaton to Face Recognton[J]. IEEE Transactons on Pattern Analyss and Machne Intellgence, 2006, 28(2): [9] Lao S., Law M. W. K., Chung A. C. S. Domnant Local Bnary Patterns for Texture Classfcaton[J]. IEEE Transactons on Image Processng, 2009, 8(5): [0] Petkänen M., Schmd C.. Descrpton of Interest Regons wth Local Bnary Patterns[J]. Pattern Recognton, 2009, 42(3): [] Tmo Ahonen, Abdenour Hadd, M. Petkänen. Face Recognton wth Local Bnary Patterns. ECCV 2004, LNCS 2004, 302: [2] Fath P. Integral hstogram: A fast way to extract hstograms n Cartesan spaces[c]. In: Proc of IEEE Internatonal Conference on Computer Vson and Pattern Recognton(CVPR). San Dego, USA: IEEE Computer Socety Press, 2005:

Microsoft Word - 系统建设1.doc

Microsoft Word - 系统建设1.doc 计算机系统应用 http://www.c-s-a.org.cn 20 年第 20 卷第 4 期一种高性能近红外光人脸检测和眼睛定位算法张昌明, 童卫青, 王燕群 ( 华东师范大学计算机科学技术系, 上海 20024) 摘要 : 提出了一种新型的近红外光人脸检测和眼睛