基于不变特征的图像配准方法研究与应用 Study and Application on Image Registration Based on Invariant Features 博士后姓名李玲玲流动站 ( 一级学科 ) 名称专业 ( 二级学科 ) 名称研究工作起始时间研究工作期满时间数

Size: px

Start display at page:

Download "基于不变特征的图像配准方法研究与应用 Study and Application on Image Registration Based on Invariant Features 博士后姓名李玲玲流动站 ( 一级学科 ) 名称专业 ( 二级学科 ) 名称研究工作起始时间研究工作期满时间数"

冰晦靳
5 years ago
Views:

1 分类号 U D C 密级编号厦门大学博士后研究工作报告基于不变特征的图像配准方法研究与应用工作完成日期报告提交日期李玲玲 2008 年 12 月 2008 年 12 月厦门大学 2008 年 12 月

2 基于不变特征的图像配准方法研究与应用 Study and Application on Image Registration Based on Invariant Features 博士后姓名李玲玲流动站 ( 一级学科 ) 名称专业 ( 二级学科 ) 名称研究工作起始时间研究工作期满时间数学基础数学 2006 年 7 月 2008 年 12 月厦门大学 2008 年 12 月

3 厦门大学博士后研究工作报告著作权使用声明本人完全了解厦门大学有关保留使用博士后研究工作报告的规定厦门大学有权保留并向国家主管部门或其指定机构送交该报告的纸质版和电子版, 有权将该报告用于非赢利目的的少量复制并允许该报告进入学校图书馆被查阅, 有权将该报告的内容编入有关数据库进行检索, 有权将博士后研究工作报告的标题和摘要汇编出版保密的博士后研究工作报告在解密后适用本规定本研究报告属于 : 1 保密( ), 2 不保密( ) 纸本在年解密后适用本授权书 ; 电子版在年解密后适用本授权书 ( 请在以上相应括号内打 ) 作者签名 : 日期 : 年月日导师签名 : 日期 : 年月日

4 内容摘要图像配准问题是计算机视觉领域中的一个经典难题, 在计算机视觉模式识别医学图像处理和遥感信息处理方面有着广泛的军事和民事应用在实际应用中, 所获得的不同传感器的图像往往存在尺度变化很大, 有较大的旋转角度和畸变等大失配情况现有的配准算法在这些实用场合下, 要么失败要么效率非常低针对这些问题, 本报告结合 863 项目福建省自然基金河南省骨干教师项目及厦门大学 985 工程科技创新平台项目要求, 进一步深入研究适用于大适配多传感器图像的高性能配准算法并探讨其在图像融合中的应用主要工作可总结为以下几个方面 : 对图像配准理论进行了简要介绍, 对图像配准方法进行了综述, 分析了各种方法的适用性优点和不足之处, 分析了目前多传感器配准算法存在的问题和发展趋势针对目前研究中存在的问题, 本报告将具有仿射不变性的特征引入图像配准, 提出了一种基于 SIFT 和 Harris-Affine 互补特征匹配的多传感器图像自动配准方法算法利用在目标识别和匹配方面取得了显著进展的 Harris-Affine 和 SIFT 不变特征, 利用近邻比和 Mahalannobis 距离的仿射不变性实现特征匹配, 进而实现大失配图像的配准该算法在保证亚像素配准精度的同时, 能够较快地实现大失配图像的自动配准有效解决了图像由于存在大失配及异质传感器引起的不能配准或配准精度低等问题在基于互补不变特征配准的基础上, 讨论了基于不变特征的图像配准方法在图像融合中的应用, 把多尺度几何分析引入图像融合, 提出了一种基于 NSCT 的图像融合算法利用 NSCT 的平移不变特性以及对图像几何特征, 尤其是边缘方向信息优异的表达能力有效提取源图像特征, 实现更有效的图像融合在 Burt 的匹配和显著性融合算子的基础上, 改进了融合规则最后对图像配准领域未来需要进一步研究的问题和方向进行了展望 I

5 关键词 : 图像配准, 图像融合, 尺度不变特征, 多尺度几何分析,Contourlet 变换, 非子采样 Contourlet 变换, 特征 Harris-Affine II

6 Abstract Image registration is a key problem in computer vision. It is widely applied in a variety of fields such as computer vision, medical image analysis and remote sensing. In practice applications, multi-sensing images which can be got often have significant differences in scale, rotation, translation, illumination or nonlinear aberrance, most registration methods will either fail or become extremely time consuming. The researches in this thesis were partly supported by several national research grants and focused on the techniques and applications of pixel level multi-sensor image fusion. The main contents of the thesis include: First, image registration theory is introduced briefly, then image registration techniques are reviewed, and their advantages and drawbacks are analyzed. To solve problems existing in image registration methods, a registration technique based on matching the complementary scale invariant keypoints (SIFT) and Harris-Affine local invariant features for large misalignment remote sensing images is proposed in this thesis. It complements SIFT features with Harris-Affine features, and uses the ratio of the first and second nearest neighbor distance to setup the initial correspondences, then uses the affine invariant of Mahalanobis distance to remove the mismatched feature points. This method can register and fusion the remote sensing image accurately and automatically. Based on the image registration method, image fusion is discussed. This thesis using Multiscale Geometric Analysis, a shift invariant fusion approach based on nonsubsampled contourlet transform (NSCT) is developed. It effectively extracts salient direction features at different scales and directions and fuse them. Experimental results demonstrated that satisfactory results were obtained using the proposed method. Burt s match and saliency metric is developed and neighborhood space frequency is use to fuse the registrated reference and sensed remote sensing images in NSCT domain. Finally, the trends of image registration is prospected. Key words: Image Registration, Image Fusion, Nonsubsampled Contourlet Transform (NSCT), Multiscale Geometric Analysis, Contourlet Transform, Nonsubsampled Contourlet Transform (NSCT),Harris-Affine Character III

7 目次 1 绪论引言图像配准研究现状本报告课题来源本报告的内容安排图像配准理论引言图像配准的数学模型空间变换模型基于互补不变特征匹配的图像配准引言不变特征概述基于 SIFT 和 Harris-Affine 互补特征匹配的图像配准算法实验结果与分析本章小结 NSCT 域图像融合引言非子采样 Contourlet 变换 (NSCT) NSCT 域图像融合算法实验结果全文总结与展望引言本报告所做的主要研究工作 IV

8 5.3 未来发展方向参考文献 54 致谢 60 博士生期间发表的学术论文专著 62 博士后期间发表的学术论文专著 63 个人简历 65 联系地址 66 V

9 基于不变特征的图像配准方法研究及应用 1 绪论 1.1 引言图像配准是指对取自不同时间不同传感器或不同视角的同一景物的两幅图像或多幅图像进行匹配叠加的过程 [1] 一直以来, 图像配准都是计算机视觉模式识别医学图像处理和遥感领域的研究热点对于部分计算机视觉和模式识别任务而言, 图像配准是其关键和先决条件图像配准技术可用于 :1 对来自不同成像传感器的图像进行融合 ;2 图像拼接 ;3 地景与地图的匹配 ;4 复杂场景下的小目标运动跟踪检测 ;5 飞机和导弹的导航及目标定位 ;6 基于信息融合或基于模板匹配的目标识别等 [2,3] 目前在图像的配准方面已开展了许多研究工作, 提出了多种图像配准方法但是在实际应用中, 作者发现所获得的不同传感器的图像往往存在尺度变化很大, 有较大的旋转角度和畸变等大失配情况另外, 对于异质传感图像, 会出现在一幅图像中出现的特征可能在另一幅图像中部分或不出现, 一个图像上的多个灰度值对应另一个图像上单一灰度值等现象现有的配准算法在这些实用场合下, 要么失败要么效率非常低, 所以, 作者拟进一步深入研究适用于大适配多传感器图像的高性能配准算法并探讨其在图像融合中的应用最近, 不变特征由于具有不同程度的尺度旋转仿射及灰度不变性, 在视觉领域得到了广泛关注本报告将具有仿射不变性的特征引入图像配准, 有效解决了图像由于存在大失配及异质传感器引起的不能配准或配准精度低等问题此外, 本报告进一步研究了基于不变特征的图像配准在图像融合方面的应用用最新的多尺度几何分析 (MGA) 代替传统的小波变换, 在 MGA 变换域研究更有效的融合策略考虑到 NSCT 具有各向异性 (Anisotropy) 和平移不变性多尺度多方向等优良特性, 本报告将 NSCT [4] 这种新颖的 MGA 变换引入图像融合, 获得了较高质量的融合图像 1

10 基于不变特征的图像配准方法研究及应用 1.2 图像配准研究现状目前在图像的配准方面已开展了许多研究工作, 提出了多种图像配准方法最近 10 年里至少有超过上千篇的学术论文在研究图像配准问题 2002 年网上公布的美国申请专利中, 图像配准相关的部分就有超过 50 项,IBM 和 GE 等大型跨国企业甚至有自己的工作组专门研究医学图像配准问题当前已有一些成型的图像配准软件, 如 SPM AIR MIAMI Fuse MITK VTK CISG 软件包等, 这些软件主要用于医学图像配准领域最近的国际顶级学术会议上都有关于配准的专题讲座, 这足可见图像配准问题的关注程度一方面配准问题持热, 另外一方面也说明仍然有许多技术难题没有解决且急需解决配准问题的定义本身很简单, 然而图像内部结构的复杂性使得配准的精确性鲁棒性很难得到准确的检验综合已有文献, 目前主要的配准算法大致可分为三类 : 第一类是基于灰度的图像配准方法, 这类方法主要受不同灰度属性或对比度差异的影响大, 只适合于同种传感器获取的图像为了把该类方法扩展到不同传感器图像, 提出了多种基于互信息的配准方法, 它们现在已经在多模医学图像的配准方面得到了广泛应用 [5,6], 但是它们需要估计概率密度, 因而很耗时第二类是基于傅氏变换的图像配准方法 [7,8], 该类方法只适合配准灰度有线性变化的图像, 例如低频噪声的图像或者由旋转平移和尺度变化引起的灰度改变的图像第三类是基于特征的配准方法, 该类方法提取图像的显著特征, 大大压缩了图像的信息量, 使得计算量小, 速度较快, 对灰度变化有较强适应能力但另一方面, 正是由于只有一小部分的图像灰度信息被使用了, 所以这类方法对特征提取和特征匹配的错误更敏感, 需要可靠的特征提取和鲁棒的特征一致性 [9] 这类方法主要有基于点特征直线边缘轮廓和闭合区域的配准方法 [10,11,12] 其中, 基于直线边缘轮廓和闭合区域的配准方法对于边缘轮廓特征比较显著的图像之间的配准来说, 具有较强鲁棒性, 然而, 由于对图像的边缘提取和分割技术的完全依赖使得它们具有较大的局限性另外, 如果图像尺寸很大时, 对图像进行 2

11 基于不变特征的图像配准方法研究及应用分割或边缘提取也需要花费大量时间因此, 基于点特征的配准方法较基于直线边缘轮廓和闭合区域的配准方法更能够兼顾配准精度和速度, 近年越来越引起重视常用的点特征有 Gabor 小波变换抽取的特征点角点闭合区域的质心等特征点匹配方法主要有利用 Hausdorff 距离相关搜索凸包匹配等尽管国内外目前在图像的配准方面已开展了许多研究工作, 提出了许多种图像配准方法, 但仍存在着不少问题, 主要表现在 : (1) 异构传感器图像配准技术不同成像特性的图像传感器所获得图像的灰度和特征往往存在很大不同目前的图像配准方法大多主要针对影像波段分辨率景物特征等一致或接近的图像对于性质完全不同的传感器图像, 或波段分辨率景物特征等差别大的图像之间的配准问题没有很好解决, 更无法满足快速自动配准的要求, 难以满足大规模影像数据处理的需要 (2) 快速图像配准算法在建立实时 / 准实时图像融合系统时, 必须采用快速图像配准算法如何提高配准处理速度, 达到快速和实时的要求仍是图像配准的一大难题 (3) 高精度图像配准算法多源图像配准作为图像融合的前提步骤, 其精度直接影响融合效果如多源遥感图像融合, 其配准误差通常要求达到亚像素级甚至深亚像素级在实际应用中, 由于图像受噪声影响大, 利用图像景物特征配准时获取区域和边缘困难, 或图像缺乏必需的地面特征点, 实现高精度的图像配准难度很大 (4) 大失配条件下配准技术当待配准图像之间存在大比例变化旋转或平移, 存在大的图像非线性畸变, 或存在严重的几何校正残余误差等情况下, 其配准也存在相当难度一些算法在遇到以上情况时甚至无法完成配准由此, 未来的图像配准将要求能满足大失配和异构传感器图像配准, 进一步追求实时性高精度和可靠性随着新方法的不断出现, 基于特征点的图像配准方法有良好的发展前景和应用前途 3

12 基于不变特征的图像配准方法研究及应用 1.3 本报告课题来源本报告课题主要来源于 : (1) 河南省高等学校青年骨干教师资助计划项目基于觉知机制的新型遥感图像解译 ( 主持 ); (2) 河南省教育厅自然科学基础研究计划项目平移不变性多传感器图像融合关键技术研究 ( 主持 ); (3) 福建省自然科学基金计划项目城市建筑目标识别与导航技术研究 ( 排名第三 ); (4) 厦门大学 985 工程科技创新平台项目多模态运动目标识别跟踪与导引系统研究 ( 参加 ) 1.4 本报告的内容安排本报告主要由 5 章内容组成 : 第一章绪论简单介绍了多传感器图像配准技术的概念研究意义和应用重点对多传感器图像配准方法进行了综述 ; 分析了目前多传感器配准算法存在的问题和发展趋势 ; 最后给出论文的课题来源和内容安排第二章图像配准理论对图像配准理论进行了简要介绍其中, 重点介绍了图像配准的数学模型和配准中常用的空间变换模型第三章基于互补不变特征匹配的图像配准提出了一种基于 SIFT 和 Harris-Affine 互补特征匹配的多传感器图像自动配准方法该算法利用在目标识别和匹配方面取得了显著进展的 Harris-Affine 和 SIFT 不变特征, 利用近邻比和 Mahalannobis 距离的仿射不变性实现特征匹配, 进而实现大失配图像的配准在保证亚像素配准精度的同时, 能够较快地实现大失配图像的自动配准第四章 NSCT 域图像融合本章在第三章基于互补不变特征配准的基础上, 讨论了基于不变特征的图像配准方法在图像融合中的应用, 提出了一种基于 NSCT 的图像融合算法, 利用 NSCT 的平移不变特性以及对图像几何特征, 尤其是边缘 4

13 基于不变特征的图像配准方法研究及应用方向信息优异的表达能力有效提取源图像特征, 实现更有效的图像融合第五章全文总结与展望总结了本报告的主要工作, 指出了这些工作的主要创新之处, 并且给出了对未来需要进一步研究问题和方向的思考 5

14 基于不变特征的图像配准方法研究及应用 2 图像配准理论 2.1 引言本章简单描述图像配准理论, 介绍了图像配准的数学模型和配准中常用的空间变换模型 2.2 图像配准的数学模型如果将图像表示为一个二维序列, 用 I x, y) I ( x, ) 分别表示待配准图像和参 1( 2 y 考图像在点 ( x, y) 处的灰度值, 那么图像 I 1 I 2 的配准关系可用以下数学关系表示 : I x, y) = g( I ( f ( x, ))), (2-1) 2 ( 1 y 其中 f 代表二维的空间几何变换函数 ; g 表示一维的灰度变换函数配准的主要目的是确定最佳的空间变换关系 f 与灰度变换关系 g, 使两幅图像在考虑畸变的前提下实现最佳匹配通常情况下灰度变换关系的求解并不是必需的, 可以归为图像预处理部分, 所以通常意义上的配准只关心空间变换, 寻找空间几何变换关系 f ( x, y) 便成为配准的关键所在于是,(2-1) 式可改写为 : I x, y) = I ( f ( x, )). (2-2) 2 ( 1 y 图像配准就是寻找参考图像和待配准图像之间的变换参数图 2-1 给出了一个图像配准实例 [13] 图 2-1 中 (a) 为参考图像,(b) 为待配准图像,(c) 为参考图像和待配准图像配准叠加后的结果图像配准就是寻找参考图像和待配准图像之间的变换参数 6

15 基于不变特征的图像配准方法研究及应用 (a) 参考图像 2.3 空间变换模型 (b) 参考图像和待配准图像配准叠加图 2-1 图像配准示例空间几何变换函数 f 可用空间变换模型进行描述, 是所有配准技术必需考虑的问题常用的方式有两种, 一种是全局变换, 将两幅图像之间的空间对应关系用同一个函数表示这种变换方式为大多数图像配准方法所采用当全局变换形式不能满足需要时, 需要采用局部变换形式采用这种方式时, 两幅图像中不同部分的空间对应关系用不同的函数来描述, 适用于在图像中存在非刚性形变的情形, 例如医学图像的配准不管是全局还是局部变换, 常用的空间变换模型主要有刚体变换仿射变换投影变换等图 2-2 显示了这三种常见的空间变换模型 7

16 基于不变特征的图像配准方法研究及应用图 2-2 图像配准中使用得空间变换模型 (1) 刚体变换模型刚体变换是平移旋转与缩放的组合适用于配准具有相同视角, 但拍摄位置不同的来自同一传感器的两幅图像刚体变换模型下, 若点 ( x, y) ( x, y ) 分别为待配准图像和参考图像中对应的两点, 则它们之间满足以下关系 : x cosθ = s y sinθ - sinθ x t + cosθ y t 经过刚体变换, 图像上的物体的形状和相对大小保持不变 x y. (2-3) (2) 仿射变换模型仿射变换是配准中最常用的一类转换模型当场景与像机间的距离很大时, 被拍摄的图像可认为满足仿射变换模型 [14] 仿射变换数学描述为 : x a = y a a a x t + y t x y. (2-4) T (2-4) 式可用矩阵形式表示为 x = Ax + t 其中 x = ( x, y ), a00 a01 A =, a10 a11 = ( x, ) T x y, t = ( t, ) x t y T 仿射变换具有平行线转换成平行线和有限点映射到有限点的一般特性 [15] 本报告使用全局的仿射变换作为图像配准的空间变换模型, 仿射 8

17 Degree papers are in the Xiamen University Electronic Theses and Dissertations Database. Full texts are available in the following ways: 1. If your library is a CALIS member libraries, please log on and submit requests online, or consult the interlibrary loan department in your library. 2. For users of non-calis member libraries, please mail to etd@xmu.edu.cn for delivery details.

5 5 7 5 4 4 6 9 8 40

5 5 7 5 4 4 6 9 8 40 4 5 0 959 68 959 55 959 4 957 4 5 998 4 9 959 98 8 980 8 84 4 987 4 5 6 7 8 9 986 998 989 4 977 8 5 988 6 985 8 7 98 990 5 8 998 4 9 987 4 5 4 96 9 959 8 959 4 986 4 5 5 8 96 4 5

基于不变特征的图像配准方法研究与应用 Study and Application on Image Registration Based on Invariant Features 博士后姓名李玲玲 流动站 ( 一级学科 ) 名称 专业 ( 二级学科 ) 名称 研究工作起始时间 研究工作期满时间 数

基于不变特征的图像配准方法研究与应用 Study and Application on Image Registration Based on Invariant Features 博士后姓名李玲玲流动站 ( 一级学科 ) 名称专业 ( 二级学科 ) 名称研究工作起始时间研究工作期满时间数