Microsoft Word - A doc

Size: px

Start display at page:

Download "Microsoft Word - A doc"

型雍雷
5 years ago
Views:

1 SIFT 特征提取方法在医学图像配准中的应用吕丹, 王哲, 王安娜, 李丹东北大学信息科学与工程学院, 沈阳 (110004) 摘要 : 图像配准的方法有很多种, 其中基于特征点的图像配准是计算机视觉领域的一个研究热点本文针对医学图像的非刚性配准, 给出一种实用的匹配算法基于尺度不变特征变换 (Scale Invariant Feature Transform,SIFT) 的图像配准算法重点研究 SIFT 特征提取和匹配的算法, 应用 SIFT 特征提取算法提取图像的特征点, 采用仿射变换和归一化互信息测度对非刚性医学图像进行配准实验实验结果显示, 相对于基于互信息的图像配准方法, 本文方法可以得到较好的配准结果关键词 : 非刚性配准 ;SIFT; 仿射变换 ; 归一化互信息测度 1. 引言随着医学成像设备的发展, 医学影像技术的应用逐渐贯穿了医学活动的整个过程为了使多次成像或多种成像设备获取的互补差异信息得到综合利用, 使临床诊断和治疗更准确, 医学图像配准及信息融合成为了当今研究的热点图像配准的方法有很多, 其中基于图像特征的配准方法是图像配准中最常见的方法, 而基于特征的图像配准中, 特征主要是针对点特征基于特征点的图像配准是计算机视觉领域中一个研究热点, 有着广阔的应用前景医学图像的非刚性配准在医学诊断和治疗计划中起着重要的作用, 学者们为此提出了多种非刚性配准算法近年来提出的典型非刚性配准算法有 [1] : 使用基本函数配准 ; 使用样条配准, 包括薄板样条和 B 样条 ; 基于物理模型的配准 ; 流体配准 ;FEM( 有限元 ) 配准 ; 应用光流场的配准方法等 [2] SIFT 特征匹配算法是目前国内外特征点匹配研究领域的热点与难点, 其匹配能力较强该算法是由 David G. Lowe 在 1999 年提出, 并在 2004 年总结现有的基于不变量技术的特征检测方法基础上正式提出的一种图像局部特征描述算子利用该算法提取出的特征点对图像尺度和旋转保持不变, 对光线变化噪声和仿射变化都具有鲁棒性, 特征点描述符有很高的独特性, 该算法被证明为最具有鲁棒性的特征点提取方法 [3], 从而可以实现差异较大的两幅图像之间特征的匹配 2. SIFT 算法提取特征点本文选用 SIFT 特征提取算法进行特征点提取该算法实现的主要步骤包括 : 检测尺度空间极值点 ; 确定特征点位置 ; 提取特征点主方向 ; 生成 SIFT 特征描述符 (1) 检测尺度空间极值点对图像根据不同的采样距离进行采样以形成一个金字塔分层结构, 即在第一次采样时每 0.5 个像素距离进行采样, 之后以成倍的采样距离即个像素分别对图像采样来产生第二三四组的图像对各组图像采用不同的高斯滤波因子进行滤波形成高斯金字塔分层结构 ; 将每组中相邻图像相减生成高斯差分图像 (DOG), 在高斯差分金字塔分层结构中提取极值点作为侯选特征点 ; 求取极值时, 样本点不仅要与本层中相邻的 8 个像素点比较, 还要与上下相邻两层中各 9 个像素点进行比较高斯卷积核是实现尺度变换的唯一线性核, 二维图像的尺度空间定义为 : L( x, y, σ ) = G( x, y, σ ) I( x, y) (1) - 1 -

2 其中表示卷积运算, G( x, y, σ ) 是尺度可变高斯函数, 称为尺度空间因子 : G( x, y, σ ) = e ( x + y )/ 2σ 2 2πσ (2) 高斯差分函数 DOG 可以通过式 (3) 得到 : D( xy,, σ ) = ( Gxyk (,, σ) Gxy (,, σ)) Ixy (, ) = Lxyk (,, σ) Lxy (,, σ) (3) (2) 确定特征点位置为了精确定位极值点的位置, 需要去除对比度比较低的特征点以及不稳定的边缘响应点通过拟和三维二次函数来实现这一操作, 以增强匹配的稳定性, 并提高抗噪声能力 [2] (3) 提取特征点主方向利用特征点周围图像的梯度方向分布统计来确定特征点的主方向, 使得 SIFT 算子具有旋转不变的性能式 (4) 为 (x, y) 处梯度的幅值和方向公式, 其中 L 所用的尺度为每个特征点各自所在的尺度计算时需要对以特征点为中心的窗口图像进行采样, 根据直方图统计窗口图像内所有像素的梯度方向梯度直方图统计范围是 0~360 度, 选择直方图的峰值代表该特征点处邻域梯度的主方向, 同时作为特征点的主方向在梯度方向直方图中, 如果存在另一个峰值, 且该峰值相当于主峰值的 80%, 可以把这个方向看作特征点的辅方向 σ 2 2 mx (, y) = (( Lx+ 1, y) Lx ( 1, y)) + ((, Lx y+ 1) Lx (, y 1)) θ(, xy) = atan2( ((, Lxy+ 1) Lxy (, 1)) ) (( Lx+ 1,) y Lx ( 1,)) y (4) (4) 生成 SIFT 特征描述符图像梯度特征描述符图 1 生成特征描述符示意图 Fig.1 Sketch map of feature descriptors 根据特征点 ( 图 1 左侧图像的中间位置 ) 周围的像素点得到特征描述符在每 4 4 的小块内计算出八个方向的梯度方向直方图, 并统计每个梯度方向的累计值, 得到一个种子点, 如图 1 右侧所示图中一个特征点由 2 2 共 4 个种子点构成, 每个种子点有 8 个方向的向量值为了进一步增强特征匹配的鲁棒性, 可以对每个特征点使用 4 4 共 16 个种子点的方式进行特征描述, 即每个特征点产生 128 维的特征向量 3. SIFT 特征向量匹配寻找两幅或多幅图像间的对应点问题被称为图像特征点匹配特征点匹配的算法很多, 各有优缺点由于 SIFT 特征点提取算法提取出的特征点具有很高的鲁棒性, 对图像的旋转缩放平移以及光线遮挡等具有不变性, 又因为用 128 维的维度来对特征点进行描述, 使得特征点描述符之间具有很大的差异性, 所以就可以直接利用特征点之间的几何特性进行特 - 2 -

3 征点的匹配本文中主要利用最近邻 NN (Nearest Neighbor) 方法对特征点进行匹配操作通过最近邻与次近邻欧氏距离的比值来进行特征点的匹配可以取得很好的效果, 因为正确的匹配应该比错误的匹配有着明显的最短最近邻距离, 从而达到稳定的匹配阈值的作用是对匹配结果的一种约束, 一般而言阈值的约束越强得到的匹配对越少, 正确率越高在成功利用特征点周围图像提取该特征点的特征描述符后, 可以在特征描述符之间进行匹配采用欧氏距离函数作为特征的相似性度量, 通过相似性度量得到图像间的潜在匹配获取 SIFT 特征向量后, 查找每个特征点的 2 个近似最近邻特征点在这两个特征点中, 如果最近的距离除以次近的距离小于某个比例阈值, 则接受这一对匹配点 4. 非刚性医学图像配准 4.1 仿射变换及最小二乘法求解变换参数 [4] 本文采用双线性插值的反映射仿射变换进行空间坐标变换, 并利用最小二乘法求仿射变换参数仿射变换 (Affine Transform) 可以通过一系列变换的复合来实现, 包括 : 缩放 (scale) 旋转 (rotation) 平移(translation) 和剪切 (shear) 此类变换可以用一个 3 3 的矩阵来表示, 其最后一列为 (0,0,1) 该变换矩阵将原坐标(x, y) 变换为新坐标 (x', y'), 这里原坐标和新坐标皆为最后一列为 (0,0,1) 的三维行向量, 原行向量右乘变换矩阵得到新的行向量 : t11 t12 0 [ x' y' 1] = [ x y 1 ] t21 t22 0 t31 t32 1 (5) 需要计算的仿射变换参数 G( tx, ty, s, ϕ )( 其中 tx和 ty分别是横纵坐标的平移量,s 是缩放量, 旋转量是 ϕ ), 就是使一个点集中的点经过变换后的坐标与另一个点集中对应的点的坐标欧氏距离的平方和 S( t, t, s, ϕ ) 最小的变换 [5] 4.2 互信息相似性测度相似测度的选择很大程度上依赖于特征空间的选择, 合适的相似测度能有效地提高配准速度和精度互信息用于医学图像配准取得了很大的成功当两幅图像的空间位置达到一致时, 其中一幅图像表达另一幅图像的信息, 即其互信息应为最大设 A 为待配准图像,B 为标准图像, 边缘概率分别为 PA ( a ) 和 PB ( b ), 联合概率分布为 PAB ( ab, ), 互信息为 MI(A, B): PAB(,) ab MIAB (,) = HA () + HB () HAB (,) = PAB(,)log ab ab, PA () a PB () b (6) 本文选择比互信息测度更稳定的归一化互信息 (normalized mutual information,nmi) 测度 : 5. 图像配准结果 x y NMI( A, B) = H ( A) + H ( B) H ( A, B) 经过前面各个图像配准步骤的操作 : 提取特征点, 得到匹配点对的坐标 ; 根据控制点的空间坐标, 建立图像间的映射关系, 得出仿射变换参数 ; 在得到两幅图像间的变换参数后, 要将输入图像做相应参数的变换使之与参考图像处于同一坐标系下, 会涉及到输入图像变换 (7) - 3 -

后所得点的坐标不一定为整数, 则应进行双线性插值处理经过上述的图像配准操作, 可以得到图 2 所示配准结果将文中选用的图像配准方法与基于互信息的图像配准方法进行比较, 图 3 表示的是采用基于互信息配准方法得到的配准结果 (a) 标准图像 (b) 待配准图像 (c) 配准结果图 2 采用本文方法得到的图像配准结果 Fig.

3 The image registration result based on the mutual information method 评价配准算法的优劣主要考虑精度准确度稳定性可靠性算法的复杂性和临床可用性等因素, 其中前两个因素最为重要, 目前主要通过间接的方法进行评价对于图像配准结果的评价指标, 由于技术还处于起步阶段, 尚无统一的评价指标,

是采用上述评价指标对两组实验中图像配准结果进行评价得到的数据表 1 采用两种方法进行图像配准的评价指标指标相关系数 MSE NSR NMI 本文方法 0.8816 1754.71 59.7129 0.4315 互信息方法 0.6791 1896.66 52.9752 0.

4 后所得点的坐标不一定为整数, 则应进行双线性插值处理经过上述的图像配准操作, 可以得到图 2 所示配准结果将文中选用的图像配准方法与基于互信息的图像配准方法进行比较, 图 3 表示的是采用基于互信息配准方法得到的配准结果 (a) 标准图像 (b) 待配准图像 (c) 配准结果图 2 采用本文方法得到的图像配准结果 Fig.2 The image registration result based on the method in the paper (a) 标准图像 (b) 待配准图像 (c) 配准结果图 3 采用基于互信息方法得到的图像配准结果 Fig.3 The image registration result based on the mutual information method 评价配准算法的优劣主要考虑精度准确度稳定性可靠性算法的复杂性和临床可用性等因素, 其中前两个因素最为重要, 目前主要通过间接的方法进行评价对于图像配准结果的评价指标, 由于技术还处于起步阶段, 尚无统一的评价指标, 本文就目前比较公认的指标进行了效果评价, 包括 : 相关系数 (correlation coefficient,coef) 归一化互信息 (normalized mutual information,nmi) 信噪比(Signal to Noise Ratio,SNR) 和最小均方误差 (Mean Squared Error,MSE) 表 1 是采用上述评价指标对两组实验中图像配准结果进行评价得到的数据表 1 采用两种方法进行图像配准的评价指标指标相关系数 MSE NSR NMI 本文方法互信息方法对比两个表中的指标参数可知 : 相对于基于互信息的配准方法, 文中提出的图像配准方法有一定的优越性, 图像配准效果相对较好 6. 结论本文应用了匹配能力较强的 SIFT 特征匹配算法来提取稳定的特征, 实现了两幅图像之间的特征匹配 SIFT 算法的理论基础是通过高斯金字塔分层结构的形式来实现的, 在各个层次上进行特征点特征描述符的提取, 有助于算法的稳定 ; 对特征点方向的确定也是通过局部信息的统计特性进行主方向和辅方向的综合评估, 进一步提高了特征点提取的准确性同时, 采用双线性插值的仿射变换来进行空间变换, 并利用最小二乘法求仿射变换参数, 可使图像具有很好的旋转平移和缩放适应性, 同时避免了出现空像素点 - 4 -

5 参考文献 [1] 冯林, 管慧娟, 孙焘等. 医学图像非刚性配准研究进展 [J]. 北京生物医学工程, 2005, 25(4): 437~439. [2] David G. Lowe. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91~110. [3] David G. Lowe. Object Recognition from Local Scale-Invariant Features[C]. International Conference on Computer Vision, 1999: [4] 李弼程, 彭天强, 彭波. 智能图像处理技术 [M]. 北京 : 电子工业出版社, [5] 章权兵, 罗斌, 韦穗. 基于仿射变换模型的图像特征点集配准方法研究 [J]. 中国图像图形学报, 2003, 8(10): Application of SIFT Feature Extraction Method in Medical Image Registration LV Dan, WANG Zhe, WANG Anna, LI Dan College of Information Science and Engineering, Northeastern University, Shenyang (110004) Abstract Now many kinds of image registration methods have been developed. Image registration method based on feature points becomes a hot research in computer vision. In allusion to non-rigid registration of medical images, the paper gives a practical matching algorithm the image registration algorithm based on the scale-invariant features transform (Scale Invariant Feature Transform, SIFT). The paper highlights the SIFT feature extraction and matching method. On the basis of the application of SIFT feature extraction to extract images feature points, the paper chooses affine transformation model and normalized mutual information measure to accomplish the image non-rigid registration process. The experimental results show that the method can achieve better registration results than the method based on mutual information. Keywords: non-rigid registration; SIFT; affine transform; normalized mutual information measure 作者简介 : 吕丹, 硕士研究生, 研究方向是数字图像处理医学图像配准 ; 王哲, 硕士研究生 ; 王安娜, 教授 / 博士, 主要研究方向是医学图像配准及融合 ; 李丹, 讲师 / 硕士 - 5 -

基于SIFT的图像配准新方法

基于SIFT的图像配准新方法基于 SIF 特征和广义紧互对原型对距离的遥感图像配准方法霍春雷 1, 周志鑫, 1, 刘青山 1, 卢汉清 1 1 中国科学院自动化研究所模式识别国家重点实验室, 北京,100080) 北京市遥感信息研究所, 北京,100854) 摘要 : 本文主要讨论 SIFScale Invarant Feature ransform) 及其在遥感图像配准中的应用首先介绍了基于特征点的遥感图像配准的一般框架