<4D F736F F D D FD1EEB3C2B3BF5F333735BBF9D3DA BDC7B5E3B5C46B6C74B8FAD7D9BAECCDE2CDBCCFF1C5E4D7BCB5C4D3B22E2E2ED0DEB8C4B8E532332E646F63>

Size: px

Start display at page:

Download "<4D F736F F D D FD1EEB3C2B3BF5F333735BBF9D3DA BDC7B5E3B5C46B6C74B8FAD7D9BAECCDE2CDBCCFF1C5E4D7BCB5C4D3B22E2E2ED0DEB8C4B8E532332E646F63>"

霖满司
5 years ago
Views:

1 第 35 卷第 10 期红外技术 Vol.35 No 年 10 月 Infrared Technology Oct. 013 图像处理与仿真基于 Harris 角点的 KLT 跟踪红外图像配准的硬件实现杨陈晨, 顾国华, 钱惟贤, 陈钱, 徐富元 ( 南京理工大学电光学院, 江苏南京 10094) 摘要 : 提出了一种基于 Harris 角点的 KLT 跟踪图像配准算法用于解决红外搜索跟踪系统中红外图像配准问题该算法首先对红外序列图像进行 Harris 角点检测, 选取合适的角点作为跟踪点, 对跟踪点进行 KLT 跟踪, 通过 KLT 算法计算出序列图像间的位移量, 从而实现红外图像配准整个算法在 DE-115 系统平台上实现, 采用 CycloneIV 系列的 FPGA, 在 Quartus13.0 软件上利用 Vhdl 编写和调试 Harris 角点检测 KLT 跟踪以及匹配程序最后结论表明, 该算法能满足红外图像配准的精度和稳定性, 并且 FPGA 在图像处理中可以提供更高的运算速度, 更能满足图像配准的实时性要求关键词 : 红外图像配准 ; 角点检测 ;KLT 跟踪 ;FPGA 中图分类号 :TP391 文献标识码 :A 文章编号 : (013) Hardware Implementation of Infrared Image Registration Based on the Harris Corner of KLT Tracking YANG Chen-chen,GU Guo-hua,QIAN Wei-xian,CHEN Qian,XU Fu-yuan (College of Electric & Optic, Nanjing University of Science and Technology, Nanjing 10094, China) Abstract:In order to solve the infrared image registration problem of the infrared seeking and tracking system, an infrared image registration algorithm which is based on the Harris corner of KLT tracking is put forward. The algorithm firstly does Harris corner detection of infrared image sequences and choose suitable corners as tracking points. Then the tracking points are tracked by KLT and the displacement between image sequences are calculated by the KLT algorithm. Thus infrared image registration is realized. The whole algorithm is implemented on the DE-115 system platformwith CycloneIV series FPGA of which programming and debugging in Harris corner detection, KLT tracking and matching process is completed by Vhdl language in Quartus 13.0 software. Final conclusion shows that the proposed algorithm can satisfy the precision and stability of the infrared image registration, and the FPGA in the image processing system can provide higher speed, meeting the real-time requirements of image registration much more. Key words:infrared image registration,corner detection,klt tracking,fpga 0 引言图像配准技术被广泛应用于图像融合图像识别与检测图像拼接等技术领域目前, 常用的图像配准算法包括两类, 基于模板和基于特征点基于模板的匹配算法主要有相位相关法, 模板匹配容易受图像灰度的影响, 并且当图像间发生较大几何变换后, 可靠性大大降低基于特征点的匹配算法主要有边缘检测匹配法角点匹配法尺度不变特征法考虑到算法的精度和运算量, 角点检测法由于它具有旋转不变性和不随光照变化而变化的特征, 更重要的是它运算量小, 提高了计算速度并且也可提供可靠的图像匹配在红外搜跟系统中, 图像序列间较大情况为水收稿日期 : ; 修订日期 : 作者简介 : 杨陈晨 (1988-), 女, 硕士生, 主要从事红外图像处理, 红外目标搜索跟踪方面的研究 @qq.com 通讯作者 : 顾国华 (1966-), 男, 研究员, 博士生导师, 主要从事红外目标探测与识别及红外成像方面的研究 gghnjust@163.com 基金项目 : 国家自然科学基金, 编号 :617133; 江苏省六大人才高峰支持计划, 编号 :010-DZXX-0 63

2 第 35 卷第 10 期 Vol.35 No 年 10 月杨陈晨等 : 基于 Harris 角点的 KLT 跟踪红外图像配准的硬件实现 Oct. 013 平和垂直方向有位移偏差, 较少出现旋转缩放等情况, 因此, 需要一种既能快速进行图像匹配, 又能满足精度要求的配准算法文献 [1] 利用 Harris 角点量代替原始图像进行相位相关计算, 得到亚像素级的偏移从而进行配准, 对图像的质量要求比较高, 若有噪声则会影响精度 ; 文献 [] 中提出以 DSP 为主,FPGA 为辅的硬件平台进行 SUSAN 角点图像匹配算法, 算法的主要实现是在 DSP 中, 不是在 FPGA 中, 没有利用到 FPGA 的高速运算能力, 而 SUSAN 角点检测采用的圆形模板在 FPGA 中没有 Harris 矩形模板方便计算 ; 文献 [3] 中提出利用 KLT 跟踪的方法跟踪检测到的 surf 特征点, 对其求精, 使得配准精度更高, 但是 surf 和 KLT 两者结合算法复杂度高, 而且在普通的处理器运行, 难以满足实时性考虑到 Harris 角点检测法并行性较强, 在 FPGA 硬件平台上能达到实时检测, 并且, 如果单纯使用 Harris 角点算法来实现配准, 那么需要对帧图像进行角点检测, 对相同角点进行次检测会引入一定的误差, 而且在计算角点之间的位移也会引入误差为了减少误差, 提高配准精度, 提出对角点进行 KLT 跟踪的方法, 直接对检测到的角点跟踪计算, 直接算出位移, 少了一次角点计算, 从而减小了误差结合红外搜跟系统的特点, 以及 Harris 角点检测算法和 KLT 跟踪算法这两者算法的优点, 可以得到精度好实时性高的图像配准算法因此, 本文提出在 FPGA 硬件处理平台上实现基于 Harris 角点的 KLT 跟踪图像配准算法 1 图像配准硬件算法总体设计对于本文提出的在 FPGA 硬件处理平台上实现基于 Harris 角点的 KLT 跟踪图像配准算法, 算法的主要思路如下 :1) 检测图像的 Harris 角点 ;) 采用局部非极大值抑制的方法提取可靠角点 ;3) 选取可靠角点作为跟踪点, 采用 KLT 跟踪计算出帧图像的位移量 ;4) 根据位移量将帧图像匹配可以看出, 整个算法主要由 Harris 角点检测和 KLT 跟踪两大块组成此外, 由于 FPGA 处理器与传统处理器的机制不一样, 因此需要将 Harris 角点检测和 KLT 跟踪算法的运行机制改进以符合 FPGA 的并行处理机制, 从而达到充分利用 FPGA 处理平台提高算法运算速度和实时性这一目的 Harris 角点检测硬件实现.1 Harris 算子 [4] Harris 算子是在 1988 年, 由 Harris 和 Stephens 共同提出的通过微分运算和自相关矩阵来检测角点的算法该算法通过泰勒级数展开, 计算窗口沿任意方向移动后的灰度情况, 再利用数学方法求解出特征点 [5] 具体步骤如下: 1) 分别计算图像的像素点在 x,y 方向上的梯度 : I Ix = = I x [-1 0 1] ) 计算 1) 的梯度乘积 :, I = = I [ ] y I y T I x =I x I x,i y =,I xy =I x 3) 与自相关函数矩阵相关联的矩阵 M 定义为 Ix IxI y A C M = G = II I y C B, 分别对 I x I y I xy 进行高斯滤波, 得到 M 阵的元素 A B C,G ( x y ) 为高斯模板 : G =,A=I x G,B=I y G, σ C=I xy G 4) 计算每个像素的角点响应函数值 R 用矩阵表示为 : R=(AB-C )/(AB) 5) 在 33 邻域内进行非极大值抑制, 局部响应极大值点即为角点. Harris 算子硬件化为了能将 Harris 角点检测算法在 FPGA 中实现, 根据上节中对 Harris 算子步骤的描述, 将每一步的算法使用 Vhdl 语言转换, 将顺序执行的程序转化为并行执行的逻辑时序 Harris 角点检测算法主要包括 x y 方向导数模块高斯卷积模块局部非极大值抑制模块, 各个模块按图 1 流程进行..1 方向导数模块方向导数模块的计算包括 x y 方向, 两者计算方法大同小异 x 方向导数计算是将数字图像数据与 x 方向导数模板 [-1 0 1] 进行卷积, 经过分析后, 该模板是一行 3 列, 因此直接对图像按行操作如图所示, 将模板窗口横向扫描图像, 位于窗口中间的像素的 x 方向导数即为窗口中右边像素减去左边像素的值随着时钟信号 clk 的上升沿触发, 在图像的场信号 field 和行信号 line 的触发下, 图像数据输入寄存器 data[7..0], 中间像素寄存器 reg1[7..0] 的 x 方向导数即为 data[7..0] 与 reg[7..0] 像素寄存器之差在此过程中, 可能会出现负数, 负数则用 8 位补码表示即可 633

3 第 35 卷第 10 期红外技术 Vol.35 No 年 10 月 Infrared Technology Oct. 013 图像 data[7..0] x 方向导数模块 y 方向导数模块 I x I x I x 高斯卷积模块 A B C - / 局部非极大值抑制模块角点 clk field line 图 1 Harris 角点检测算法流程图 data[7..0] Reg1[7..0] Reg[7..0] minus 图 x 方向导数流程图 Fig. x direction derivative flowchart y 方向导数的计算是将图像数据与 y 方向导数模板 [-1 0 1] T 进行卷积, 该模板是一列 3 行, 需要对 3 行一起操作如图 3 所示, 由于数据是按行输入的, 因此需要建立两个缓存 line1 和 line, 用来存储两行图像数据, 然后按照时钟信号 clk, 数据按像素存入缓存中, 并且同时计算出 data[7..0] 和 reg3[7..0] 的差值, 即为 line 所存图像的 y 方向导数由于每个时钟周期立刻输出一个导数值, 那么当计算完当前行时, 缓存 line 中已缓存好下一行的图像数据, 可以立即计算下一行的 y 方向导数 I x Fig.1 Harris corner detection algorithm flowchart 卷积, 由于高斯卷积核心所占 FPGA 资源不多, 因此, 相比于, 利用一个高斯卷积分别对 I x I x 进行计算的串行方法, 此并行处理法减少了算法模块所耗的时间如图 5 所示, 其中高斯卷积选用 33 ( x y ) 模板, 根据 G =, 由于 FPGA 中的幂 σ 可以通过简单的移位操作来完成, 因此, 将模板系 1 1 数近似为 4, 减少了乘法器的使用, 节省 1 1 了资源, 同时对高斯卷积的最后结果影响不大通过建立个 FIFO, 用于存储行数据, 输入数据在时钟作用下输入, 按照图 5 中所示的数据流向, 从 FIFO 中读取数据存入寄存器中 reg11 reg1 reg13 reg1 reg reg3 reg31 reg3 reg33 构成 33 的模板寄存器, 将寄存器中的数据分别乘系数后相加就得出高斯卷积的结果 I x Gauss A line1 reg3[7..0] I x Gauss C clk field line line data[7..0] minus 图 3 y 方向导数流程图 Fig.3 y direction derivative flowchart.. 高斯卷积模块及改进当 I x 和方向导数计算完成后, 需要计算梯度的乘积如图 1 所示,x 方向导数和 y 方向导数模块得到的 I x 和, 为了让 I x 和在当前时钟 clk 下对同一个像素进行运算, 分别对它们进行时序同步, 进而将两数对应相乘得到 I x I x I y 将 I x I x 分别通过高斯卷积模板, 从而可以得到 M 矩阵的 A B C 三个参数, 为了能够达到更快的处理速度, 如图 4 所示, 本文中采用资源换取速度的方法, 将 I x I x 同时进行高斯 Gauss B 图 4 高斯卷积模块的并行处理流程 Fig.4 Gaussian convolution module in parallel processing..3 局部非极大值抑制模块根据公式 R=(AB-C )/(AB), 由乘法器加法器减法器除法器相结合即可计算出角点响应值 R, 但是此时的响应值包含了所有的特征点, 由于其中特征点数过多, 而且并不是所有的特征点都是符合要求的, 因此需要通过非极大值抑制, 剔除角点特征不明显的点本文中对 33 邻域中的点进行非极大值抑制, 且依次扫描像素点, 比较窗口内 8 个点的大小, 若该点为极大值, 那该像素的下一个点直接跳过, 扫描接下去的点, 并且将得到的各个邻域中极大值点的位置输出, 即为角点位置 634

4 第 35 卷第 10 期 Vol.35 No 年 10 月杨陈晨等 : 基于 Harris 角点的 KLT 跟踪红外图像配准的硬件实现 Oct. 013 FIFO1 reg13 reg1 reg11 Gauss = FIFO reg3 reg reg1 data_gauss data reg reg33 reg3 reg31 图 5 高斯卷积模块流程图 Fig.5 Gaussian convolution module flowchart 3 KLT 算法跟踪硬件设计 [6] KLT 算法是 1981 年由 Kanade 和 Lucas 提出的一种基于特征点的跟踪算法, 后来 Lucas 和 Tomasi 对该算法进行了完善它是一种以待跟踪窗口在视频图像帧间的灰度差平方和作为度量的跟踪算法 [7] KLT 跟踪算法原理 : 在一帧图像中的可靠特征点被称为跟踪点, 对跟踪点在图像帧间进行互相关测量, 从而发现跟踪点在下一帧图像中的位置, 从而可计算出两帧图像间的位移 3.1 KLT 算法跟踪原理对于序列灰度图像 I(x, y, t) [8], 其中,x,y 表示像素点的坐标,t 表示时间序列假设, 在图像的小区域中, 和前一帧图像相比, 图像之间仅发生位移, 亮度不变 :I(x, y, t)=i(xd x, yd y, tτ), 其中 d x d y 是位移量,τ 为时间变化量, 令 d=(d x, d y ) 表示位移变化量, 那么 KLT 算法的目标即为求出位移变化量 d 定义误差量 ε 为 : W (,, )- (,, ) τ ε = I x d y d t I t (1) 式中 :W 是以像素点为中心的小窗口将 I(xd x, yd y, tτ) 一阶泰勒展开, 将其代入公式 (1) 中, 并令 ε 的微分为 0, 得到形如 Gd=e 的 I x II T 式子其中 G =, e= I l W II I I I, y W I x 分别为 I(x, y, t) 在 x y 方向的导数,I l 为帧图像的像素之差, 而 d=g -1 e 3. KLT 算法硬件化对于帧图像, 为计算其重叠部分的位移, 选择 33 的小窗口, 那么以中心像素点为跟踪点, 周边 8 个像素为用于计算的点假设帧图像分别为 I 和 J, 亮度差为 h i =I i -J i,i=1,,,8; 水平方向梯度和为 S xi =I xi J xi, 垂直方向梯度和为 S yi =i 8 8 sxi sxisyi i= 1 i= 1 J yi,i=1,,,8; 因此 G =, 8 8 sxisyi syi i= 1 i= 1 e 8 i xi i= 1 = 8 i= 1 hs hs i ex e = e, 计算得 G y yi d a b 为了计算方便, 令 G = b c, 1 1 c b ac b b a, 最后得出 : = ce be d 1 1 x = G e= = ac b aey bex d y 根据公式 () 将其在 FPGA 中实现, 需要若干加法器减法器乘法器除法器流程如图 6 所示 4 图像配准的实现由摄像机采集的图像序列首先进行高斯平滑滤波, 此处同 Harris 角点检测模块里面的高斯卷积模块, 可以滤除噪声, 减小噪声对角点检测模块的影响将图像通过 Harris 角点检测模块进行角点检测, 得到一系列的角点将这些点作为 KLT 的跟踪对象, 通过 KLT 跟踪模块的计算可以得出较为精确的位移, 由于是对每一个跟踪点计算一个位移量, 那么对于 n 个角点就得到 n 对位移值, 对这组位移值计算平均值作为两帧图像间的位移, 进而根据位移量, 将帧图像进行匹配实现流程如图 7 所示 635 ()

5 第 35 卷第 10 期红外技术 Vol.35 No 年 10 月 Infrared Technology Oct. 013 I1 I I3 I4 I I5 I6 I7 I8 J1 J J3 J4 J J5 J6 J7 J8 I x J x J y - h s y s x 梯度平方和运算 a c b e x e y - - / d x - / d y 图 6 KLT 跟踪算法流程图 Fig.6 KLT tracking algorithm flowchart Harris 角点检测图像采集高斯平滑滤波 KLT 跟踪图像匹配图 7 图像配准示意图 Fig.7 Image registration diagram 5 实验结果与分析资源为表所示表 1 5 组 KLT 运算结果 Table 1 Five groups of KLT operation results 点的坐标 (x,y) d x d y (60,165) (71,118) (54,106) (18,76) (178,35) 实验平台与结果本文提出的图像配准算法的实验平台为图像大小为 3056 帧频为 50. Hz 的制冷型热像仪 DE-115 系统平台和热像仪数字网络采集卡在 Quartus13.0 软件上采用 Vhdl 语言编写并调试结果如图 8 所示, 从红外图像视频中所截取的帧图像 (a)(b), 首先对 (a) 进行 Harris 角点检测, 并且读取角点的横纵坐标, 得到角点图像 (c), 其中包含 37 个角点, 选取合适稳定的角点作为跟踪点, 在两帧图像 (a)(b) 中对所选定的角点进行 KLT 跟踪运算, 得出一系列位移信息对由 FPGA 计算出的位移量由小数表示为 ( 列出 5 组角点对应的位移量, 其中表示为向上和向右, - 表示为向下向左 ) 根据计算结果得出向左偏移 8 个像素, 向上偏移 13 个像素, 根据位移值, 由图像配准模块进行匹配得到图 (d) 所示配准结果 5. 资源与实时性分析 5..1 资源占用分析整个算法在 DE-115 系统平台实现, 该系统平台采用 CycloneIV 系列的 FPGA, 外部接有 SRAM, SDRAM 等大容量存储器, 整个算法所消耗的 FPGA 表 FPGA 资源消耗 Table The FPGA resource consumption 名称占用百分比 Total logic elements 180 % Total registers 1637 Total memory bits % 为了减少 FPGA 存储的消耗, 本文将图像存于 SRAM 中, 一帧图像大小为 30568=8190 Byte=80 kb, 在整个算法过程中, 对于所用到的图像的运算和缓存等总共消耗了大约 700 kb 5.. 实时性分析本算法采用 7 MHz 时钟频率作为处理时钟, 最高并行处理为 100 MHz, 计算 Harris 角点检测的时间为 ms 左右, 加上 KLT 跟踪算法, 总共所耗时间为 4.5 ms 左右, 能够很好地满足红外搜跟系统的实时性要求若采用 100 MHz 时钟频率作为处理时钟, 那么最高并行处理频率为 300 MHz,FPGA 也能处理, 将会达到更高的处理速度但是更高的处理时钟对硬件的要求也增高, 需要更高性能的 FPGA 以及高速传输图像数据的能力 636

第 35 卷第 10 期 Vol.35 No. 10 013 年 10 月杨陈晨等 : 基于 Harris 角点的 KLT 跟踪红外图像配准的硬件实现 Oct.

8 The results of the algorithm 6 结论红外图像配准技术的研究是红外搜跟系统中一个重要环节本文提出了一种基于 Harris 角点的 KLT 跟踪图像配准硬件算法通过实验可以看出该算法能够对序列红外图像能进行有效的角点检测, 并且通过对角点的跟踪从而达到高精度的配准效果此外该算法是利用 FPGA 并行处理系统平台, 而不是传统的处理系统平台,

基于 Harris 角点量与相位相关的亚 [] 雷凯, 刘艳滢, 王延杰, 等. 基于 TMS30C6416T 平台的特征角点图像配准算法 [J]. 电子器件, 006, 9(4): 131-134. [3] 罗三定, 何俊耀. 基于 SURF 和 KLT 跟踪的图像拼接算法 [J]. 计算机工程, 010, 36(1): 15-17. [4] Harris C, Stephens M.

Good features to track[c]//computer vision and pattern recognition. Proceedings of IEEE Computer Society Conference, 1994: 593-600. [7] Tommasini T, Fusiello A, Trucco E, et al.

6 第 35 卷第 10 期 Vol.35 No 年 10 月杨陈晨等 : 基于 Harris 角点的 KLT 跟踪红外图像配准的硬件实现 Oct. 013 (a) 第 k 帧图像 (a) Frame k (b) 第 k1 帧图像 (b) Frame k1 (c) 第 k 帧图像的角点图像 (c) The corner image of frame k 图 8 算法运行结果图 (d) 将第 k 帧与第 k1 帧图像的匹配效果 (d) The matching results of frame k and frame k1 Fig.8 The results of the algorithm 6 结论红外图像配准技术的研究是红外搜跟系统中一个重要环节本文提出了一种基于 Harris 角点的 KLT 跟踪图像配准硬件算法通过实验可以看出该算法能够对序列红外图像能进行有效的角点检测, 并且通过对角点的跟踪从而达到高精度的配准效果此外该算法是利用 FPGA 并行处理系统平台, 而不是传统的处理系统平台, 大大加快了运算速度, 提高了算法的实时性但是, 由于 KLT 跟踪算法有一定的适用范围, 它主要适用于两帧图像间存在的偏移量较小的情况下, 一般在 30 个像素以内本文算法主要处理扫描式连续的图像序列, 这样的图像序列的特点是帧间位移变化较小, 因此, 可以很好地用在红外搜跟系统中参考文献 : [1] 樊志华, 王春鸿, 饶长辉, 等. 基于 Harris 角点量与相位相关的亚 [] 雷凯, 刘艳滢, 王延杰, 等. 基于 TMS30C6416T 平台的特征角点图像配准算法 [J]. 电子器件, 006, 9(4): [3] 罗三定, 何俊耀. 基于 SURF 和 KLT 跟踪的图像拼接算法 [J]. 计算机工程, 010, 36(1): [4] Harris C, Stephens M. A combined corner and edge detector[c] //Proceedings of the 4th Alvey Vision Conference, 1988: [5] 袁梦笛, 顾国华, 钱惟贤, 等. 红外搜索跟踪系统中实时图像配准的研究和实现 [J]. 红外技术, 01, 34(9): [6] Shi J, Tomasi C. Good features to track[c]//computer vision and pattern recognition. Proceedings of IEEE Computer Society Conference, 1994: [7] Tommasini T, Fusiello A, Trucco E, et al. Making good features track better[c]//proceedings of IEEE Computer Society Conference, 1988: [8] Jang Wonjun, Oh Sungchan, Gyeonghwan Kim. A Hardware implementation of pyramidal KLT feature tracker for driving assistance systems[c]//proceedings of 1th International IEEE Conference on Intelligent Transportation Systems, 009: 0-5. 像素级图像配准方法 [J]. 计算机应用研究, 011, 8():

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位自然科学版文章编号视网膜图像中视盘的快速自动定位方法赵晓芳林土胜李碧摘要基于眼底视网膜血管的分布结构及视盘本身的特点提出一种快速自动定位视盘的方法首先根据视网膜血管的网络分布结构大致定位视盘的垂直坐标然后根据视盘的亮度信息及视盘与血管的关系来定位视盘的水平坐标最后把视盘限定在以粗定位的视盘为中心的一个小窗口内用变换精确定位视盘中心该方法不需要事先分割视网膜血管也不需要对算法进行训练