标题

Size: px

Start display at page:

Download "标题"

粕现明
5 years ago
Views:

1 第 35 卷第 4 期 2015 年 4 月北京理工大学学报 TncnBjngInuTchngy V.35 N.4 Ap.2015 基于 AST 关键点的增强现实跟踪注册算法陈靖, 孙源 ( 北京理工大学光电学院, 北京 ) 摘要 : 介绍了一种基于 AST 关键点的无标志点增强现实跟踪注册算法. 算法在标定关键帧图像的基础上, 对获取的视频图像, 使用 AST 角点探测算法提取特征点并建立相应点的 SUR 描述. 经过 RANSAC 算法消除外点后, 将这些点与关键帧图像中的 AST 关键点进行匹配, 获取摄像机的姿态, 完成系统的自动跟踪注册. 实验结果表明, 算法实时性好鲁棒性强跟踪定位精度高, 有效推动了 AR 在智能终端的应用. 关键词 :AST 角点探测 ; 跟踪注册 ;SUR 描述中图分类号 :TP391 文献标志码 :A 文章编号 : (2015) DOI: /j.b Sym AghmBdnASTKypn MkAugmndRyAppcn CHENJng, SUN Yun (SchOpcnc,BjngInuTchngy,Bjng100081,Chn) Abc:Thckngym ghm ppd mkugmndyppcn bdnastkypnpnd.amnumbkymhnvnmn cbdnnduddchgbjcnvdm.dunghnn g,hgbjcumcydcdbymchnghastkypnxcdn hnpumgndhcdkym.thransacghm mpyduh pmzpncpndncnddcdu.thcmpccuymd ungnmggnghm.expmnudmnhughm ḻm,ccu,bu,ndpmharppcnnhngnmn. Kyd:ASTkypn;ckng;SURdcp 在增强现实技术的应用中, 跟踪注册是要解决的核心问题之一, 而自然特征提取是跟踪注册的基 [12] 础. 随着网络技术的快速发展以及智能终端设备技术的革新, 使移动增强现实技术在智能终端设备上的应用会更加广泛自如. 考虑到其数据处理能力较弱等缺陷, 需要研究出适合于智能终端设备的算法与方案. 现阶段, 在基于自然特征点的跟踪注 [3] [4] 册方面, 主要有 SIT 算法 SUR 算法和 [5] AST 角点探测算法等. 与前两种算法相比, AST 角点探测算法提取的特征具有平移和旋转不变性, 但不具备尺度不变性. 然而, 在时间性能方面, 却远远地优于前两种算法, 可以很好地满足跟踪注册过程中的实时性和鲁棒性. 因此, 本文针对 AR 系统中的跟踪注册问题, 做出了一些改进, 提出了基于 AST 关键点的无标志点增强现实跟踪注册算法, 推进了 AR 技术在移动智能终端设备的应用. 收稿日期 : 基金项目 : 国家八六三计划项目 (2013AA013802) 作者简介 : 陈靖 (1974 ), 女, 博士, 副研究员,E-m:chn74jng29@b.du.cn. 通信作者 : 孙源 (1988 ), 女, 硕士生,E-m:unyun522008@126.cm.

422 北京理工大学学报第 35 卷 1 自然特征点的提取与匹配 1.1 AST 关键点提取图像特征提取是增强现实跟踪注册算法的基 [68] 础, 也是计算机视觉领域的重要研究内容. 目前, 增强现实注册算法中常用到的图像特征包括点特征线特征和面特征等, 这里采用从视频帧序列图像中提取点特征的方法.

2 422 北京理工大学学报第 35 卷 1 自然特征点的提取与匹配 1.1 AST 关键点提取图像特征提取是增强现实跟踪注册算法的基 [68] 础, 也是计算机视觉领域的重要研究内容. 目前, 增强现实注册算法中常用到的图像特征包括点特征线特征和面特征等, 这里采用从视频帧序列图像中提取点特征的方法. AST ((u m ccd gmn ) 角点探测算法由 Edd Rn 和 Tm Dummnd 于 2005 年提出 [5], 该算法检测的角点定义在像素点的周围邻域内有足够多的像素点与该点处于不同的灰度区域. 通常选择以角点为中心半径为 3 的离散化圆形区域, 如图 1 所示. 2, 对其内图像 H 小波响应值 dx dy 进行累加, 得到一个矢量 (m,θ) m = dx+ dy, (2) θ =cn( dx/ dy). (3) 主方向为最大 H 响应累加值所对应的方向, 即最长矢量所对应的方向如图 3 所示. 图 2 H 小波模板图 2 Hvmp 图 1 角点探测模板示意图 1 Schmccndcnmp 一个候选点是否为角点需通过角点响应函数 CR 来判断, 即 x N = I(x)-I(p) >εd. (1) 式中 :p 为中心像素点即候选点 ;x 为以 p 为中心的圆周上的任意一点 ;I(p) 为中心像素点的图像灰度值 ;I(x) 为圆周上点的图像灰度值 ;εd 为给定的阈值. 提取的角点数目与 εd 负相关 ἐd 越小, 角点数目越多. 由上述的角点响应函数, 累加出圆周上满足式 (1) 的像素点个数 N. 若 N 大于给定的阈值, 就可以确定该候选点为角点. 通常阈值取 12, 此阈值可以很快排除伪角点. 1.2 SUR 描述符建立提取 AST 角点后, 为进行后续的点匹配, 需要为其添加描述符.SUR 描述符在生成特征矢量时使用的是积分图像, 提高了计算图像梯度的效率, 减少了时间的消耗. 因此这里采用 SUR 描述符. [4] 为保证 SUR 描述算子旋转不变性, 先确定一个关键点的主方向, 即关键点邻域内各点梯度方向的直方图中最大值所对应的方向. 在求取主方向时, 设计一个以特征点为中心, 张角为 60 的扇形滑动窗口. 旋转该窗口进行 H 滤波, 滤波模板如图图 3 主方向分配 3 Pncpdcndbun 确定关键点的主方向后, 旋转坐标轴至该方向, 将兴趣点周围像素划分成 4 4 个小区域, 对每个子区域计算小波响应, 最后对每个小区域的 dx,dy, dx,dy 求和, 得到一个 4 维向量 (dx, dy, dx, dy ), 把 16 个子块区域的向量合成在一起, 就得到了一个 64 维的向量, 即是该兴趣点的描述符. 若考虑 dx 和 dy 正负情况, 便得到 128 维的描述符, 如图 4. 图 4 SUR 描述符生成 4 SURdcp

3 第 4 期陈靖等 : 基于 AST 关键点的增强现实跟踪注册算法金字塔层确定在提取关键点并生成关键点的特征向量后, 需要完成序列帧与关键帧图像间的特征匹配. 由于 AST 角点探测算法不具备尺度的问题, 序列帧与关键帧图像的点匹配准确度较低. 为解决该难题, 建立了关键帧的灰度图像金字塔, 先确定当前序列帧处于金字塔的层数后, 再进行匹配. 该金字塔包含 4 层,0 层图像的尺寸最大, 每层依次降 2 倍分辨率得到. 在获取当前帧后, 为了确定其所在的金字塔层, 利用前一帧与关键帧的匹配关系求得一个与尺度相关的比值, 由该值的大小确定当前帧的金字塔层. 由于关键帧图像与序列帧图像近似满足仿射变 [9] 换的关系, 将 H 写成分块矩阵的形式为 é m =Hm = A ù ë 0 T û 1 m. (4) 式中 :m 为关键帧图像的特征点 ;m 为序列帧图像的特征点 ;H 为单应矩阵 ;A 为包含尺度和旋转因子的矩阵. 在同一尺度上, 若仿射变换将图 5() 变换到图 5(b), 那么 Sb/S = d(a). (5) 式中 :S Sb 分别为关键帧和序列帧的面积值. 从式 (5) 看出, 在同一尺度上, 仿射变换后的图像面积比值保持不变. 对于不同金字塔层上不同尺度的图像来说, 可以根据它与关键帧零层的图像面积比来确定所在的层. 1.4 关键点匹配图 5 参考图像帧 5 Thncm 确定当前帧处于某一层后, 再采用关键点特征向量的欧式距离作为两帧图像中的关键点相似性测度 ; 运用 RANSAC 算法去除由于图像自相似或对称性造成的误匹配点对, 获取较为理想的匹配点对. 系的位置为 P(X,Y,Z,1) T, 由三维空间坐标到摄像机像面归一化坐标 (xn,yn,1) 的变换关系如下 éx éxn ù ù y Zc yn = [ R ]. (6) ë 1 û z ë1 û 式中 :[R ] 矩阵为需要被计算的摄像机位置矩阵 ; R 为 3 3 的旋转矩阵 ; 为 3 1 的平移矩阵. 将相应点的坐标带入式 (6), 求解方程组即可求出 R, 确定摄像机的姿态. 3 跟踪重新初始化在跟踪注册过程中, 由于摄像机的移动, 使场景光照等环境发生变化, 会导致匹配正确的特征点数量变少, 导致跟踪丢失. 为了保证跟踪注册的连续性和稳定性, 需要对此过程重新初始化, 保证特征点的数目满足一定的条件. 在自动初始化时, 采用 AST 角点探测算法提取当前跟踪失败的序列帧图像, 与关键帧进行匹配, 计算出此时的相机姿态. 由于 AST 提点算法与建立 SUR 描述符以及点匹配消耗的时间很短, 每帧大约在 16m, 可以实时地获取相机的旋转平移矩阵, 很好地满足了视频帧的连续性. 4 实验验证本文提出的跟踪注册算法没有使用 KLT 光 [10] 流来得到下一帧的点集, 而是对每一视频帧提取 AST 关键点. 这样可以避免 KLT 跟踪时的点集数目变小, 同时减少了获取点集的时间. 4.1 准确性确定为了验证本文所提出的确定关键帧所在尺度的准确性, 对某一视频进行跟踪注册. 先将图像逐渐移近摄像头, 之后再远离摄像头. 在该过程中, 记录每一帧图像所在的金字塔层, 如图 6 所示. 此外, 记录序列帧与关键帧的每层金字塔图像经 RANSAC 算法后匹配的点对数目, 如图 7 所示. 2 估计相机姿态在匹配正确的点对中, 根据当前帧与关键帧的匹配关系, 确定相机的姿态. 在摄像机线性模型下, 空间中一点在世界坐标图 6 每一帧的金字塔层 6 Pymdvchm

处理每一序列帧消耗的时间 9 Tm ch m 图 8 不同场景的效果图 8 D n c n u 图 10

2 实时性确定为测试其实时性,对某一场景进行跟踪注册,提进行比较,并将 AST 提点加 SUR 描述符建立所

图 10 给出了一视频帧中主要算法部分消耗的时间, 表 1 是对各部分时间以及总时间求平均的结果.

4 424 第 35 卷北京理工大学学报可以看出,该算法确定金字塔层的准确性较高. 分别对不同场景进行实验,使摄像头远离或靠近物体,验证图像所在尺度的准确性,如图 8 所示. 通过反复实验,得出该算法对不同场景具有适用性. 图 7 序列帧与每层金字塔图像匹配的点数 7 M ch ngnumb qunc mnd4py m d v 图 9 处理每一序列帧消耗的时间 9 Tm ch m 图 8 不同场景的效果图 8 D n c n u 图 10 每一视频帧中主要算法部分消耗的时间 10 Tm m n hm n ch m g 4.2 实时性确定为测试其实时性,对某一场景进行跟踪注册,提进行比较,并将 AST 提点加 SUR 描述符建立所取的关键点数在 460~630 之间,计算处理每一序列帧消耗的时间,如图 9 所示.其中,每一序列帧消耗的时间主要包括 3 部分:对视频帧提取 AST 关键点;为关键点建立 SUR 描述;匹配提取到的关键点. 图 10 给出了一视频帧中主要算法部分消耗的时间, 表 1 是对各部分时间以及总时间求平均的结果. 将 AST 提点时间与 KLT 光流跟踪点的时间 [ ] 消耗时间与 S ITGPU 11 比较,如表 2 所示. 表 1 主要算法部分需要的时间 Tb. 1 T m m n hm g 主要算法 AST 提点 SUR 描述符特征匹配总时间 /m

第4期陈靖等:基于 AST 关键点的增强现实跟踪注册算法表 2 算法消耗时间的比较 Tb.

055 KLT 跟踪 AST 提点 +SUR 描述 S ITGPU 7.675 7.728 40.

5 第4期陈靖等:基于 AST 关键点的增强现实跟踪注册算法表 2 算法消耗时间的比较 Tb. 2 Cmp n m h hm g /m 算法 AST 提点 KLT 跟踪 AST 提点 +SUR 描述 S ITGPU 通过数据结果显示,基于 AST 关键点的跟踪注册算法在处理视频序列帧时,消耗的时间较少,可以满足实时性的需求稳定性和鲁棒性确定为了测试算法对于光照和遮挡变化的鲁棒性, 对某一场景进行跟踪的过程中,在需要跟踪的物体上放置 ART k 标志物.分别沿 x y 轴平移物体,并分别于 101~122 帧之间加入光照变化,在 91~118 帧之间加入遮挡.记录这一过程中使用本文提出的算法和使用 ART K 方法对摄像机位置变量的估计结果,如图 11 所示.可以发现,在发生光照和遮挡变化时,算法仍然能够对摄像机位置进行稳定的估计,而 ART k 算法此时已无法跟踪. 为测得本文算法具备旋转不变性,在某些场景中围绕任一中心轴对物体进行旋转运动,并与 ART k 进行比较,数据结果如图 12 所示.可以看出,本文算法具备旋转不变性. 图 12 围绕任一中心轴旋转时测得的弧度变化 12 Cu v u chnghn ng undnync n x 图 11 平移过程中加入光照和遮挡时测得的变化 11 T n nchng hd nc ndhd ng gh 图 13,图 14 是运用本文的跟踪注册算法实现的效果图.其中包含了各种摄像机可能的变化,例图 13 旋转平移及视角变化时的实验效果 13 Exp mn u h hchng n, n nndv ng

426 北京理工大学学报第 35 卷图 14 光照及遮挡变化时的实验效果 14 Expmnuhchngghndhdng 如旋转视角和平移等, 以及各种场景变化例如遮挡光照变化等. 从图中可以看出, 所提出的跟踪注册算法对于以上各变化均具有鲁棒性.

同时, 基于 AST 关键点的识别匹配算法无需考虑跟踪注册中系统重新初始化的工作, 并且具备实时性, 满足了视频帧的连续性和稳定性, 减少了人工干预过程, 推动了增强现实系统在便携终端设备的应用. 参考文献 : [1]JngB,NumnnU,YuS.Abuhybdckng ymudugmndy[c] Pcdng IEEE VuRy.[S..]:IEEE,2004:3 10.

Bn:SpngBnHdbg,2006:404 417. [5]Rn E,Dummnd T.Mchnnnghgẖ pdcndcn[m] Cmpu VṉECCV 2006. Bn: Spng Bn Hdbg, 2006: 430 443. [6]BnL G.Auvymggnchnqu [J].ACM CmpungSuvy,1992,24(4):325 376. [7]Zvu B,uJ.

6 426 北京理工大学学报第 35 卷图 14 光照及遮挡变化时的实验效果 14 Expmnuhchngghndhdng 如旋转视角和平移等, 以及各种场景变化例如遮挡光照变化等. 从图中可以看出, 所提出的跟踪注册算法对于以上各变化均具有鲁棒性. 5 小结文中对基于 AST 关键点的增强现实跟踪注册问题进行了实验研究, 分析了 SUR 描述算子以及确定当前视频帧所处的金字塔层的方法, 并将基于 AST 角点探测与 SUR 描述符相结合的特征点识别匹配方法应用于跟踪注册系统, 取得了理想的实验效果. 实验表明, 该算法能够对图像旋转尺度缩放光照变化等保持不变性, 具备较强的稳定性和鲁棒性. 同时, 基于 AST 关键点的识别匹配算法无需考虑跟踪注册中系统重新初始化的工作, 并且具备实时性, 满足了视频帧的连续性和稳定性, 减少了人工干预过程, 推动了增强现实系统在便携终端设备的应用. 参考文献 : [1]JngB,NumnnU,YuS.Abuhybdckng ymudugmndy[c] Pcdng IEEE VuRy.[S..]:IEEE,2004:3 10. [2]BndnI,Pc C.Hybdckngud ugmnd y [J]. Cmpu Gphc Tpc, 2006,18(4):6. [3]L D G. Dncv mg u m cnvn kypn [J]. Innn Jun CmpuVn,2004,60(2): [4]By H,TuyT,GL V.SUR:pddup buu[m] Cmpu VṉECCV Bn:SpngBnHdbg,2006: [5]Rn E,Dummnd T.Mchnnnghgẖ pdcndcn[m] Cmpu VṉECCV Bn: Spng Bn Hdbg, 2006: [6]BnL G.Auvymggnchnqu [J].ACM CmpungSuvy,1992,24(4): [7]Zvu B,uJ.Imggn mhd: uvy[j].imgngnd VnCmpung,2003,21: [8]ChnJ,WngYT,GuJW,.Augmndy gn ghm bd n nu u cgnn[j]. Sc Chn In Sc,2010,53 (8): [9] 吴福朝. 计算机视觉中的数学方法 [M]. 北京 : 科学出版社,2011: Wuuzh.Mhmcmhdncmpuvn [M].Bjng:ScncP,2011:16 21.(nChn) [10]ShJ, Tm,C. Gd u ck[c] Pcdng Cmpu Vn nd Pn Rcgnn.[S..]:IEEE,1994: [11]WuChngchnSGPU:GPUmpmnn cnvnunm (SIT)[EB/OL]. ( )hp:.c.unc.du/~ ccu/ gpu/. ( 责任编辑 : 李兵 )

何秋琳张立春视觉学习研究进展视觉注意视觉感知

何秋琳张立春视觉学习研究进展视觉注意视觉感知第卷第期年月开放教育研究何秋琳张立春华南师范大学未来教育研究中心广东广州随着图像化技术和电子媒体的发展视觉学习也逐步发展为学习科学的一个研究分支得到研究人员和教育工作者的广泛关注基于此作者试图对视觉学习