2 华南理工大学学报 ( 自然科学版 ) 第 41 卷条件下的特征点匹配. 该算法的实现涵盖两个阶段. (1) 在尺度空间检测特征点, 并确定关键点的位置和所处的尺度, 然后将关键点邻域梯度内的主方向作为该点的方向特征, 以实现算子对方向和尺度的无关性. 该阶段的主要步骤如下 :1 检测尺度空间极

Size: px

Start display at page:

Download "2 华南理工大学学报 ( 自然科学版 ) 第 41 卷条件下的特征点匹配. 该算法的实现涵盖两个阶段. (1) 在尺度空间检测特征点, 并确定关键点的位置和所处的尺度, 然后将关键点邻域梯度内的主方向作为该点的方向特征, 以实现算子对方向和尺度的无关性. 该阶段的主要步骤如下 :1 检测尺度空间极"

乡韶安
7 years ago
Views:

1 华南理工大学学报 ( 自然科学版 ) 第 41 卷第 2 期 JournalofSouthChinaUniversityofTechnology Vol.41 No 年 2 月 (NaturalScienceEdition) February 2013 文章编号 : X(2013) 基于仿射投影的光线空间插值方法孙季丰吴军政 ( 华南理工大学电子与信息学院, 广东广州 ) 摘要 : 为有效处理不同视点图像中对应区域的不同形变和噪声污染, 提高所绘制的视点图像的质量和速度, 提出了一种基于仿射投影的光线空间插值方法. 该方法首先利用尺度不变特征变换进行特征检测和图像配准, 计算出相应图像对之间的仿射变换矩阵, 然后利用仿射变换投影进行光线空间插值, 并在小波变换域绘制出虚拟视点图像. 实验结果表明, 采用文中方法绘制的虚拟视点图像的峰值信噪比和计算时间均优于传统的块匹配插值和视差域滤波插值方法. 关键词 : 光线空间插值 ; 图像配准 ; 仿射变换 ; 小波变换域 ; 虚拟视点绘制中图分类号 :TN doi: /j.isn X 自由视点电视 [1 3] (FTV) 是一种具有真实感的交互式三维 (3D) 电视系统, 它允许用户任意选择视点来观看, 被认为是下一代视频技术发展的方向之一. 目前,FTV 系统的场景描述方法主要分为两类 : 1 基于几何模型的绘制 (MBR) 方法, 这种方法将场景表示成 3D 网格, 采用 3D 表面重构和纹理映射来再现真实世界中的对象, 使用这种方法对一些自然场景进行建模会比较复杂且耗时 ;2 基于图像的绘制 (IBR) 方法, 这种方法通过对已有的视点图像进行重采样来获得新图像, 不需要对场景进行 3D 建模, 然而, 为了获得高质量的虚拟视点图像, 必须对场景进行稠密采样. [4] Fuji 等最早提出了 FTV 的概念, 并将光线空 [5 7] 间的方法用于 FTV 系统中. 基于光线空间的 FTV 系统将稠密的多视点图像转换到光线空间中, 因而无需依赖任何几何信息就能绘制出任意视点图像, 是一种 IBR 技术, 但动态地捕获光线空间数据比较困难, 为了降低系统中相机的数量, 需要利用有效的插值技术生成稠密的光线空间, 从而快速绘制出高质量的视点图像. 文中主要研究基于光线空间插值的虚拟视点绘制技术, 提出了一种基于仿射投影的光线空间插值方法. 1 虚拟视点绘制方法文中所提出的虚拟视点绘制方法包括如下步骤 : 首先对获取的原多视点图像进行图像配准, 得到相应图像对之间的仿射变换矩阵 ; 然后利用仿射投影匹配进行光线空间插值, 并在小波变换域绘制新的虚拟视点图像. 1.1 图像配准 [8] 图像配准就是将不同时间不同成像设备或不同视角下获取的两幅或多幅图像进行匹配叠加的过程, 其实质是求取两幅图像之间的空间坐标变换关系单应性矩阵. 配准的基本流程如下 : 首先对两幅图像进行特征提取, 得到特征点 ; 然后进行相似性度量, 找出匹配的特征点对 ; 最后由这些特征点对求出两幅图像之间的空间坐标变换参数 SIFT 算子的特征检测及匹配 Lowe [9] 于 1999 年首次提出尺度不变特征变换 (SIFT), 并于 2004 年在总结现有的基于不变量特征检测技术的基础上, 正式提出了 SIFT 特征检测方法. 它利用图像局部特征表征图像全局特征, 匹配能力较强, 在两幅图像之间发生平移旋转仿射变换的情况下仍具有良好的匹配效果, 特别适合宽基线收稿日期 : 基金项目 : 广东省自然科学基金资助项目 ( ) 作者简介 : 孙季丰 (1962 ), 男, 教授, 博士生导师, 主要从事通信与信息系统图像与视频处理研究.E mail:ecjfsun@scut.edu.cn

2 2 华南理工大学学报 ( 自然科学版 ) 第 41 卷条件下的特征点匹配. 该算法的实现涵盖两个阶段. (1) 在尺度空间检测特征点, 并确定关键点的位置和所处的尺度, 然后将关键点邻域梯度内的主方向作为该点的方向特征, 以实现算子对方向和尺度的无关性. 该阶段的主要步骤如下 :1 检测尺度空间极值点 ;2 精选特征点 ;3 为每个关键点指定方向参数 ;4 生成 SIFT 特征向量. (2) 以两个特征点描述符之间的欧氏距离为相似度准则, 找出匹配的特征点对. 假设特征点对 p 和 q 的描述符分别为 l p 和 l q, 则其欧式距离定义为 d c = 槡 i=0,1,,127 2 [l p (i)-l q (i)] (1) 在待配准的图像对中, 取图像 L 的某个关键点 p, 并找出其与图像 R 中欧氏距离最近的前两个关键点 q 1 q 2, 在这两个关键点中, 如果最近距离除以次近距离小于某个阈值, 则表示匹配成功, 否则匹配失败单应性矩阵的计算通过 SIFT 特征匹配确定图像之间特征点的对应关系之后, 需要对图像进行配准, 即计算两幅图像间的空间变换参数. 在投影几何中, 一般用 3 3 的单应性矩阵 H 表征一幅图像到另一幅图像的空间变换关系 [10],H 有 8 个参数 a b c e f g h 和 k. 图像 L 中的点 (x 1,y 1 ) 可以通过 H 映射到图像 R 中的点 (x 2,y 2 ), 其变换关系可以表示为 (x 2,y 2,1) T =H(x 1,y 1,1) T (2) 式中 :(x,y,1) 为 (x,y) 的齐次坐标表示形式 ; 为任意的尺度因子 ;H 为定义在上的一个单应性矩阵, a b c H= e f g h k 1 (3) 当 h=k=0 时, 称该变换为仿射变换, 将此时的矩阵 H 记为仿射变换矩阵 H a. 根据式 (2) 可以推导出 x 2 =ax 1 +by 1 +c (4) { y 2 =ex 1 +fy 1 +g 由于 H a 有 6 个参数,1 个匹配点对可以建立 2 个方程, 因而至少需要 3 个匹配点对方可求解 H a. 通常使用更多的点对以减少噪声和其他不确定因素所带来的干扰. 1.2 小波域的虚拟视点绘制目前, 基于光线空间插值的虚拟视点绘制技 [11 13] 术大多是直接在空域中进行插值的. 虽然在空域中进行插值时像素点的加权平均比较简单, 但降低了图像的对比度. 而在多尺度空间中进行插值时, 往往是针对不同的频率区域采取不同的策略, 从而使插值效果更有利于视觉系统的主观感知. [14] 小波分析是以傅里叶变换为基础的一种时频域分析工具. 对二维图像进行 m 层小波分解可得到 3m+1 个不同的频带, 其中包含 3m 个高频带和 1 个低频带. 文中小波域的虚拟视点图像绘制算法的基本步骤如下 :1 原始图像经高低通滤波和分解得到不同频率成分的一系列子图像 (A H V D); 2 对不同频率成分的子图像依据插值规则分别进行插值, 得到虚拟视点图像对应的小波域子图像 ;3 将得到的图像进行小波反变换 ( 即图像重构 ), 即可生成虚拟视点图像. 文中采取的插值规则如下 :1 利用有效的匹配方法找出目标对象上的点在各视点图像中的对应点位置.2 在外极线平面图像 (EPI) 上, 依据对应点的方向性进行插值. 在直线轨道分布相机阵列下, 对应点 [15] 的运动轨迹呈直线形 ; 在圆型轨道分布相机阵列下, 对应点的运动轨迹则呈正弦形.3 对于低频带子图像, 采用加权平均方法进行插值计算 ; 对于高频带子图像, 取其局部区域最大的绝对值为插值结果仿射投影为精确找出目标对象上的点在各视点图像中对应点的位置, 需要利用点匹配块匹配或其他方法进行匹配. 具代表性的插值方法有块匹配插值 (BMI) [16] 视差域滤波插值 (DDFI) [17] 等方法. 考虑到图像的噪声污染和纹理冗余, 显然基于点匹配的方法误匹配较严重. 另外, 不同视点在目标对象的投影区域中的形状并非恒定不变, 如在图像 L 中选取的一个矩形区域在图像 R 中对应的区域不一定是矩形的, 它可能是任意的平行四边形. 那么, 传统的基于块匹配的方法将不适用, 为此, 文中提出了一种基于仿射变换投影的匹配方法. 文中的仿射投影方法描述如下 : 在图像 L 中取一个 (2N+1) (2M+1) 的矩形窗 W L, 经仿射变换矩阵 H a 将其投影到图像 R 中得到窗口 W R, 如图 1 所示. 显然,H a 表征了两幅图像之间的映射关系, 那么 W R 即为 W L 所对应的相关区域, 即 W R 投影到目标对象的区域和 W L 投影到目标对象的区域是重合的. 由此可以计算两个区域的能量误差函数 E, 文中采用绝对误差之和 (SAD) 准则来计算能量误差, 即 E= N M j=-n i=-m P 1 (u 1 +i,v 1 +j)-p 2 (u 2 +i,v 2 +j) (5) 图 1 仿射投影示意图 Fig.1 Schematicdiagramofafineprojection

3 第期孙季丰等基于仿射投影的光线空间插值方法式中Ｐ和Ｐ分别为视点ｊｊｊ和图像中块区域内像素点ｊ的像素值块区域虚拟视点绘制显然取个相邻视点的图像就可以进行插值绘制出虚拟视点图像考虑到遮挡问题文中取４个相邻视点的图像如图所示任意一个图像间的点对都可以经由仿射投影匹配文中实验采用如下两种模型 ①直线轨道分布相机阵列这种情况下对应点的运动轨迹是直线见图 ② 圆型轨道分布相机阵列理想情况下对应点的运动轨迹是正弦曲线此时原来的多视点图像必须是正射影像而实际往往并非如此由于相邻视点间的距离足够小文中将圆型轨道模型近似为多边形模型这样相邻两个视点之间就可以用直线模型来处理从而对应点的运动轨迹能用直线来近似３６ α α β β 为两块区域小波分解后得到的子图像Ａ式中的系数分别对应于图中的 α和 β为合成视点图像与参考视点图像间的相对距离为合成视点的小波系数对于高频成分的子图像ＨＶＤ由于绝对值大的小波分解系数对应图像中变化显著的区域如边沿线条区域边界等的细节信息为了使绘制出的视点图像具有丰富的细节信息文中选取局部区域绝对值最大的小波分解系数为插值结果即７ｍ式中为两块区域小波分解后得到的子图像ＨＶＤ的系数分别对应于图中的３建立ＥＰ坐标系由于小波系数３４对应的点的坐标已知只要对应的点的横坐标已知就可以求解出其纵坐标而对应的点的横坐标正好是绘制出的新视点与相邻视点的相对位置因此可以方便地求解出插值点的坐标按以上步骤插值完成后利用得到的子图像ＡＨＶＤ即可进行图像重建小波反变换最终绘制出预期的视点图像实验结果与分析图ＥＰ平面插值示意图ＦＳｍｄｍＥＰ由于每对相邻视点图像都会产生一个能量误差函数Ｅ这样就有ＥＥ３Ｅ３４能量误差函数见图取使能量误差函数最小的一组对应区域分别做小波分解并依据其对应点的运动轨迹进行插值具体的插值原则如下假设ＥＥ３ＥＥ３４对于低频成分的子图像Ａ采用加权平均的方法进行插值即为验证文中所提方法的有效性分别采用直线轨道分布相机阵列和圆型轨道分布相机阵列两种模型在Ｍｂｂ下进行仿真并根据峰值信噪比ＰＳＮＲ准则给出客观评价同时与ＢＭ和ＤＤＦ方法作比对分析直线轨道分布相机阵列利用小轿车模型拍摄了直线轨道分布相机阵列下一组大小为７５７６的多视点图像如图３所示其中相邻视点的间距约为ｍ实验取图３所示视点图像５和６利用图３直线轨道分布相机阵列下的多视点图像Ｆ３Ｍｖｗｍｍｍ

4 ４华南理工大学学报自然科学版３种方法分别绘制于视点图像３４上结果见图４实验取图３所示视点图像４和５利用３种方法绘制于视点图像３上结果见图５圆型轨道分布相机阵列采用从卡耐基梅隆大学计算机视觉研究组主页上获取的一组圆型轨道分布相机阵列下的多视点图第４卷像进行实验取其中６个视点图像如图６所示其分８４８８相邻视点间的旋转角度约为５辨率为３实验３取图６所示视点图像５和６利用３种方法分别绘制于视点图像３４上结果见图７实验４取图６所示视点图像４和５利用３种方法绘制于视点图像３上结果见８图４虚拟视点绘制实验结果Ｆ４Ｒｖｗｍ图５虚拟视点绘制实验结果Ｆ５Ｒｖｗｍ图６圆型轨道分布相机阵列下的多视点图像Ｆ６Ｍｖｗｍｍｍ

5 第期孙季丰等基于仿射投影的光线空间插值方法５图７虚拟视点绘制实验３结果Ｆ７Ｒｖｗｍ３图８虚拟视点绘制实验４结果Ｆ８Ｒｖｗｍ４从图４５７８可知所选取的相邻视点愈邻近绘制出的视点图像效果愈好直线轨道分布相机阵列下的实验结果优于圆型轨道分布相机阵列下的实验结果在圆型轨道分布相机阵列下的场景中各视点图像间不仅有平移的关系还有一定的形变因此传统的ＢＭ和ＤＤＦ方法绘制的视图中误匹配现象严重空洞较多而文中方法绘制出的新视图的效果明显有所改善由表可知与ＢＭ和ＤＤＦ方法相比ＮＲ值和运行效率都有一定的提高文中方法的ＰＳ表不同方法的合成效果对比ＴｂＣｍｚｄｍｄ方法ＰＳＮＲｄＢ直线轨道圆型轨道运行时间ＢＭ方法９７３８８６５ＤＤＦ方法９７４３４９７３８文中方法３４９６７５９３然而由于仿射矩阵的计算受ＳＦＴ特征点提取和配准精度的制约圆型轨道近似为多边形处理使得光线空间模型的精度受到影响因而合成的视点图像中插值误差仍然存在３结语光线空间插值方法无需进行复杂的场景分析和建模只需获取实际相机拍摄的图像信息即可快速地绘制出虚拟视点图像为提高绘制视点图像的质量和速度文中提出了一种基于仿射投影的光线空间插值方法相比于经典的ＢＭ和ＤＤＦ方法文中方法的运行效率和合成的视点图像质量都有所提高但圆型轨道分布相机阵列相对于直线轨道分布相机阵列的实验效果欠佳因此单应性矩阵和圆型轨道模型是今后进一步研究的内容参考文献蒋刚毅范良忠郁梅基于光线空间插值的任意视点绘制Ｊ电子学报９３７８７９９８３ＪＧＦＬｚＹＭＡｂｖｗｄｂｄＪＡ

6 6 华南理工大学学报 ( 自然科学版 ) 第 41 卷 ElectronicaSinica,2009,37(8): [2] 张倩. 面向多视点系统的 IBR 技术研究 [D]. 上海 : 上海大学通信与信息工程学院,2011: [3] 邵枫. 自由视点视频信号处理中的关键技术研究 [D]. 杭州 : 浙江大学信息科学与工程学院,2007:6 26. [4] FujiT,TanimotoM.Free viewpointtelevisionbasedon theray spacerepresentation[c] ProceedingsSPIEIT Com.Boston:SPIE,2002: [5] TanimotoM.Overviewoffreeviewpointtelevision[C] ProceedingsofIEEEConferenceonMultimediaandExpo. NewYork:IEEE,2009: [6] 郁梅, 蒋刚毅. 基于特征点方向的光线 - 空间插值方法 [J]. 计算机辅助设计与图形学学报,2005,17(11): YuMei,JiangGang yi.ray spaceinterpolationbasedon directionalitiesofcharacteristicpixels[j].journalofcom puteraideddesign& ComputerGraphics,2005,17(11): [7] 符冉迪, 范良忠, 郁梅. 一种用于视点图像绘制的光线空间插值方法 [J]. 中国图像图形学报,2008,13(5): FuRan di,fanliang zhong,yumei.aray spaceinter polationmethodforviewpointimagerendering[j].jour nalofimageandgraphics,2008,13(5): [8] SiuA M K,LauR W H.Imageregistrationforimage basedrendering[j].ieeetransactionsonimagepro cesing,2005,14(2): [9] LoweD G.Objectrecognitionfrom localscaleinvariant features[c] ProceedingsofIEEEInternationalConfe renceoncomputervision.kerkyra:ieee,1999: [10] MouradOuaret,FredericDufaux,TouradjEbrahimi.Multi viewdistributedvideocodingwithencoderdrivenfusion [C] ProceedingsoftheEuropeanConferenceonSignal Procesing.NewYork:IEEE,2007: [11] YangRun ping.arayspaceinterpolationalgorithmbased onimproveddynamicprogramming[c] Proceedingsof InternationalConferenceonSignalProcesingSystems. Dalian:IEEE,2010: [12] LiWen feng,zhoujin,libao xin,etal.virtualview specificationandsynthesisforfreeviewpointtelevision [J].IEEETransactionsonCircuit& SystemsforVideo Technology,2009,17(4): [13] LingHouy,AuyOC,MengyaoMaz,etal.Freeviewge nerationinray spaceviatheradontransform[c] Pro ceedingsofinternationalconferenceonneuralnetworks &SignalProcesing.Nanjing:IEEE,2008: [14] 晁锐, 张科, 李言俊. 一种基于小波变换的图像融合算法 [J]. 电子学报,2004,32(5): ChaoRui,ZhangKe,LiYan jun.animagefusionalgo rithmusingwavelettransform [J].ActaElectronicaSi nica,2004,32(5): [15] UemoriT,YendoT,FujiT,etal.Viewgenerationbyray spacemethodincircularcamerasetupforftv[c] Proceedingsof3DTVConference:theTrueVision Capture, TransmisionandDisplayof3DVideo.Istanbul:IEEE, 2008: [16] JiangG,YuM,YeX,etal.Newmethodofray spacein terpolationforfreeview video[c] Proceedingsof IEEE InternationalConferenceon ImageProcesing. Genoa:IEEE,2005: [17] DroeseM,FujiT,TanimotoM.Ray spaceinterpolation basedonfilteringindisparitydomain[c] Proceedings of3dimageconference.tokyo:sanjigengazokonfarensu KoenRonbunshu,2004: Ray SpaceInterpolationBasedonAfineProjection SunJi feng WuJun zheng (SchoolofElectronicandInformationEngineering,SouthChinaUniversityofTechnology,Guangzhou510640,Guangdong,China) Abstract:Inordertoefectivelydealwiththeshapevariationandnoisepolutionofthecorespondingareaindife rentviewsand,thereby,improvethequalityandspeedofviewpointimagesynthesis,aray spaceinterpolation methodbasedonafineprojectionisproposed.inthismethod,first,thescale invariantfeaturetransformisapplied tothefeaturedetectionandimagematchingfordeterminingtheafinetransformationmatrixamongmulti viewpoint images.then,ray spaceinterpolationisimplementedviatheprojectionthroughafinetransformationmatrix.finaly, avirtualviewpointimageissynthesizedinthewavelettransform domain.experimentalresultsshowthatthepro posedmethodissuperiortothetraditionalblock matchinginterpolationandddfi(disparitydomainfilteringin terpolation)methodsintermsofpsnrandcomputationtimeofthevirtualviewpointimage. Keywords:ray spaceinterpolation;imageregistration;afinetransformation;wavelettransform domain;virtual viewpointsynthesis

: ( -. [ ~ ] ) [, ],,,, [ ] [ ] [ ],,, :,, [,, ], ;, ;,,,, ~ %,,. [ ],,( ) ; ( ),..

: ( -. [ ~ ] ) [, ],,,, [ ] [ ] [ ],,, :,, [,, ], ;, ;,,,, ~ %,,. [ ],,( ) ; ( ),.. .. * 面向虚拟视点图像绘制的深度图编码算法 1 朱波, 蒋刚毅 **, 张云,, 郁梅 (., ;., ) :,,,, ;,, ;,,,.,,, ~ % : ; ; :. : : - ( ) - -, - **,,, (.,,, ;..,,, ) :, -., -., -,.., -.,..,,, % %. : - ; ;, [, ], (, ), [, ] [, ],, [ ],,,, [ ]