标题

Size: px

Start display at page:

Download "标题"

仑耕东
4 years ago
Views:

1 第 47 卷第 6 期测绘学报 V.47,N 年 6 月 AGdCgpn Jn,2018 引文格式 : 赵守江, 赵红颖, 杨鹏, 等. 基于仿生视觉的单相机光场成像及 3G3 维直接转换基础 J]. 测绘学报,2018,47(6):809G815.DOI: /j.AGC ZHAOjng,ZHAO Hngyng,YANGPng,.MLnMnGnnLd3DDImgngMdBd nbnvnnd3g3dmnninmn TnmnndnJ].AGdCgpn, 2018,47(6):809G815.DOI: /j.AGC 基于仿生视觉的单相机光场成像及 3G3 维直接转换基础赵守江 1, 赵红颖 1, 杨鹏 1, 赵海盟 1,AnndAUNDI 2, 晏磊 1 1. 北京大学地球与空间科学学院遥感与地理信息系统研究所空间信息集成与 3 工程应用北京市重点实验室, 北京 ;2. 南洋理工大学机械与航天工程学院, 新加坡 MLn MnGnnLd3D DImgng Md Bd n BnVnnd3G3DmnnInmnTnmnndn ZHAOjng 1,ZHAOHngyng 1,YANGPng 1,ZHAOHmng 1,AnndAUNDI 2,YANL 1 1.TInRmnngnd GgpInmnym,Endpn, PkngUnvy,BjngKyLbypInmnIngnnd3EngnngAppn,Bjng ,Cn;2.T Mn nd Ap Engnng,Nnyng Tng Unvy, ngp Ab:T ppd p dmnn dgpgmmyngn nmnndmnvnpm:3dmgngmnmdnd 3Dngnnmnbnmkdgpgmmy.Inpp,mvngbj p k3g3g2nmnpngngpn,bpnpngbgmpnd ygdmnnmgng,wv,bdnbnvnbydwnn, ppbndybdnbnmpndy3g3g2nmn,nwgnn mnymngy,pwdmdxngdpnmn nngdmg,ndppnbdpmmn.td mgnmpnnnyndndnnmndng nm,ppppnmnmdpng,ngpn ndnvn,dmnbjmgpn,nyndpmp bjpnbd nn mgng pn.cmpd wdndp mn,dpmpbndbymngympvn,nddndpnd nnmbmnnd.indvyvnppdmd, ppwmpdpnnggmppdnppndxngdp nmngm. Kywd:bnmpndy;d;3DG3Dnm;3Dmpn ndnpp:t NnNnndnCn(N ; );T NnMjPjRndDvpmnPj(N.2017YB ) 摘要 : 本文是机器视觉参量下的三维数字摄影测量智能构象第三部分, 以仿生复眼运动目标捕获的 3G3G2 信息处理方式为切入点, 提出生物利用复眼进行三维成像的基本原理, 然而由于传统仿生视觉受到硬件条件制约, 所以本文在仿生复眼 3G3G2 信息获取理论的基础上, 利用新一代微透镜阵列光场相机技术, 提出了一种以单张光场影像获取目标场景深度信息的方法, 并将其应用至绝对深度测量中. 由于光场影像的一个重要的特性在于记录进入相机的不同光线的强度与方向信息, 本文提出利用光线信息进行多深度层次重聚焦的方法, 通过对物点在不同层次进行聚焦代价计算, 确定出物点成像的平面, 最

2 810 Jn2018V.47N.6AGC p: xb.nmp.m 终构建基于物点成像平面位置的深度图. 与传统的光场深度估计相比, 本文方法计算的深度图可以显著提升分辨率, 且不依赖于光场微透镜的数目. 为了验证本文方法的有效性, 利用本文的算法与现有的深度信息的算法进行深度计算的比较. 关键词 : 仿生复眼 ; 光场技术 ;3G3 维 ; 三维计算中图分类号 :P234.1 文献标识码 :A 文章编号 :1001G1595(2018)06G0809G07 基金项目 : 国家自然科学基金项目 ( ; ); 国家重大计划研发项目 (2017YB ) 由于传统三维成像到平面成像硬件的二维约束, 而不得不采用 3G2G3 维信息转换模式 1], 其本质是利用物体的向空间进行漫反射特性获取多个视角的影像信息, 再利用光线的可逆追踪计算三维信息, 而这一方法带来的劣势在于对运动目标无法进行三维信息测量. 而生物信息学研究发现, 生物采用复眼技术可以直接一次三维成像, 即 3G3 维的信息直接获取, 给运动目标的三维获取带来了优势. 然而传统的仿生复眼结构由多相机阵列组成, 在成像的同时需要考虑相机的姿态以及重叠度等信息, 制造相对复杂. 因此本文提出利用光场技术进行仿生三维信息获取. 光场成像 3] 是一种单次三维测量技术, 由于其特殊的光学结构, 可以在一次成像过程中完成对目标景物多个方向的光线采集. 第一台手持光场相机由 Ng 4G5] 等利用微透镜开发. 之后, 商业相机由 Ly 6] 和 Ryx 2] 生产, 可应用于近距离摄影测量 7]. 由于光场相机一般由主透镜微透镜阵列与探测器阵列三级结构组成, 因此一般视点的移动为水平方向和垂直方向, 导致同名核线排列在影像数据的同一行或者同一列, 这一特性为构建核线平面影像 (pppnmg,epi) 带来了便利 8G10]. 依据核线平面影像的性质即同名点在核线平面影像上成线性排列, 在 2004 年文献 11] 首先提出了利用梯度算子检测核线斜率, 同时推导了光场影像中核线斜率与深度之间的关系, 并成功应用到实际场景的计算中. 但是通过梯度算子直接进行斜率的计算受影像的噪声影响, 深度估计存在较大误差. 之后 UnväHdbg 的 Wnnvn 12G13] 和 BnGdk 等通过增加全局一致性检验算法, 对经过梯度算子计算得到的原始信息进行了优化, 提高了深度计算的准确度, 但梯度算子本身对图像噪声的敏感性依然存在. 此外在大视差存在的情况下, 相邻两条核线的灰度分布将会出现跳变, 此时进行梯度算子检测将完全失效. 因此在 2013 年 Unvy Cn, 14] Bky 的 MT 等提出了对 EPI 影像进行裁剪的方法, 只进行 EPI 影像垂直方向的检测, 该方法有效弥补了梯度算子检测的缺点, 同时 MT 等引入 MkvRndmd 理论对深度信息结果进行了优化, 优化同时考虑了两种 EPI 处理方式 ( 同名点对应关系和离焦相邻点对应关系,pndnndd). 由于直接利用 EPI 影像进行深度计算的核心在于同名点构成的直线检测, 因此北京航空航天大学的 15] Zng 等利用罗盘算子对比在同名点直线两旁的像素点分布情况 ( 进行直方图统计 ), 计算光场数据的深度, 同时利用 GpC 16] 对深度信息进行优化. 但是对于微透镜阵列结构相机, 其获取的影像数据本身为微透镜形式影像, 利用上述的方法进行计算时, 需要将原始影像解析成多视几何图像, 过程相对复杂而且一部分靠近微透镜边缘的有效数据被舍弃. 因此针对上述的问题, 本文提出利用微透镜影像直接进行三维计算的方法, 利用光线传播时强度一致性原理进行影像重聚焦计算, 利用最佳的重聚焦点估计目标对象的深度信息, 从而避免了将光场影像进行分解. 同时与现有的直接利用光场影像进行深度计算的方法相比, 本文所提出的方法能够方便进行三维视觉中的代价计算, 并利用图割优化手段进行深度信息的平滑与准确估计, 为了验证本文方法的有效性, 试验结果将与现有的方法进行比较. 1 传统复眼结构与光场光学结构 1.1 仿生视觉结构昆虫的复眼是由许多个小眼组合而成的, 小眼的个数从几百个到几万个不等, 其每个小眼由 1 套屈光器 (1 个角膜和 1 个晶锥 ) 6 至 8 个小网膜细胞及其特化产生的视杆和基细胞等构成, 即每个小眼可视为一个光学系统, 如图 1 所示.

第６期８１１赵守江,等:基于仿生视觉的单相机光场成像及３３维直接转换基础图３光场相机外观图１复眼结构１] ３ Tpp n m １ T mpndy１ ] 由于每一个小眼均可以对物体进行成像,因表１光场相机设计参数 Tb １ T d m m gnp 参数此一个复眼系统可以获取来自同一物体的不同的

１２光场光学结构目前常用的光场相机采用主透镜微透镜阵列和探测器阵列结构,其中一个微透镜阵列由上万个小微透镜组成,一个小微透镜可以覆盖１００~ １０００个像素单元,因此每一个微透镜和被其覆盖的探测器可以组成一个微型相机系统,其光学结构如图２所示.

其主要原因在于,处于景深范围内的物点,其通过成像透镜聚焦时,由该物点向各个方向发射的光线聚焦于一个探测单元;而非景深范围内的点,其向各个方向发射的光线分散投影到不同的探测单元,而不同的物点的几条光线将会投影到一个探测单元.

3 第６期８１１赵守江,等:基于仿生视觉的单相机光场成像及３３维直接转换基础图３光场相机外观图１复眼结构１] ３ Tpp n m １ T mpndy１ ] 由于每一个小眼均可以对物体进行成像,因表１光场相机设计参数 Tb １ T d m m gnp 参数此一个复眼系统可以获取来自同一物体的不同的角度的信息,从而能够进行三维信息计算,然后现有的仿生复眼结构很难达到生物复眼的精细结 d b ２８１６８μm ２７３像素２２μm 构,因此一般而言仍然采用多相机结构组成,其体值积较大且三维计算过程复杂. １２光场光学结构目前常用的光场相机采用主透镜微透镜阵列和探测器阵列结构,其中一个微透镜阵列由上万个小微透镜组成,一个小微透镜可以覆盖１００~ １０００个像素单元,因此每一个微透镜和被其覆盖的探测器可以组成一个微型相机系统,其光学结构如图２所示.为了能够使得相机进行目标三维计算, 主透镜会将物方三维信息进行压缩,在像方空间形成一定的景深.因此从光学角度来讲,光场相机的三维信息恢复是一种目标景深信息恢复的手段. ２基于仿生视觉微透镜技术的３３２维向３３维转换的光场成像新手段２１重聚焦原理对于传统相机,当物点处于景深范围内时,物点表现为清晰像点;当物点处于景深范围之外时, 物点表现为模糊像点. 其主要原因在于,处于景深范围内的物点,其通过成像透镜聚焦时,由该物点向各个方向发射的光线聚焦于一个探测单元;而非景深范围内的点,其向各个方向发射的光线分散投影到不同的探测单元,而不同的物点的几条光线将会投影到一个探测单元. 如图４所示,其中像点 p 的亮度为 I( P１) d ( １ α) ( P２) d p) α ( P１图２光场相机的结构２ T m P２式中, α 代表不同光线在探测单元覆盖的面积比率. 根据图２所示的光学结构,笔者自主设计一款微透镜阵列的光场相机.其外观如图３所示, 相机的主体机构由板级相机主透镜及内部的微透镜构成,相机总长度约为７m. 微透镜阵列采用六角形排列,相机的参数如表１所示.其中表示光场相机的数, b是指微透镜到探测器的距离.d 是指单个微透镜覆盖的像元数目; 是指像素的尺寸. ( １) 图４传统相机物点成像４ Img ngp g d n m

4 812 Jn2018V.47N.6AGC p: xb.nmp.m 但是对于光场相机, 其内部的光线的方向可以确定, 因此不同像点的光线可以通过光线的筛选进行重聚焦, 来实现像点的清晰成像, 如图 5 所示. 重聚焦像点 P 的亮度为 I(P )= wi (p) (2) 2.2 三维深度计算原理式 (2) 能够计算出清晰像点的亮度的前提在于 p(=1,2) 为同名像点, 即重聚焦平面距离微透镜平面为正确的像方深度 z. 根据同名像点亮度一致原理, 各个像点的亮度的方差理想值应该为 g.5 图 5 光场相机重聚焦的光线筛选 Rynng m 零, 反之, 当重聚焦平面不在正确的像方深度时,p (=1,2) 为非同名像点, 则其方差将会变大, 如图 6. 因此利用重聚焦原理计算的深度信息为 1 d(p )= gmn N ( wki,(pk)- I k ) 2 (3) 式中,k 是 p 邻域中的点 ;N 为邻域中的点的数目. 在重聚焦的过程中距离一般表示成微透镜与成像平面之间距离的倍数, 这个距离也被称为虚拟深度 v=/b. 而且 P 与光场相机上的像点 p 以及微透镜的中心点满足共线条件. 图 6 光场信息不同深度的聚焦 g.6 Imgngndndpnd 然而由于式 (3) 进行深度计算是需要对同一重聚焦点进行不同深度的方差信息扫描, 然而同一重聚焦点在不同深度上的位置的空间位置不易计算. 为解决这一问题, 本文利用相机视场角信息计算出重聚焦影像的上下左右边界, 通过该边界, 进行重聚焦像点坐标确定 XP -X - () x p =nd( ) (4) (X + ()-X - ())/NxR YP -Y- () yp =nd( ) (5) (Y+ ()-Y- ())/N yr x p 和 yp 为重聚焦影像上的像点的图像坐标 ;XP 和 YP 为该像点在空间上的绝对坐标. X - () X + () Y- () Y+ () 为重聚焦影像的上下边界坐标,NxR 和 N yr 为预先定义的重聚焦影像的分辨率. 2.3 三维深度优化由于利用式 (3) 进行深度计算的结果为 WnnGTkGA 的结果, 其深度计算出来的信息相对比较粗糙, 在此基础之上, 本文利用改进的自 17] 适应窗口方法对利用式 (3) 计算出来的代价信息进行进一步的优化. 因此修改后的代价信息为 w1(p,q)w2(p,q)c(q,) Q C(P,)= w1(p,q)w2(p,q) Q (6)

第６期赵守江,等:基于仿生视觉的单相机光场成像及３３维直接转换基础８１３１ ) ２ wki,( pk ) I ( N k 为计算代价; P 为重聚焦影像上的点的坐标; Q 为重聚焦影像相邻的点的坐标.w１ ( P, Q ) Ry x 光场相机拍摄出的白光影像图案,用于构建微透镜阵列的中心点.

的中心点可以有效地进行影像的信息重聚焦工作, 并以此进行三维重建.在试验过程中重聚焦的深度分层为８０个,起始虚拟深度为v ２０,设置每步像的分辨率被设置为１/４倍的原始光场影像大小. ３试验结果本文试验首先对本文设计的相机进行了成像特性的评估,包括重聚焦性能测试.

图９展示了利用７ TExp mn p m ng m 图８影像重聚焦结果８ T ngmg 和式( ６)可以计算出不同深度层次聚焦点的代价信息,最终利用 G pc 技术对所有深度层次的代价立方体( C V m)进行优化可以得到最终的深度结果.

5 第６期赵守江,等:基于仿生视觉的单相机光场成像及３３维直接转换基础８１３１ ) ２ wki,( pk ) I ( N k 为计算代价; P 为重聚焦影像上的点的坐标; Q 为重聚焦影像相邻的点的坐标.w１ ( P, Q ) Ry x 光场相机拍摄出的白光影像图案,用于构建微透镜阵列的中心点.利用构建的微透镜阵列描述了相邻点之间的 w１( P, Q ) 距离的相似度.针对经过自适应窗口优化之后的深度间隔为０１.而在进行深度计算时,重聚焦影式( ６)中, C( P, ) ２２/ ( IP IQ ) 描述了相邻点之间的颜色相似度. ２/ ( P Q) ２ d 代价信息,本文采用 G pc 进行全局优化. 的中心点可以有效地进行影像的信息重聚焦工作, 并以此进行三维重建.在试验过程中重聚焦的深度分层为８０个,起始虚拟深度为v ２０,设置每步像的分辨率被设置为１/４倍的原始光场影像大小. ３试验结果本文试验首先对本文设计的相机进行了成像特性的评估,包括重聚焦性能测试. 图７展示的是自主设计的光场相机重聚焦的实验平台,图８图７光场相机重聚焦的实验平台显示了该相机不同虚拟深度处的影像重聚焦结果.另外三维成像算法的验证则利用 Ry x相机提供的公开数据进行试验. 图９展示了利用７ TExp mn p m ng m 图８影像重聚焦结果８ T ngmg 和式( ６)可以计算出不同深度层次聚焦点的代价信息,最终利用 G pc 技术对所有深度层次的代价立方体( C V m)进行优化可以得到最终的深度结果.图１０和图１１分别展示了本文提出的方法与 Ry x 软件计算比较 (参数以达图９ Ry x 相机的白光光场影像９ W mg Ry x m 利用图９中白光影像采集出来的图像的中心点,结合重聚焦影像的聚焦深度信息,利用式( ３) ] 到最佳的性能)和 M Hg 的方法１８. 从结果来看,本文提出的方法可以提供更平滑的深度图,并保持细节. 而如图１０( b)和图１１( b),从 Ry x 软件获取的结果其深度信息噪声较大且边缘被侵蚀.而用文献１８]提出的方法实现的结果,可以提供平滑的深度结果,但是在水平方向具

因为利用传统手段构建的复眼相机为利用多个相机的组合进行多视几何三维构像,对相机的姿态信息有一定的要求, 本文利用新型的光场成像相机,通过其独特的微２] ３] ４] 透镜与探测器的结合可以方便地实现三维信息的三维获取, 同时在本文的三维信息获取方法中利用重聚焦手段对原始光场影像数据进行直接处理,避免传统利用光场解码数据对核线影像处理,有效利用５] ６] 成像像素,

6 ８１４ Jn２０１８V ４７N ６AGC 有重复纹理的地方.该方法则完全失效,如图１０ ( )所示.在利用自适应窗口进行代价信息优化 nmp m p: xb 时,根据试验效果窗口大小设置成７７个像素,且９ d ２３. 图１０工件１０ W kp 图１１水果堆１１ p ４结北京:北京大学, D] ２００９论 GAOPngq R n UAV Mv ngt D n g I np d by Cmpnd Ey D ] B ng: Pk ng j 本文论述了利用仿生复眼进行目标三维信息获取的基本方法,提出了单次成像获取三维信息的手段来实现３维到３维的信息转换获取.因为利用传统手段构建的复眼相机为利用多个相机的组合进行多视几何三维构像,对相机的姿态信息有一定的要求, 本文利用新型的光场成像相机,通过其独特的微２] ３] ４] 透镜与探测器的结合可以方便地实现三维信息的三维获取, 同时在本文的三维信息获取方法中利用重聚焦手段对原始光场影像数据进行直接处理,避免传统利用光场解码数据对核线影像处理,有效利用５] ６] 成像像素, 并且通过预设重聚焦影像尺寸的方式可效地构建代价函数,因此最终深度估计的结果与现７] NG R D L dp g py D] n d, CA, g UA: n dun v ２００６ y, NGR, LEVOY M, BRÉDI M, L dp g py w Hnd dp np Cm R] n dt R CTR２００５０２, ２００５ p TLy LYTRO Cm EB/OL] ２０１７０８１０] m p: www y YANG Png,WANG Zm n, YAN Y zn, C ng P g mm L d Cm : m y w ２０１６, ５５( ２７): ７４７７７４８６ DANEREAUDG, P I ZARROO,WILL IAMB D d ng, C b nnd R n Ln b dp np Cmp V n nd P n R gn n P nd: 参考文献: 高鹏骐无人机仿生复眼运动目标检测机理与方法研究１０] y x d p: www Cm C] P d ng ２０１３IEEE Cn n n 有的技术相比十分平滑而且准确. １] TRy RAYTRIX xcm EB/OL] ２０１７０８ D p Ab D n J] App d Op, y Mp 以极大提升计算结果的分辨率.此外本文提出的方法, 利用重聚焦影像为深度信息获取的基础,可以有 Un v ２００９ y, ８] IEEE, ２０１３ CRIMINI IA,KANG B, WAMINATHAN R, Ex ng Ly nd An z ng T p y

7 第 6 期赵守江, 等 : 基于仿生视觉的单相机光场成像及 3G3 维直接转换基础 815 Pp Ung EppGpnGmg Any J]. CmpVnndImgUndndng,2005,97(1): 51G85. 9] MATOUŠEK M,WERNER T,HLAVÁČ V.A Cpndnm Epp Pn Img C] PdngCmpVn Wn Wkp.Bd, vn:vnnpnrgnny, ] BOLLERC,BAKER H H,MARIMONTD H.EppG pnimgany:anappdmnng m Mn J].Innn Jn Cmp Vn,1987,1(1):7G55. 11] DANEREAU D,BRUTON L.GdnGbdDp Emnm 4D LdC] Pdng 2004Innnympm n Cndym. Vnv:IEEE,2004:23G26. 12] WANNER,GOLDLUECKE B.VnLd Any Dpy Emn nd pgn J].IEEE TnnnPnAnynd Mn Ingn,2014,36(3):606G ] WANNER,GOLDLUECKE B.GbyCnn DpLbng4D LdC] Pdng 2012IEEE CnnnCmpVnndPn Rgnn.Pvdn:IEEE,2012:16G21. 14] TAO M W,HADAP,MALIKJ,.Dpm CmbnngDndCpndnUngLGd CmC] Pdng2013IEEE Innn CnnnCmpVn.ydny:IEEE,2013:1G8. 15] ZHANG,HENG H,LIC,.RbDp Emn L d v pnnng Pgm OpJ].CmpVnndImgUndndng, 2016,145:148G ] JEON H G,PARKJ,CHOEG,.ADpMp Emnm Ln L d CmC] Pdng2015IEEECnnnCmpVn ndpnrgnn.bn:ieee,2015:7g12. 17] HOG M,ABATER N,VANDAMEB,.AnImg Rndng Ppn d Pnp CmJ]. IEEE Tnn n CmpnImgng,2016,3 (4):811G ] KANADE T,OKUTOMIM.AMngAgm wan Adpv Wndw:Tynd ExpmnJ]. IEEE Tnn n Pn Any nd Mn Ingn,1994,16(9):920G932. ( 责任编辑 : 宋启凡 ) 收稿日期 :2017G11G10 修回日期 :2018G03G20 第一作者简介 : 赵守江 (1996 ), 男, 博士生, 研究方向为摄影测量与遥感. :ZHAOjng(1996 ),m,pdng dd,mjnpgmmyndmnng. EGm: @pk.d.n 通信作者 : 晏磊 Cpndng:YANL EGm:yn@pk.d.n

中国软科学年第期!!!

中国软科学年第期!!! 山寨模式的形成机理及其对组织创新的启示山寨模式的形成机理及其对组织创新的启示陶厚永李燕萍骆振心武汉大学经济与管理学院武汉大学中国产学研合作问题研究中心湖北武汉北京大学经济研究所光华天成博士后工作站北京本