标题

第 47 卷第 6 期测绘学报 V.47,N.6 2018 年 6 月 AGdCgpn Jn,2018 引文格式 : 赵守江, 赵红颖, 杨鹏, 等. 基于仿生视觉的单相机光场成像及 3G3 维直接转换基础 J]. 测绘学报,2018,47(6):809G815.DOI: 10.11947/j.AGC.2018.20170628. ZHAOjng,ZHAO Hngyng,YANGPng,.MLnMnGnnLd3DDImgngMdBd nbnvnnd3g3dmnninmn TnmnndnJ].AGdCgpn, 2018,47(6):809G815.DOI:10.11947/j.AGC.2018.20170628. 基于仿生视觉的单相机光场成像及 3G3 维直接转换基础 赵守江 1, 赵红颖 1, 杨鹏 1, 赵海盟 1,AnndAUNDI 2, 晏磊 1 1. 北京大学地球与空间科学学院遥感与地理信息系统研究所空间信息集成与 3 工程应用北京市重点 实验室, 北京 100871;2. 南洋理工大学机械与航天工程学院, 新加坡 639798 MLn MnGnnLd3D DImgng Md Bd n BnVnnd3G3DmnnInmnTnmnndn ZHAOjng 1,ZHAOHngyng 1,YANGPng 1,ZHAOHmng 1,AnndAUNDI 2,YANL 1 1.TInRmnngnd GgpInmnym,Endpn, PkngUnvy,BjngKyLbypInmnIngnnd3EngnngAppn,Bjng 100871,Cn;2.T Mn nd Ap Engnng,Nnyng Tng Unvy, ngp639798 Ab:T ppd p dmnn dgpgmmyngn nmnndmnvnpm:3dmgngmnmdnd 3Dngnnmnbnmkdgpgmmy.Inpp,mvngbj p k3g3g2nmnpngngpn,bpnpngbgmpnd ygdmnnmgng,wv,bdnbnvnbydwnn, ppbndybdnbnmpndy3g3g2nmn,nwgnn mnymngy,pwdmdxngdpnmn nngdmg,ndppnbdpmmn.td mgnmpnnnyndndnnmndng nm,ppppnmnmdpng,ngpn ndnvn,dmnbjmgpn,nyndpmp bjpnbd nn mgng pn.cmpd wdndp mn,dpmpbndbymngympvn,nddndpnd nnmbmnnd.indvyvnppdmd, ppwmpdpnnggmppdnppndxngdp nmngm. Kywd:bnmpndy;d;3DG3Dnm;3Dmpn ndnpp:t NnNnndnCn(N.61101157;60602042);T NnMjPjRndDvpmnPj(N.2017YB0503003) 摘要 : 本文是机器视觉参量下的三维数字摄影测量智能构象第三部分, 以仿生复眼运动目标捕获的 3G3G2 信息处理方式为切入点, 提出生物利用复眼进行三维成像的基本原理, 然而由于传统仿生视觉受到硬件条件制约, 所以本文在仿生复眼 3G3G2 信息获取理论的基础上, 利用新一代微透镜阵列光场相机技术, 提出了一种以单张光场影像获取目标场景深度信息的方法, 并将其应用至绝对深度测量中. 由于光场影像的一个重要的特性在于记录进入相机的不同光线的强度与方向信息, 本文提出利用光线信息进行多深度层次重聚焦的方法, 通过对物点在不同层次进行聚焦代价计算, 确定出物点成像的平面, 最

810 Jn2018V.47N.6AGC p: xb.nmp.m 终构建基于物点成像平面位置的深度图. 与传统的光场深度估计相比, 本文方法计算的深度图可以显著提升分辨率, 且不依赖于光场微透镜的数目. 为了验证本文方法的有效性, 利用本文的算法与现有的深度信息的算法进行深度计算的比较. 关键词 : 仿生复眼 ; 光场技术 ;3G3 维 ; 三维计算中图分类号 :P234.1 文献标识码 :A 文章编号 :1001G1595(2018)06G0809G07 基金项目 : 国家自然科学基金项目 (61101157;60602042); 国家重大计划研发项目 (2017YB0503003) 由于传统三维成像到平面成像硬件的二维约 束, 而不得不采用 3G2G3 维信息转换模式 1], 其本 质是利用物体的向空间进行漫反射特性获取多个 视角的影像信息, 再利用光线的可逆追踪计算三 维信息, 而这一方法带来的劣势在于对运动目标 无法进行三维信息测量. 而生物信息学研究发 现, 生物采用复眼技术可以直接一次三维成像, 即 3G3 维的信息直接获取, 给运动目标的三维获取 带来了优势. 然而传统的仿生复眼结构由多相机 阵列组成, 在成像的同时需要考虑相机的姿态以 及重叠度等信息, 制造相对复杂. 因此本文提出 利用光场技术进行仿生三维信息获取. 光场成像 3] 是一种单次三维测量技术, 由于其特殊的光学 结构, 可以在一次成像过程中完成对目标景物多 个方向的光线采集. 第一台手持光场相机由 Ng 4G5] 等利用微透镜开发. 之后, 商业相机由 Ly 6] 和 Ryx 2] 生产, 可应用于近距离摄影 测量 7]. 由于光场相机一般由主透镜 微透镜阵列与 探测器阵列三级结构组成, 因此一般视点的移动 为水平方向和垂直方向, 导致同名核线排列在影 像数据的同一行或者同一列, 这一特性为构建核 线平面影像 (pppnmg,epi) 带来了便 利 8G10]. 依据核线平面影像的性质即同名点在核 线平面影像上成线性排列, 在 2004 年文献 11] 首 先提出了利用梯度算子检测核线斜率, 同时推导 了光场影像中核线斜率与深度之间的关系, 并成 功应用到实际场景的计算中. 但是通过梯度算子 直接进行斜率的计算受影像的噪声影响, 深度估 计存在较大误差. 之后 UnväHdbg 的 Wnnvn 12G13] 和 BnGdk 等通过增加全局一致 性检验算法, 对经过梯度算子计算得到的原始信 息进行了优化, 提高了深度计算的准确度, 但梯度 算子本身对图像噪声的敏感性依然存在. 此外在 大视差存在的情况下, 相邻两条核线的灰度分布 将会出现跳变, 此时进行梯度算子检测将完全失 效. 因此在 2013 年 Unvy Cn, 14] Bky 的 MT 等提出了对 EPI 影 像进行裁剪的方法, 只进行 EPI 影像垂直方向的 检测, 该方法有效弥补了梯度算子检测的缺点, 同 时 MT 等引入 MkvRndmd 理 论对深度信息结果进行了优化, 优化同时考虑了两 种 EPI 处理方式 ( 同名点对应关系和离焦相邻点对 应关系,pndnndd). 由于直接 利用 EPI 影像进行深度计算的核心在于同名点 构成的直线检测, 因此北京航空航天大学的 15] Zng 等利用罗盘算子对比在同名点直线两 旁的像素点分布情况 ( 进行直方图统计 ), 计算光 场数据的深度, 同时利用 GpC 16] 对深度信 息进行优化. 但是对于微透镜阵列结构相机, 其获取的影 像数据本身为微透镜形式影像, 利用上述的方法 进行计算时, 需要将原始影像解析成多视几何图 像, 过程相对复杂而且一部分靠近微透镜边缘的 有效数据被舍弃. 因此针对上述的问题, 本文提 出利用微透镜影像直接进行三维计算的方法, 利 用光线传播时强度一致性原理进行影像重聚焦计 算, 利用最佳的重聚焦点估计目标对象的深度信 息, 从而避免了将光场影像进行分解. 同时与现 有的直接利用光场影像进行深度计算的方法相 比, 本文所提出的方法能够方便进行三维视觉中 的代价计算, 并利用图割优化手段进行深度信息 的平滑与准确估计, 为了验证本文方法的有效性, 试验结果将与现有的方法进行比较. 1 传统复眼结构与光场光学结构 1.1 仿生视觉结构 昆虫的复眼是由许多个小眼组合而成的, 小 眼的个数从几百个到几万个不等, 其每个小眼由 1 套屈光器 (1 个角膜和 1 个晶锥 ) 6 至 8 个小网 膜细胞及其特化产生的视杆和基细胞等构成, 即 每个小眼可视为一个光学系统, 如图 1 所示.

第６期 ８１１ 赵守江,等:基于仿生视觉的单相机光场成像及 ３ ３ 维直接转换基础 图 ３ 光场相机外观 图 １ 复眼结构 １] ３ Tpp n m １ T mpndy１ ] 由于每一个 小 眼 均 可 以 对 物 体 进 行 成 像,因 表 １ 光场相机设计参数 Tb １ T d m m gnp 参数 此一个复眼系统可以获取来自同一物体的不同的 角度的信息,从而能够进行三维信息计算,然后现 有的仿生 复 眼 结 构 很 难 达 到 生 物 复 眼 的 精 细 结 d b ２ ８ １６８μm ２７ ３ 像素 ２ ２μm 构,因此一般而言仍然采用多相机结构组成,其体 值 积较大且三维计算过程复杂. １ ２ 光场光学结构 目前常用的光 场 相 机 采 用 主 透 镜 微 透 镜 阵 列和探测器阵列 结 构,其 中 一 个 微 透 镜 阵 列 由 上 万个小微透镜组成,一个小微透镜可以覆盖 １００~ １ ０ ０ ０个像素单元,因此每一个微透镜和被其覆盖的 探测器可以组成一个微型相机系统,其光学结构如 图２所示.为了能够使得相机进行目标三维计算, 主透镜会将物方三维信息进行压缩,在像方空间形 成一定的景深.因此从光学角度来讲,光场相机的 三维信息恢复是一种目标景深信息恢复的手段. ２ 基于仿生视觉微透镜技术的 ３ ３ ２ 维向 ３ ３ 维转换的光场成像新手段 ２ １ 重聚焦原理 对于传统相机,当物点处于景深范围内时,物 点表现为清晰像点;当物点处于景深范围之外时, 物点表现为模糊像点. 其主要原因在于,处于景深范围内的物点,其 通过成像透镜聚 焦 时,由 该 物 点 向 各 个 方 向 发 射 的光线聚焦于一 个 探 测 单 元;而 非 景 深 范 围 内 的 点,其向各个方向 发 射 的 光 线 分 散 投 影 到 不 同 的 探测单元,而不同 的 物 点 的 几 条 光 线 将 会 投 影 到 一个探测单元. 如图 ４ 所示,其中像点 p 的亮度为 I( P１) d ( １ α) ( P２) d p) α ( P１ 图 ２ 光场相机的结构 ２ T m P２ 式 中, α 代表不同光线在探测单元覆盖的面积 比率. 根据图 ２ 所 示 的 光 学 结 构,笔 者 自 主 设 计 一 款微 透 镜 阵 列 的 光 场 相 机.其 外 观 如 图 ３ 所 示, 相机的主体机构 由 板 级 相 机 主 透 镜 及 内 部 的 微 透镜构成,相机总长度约为 ７m. 微透镜阵列采 用 六 角 形 排 列,相 机 的 参 数 如 表 １ 所示.其中 表 示 光 场 相 机 的 数, b是 指微透镜到探测器的距离.d 是指单个微透镜覆 盖的像元数目; 是指像素的尺寸. ( １) 图 ４ 传统相机物点成像 ４ Img ngp g d n m

812 Jn2018V.47N.6AGC p: xb.nmp.m 但是对于光场相机, 其内部的光线的方向可以确定, 因此不同像点的光线可以通过光线的筛选进行重聚焦, 来实现像点的清晰成像, 如图 5 所示. 重聚焦像点 P 的亮度为 I(P )= wi (p) (2) 2.2 三维深度计算原理式 (2) 能够计算出清晰像点的亮度的前提在于 p(=1,2) 为同名像点, 即重聚焦平面距离微透镜平面为正确的像方深度 z. 根据同名像点亮度一致原理, 各个像点的亮度的方差理想值应该为 g.5 图 5 光场相机重聚焦的光线筛选 Rynng m 零, 反之, 当重聚焦平面不在正确的像方深度时,p (=1,2) 为非同名像点, 则其方差将会变大, 如 图 6. 因此利用重聚焦原理计算的深度信息为 1 d(p )= gmn N ( wki,(pk)- I k ) 2 (3) 式中,k 是 p 邻域中的点 ;N 为邻域中的点的数 目. 在重聚焦的过程中距离一般表示成微透镜与 成像平面之间距离的倍数, 这个距离也被称为虚 拟深度 v=/b. 而且 P 与光场相机上的像点 p 以及微透镜的中心点满足共线条件. 图 6 光场信息不同深度的聚焦 g.6 Imgngndndpnd 然而由于式 (3) 进行深度计算是需要对同一重聚焦点进行不同深度的方差信息扫描, 然而同一重聚焦点在不同深度上的位置的空间位置不易计算. 为解决这一问题, 本文利用相机视场角信息计算出重聚焦影像的上下左右边界, 通过该边界, 进行重聚焦像点坐标确定 XP -X - () x p =nd( ) (4) (X + ()-X - ())/NxR YP -Y- () yp =nd( ) (5) (Y+ ()-Y- ())/N yr x p 和 yp 为重聚焦影像上的像点的图像坐标 ;XP 和 YP 为该像点在空间上的绝对坐标. X - () X + () Y- () Y+ () 为重聚焦影像的 上下边界坐标,NxR 和 N yr 为预先定义的重聚 焦影像的分辨率. 2.3 三维深度优化 由于利用式 (3) 进行深度计算的结果为 WnnGTkGA 的结果, 其深度计算出来的信息 相对比较粗糙, 在此基础之上, 本文利用改进的自 17] 适应窗口方法对利用式 (3) 计算出来的代价信 息进行进一步的优化. 因此修改后的代价信息为 w1(p,q)w2(p,q)c(q,) Q C(P,)= w1(p,q)w2(p,q) Q (6)

第６期 赵守江,等:基于仿生视觉的单相机光场成像及 ３ ３ 维直接转换基础 ８１３ １ ) ２ wki,( pk ) I ( N k 为计算代 价; P 为 重 聚 焦 影 像 上 的 点 的 坐 标; Q 为重聚焦 影 像 相 邻 的 点 的 坐 标.w１ ( P, Q ) Ry x 光场相机拍摄出的白光影像图案,用于构 建微透镜阵列的中心点.利用构建的微透镜阵列 描述了相邻点之间的 w１( P, Q ) 距离的相似度.针对经过自适应窗口优化之后的 深度间隔为 ０ １.而在进行深度计算时,重聚焦影 式( ６)中, C( P, ) ２ ２/ ( IP IQ ) 描述了相邻点之间的颜色相似度. ２/ ( P Q) ２ d 代价信息,本文采用 G pc 进行全局优化. 的中心点可以有效地进行影像的信息重聚焦工作, 并以此进行三维重建.在试验过程中重聚焦的深 度分层为 ８０ 个,起始虚拟深度为v ２ ０,设置每步 像的分辨率被设置为 １/４ 倍的原始光场影像大小. ３ 试验结果 本文试验首先对本文设计的相机进行了成像 特性的评估,包括重 聚 焦 性 能 测 试. 图 ７ 展 示 的 是 自 主 设 计 的 光 场 相 机 重 聚 焦 的 实 验 平 台,图 ８ 图 ７ 光场相机重聚焦的实验平台 显示了该 相 机 不 同 虚 拟 深 度 处 的 影 像 重 聚 焦 结 果.另外三维成像算 法 的 验 证 则 利 用 Ry x相 机 提 供 的 公 开 数 据 进 行 试 验. 图９ 展 示 了 利 用 ７ TExp mn p m ng m 图 ８ 影像重聚焦结果 ８ T ngmg 和式( ６)可以计 算 出 不 同 深 度 层 次 聚 焦 点 的 代 价 信息,最终利用 G pc 技术对所有深度层次 的代价立方体( C V m)进 行 优 化 可 以 得 到 最终的深度结果.图 １０ 和图 １１ 分别展示了本文 提出的方法 与 Ry x 软 件 计 算 比 较 (参 数 以 达 图 ９ Ry x 相机的白光光场影像 ９ W mg Ry x m 利用图 ９ 中白光影像采集出来的图像的中心 点,结合重聚 焦 影 像 的 聚 焦 深 度 信 息,利 用 式( ３) ] 到最佳 的 性 能)和 M Hg 的 方 法 １８. 从 结果来看,本文提 出 的 方 法 可 以 提 供 更 平 滑 的 深 度图,并保持细 节. 而 如 图 １０( b)和 图 １１( b),从 Ry x 软件获取 的 结 果 其 深 度 信 息 噪 声 较 大 且 边缘被侵蚀.而用文献 １８]提出的方法实现的结 果,可以提供平滑的深度结果,但是在水平方向具

８１４ Jn２０１８V ４７N ６AGC 有重复纹理的地方.该方 法 则 完 全 失 效,如 图 １０ ( )所示.在 利 用 自 适 应 窗 口 进 行 代 价 信 息 优 化 nmp m p: xb 时,根据试验效果窗口大小设置成７ ７个像素,且 ９ d ２３. 图 １０ 工件 １０ W kp 图 １１ 水果堆 １１ p ４ 结 北京:北京大学, D] ２００９ 论 GAOPngq R n UAV Mv ngt D n g I np d by Cmpnd Ey D ] B ng: Pk ng j 本文论述了利用仿生复眼进行目标三维信息获 取的基本方法,提出了单次成像获取三维信息的手 段来实现３维到３维的信息转换获取.因为利用传 统手段构建的复眼相机为利用多个相机的组合进行 多视几何三维构像,对相机的姿态信息有一定的要 求, 本文利用新型的光场成像相机,通过其独特的微 ２] ３] ４] 透镜与探测器的结合可以方便地实现三维信息的三 维获取, 同时在本文的三维信息获取方法中利用重 聚焦手段对原始光场影像数据进行直接处理,避免 传统利用光场解码数据对核线影像处理,有效利用 ５] ６] 成像像素, 并且通过预设重聚焦影像尺寸的方式可 效地构建代价函数,因此最终深度估计的结果与现 ７] NG R D L dp g py D] n d, CA, g UA: n dun v ２００６ y, NGR, LEVOY M, BRÉDI M, L dp g py w Hnd dp np Cm R] n dt R CTR２００５ ０２, ２００５ p TLy LYTRO Cm EB/OL] ２０１７ ０８ １０] m p: www y YANG Png,WANG Zm n, YAN Y zn, C ng P g mm L d Cm : m y w ２０１６, ５５( ２７): ７４７７ ７４８６ DANEREAUDG, P I ZARROO,WILL IAMB D d ng, C b nnd R n Ln b dp np Cmp V n nd P n R gn n P nd: 参考文献: 高鹏 骐 无人机仿生复眼运动目标检测机理与方法研究 １０] y x d p: www Cm C] P d ng ２０１３IEEE Cn n n 有的技术相比十分平滑而且准确. １] TRy RAYTRIX xcm EB/OL] ２０１７ ０８ D p Ab D n J] App d Op, y Mp 以极大提升计算结果的分辨率.此外本文提出的方 法, 利用重聚焦影像为深度信息获取的基础,可以有 Un v ２００９ y, ８] IEEE, ２０１３ CRIMINI IA,KANG B, WAMINATHAN R, Ex ng Ly nd An z ng T p y

第 6 期 赵守江, 等 : 基于仿生视觉的单相机光场成像及 3G3 维直接转换基础 815 Pp Ung EppGpnGmg Any J]. CmpVnndImgUndndng,2005,97(1): 51G85. 9] MATOUŠEK M,WERNER T,HLAVÁČ V.A Cpndnm Epp Pn Img C] PdngCmpVn Wn Wkp.Bd, vn:vnnpnrgnny,2001. 10] BOLLERC,BAKER H H,MARIMONTD H.EppG pnimgany:anappdmnng m Mn J].Innn Jn Cmp Vn,1987,1(1):7G55. 11] DANEREAU D,BRUTON L.GdnGbdDp Emnm 4D LdC] Pdng 2004Innnympm n Cndym. Vnv:IEEE,2004:23G26. 12] WANNER,GOLDLUECKE B.VnLd Any Dpy Emn nd pgn J].IEEE TnnnPnAnynd Mn Ingn,2014,36(3):606G619. 13] WANNER,GOLDLUECKE B.GbyCnn DpLbng4D LdC] Pdng 2012IEEE CnnnCmpVnndPn Rgnn.Pvdn:IEEE,2012:16G21. 14] TAO M W,HADAP,MALIKJ,.Dpm CmbnngDndCpndnUngLGd CmC] Pdng2013IEEE Innn CnnnCmpVn.ydny:IEEE,2013:1G8. 15] ZHANG,HENG H,LIC,.RbDp Emn L d v pnnng Pgm OpJ].CmpVnndImgUndndng, 2016,145:148G159. 16] JEON H G,PARKJ,CHOEG,.ADpMp Emnm Ln L d CmC] Pdng2015IEEECnnnCmpVn ndpnrgnn.bn:ieee,2015:7g12. 17] HOG M,ABATER N,VANDAMEB,.AnImg Rndng Ppn d Pnp CmJ]. IEEE Tnn n CmpnImgng,2016,3 (4):811G821. 18] KANADE T,OKUTOMIM.AMngAgm wan Adpv Wndw:Tynd ExpmnJ]. IEEE Tnn n Pn Any nd Mn Ingn,1994,16(9):920G932. ( 责任编辑 : 宋启凡 ) 收稿日期 :2017G11G10 修回日期 :2018G03G20 第一作者简介 : 赵守江 (1996 ), 男, 博士生, 研究方向为摄影测量与遥感. :ZHAOjng(1996 ),m,pdng dd,mjnpgmmyndmnng. EGm:1601110606@pk.d.n 通信作者 : 晏磊 Cpndng:YANL EGm:yn@pk.d.n