201320

Size: px

Start display at page:

Download "201320"

求甘
5 years ago
Views:

1 188 多摄像机图像拼接视觉归一化技术研究李洋洋 1 1,2, 赵刚, 刘利 3 3, 刘钊 LI Yangyang 1, ZHAO Gang 1,2, LIU Li 3, LIU Zhao 3 1. 华中师范大学国家数字化学习工程技术研究中心, 武汉华中师范大学信息与新闻传播学院, 武汉北京市公安局科技信息化部, 北京 National Engineering Research Center for E-Learning, Central China Normal University, Wuhan 4379, China 2.College of Information Technology & Journalism and Communications, Central China Normal University, Wuhan 4379, China 3.Department of Science and Technology Information, Beijing Municipal Public Security Bureau, Beijing 174, China LI Yangyang, ZHAO Gang, LIU Li, et al. Research on visual normalization of multi-camera image stitching. Computer Engineering and Applications, 213, 49(2): Abstract:Visual normalization is a key technology in multi-view image stitching. In this paper, based on the research of image processing algorithms, a novel method of visual normalization is presented for multi-camera image stitching, which mainly includes image color correction and image edge fusion. In processing of color correction, image region and self-adaptive strategy is used to make that different pixels have different blend factors, and the color relevance between adjacent images is also considered. In processing of edge fusion, the reflect matrix is used first to calculate the overlapping of two images, and then fill the overlapping by different colors resulted from two images using different blend factors in each pixel. The experimental result shows the efficiency of the method presented by this paper, which can effectively improve the visual effects in multi-view image stitching. Key words:visual normalization; color correction; edge fusion; image stitching 摘要 : 视觉归一化是多视点图像拼接领域的一个关键技术, 在对大量图像处理算法研究的基础上, 提出了一种针对多摄像机图像拼接的视觉归一化处理方法该方法主要包括图像颜色校正和图像边缘融合两个模块 ; 在图像颜色校正模块中, 引入了图像区域划分策略和自适应颜色调节因子, 使不同的像素点都有不同的颜色调节因子, 并充分利用相邻图像间的颜色关联性对目标图像的颜色进行自适应校正 ; 在图像边缘融合模块中, 利用反映射矩阵计算出拼接图像的重叠区域, 利用自适应边缘融合因子对重叠区域进行边缘融合处理实验结果表明, 该方法能够较好地减少甚至消除拼接图像间的视觉差异, 较好地改善了图像拼接的视觉效果关键词 : 视觉归一化 ; 颜色校正 ; 边缘融合 ; 图像拼接文献标志码 :A 中图分类号 :TN doi:1.3778/j.issn 引言随着计算机技术和图像处理技术的迅速发展, 多摄像机图像拼接技术有了更广泛的应用, 如虚拟现实军事安防测绘等实时图像拼接 / 视频拼接一般要求非常多的摄像机同步获取视频图像, 且相邻图像要有一定的重叠区域, 再通过图像匹配的方法计算出图像变换矩阵, 从而拼接成大场景的图像然而, 由于摄像机型号成像性能视角和工作时自然环境的差异, 同一融合区域内来自不同摄像机的视频在亮度色彩等方面会存在一定的差异, 如果直接对这些视频图像进行配准, 整个拼接场景在视觉上就有一定的差异, 并且在融合部位也会形成比较明显的分隔线, 从而严重影响拼接图像的视觉和美观效果因此非常有必要对多摄像机拼接图像进行校正目前国内外针对图像曝光度和颜色校正的研究非常 [1] 多, 一般可以分为两类 : 一类是依赖于硬件的曝光校正, [2-5] 另一类是基于软件校正的曝光校正基于软件的图像曝光度校正的算法, 比如 F.Durand [3] 等人提出了一种从低动态范围 (LDR) 图像获得高动态范围 (HDR) 图像的方法, 首先将图像按照亮度阶层进行分层, 然后利用具备边缘检测的双边滤波技术对不同的图像层进行处理, 从而获得高动基金项目 : 国家十二五科技支撑计划项目课题 (No.211BAK14B1) 作者简介 : 李洋洋 (1986 ), 女, 助理工程师, 研究方向为图像处理计算机视觉等 ; 赵刚 (1981 ), 男, 博士, 教授, 研究方向为多媒体处理虚拟现实计算机网络等 lyy@iseetech.com.cn 收稿日期 : 修回日期 : 文章编号 : (213)

2 李洋洋, 赵刚, 刘利, 等 : 多摄像机图像拼接视觉归一化技术研究 189 态范围的理想增强图像 ;Fattal [6] 等人采用的方法是, 在梯度域上, 对图像的亮度通道进行多尺度衰减, 然后用新的梯度亮度图像获得处理后的图像 ; 中国科学技术大学的朱磊博士, 提出了基于自适应邻域图像分解的智能曝光矫正算法, 文中提出了一种新的自适应领域滤波方法, 首先利用该方法对待校正图像进行滤波, 将图像分解为基础亮度层图像和细节表现层图像 ; 然后对曝光函数进行了优化, 并利用新的曝光校正函数对基础亮度层图像进行像素级的曝光度调整, 而此时细节表现层图像则保持不变 ; 最后将校正后的基础亮度层图像和原细节表现层图像合并为新的图像 ; 这种方法最大限度地消除了噪声的影响, 并适用于在不同光照条件下 ( 较暗区域和较亮区域 ) 的图像的不 [7] 同处理策略针对图像颜色校正算法, 比如 F.Gasparini 提 [8] 出了灰度世界 (GrayWorld) 颜色校正方法 ;Nakano.N 提出 [9] 了一种基于 Y Cr Cb 约束条件的颜色校正方法 ; 邵枫等人设计了一种多视点视频自动颜色校正系统, 主要是解决多视点视频间图像颜色不一致的问题, 首先根据参考图像与待处理图像之间的颜色校正矩阵来判断待处理图像是否满足全局校正的要求, 然后对不满足的图像进行图像分割和 K-L 变换, 并建立参考图像与待处理图像的局部映射关系, 从而实现对待处理图像的校正, 最后再利用视频跟 [1] 踪技术实现视频颜色自动校正在研究中发现, 在图像拼接过程中, 当图像精确配准后, 经过透视变换得到的图像重叠区域配准的精度非常高, 而重叠区域是由不同摄像机拍摄的同一场景, 由于摄像机的各种差异, 必然会造成图像的视觉差异基于此, 本文提出了一种针对多摄像机图像拼接的视觉归一化方法 2 算法理论基础 2.1 颜色空间变换颜色空间又称为颜色模型 (color model), 是指按照某种规则或定义来描述所有颜色常见的颜色空间有 :RGB 颜色空间 HSV 颜色空间 YC r 颜色空间 CMY 颜色空间 CIE XYZ 颜色空间和 CIE LAB 颜色空间等 RGB 颜色模型用于计算机的显示,HSV 颜色模型用于视觉系统处理,YC r 颜色模型用于表示彩色电视数字信号,CMY 颜色模型用在印刷行业不同的颜色空间体现的颜色特征不同, 在本文算法中, 使用不同的颜色模型对图像颜色校正的效果有一定的影响经过实验测试发现, 在 YC r 颜色空间下, 该算法的校正效果最佳图像由 RGB 颜色空间转化到 YC r 颜色空间的计算方法如式 (1) 所示 : éy ù êc r ú = é ù ê ú ê ú * é Rù êg ú + é ù ê128 ú (1) ë û ë û ëbû ë128 û 图像由 YC r 颜色空间变换到 RGB 颜色空间的计算方法如式 (2) 所示 : érù êg ú = é ù éy ù ê ú * êc r ú (2) ê ú ëbû ë û ë û 2.2 图像区域划分在图像颜色校正算法中, 主要是利用参考图像和目标图像内容的相似性对图像进行统计分析, 计算出颜色自动调节因子, 从而实现对视频的颜色校正在此算法中, 图像区域的划分, 对颜色校正的效果起着非常关键的作用, 所以应该对两幅图像进行最优区域划分, 从而合理地计算出图像的平均亮度色度等约束性指标在此部分中, 使用了数码相机里面最常用的一种测光方法 : 多区域评价测光多区域评价测光的基本原理是, 通过对图像内容的分析, 把图像分成多个不同的区域, 再计算每个图像区域的平均亮度值, 并根据图像感兴趣主体所在区域的不同, 为每个图像区域分配不同的权值, 然后对所有图像区域进行加权平均, 最终获得图像的平均亮度值或平均色度值 [11] 2.3 图像边缘融合边缘融合技术从出现到现在可以分为三个阶段 : 硬边拼接阶段重叠拼接阶段和边缘融合拼接阶段 [12] 边缘融合拼接是对重叠拼接的改进, 它的左边图像的右边缘重叠区域的 RGB 值按照某曲线函数增加或衰减, 而相应的右边图像的左边重叠区域的 RGB 值按照相同的曲线函数衰减或增加, 最终效果表现为整幅场景图像自然平滑过渡在图像像素级层面上, 常见的图像融合算法有以下几种 : 直接平均法加权平均法 [13] 多分辨率融合法 (1) 直接平均法该方法直接求取两幅图像重叠区域相匹配的像素点对的像素平均值, 并直接将该平均值作为融合后的像素值, 计算方法如式 (3) 所示 : I 3 ( x 3 y 3 ) = I 1( x 1 y 1 ) + I 2 ( x 2 y 2 ) 2 (3) 其中,I 3 ( x 3 y 3 ) 为融合图像中位于 ( x 3 y 3 ) 处的像素值,I 1 ( x 1 y 1 ) 为第一幅图像重叠区域 ( x 1 y 1 ) 处的像素值,I 2 ( x 2 y 2 ) 为第二幅图像重叠区域对应位置 ( x 2 y 2 ) 处的像素值该方法简单, 但处理效果不佳, 最终的融合图像中会出现明显的融合痕迹, 如果场景中存在人车等运动目标时, 融合的视频场景会产生鬼影现象 (2) 加权平均法该方法是一种比较简单的图像融合算法, 它通过计算两幅图像重叠区域中每个像素的加权和, 求得融合后的像素值, 如式 (4) 所示 I 3 ( x 3 y 3 ) = d I 1 ( x 1 y 1 ) + ( 1 - d ) I 2 ( x 2 y 2 ) (4) 其中,I 3 ( x 3 y 3 ) 为融合图像中位于 ( x 3 y 3 ) 处的像素值,I 1 ( x 1 y 1 ) 为第一幅图像重叠区域 ( x 1 y 1 ) 处的像素值,I 2 ( x 2 y 2 ) 为第二幅图像重叠区域对应位置 ( x 2 y 2 ) 处的像素值,d Î ( 1) 为权值系数, 则第一幅图像的权值从 1 衰减到, 第二幅图像的权值从增加到 1; 或者是, 第一幅图像的权值从增加到 1, 第二幅图像的权值从 1 衰减到该种方法由于引入了权值系数调节因子, 可以使图像内容有效地平滑过渡, 从而有效地淡化甚至消除图像间的融合接缝

3 19 (3) 多分辨率融合法该方法最早是由 Peter J.Burt [14] 等人提出的, 常用的多分辨率结构包括高斯金字塔 (Gaussian Pyramid) 拉普拉斯金字塔 (Laplacian Pyramid) 小波金字塔 (Wavelet Pyramid) 对比度金字塔 (Contrast Pyramid) 和梯度金字塔 (Gradient Pyramid) 等 [15] 多分辨率融合法, 首先将图像分解为一系列具有不同分辨率和特征的子图像, 然后在不同的分辨率子图像上对重叠区域的像素进行加权处理, 再利用金字塔重构算法将所有分辨率子图像融合成一副全景图像该方法可以使图像平滑过渡图像融合效果好, 但是由于其计算量大, 实时性差 3 多视频视觉归一化方法本文针对图像拼接中多幅图像存在一定的视觉差异问题, 提出了一种多摄像机图像拼接视觉归一化方法, 该方法的处理流程如图 1 所示, 通过该方法能够有效地减少甚至消除拼接图像间存在的亮度颜色等视觉差异该方法主要包括两大模块 : 一是图像颜色校正模块, 通过该模块可以根据参考图像对目标图像进行颜色校正, 减少两幅图像间的颜色差异 ; 二是图像边缘融合模块, 通过该模块在图像精确配准的基础上, 利用边缘融合因子, 消除拼接缝隙, 使多幅图像能够平滑过渡 ; 最后通过上述两模块得到视觉归一化后的拼接图像 3.1 图像颜色校正模块图像颜色校正模块主要由三部分组成 : 颜色空间变换图像区域划分图像颜色校正该模块的处理流程 : 首先, 要对参考图像和目标图像进行颜色空间变换, 由 RGB 颜色空间变换到 YC r 颜色空间 ; 然后, 将参考图像和目标图像按照图像区域划分的原则对图像进行划分, 获取到图像 Y C r 的平均值, 并计算出每个像素点的自动调节因子 ; 最后, 根据颜色自动调节因子, 对目标图像的颜色进行校正目标图像图像颜色校正模块颜色空间变换图像区域划分颜色自动调节因子图像颜色校正颜色空间变换色校正后图视觉归一化后的图像颜参考图像图像边缘融合模块重叠区域大小边缘融合因子像图 1 拼接图像视觉归一化处理流程边缘融合处理将参考图像和目标图像进行颜色空间变换, 即由 RGB 颜色空间变换到 YC r 颜色空间, 计算公式如式 (1) 式 (2) 所示图像区域划分在图像拼接中, 相邻图像的重叠区域是颜色校正过程中最有参考价值的一部分, 因此根据图像区域划分策略, 重叠区域的权值最高按照此规律, 将图像分为两个区域, 分别记为 I I 1, 重叠区域的权值赋值为.8, 其他区域的权值赋值为.2, 再对图像进行加权平均, 那么就可以将图像的 Y C r 平均值的计算方法表示为 : I Avg =.8 I +.2 I 1 (5) 图像颜色校正在颜色自动校正算法中, 最关键的因素是颜色自动调节因子, 本文将以 Y 调节因子为例进行说明 (C r 和的校正方法与 Y 相同 ),Y 调节因子计算方法如式 (6)~(8) 所示 : Y Diff = Y S_Avg - Y D_Avg (6) Y factor = 1 + sign( ) Y Diff ( Y D_Avg - Y curr ) 255 (7) Y new = Y curr + Y Diff Y factor (8) 其中,Y S_Avg 表示参考图像的平均亮度值,Y D_Avg 表示目标图像的平均亮度值,Y Diff 表示目标图像与参考图像平均亮度差值,Y curr 表示目标图像中某一像素点的当前亮度值, Y factor 表示目标图像的亮度调节因子,Y new 表示目标图像中某一像素点校正后的亮度值由上述公式可知, 当目标图像的平均亮度值小于参考图像的平均亮度值时, 亮度调节值为正值, 则目标图像的整体亮度值将增大 ; 同时, 对于目标图像中较亮和较暗的区域, 亮度值的增加幅度是有区别的, 较亮区域的亮度调节值要小于目标图像的平均亮度调节值, 对于较暗区域的亮度调节值要大于目标图像的平均亮度调节值 ; 由此可知, 目标图像的较亮区域通过较小幅度地增大亮度值可避免出现过饱和校正现象, 而较暗区域通过较大幅度地增大亮度值可以增强出图像中的模糊细节当目标图像的平均亮度值大于参考图像的平均亮度值时, 亮度调节值则为负值, 则目标图像的整体亮度值将减小 ; 同理, 对于目标图像中较亮和较暗的区域, 亮度值的减小幅度是有区别的 ; 由此可知, 目标图像的较亮区域通过较大幅度地减小亮度值来增强图像细节的显示, 而较暗区域通过较小幅度地减小亮度值可避免图像过快变暗通过上面的分析, 可以看出, 该校正算法, 对低曝光图像和高曝光图像的校正具有一定的自适应, 这更加有利于拼接图像的视觉一致性 3.2 图像边缘融合模块拼接图像边缘平滑过渡指对相邻图像的重叠区域的像素值按一定的过渡曲线衰减或增加, 从而使重叠区域的图像平滑过渡, 消除相邻视频间光强或色彩的不连续性, 其操作示意图如图 2 所示平滑过渡策略的选择应当满足如下要求 :(1) 视频边界处的过渡应该平滑, 消除拼接缝隙 ;(2) 尽量保持不因平滑过渡处理而造成原始图像信息的损失

4 李洋洋, 赵刚, 刘利, 等 : 多摄像机图像拼接视觉归一化技术研究 Image1 Image2 它距离更近的图像的像素值, 该融合过程实现了由左侧图像 Image1 到右侧图像 Image2 的平滑过渡 1 图 2 (a)image1 和 Image2 平滑过渡前 Image1 Image2 (b)image1 和 Image2 平滑过渡后视频图像边缘平滑过渡操作示意图 4 实验结果与分析为了验证颜色校正因子和边缘融合因子对具有视觉 ( 色彩 ) 差异的图像实现平滑过渡无缝拼接的有效性, 做了对比实验用于实验的计算机硬件为 Inter Core TM i7-272qm CPU 2.2 GHz 内存 2.92 GB, 操作系统为 Windows7, 软件开发环境为 Visual Studio 25, 使用的开源库为 OpenCV1.1 图 4 是同一摄像机拍摄的 3 幅待拼接幅图像, 即 Image1 Image2 Image3, 图像分辨率均为在图 2 中, 相邻的两个视频图像分别为 Image1 和 Image2, 两幅图像的重叠区域为, 则在重叠区域 Image1 按照红色曲线进行衰减, 或者是 Image2 按照黄色曲线进行增加, 而图像的非重叠区域的像素值则保持不变图像边缘融合模块主要由三部分组成 : 计算图像重叠区域大小边缘融合因子边缘融合处理该模块的处理流程 : 首先, 根据参考图像和配准后的目标图像计算出两者的重叠区域, 然后根据边缘融合因子, 对拼接图像进行边缘融合处理边缘融合因子 f (x)î ( 1 ) : f ( x ) = ì ï.5 ( 2x) p if ( x.5) í (9) ï î1 -.5 ( 2 (1 - x) ) p if (.5 x 1) 函数 f ( x ) 的图形表示如图 3 所示当 p 取不同的值时, 曲线的弯曲程度是不同的, 也就是说曲线的曲率取决于参数 p 的值当 p = 1 时, 该曲线是线性的, 线性渐变很可能导致重叠区域的边缘上出现可见的阶跃随着 p 值的增大, 曲线函数 f ( x ) 在 x =.5 附近的跃变越来越陡峭经过测试, 选择 p = 2 时的 f ( x ) 函数 f(x) p=.25 p=4 p=1 p=2 p= x 图 3 边缘融合因子在边缘融合模块中, 重叠区域的像素点的权值与该像素点到重叠区域边界的距离成正比, 与重叠区域的宽度成反比在图像非重叠区域保持了左右两侧图像的原像素值, 在重叠区域, 越靠近融合边界, 图像的像素值越接近与 (a)image1 (b)image2 (c)image3 图 4 待拼接图像 (1) 图像边缘融合图 5 是对图 4 中三幅图像采用不同的边缘融合算法进行拼接的效果对比图, 其中图 5(a) 是未做任何边缘融合处理的拼接图像, 图 5(b) 是采用直接平均法处理的拼接图像, 图 5(c) 是采用线性加权平均法处理的拼接图像 ( 文献 [13] 所提出的算法 ), 图 5(d) 是采用非线性加权平均法 ( 本文方法 ) 处理的拼接图像 (a) 未做边缘融合处理 (b) 直接平均法 (c) 线性加权平均法 (d) 非线性加权平均法图 5 图像边缘融合实验结果在相同的软硬件条件下, 分别采用本文算法和其他 3 种不同的方法对图像进行边缘融合, 从上述实验结果可以看出, 对于具有明显视觉差异的拼接图像, 本文提出的非线性加权平均法的处理效果更好一些, 与其他方法相比, 该方法基本消除了拼接图像边缘的拼接痕迹, 有效地淡化图像间的融合接缝 (2) 图像颜色校正由图 4 可知,Image2 与 Image1 Image3 相比, 存在比较明显的颜色差异, 如果不对图像做颜色校正, 那么拼接图像就会有明显的视觉差异, 因此需要对 Image2 进行颜色校正图 6 是对 Image2 颜色校正前后拼接图像的效果对比

5 192 图, 其中图 6(a) 是 Image2 颜色校正前拼接图像的视觉效果, 图 6(b) 是 Image2 颜色校正后拼接图像的视觉效果拼接图像的整体视觉效果同时, 本文提出的算法针对的拼接场景比较简单, 当拼接场景较为复杂或在视频拼接中, 还需要继续优化本算法 (a) 颜色校正前 (b) 颜色校正后图 6 图像颜色校正实验结果从上述实验结果可以看出, 在 Image2 未做颜色校正前, 拼接图像存在很明显的视觉差异 ; 通过本文方法对 Image2 进行颜色校正后, 拼接图像能有效地消除图像间存在的颜色差异为了进一步验证颜色校正算法的有效性, 对图像校正前后的亮度色度平均值进行了统计, 统计结果如表 1 所示从该表中可知, 在颜色校正前, 目标图像 Image2 的平均亮度 Y 为 85.17, 与参考图像 Image1 的 Y 值相比,Y 值差异为 32.78, 经过颜色校正后,Image2 的 Y 值增大为 , 明显趋近于 Image1 的 Y 值, 所以经过校正图像亮度明显增大了, 达到了校正的目的 ; 同时 Image2 的 Cr 和 Cb 值也得到了相应的校正, 从而从整体上实现了图像颜色的校正表 1 图像颜色校正数据对比名称 Y Cr Cb 参考图像校正前校正前目标图像校正后 (3) 拼接图像视觉归一化图 7 是由 11 幅图像 ( 图像大小均为 ) 拼接成的全景效果图图 7 视觉归一化全景图像 5 结束语本文提出了一种针对图像拼接中多幅图像的视觉归一化方法, 该方法利用图像颜色校正算法能较好地消除多摄像机图像在亮度和色彩方面的差异, 通过边缘融合算法有效地减小了相邻图像间的拼接缝隙, 非常有效地改善了参考文献 : [1] Sasaki M,Mase M,Kawahito S,et al.a wide dynamic range CMOS image sensor with multiple shore-time exposures[c]//proceedings of IEEE Sensors,24: [2] 周杰. 基于多区域分割及模糊逻辑的自动曝光方法 [D]. 上海 : 上海交通大学,27. [3] Durand F,Dorsey J.Fast bilateral filtering for the display of high dynamic range images[c]//proceedings of the 29th Annual Conference on Computer Graphics and Interactive Techniques,22: [4] 徐培凤. 基于图像处理的自动对焦和自动曝光算法研究 [D]. 江苏镇江 : 江苏大学,25. [5] 张丽芳. 利用多曝光对图像进行动态范围增强 [D]. 上海 : 上海交通大学,27. [6] Fattal R,Lischinski D,Werman M.Gradient domain high dynamic range compression[c]//proceedings of the 29th Annual Conference on Computer Graphics and Interactive Techniques,22: [7] 朱磊. 基于自适应邻域概念的视频图像处理技术研究 [D]. 合肥 : 中国科学技术大学,27. [8] Gasparini F,Schettini R.Color correction for digital photographs[c]//12th International Conference on Image Analysis and Processing,23: [9] Nakano N,Nishimura R,Sai H,et al.digital still camera system for megapixel CCD[J].IEEE Transactions on Consumer Electronics,1998: [1] 邵枫, 蒋刚毅. 一种多视点视频自动颜色校正系统 [J]. 光学学报,27,27(5): [11] 李峰红. 基于图像分析的数字图像色偏检测方法 [J]. 江苏大学学报,24,25(5): [12] 边缘融合 [EB/OL].[ ] htm. [13] Szeliski R.Image mosaicing for tele-reality applications[c]// IEEE Computer Society on Applications of Computer Vision(WACV 94),1994: [14] Burt P J,Adelson E H.A multiresolution spline with application to image mosaics[j].acm Transactions on Graphics (TOG),1983: [15] 林福宗. 多媒体技术基础 [M]. 北京 : 清华大学出版社,22.

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位自然科学版文章编号视网膜图像中视盘的快速自动定位方法赵晓芳林土胜李碧摘要基于眼底视网膜血管的分布结构及视盘本身的特点提出一种快速自动定位视盘的方法首先根据视网膜血管的网络分布结构大致定位视盘的垂直坐标然后根据视盘的亮度信息及视盘与血管的关系来定位视盘的水平坐标最后把视盘限定在以粗定位的视盘为中心的一个小窗口内用变换精确定位视盘中心该方法不需要事先分割视网膜血管也不需要对算法进行训练