标题

Size: px

Start display at page:

Download "标题"

灞咸汪
5 years ago
Views:

1 年 11 月农业机械学报第 41 卷第 11 期 DOI: / j. issn 鄄 * 基于双目视觉的树木图像测距方法胡天翔郑加强周宏平 ( 南京林业大学机械电子工程学院, 南京 ) 揖摘要铱研究了双目视觉技术在智能对靶喷雾中的应用 ; 试验中运用平行光轴的摄像机采集图像, 通过寻找树木图像中特征点的方式将两幅图像进行匹配, 解决相似性问题 ; 再计算出目标树木到摄像头的距离及其误差, 试验的平均偏差率在 8% 以内 ; 运用该方法能达到智能喷雾中控制施药量的目的, 提高精确智能对靶施药效率关键词 : 智能喷雾树木图像测距双目视觉中图分类号 : S49 文献标识码 : A 文章编号 : 1000 鄄 1298(2010)11 鄄 0158 鄄 05 Measurement Method of Depth Information of Tree Images Based on Binocular Vision Hu Tianxiang Zheng Jiaqiang Zhou Hongping ( College of Mechanical and Electronic Engineering, Nanjing Forestry University, Nanjing , China) Abstract A binocular vision technology was used in intelligence on the targeting sprayer. Parallel axis camera captured images was used in the experiments, and through the mode of finding feature points in tree images to match the two images to solve comparability problems. Then the distance and its error between camera and the object trees were calculated. The average error was maintained within the range of 8%. Applying this method can make the intelligent pesticide target spraying so as to improve the efficiency. Key words Intelligent spraying, Tree image, Distance measurement, Binocular vision 引言机器视觉可代替人的眼睛对物体进行判断和识别, 较为常见的是利用单目摄像头随着人们对信息准确性要求的不断提高, 单目视觉技术已经远不能满足应用需要, 而更多的是被双目视觉技术所代替, 以满足人们获取更多信息的需要 [1] 在森林病虫害防治方面, 施药目标信息的不全面获取制约了精确对靶施药的研究和发展将双目视觉技术应用在精确林业和智能对靶施药领域中, 将大大提高智能施药的准确性和效率, 能很好地从技术上解决施药目标信息获取不全的问题, 改进森林病虫害防治的方法但通过双目视觉技术测量和计算对靶施药的树木深度信息, 与普通的物体深度信息测量相比较为复杂, 其主要受测量方法测量设备的选取树木外形特征变化的影响, 不同的树木其外形特征也不尽相同, 因此难以找到一种通用的测量方法用于实现对树木距离的高效测量 [2] 针对农林业领域基于机器视觉技术的智能施药系统研究过程中, 国内外相关的科研单位已取得了 [3 ~ 阶段性研究成果 7] 为了实现精确施药的目的, 本文在这些研究基础上对树木图像信息中物体距离数据的获取进行研究, 为获取图像中物体的信息提供方法收稿日期 : 修回日期 : * 国家 863 冶高技术研究发展计划资助项目 (2008AA100904) 十一五冶国家科技支撑计划资助项目 (2006BAD08A12) 和江苏省国际科技合作重点项目 (BZ ) 作者简介 : 胡天翔, 工程师, 博士, 主要从事测控技术与智能系统研究,E 鄄 mail: hutuson@ 163. com 通讯作者 : 郑加强, 教授, 博士生导师, 主要从事植保机械研究,E 鄄 mail: jqzheng@ njfu. edu. cn

2 第 11 期胡天翔等 : 基于双目视觉的树木图像测距方法双目视觉原理及树木图像特征点匹配分析 1 郾 1 双目视觉原理为了获取完整的整树图像, 将双视野上下垂直放置, 采集图像信息的设备选用高分辨率的 CCD 摄像头根据成像坐标关系 [8], 结合高大树木图像采集, 将两视野光轴平行放置, 通过构建平面坐标对试验进行分析, 如图 1 所示, 其中 T 为目标树木所在的位置, 在平面中用一条直线来表示,Z 1 和 Z 2 为两摄像机的平行光轴,C 1 和 C 2 为摄像机的中心, 其两点直接的连线为系统的基线 B Fig. 1 图 1 成像坐标示意图 Sketch diagram of imaging coordinate 将两个摄像机焦距调整到相同, 且两摄像机的光轴平行, 空间任一点 W 在上下摄像机像平面上的投影点分别为 W 1 和 W 2 分别以上下摄像机对应的像平面中心为坐标原点建立 Y 1 O 1 Z 1 和 Y 2 O 2 Z 2 坐标系, 并设在此图像物理坐标系下两个投影点 W 1 和 W 2 可分别表示为 W 1 ( x 1,y 1 ) 和 W 2 ( x 2,y 2 ), 则点 W 到摄像机的距离 ( 即目标树木到两个摄像机中心连线的距离 ) 可表示为 D 视差 1 郾 2 坐标变换与匹配 fb Z = = fb y 2 - y 1 D (1) 摄像机获得的连续图像经过采样量化和编码后转换, 以二维数组 (M 伊 N) 表示, 每个元素对应图像中的一个像素以屏幕的左上角为坐标原点 O 0, 建立如图 2 所示的图像坐标系 UO 0 V 每一像素的坐标 (u,v) (1 臆 u 臆 N,1 臆 v 臆 M) 及其在图像物理坐标系的坐标 (x i,z i )(i = 1,2) 可表示 [9] 为 u = x i d x + u 0 (2) v = z i d z + v 0 (3) (u 0,v 0 ) 图像物理坐标原点 O 1 或 O 2 在像素坐标系下的坐标 d x 每一像素在 X i 轴方向上的物理单位 d z 每一像素在 Z i 轴方向上的物理单位测量树木图像深度信息需要解决的关键问题是求解视差, 因此在两个视野所获取到的图像中需找到相同的点在两个像平面中的位置偏移量在图像处理过程中首先需进行图像匹配, 即在同一场景的不同成像中确定同一目标树木 ; 之后需找到不同图图 2 Fig. 2 图像坐标系 Reference frame of image coordinate 像对应的同一目标树木上确定的对应点, 进行对应点匹配设参考图像 X ij 的大小为 m 伊 n, 输入图像 Y ij 的大小为 M 伊 N, 其中 M > m,n > n Y (a,b) ij 表示输入图像以 (a,b) 为中心, 与参考图像大小相等, 对应 (i,j) 位置的像素灰度, 则参考图像和输入图像的相似性可用相似性公式度量 [9], 即 R(a,b) = m 移 i = 1 n 移 X ij Y (a,b) ij j = 1 (4) m n m n 移移 X 2 ij 移移 Y 2 (a,b) ij i = 1 j = 1 i = 1 j = 1 比较参考图像和输入图像在各个位置的相关系数, 如果相关值大于一定的阈值, 则认为两幅图像中的目标是同一目标 ; 否则, 认为是非同一目标 1 郾 3 对应点的选取空间同一物点在两个视野中的成像点称为对应点根据双目视觉成像模型原理, 在树木深度信息提取测距试验中, 需要从双视野获取的两幅图像中寻找相匹配的对应点, 然后依据公式计算出目标树木的深度信息传统的特征点搜索方法是在一幅图像上选择一个特征点, 然后在第二幅图像上搜索对应的特征点 [9] 这种匹配方法计算量大速度慢效率低如果对应点满足一定的约束条件, 匹配时加入约束条件, 则可加快对应点匹配速度 [10] 在树木图像立体匹配中, 其本质就是在两个视野同一时刻采集到的同一树木图像中点的投影由于树木的特征较为复杂, 不同树种采集到的信息也不相同, 因此较为方便的方式是选取树冠顶端和树冠底部中心点为特征对应点, 如图 3 所示但由于树木图像的轮廓信息属于目标树木的边缘点和角点, 其表现出的特征将会是灰度变化的不连续性 [11], 本文采用模拟树木进行试验, 为了能容易地

3 160 农业机械学报年找到树冠顶端和树冠底部两处特征点, 需对树木图像进行灰度和二值化处理, 使树木图像的轮廓信息能较为明显地呈现, 以便在处理完的图像信息上可以很快地找到两处特征点点以图像左上角为坐标原点, 计算出目标点与坐标原点的偏移量, 可求得点 P 1t P 1b P 2t 和 P 2b 像素坐标分别为 P 1t ( 600 郾 04, 392 郾 08 ) P 1b ( 600 郾 04, 935 郾 83) P 2t ( 600 郾 04, 261 郾 95 ) 和 P 2b ( 600 郾 04, 854 郾 47) 根据中点定义, 可求得 P 1m 和 P 2m 的坐标分别为 (600 郾 04,663 郾 96) 和 (600 郾 04,558 郾 21) 图 3 Fig. 3 1 郾 4 视差的计算树木图像特征点选取示意图 Sketch map of selecting tree image characteristic point 对于上下摆放的光轴平行的双视野, 视差只与像素坐标 v 1 和 v 2 有关根据式 (2) 和 (3) 可知, 像素坐标 v 1 和 v 2 与物理坐标 y 1 和 y 2 之间的关系可表示为 y 1 = (v 1 - v 0 (5) y 2 = (v 2 - v 0 (6) 由式 (5) 和 (6) 可得视差的计算公式为 D = y 2 - y 1 = (v 2 - v 1 (7) 将式 (7) 代入式 (1) 即可求得树木目标的深度信息, 即树木目标到视野的距离 2 试验平台设计本文双摄像头选用大恒 DH SV1310FC 型工业摄像头, 两个摄像头设计为上下垂直放置, 通过硬质塑料架进行固定, 并通过 1394 接口与计算机的图像采集卡相连为了便于后期的图像数据计算, 减少处理的工作量, 将两个摄像头平行放置, 即两摄像头的光轴处于平行位置, 镜头朝向目标树木试验在室内完成, 采用模拟树木作为目标进行识别测量, 用三角架支撑 Fig. 4 图 4 双摄像头中相匹配的对应点 Corresponding matching points in binocular camera 根据式 (1) 和 (7), 树冠顶端点 P t 和树柄底端点 P b 的中点 P m 到两个摄像机的距离分别为 Z 1 = fb d = fb d y (v 1b - v 1t ) = 35 伊郾 003(935 郾郾 08) = 郾 39 mm Z 2 = fb d = fb d y (v 2b - v 2t ) = 35 伊郾 003(854 郾郾 95) = 郾 49 mm 因为 B = 150 mm 远小于实际的树木到镜头的长度 (3 m), 因此可以把树冠中点和两个摄像机镜头三点所组成的三角形近似地看作为等腰三角形以 Z 1 和 Z 2 为基础, 可以把树冠中点 P m 到各镜头平面的距离表示为 Z m = Z 1 + Z 2 2 = 郾郾 49 2 = 郾 94 mm 假设 CCD 中心到 CCD 镜头前端的距离为驻 L, 树木 T 到摄像机镜头前端的距离为 L, 如图 5 所示 3 试验结果分析与验证根据摄像机的参数, 其成像平面为 3 郾 225 mm 伊 3 郾 225 mm, 分辨率为伊 1 024, 可以推算出 d y = 3 郾 225 / = 0 郾 003 mm 本文中, 镜头到树木的距离为 3 m, 两个摄像机的焦距均为 f = 35 mm, 且保持不变, 两摄像机之间的基线 ( 线段长度 ) B = 150 mm [12] 提取目标物体的角点 P 1t 和 P 1b, 如图 4a 所示 ; 匹配的对应点为 P 2t P 2b, 如图 4b 所示 P 1m 和 P 2m 分别为 P 1t P 1b 和 P 2t P 2b 的中点, 也是所需求解的目标图 5 Fig. 5 被测树木到摄像机光心距离与镜头的距离关系 Relationship of distance from tree to camera 则距离驻 L 的计算公式为 axes and camera lens 驻 L = 1 N N 移 j = 1 N 测量次数 (Z j - L j ) (8)

4 第 11 期胡天翔等 : 基于双目视觉的树木图像测距方法 161 Z j L j 第 j 次模拟树木到摄像机光心和模拟树木到摄像机镜头前端的距离测量值在实际的树木深度信息测量过程中, 测量的数值远大于摄像机光心到镜头的距离, 因此在计算过程中可以把这部分数值忽略不计不改变摄像机焦距, 对模拟树木进行 10 次测量, 测量数据和结果如表 1 所示 Tab. 1 表 1 测量数据及计算结果 Measuring data and calculation results 试验序号 B / mm P 1t 像素坐标 P 1b 像素坐标计算值 / mm 实际测量值 / mm 偏差率 / % (587 郾 24,927 郾 56) (587 郾 24,411 郾 31) 郾郾 (593 郾 46,659 郾 13) (593 郾 46,205 郾 98) 郾郾 (601 郾 87,848 郾 36) (601 郾 87,437 郾 63) 郾郾 (615 郾 39,793 郾 62) (615 郾 39,427 郾 41) 郾郾 (598 郾 17,886 郾 49) (598 郾 17,581 郾 70) 郾郾 (579 郾 51,599 郾 77) (579 郾 51,341 郾 22) 郾郾 (584 郾 09,685 郾 23) (584 郾 09,450 郾 17) 郾郾 (608 郾 57,913 郾 81) (608 郾 57,717 郾 47) 郾郾 (620 郾 23,726 郾 10) (620 郾 23,569 郾 51) 郾郾 (631 郾 62,773 郾 48) (631 郾 62,640 郾 94) 郾郾 6 表 1 中计算值由式 (1) 得到, 其中参数 D 由式 (7) 求出实际测量值是由摄像头与树木摆放位置之间的距离测量得出从表 1 可知该方法的应用在实际数值对照中仍然存在一定的偏差, 偏差率可通过计算值与实际测量值之间差的绝对值除以实际测量值得到, 其偏差率在第 4 个数据时为 10 个数据中的最小值, 为 3 郾 8% ; 在第 6 个数据时为 10 个数据中的最大值, 为 9 郾 9%, 该偏差产生的原因是多方面的, 有硬件上的误差, 有测量时带来的误差, 而该方法的平均偏差率为 7 郾 9% ( 在 8% 以内 ), 可以满足智能对靶喷雾施药的要求 4 结束语应用双目视觉技术对树木图像进行了测距试验, 结果表明平行光轴测距方法所产生的平均偏差率在 8% 以内, 能较好地满足智能对靶喷雾的要求, 进一步提高喷雾的精准度和效率, 并且该方法也可对非平行光轴的测距研究提供理论依据参考文献 1 郑加强, 周宏平, 徐幼林. 农药精确使用技术 [M]. 北京 : 科学出版社, 葛玉峰, 周宏平, 郑加强. 基于机器视觉的室内农药自动精确喷雾系统 [J]. 农业机械学报,2005,36(3):86 ~ 89. Ge Yufeng, Zhou Hongping, Zheng Jiaqiang. Indoor pesticide smart spraying system based on machine vision [ J ]. Transactions of the Chinese Society for Agricultural Machinery, 2005, 36(3): 86 ~ 89. ( in Chinese) 3 Jeremie Bossu, Christelle Gee, Frederic Truchetet. Development of a machine vision system for a real time precision sprayer [ J]. Electronic Letters on Computer Vision and Image Analysis, 2008,7(3):54 ~ 宋健, 张铁中, 徐丽明. 果蔬采摘机器人研究进展与展望 [J]. 农业机械学报,2006,37(5):158 ~ 162. Song Jian, Zhang Tiezhong, Xu Liming. Research actuality and prospect of picking robot for fruits and vegetables [ J]. Transactions of the Chinese Society for Agricultural Machinery, 2006, 37(5): 158 ~ 162. ( in Chinese) 5 耿端阳, 张铁中, 罗辉. 我国农业机械发展趋势分析 [J]. 农业机械学报,2004,35(4):208 ~ 马凯. 基于立体视觉的树木图像深度信息提取研究 [D]. 南京 : 京林业大学,2007. Ma Kai. Depth info acquisition for tree images based on stereo vision[ D]. Nanjing: Nanjing Forestry University, ( in Chinese) 7 周博. 基于图像拼接的扩大树木图像采集视野研究 [D]. 南京 : 南京林业大学,2008. Zhou Bo. Field 鄄 of 鄄 view expanding for tree images capturing based on image mosaic [ D ]. Nanjing: Nanjing Forestry University, ( in Chinese) 8 章毓晋. 图像工程 : 下册. 图像理解与计算机视觉 [M]. 北京 : 清华大学出版社,2000.

5 162 农业机械学报年 9 Ghlita O, Mallon J, Whelan P F. Epipolar line extraction using feature matching[ C] 椅 Proceedings of the Irish Machine Vision & Image Processing( IMVIP),2001:87 ~ Zhang Z. A flexible new technique for camera calibration [ C] 椅 IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11):1 330 ~ 马颂德, 张正友. 计算机视觉计算理论与算法基础 [M]. 北京 : 科学出版社, 胡天翔. 智能对靶喷雾机软件系统设计与集成研究 [D]. 南京 : 南京林业大学,2009. Hu Tianxiang. Design and integration of software system for intelligent toward 鄄 target sprayer[d]. Nanjing: Nanjing Forestry University, ( in Chinese) 詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬 ( 上接第 152 页 ) 10 陈军, 朱忠祥, 鸟巢谅, 等. 基于神经网络的农用车辆自动跟踪控制 [J]. 农业机械学报,2007,38(5):131 ~ 133. Chen Jun, Zhu Zhongxiang, Torisu Ryo, et al. Automatic on 鄄 tracking control of farm vehicle based on neural network[ J]. Transactions of the Chinese Society for Agricultural Machinery, 2007,38(5):131 ~ 133. ( in Chinese) 11 张智刚, 罗锡文, 赵祚喜, 等. 基于 Kalman 滤波和纯追踪模型的农业机械导航控制 [J]. 农业机械学报,2009,40( 增刊 ):6 ~ 12. Zhang Zhigang, Luo Xiwen, Zhao Zuoxi, et al. Trajectory tracking control method based on Kalman filter and pure pursuit model for agricultural vehicle[ J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40( Supp. ):6 ~ 12. (in Chinese) 12 李士勇. 模糊控制神经控制和智能控制论 [M]. 哈尔滨 : 哈尔滨工业大学出版社, 吕安涛. 基于 GPS / IMU 的拖拉机自动驾驶方法的研究 [D]. 北京 : 中国农业大学,2006. L 俟 Antao. Study on GPS / IMU 鄄 based automatic driving methods of tractor [ D]. Beijing: China Agricultural University, (in Chinese) 詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬詬 ( 上接第 157 页 ) 11 陈玉, 严壮志, 钱跃竑. 基于格子波尔兹曼模型的图像去噪 [J]. 电子学报, 2009,37(3):574 ~ 580. Chen Yu, Yan Zhuangzhi, Qian Yuehong. The Lattice Boltzmann method based image denoising[ J]. Chinese Journal of Electronics, 2009, 37(3): 574 ~ 580. ( in Chinese) 12 Qianshun C, Tong Y. A Lattice Boltzmann method for image de 鄄 noising[j]. IEEE Transactions on Image Processing, 2009, 18(12):2 797 ~ Sterling J D. Stability analysis of Lattice Boltzmann methods[j]. Journal of Computational Physics, 1996, 123(1):196 ~ Buick J M, Cosgrove J A. Investigation of a Lattice Boltzmann model with a variable speed of sound[j]. Journal of Physics, A: Mathematical and General, 2006, 39: ~

2 3. 1,,,.,., CAD,,,. : 1) :, 1,,. ; 2) :,, ; 3) :,; 4) : Fig. 1 Flowchart of generation and application of 3D2digital2building 2 :.. 3 : 1) :,

2 3. 1,,,.,., CAD,,,. : 1) :, 1,,. ; 2) :,, ; 3) :,; 4) : Fig. 1 Flowchart of generation and application of 3D2digital2building 2 :.. 3 : 1) :, 3 1 Vol. 3. 1 2008 2 CAA I Transactions on Intelligent Systems Feb. 2008, (,210093) :.,; 3., 3. :; ; ; ; : TP391 :A :167324785 (2008) 0120001208 A system f or automatic generation of 3D building models