JQRR003.NH

Size: px

Start display at page:

Download "JQRR003.NH"

阅叶
5 years ago
Views:

1 第卷第期年月机器人 ΡΟΒΟΤ 文章编号 222 基于图像矩的运动目标平动视觉跟踪林靖陈辉堂王月娟徐强华蒋平同济大学电气工程系上海摘要区别于图像的简单几何特征本文利用图像的全局特征描述子 2 图像矩特征作为图像特征信息实现了基于图像的运动目标平动的视觉跟踪针对任务要求本文选取了一组矩特征用以完成任务基于所选的矩本文给出了矩特征变化量与相对位姿变化量之间的关系矩阵即图像雅可比矩阵然后利用所推导的图像雅可比矩阵设计了由图像反馈与目标运动自适应补偿组成的视觉伺服控制器实现了在未知目标成 2 深度及摄像机焦距的情况下对运动目标的平动跟踪关键词视觉伺服机器人图像矩图像雅可比矩阵中图分类号文献标识码 1 引言如同人类视觉系统的作用机器人视觉系统赋予了机器人一种高级的感知功能视觉系统提供的经量化后的数字图像给出了机器人末端执行器与目标之间的相对位姿信息利用这个相对位姿信息作为反馈量而构造的机器人视觉伺服系统通常分为两类即基于位置 2 和基于图像 2 的控制方式这两类控制方式都需要从图像中抽取特征信息所不同的是基于位置的控制方式其期望给定值以工作空间中的值表示所以需要将特征信息投影逆变换到工作空间而基于图像的控制方式其期望给定值直接以图像特征信息表示所以不需要有一投影逆变换过程因此相对基于位置的控制方式而言基于图像的控制方式对系统的标定误差不敏感具有更高的定位精度为多数的视觉伺服系统所采用基于图像的控制方式需要根据所选用的视觉特征求取相应的图像雅可比矩阵由于一幅数字图像含有大量的数据为减少运算量及降低系统的复杂性目前多数的视觉伺服系统利用了物体的简单几何特性如点! 线! 圆! 面积等以简化从图像抽取特征信息的过程然而这些特征的可靠抽取很大程度上依赖于物体的形状以及周围环境并且通常需要在场景中插入特殊定义的视觉信号另外在图像序列中需要进行特征的匹配这需要复杂的算法及大量的运算特别是物体的外形及纹理! 遮挡! 噪声! 照明条件等极大程度上影响了匹配的精度文指出应用全局的图像特征相对于简单的几何特征由于考虑了所有的图像数据而不是简单的几个点! 几条线因此具有更好的鲁棒性该文应用了图像傅立叶描述子及图像矩然而它需要利用大量的样本图像来训练神经网络并利用训练好的神经网络来依据实际的图像特征给出完成定位任务所需的控制量虽然计算全局图像特征需要处理整幅图像数据然而近年来在图像矩方法的研究方面有了很大的进展计算图像矩的运算量有了显著的降低针对利用视觉跟踪运动目标的平基金项目博士点基金资助项目收稿日期

2 机器人年月动这一任务本文选取了一组矩特征用以完成任务基于所选的矩本文给出了矩特征变化量与相对位姿变化量之间的关系矩阵即图像雅可比矩阵然后利用所推导的图像雅可比矩阵设计了由图像反馈与目标运动自适应补偿组成的视觉伺服控制器实现了在未知目标成像深度及摄像机焦距的情况下对运动目标的平动跟踪文中最后给出了仿真与实验例子表明了矩特征的有效性 2 基于矩特征的图像雅可比矩阵基于图像的视觉伺服控制系统其结构如图所示控制量 υ 为机器人手部摄像机的运动控制量为实现视觉伺服控制任务首先利用示教盒引导机器人运动到与目标成期望构形获取在此期望构形下的期望图像定义一完成任务所需的视觉特征集从期望图像中抽取期望特征集作为视觉伺服控制系统的期望输入在实时的控制过程中由视觉传感器获取实时采样图像从中获取实时视觉特征集从而构成视觉反馈引导机器人完成任务区别于图像的简单几何特征本文选用的视觉特征集为全局图像描述 ) ) 图像矩本节首先根据任务要求选取了一组矩特征然后基于这一组矩给出了矩特征变化量与相对位姿变化量之间的关系矩阵即图像雅可比矩阵在下一节本文将利用所推导的图像雅可比矩阵设计由图像反馈与目标运动自适应补偿组成的视觉控制器以实现对运动目标的平动跟踪图视觉伺服系统结构一幅的图像其 π θ 阶几何矩定义为 μ μ πθ ξ Π ψ θ γ ξ ψ ξ Ψ ξ ψ 为图像像素的坐标 γ ξ ψ 为图像像素灰度值当 γ ξ ψ 在 ξ 2ψ 平面的有限区域非零且分段连续时几何矩集合 μ πθ π θ, 与 γ ξ ψ 是互相唯一确定的对于某一具体的应用需要从几何矩集合中找出能提供足够的信息以识别图像的一组矩两个一阶矩 μ μ 表征了图像的质心位置当摄像机与目标之间发生平行于图像平面的相对平动时质心位置随之出现变化即该运动在一阶矩 μ μ 得到反映当摄像机与目标之间存在垂直于光轴的相对平动时目标在图像上投影面积的大小即 μ 出现相应的变化因此针对运动目标平动的视觉伺服控制问题选取矩集合 μ μ μ 可反映摄像机与目标之间的相对平动对于如图所示的摄像机系统 Ρ σ 具有焦距 φ 假定目标为刚体而且仅做平动运动则整个目标的运动完全可以由目标内任一点的运动来确定设目标上任一点 Π 在 Ρ σ 坐标系中为 ρ

3 第卷第期林靖等基于图像矩的运动目标平动视觉跟踪 Ξ σψσ 且对应于图像平面中的投影点 π 的坐标为 ξ ψ 满足如下透视关系 ξ φ Ξ σ ψ φ Ψ σ 设背景灰度一致且不变机械手运动引起手部摄像机运动其平动速度为 Τ χ Τ ξχτ ψχτ ζχ Τ 目标的平动速度为 Τ Τ ξ Τ ψ Τ ζ Τ 令 Τ Τ ξ Τ ψτ ζ Τ Τ χ Τ 则图像平面光流 υ ξ ϖ ψ 可计算如下图摄像机坐标系 υ ϖ τ φ Ξ σ φ Ξ σ Ψσ φ φ Ψ σ τ Ξ σζ σ Ζ σ ΨσΖ σ Ζ σ ξ Τ ζ ψ Τ ζ φ Τ ξ Ζ χσ φ Τ ψ Ζ χσ 设 τ 及 τ τ 时刻图像平面点 ξ ψ 处的灰度值分别为 γ ξ ψτ 与 γ ξ ψτ τ 对于 π θ 阶矩 μ πθ 假定 τ 足够小有 μ πθτ τ μ πθτ ξ ξ 方程两边同除以 τ 令 τψ 有 ψ ξ π ψ θ γ ξ ψτ τ ξ ξ π ψ θ γ ξ ψτ ψ ξ π ψ θ γ ξ ψτ ξ π ψ θ γ τξ ψτ τ ξ π ψ θ γ ξ ψτ ψ μ πθτ τ ξ 由光流约束方程可得图像上任一点灰度变化率 ξ π ψ θ γ τξ ψτ ψ γ τξ ψ γ ξ ξ ψυ γ ψξ ψϖ 其中 γ ξ ξ ψγ ψξ ψγ τξ ψ 分别为像素点的灰度沿 ξ ψτ 三个方向的梯度值将式代入可得 μ πθτ τ ξ 2ξ π ψ θ γ ξ ξ ψτυ ξ π ψ θ γ ψξ ψτϖ ϑ πθτσ χ Σ ψ 其中 Σχ Τ χσ Τ 分别为摄像机运动控制量和目标未知运动参数 ϑπθτ ϑπθ ϑπθ ϑπθ 为图像特征雅可比矩阵 ϑπθ ξ ψ ϑπθ ξ φ ξ π ψ θ γ ξ ξ ψτ ϑπθ ψ ξ ψ ξ π ψ θ γ ξ ξ ψτ ξ π ψ θ γ ψξ ψτ 当摄像机光轴保持与工作平面垂直时有 φ ξ π ψ θ γ ψξ ψτ ϑ πθτ ϑχ πθ ϑχ πθ ϑχ πθ φ φ ϑχ πθτφ φ 定理假定图像的背景灰度一致设为 δ 当目标落在视场中且不在边界上时下面等式成立 ξ ξ π ψ θ γ ξ ξ ψ ψ π μ π θ μ π θ π π

4 机器人年月 ξ ξ π ψ θ γ ψξ ψ ψ θ μ π θ μ π θ 其中 μ πθ 为图像平面上无目标时的 π θ 阶几何矩 μ πθ ψ θ ξ π δ ξ ψ 证明考虑连续图像的情况设图像平面为 Ι ξ ψξ Ι ψι β 由于图像的背景灰度一致设为 δ 则当目标落在视场中且不在边界上时有当 π 时 κι 当 Π 时 θ θ γ ξ γ ξ β γ ψ γ ψ δ ξ Ι ψ Ι β ξ π ψ θ β γ ξ ξ ψξ ψ Θ ψ θ β Θ γ ξ ξ ψξ ψ Θ ψ θ γ ψ γ ψψ κι ξ π ψ θ β γ ξ ξ ψξ ψ Θ ψθ θ ξ π γ ξ ξ ψξ ψ β Θ ψ θ π γ ψτ Θ θ π Θ Θ β πψ θ ξ π γ ξ ψξ ψ βθ π δ Θ Θ β πψ θ ξ π γ ξ ψξ ψ Θ β ψ θ ξ π δ ξ ψ Θ 将连续图像 Ι 量化成大小为的图像且合并式为 ξ 同理可证式证毕 ξ π ψ θ γ ξ ξ ψ ψ Θ β π μ π θ μ π θ 选取视觉特征为 Φ μ μ μ Τ 由上面定理有 ψ θ ξ π γ ξ ψξ ψ π π Φ ϑσχ Σ τ 其中 ϑ ϑ Τ ϑ Τ ϑ Τ Τ ϑχφ φ μ μ μ μ ϑχ μ μ μ μ μ μ 显然 ϑχ 为上三角形矩阵当目标落在图像上时 μ μ Ξ ϑχ 可逆而且其逆矩阵也为上三角形矩阵 3 视觉伺服控制器令控制量 Σχ Σφ Σ δ 由视觉反馈控制 Σφ 和运动目标的自适应补偿 Σ δ 构成建立函数 Σ ετ Θε Σδ Σ Τ Π Σ δ Σ 其中 ε Φ Φ 3 为图像特征误差 Φ 与 Φ 3 分别为实时采样图像与期望图像的视觉特征 Θ θθθθθθ Π 为对称正定矩阵

5 第卷第期林靖等基于图像矩的运动目标平动视觉跟踪假定目标匀速运动有 Σ ε Τ Θ ε τ Σδ Τ Π Σ δ Σ ε Τ ΘϑΣ φ Σ δ Τ ε Τ ΘϑΠΠ Σ δ Σ 选取运动目标自适应跟踪控制律 Σ φ Κϑ ε Σ δ Πϑ Τ Θε 其中 Κ κκκκκκ 由于 ϑχ 为上三角形矩阵当目标在控制过程中不超出视场时易证矩阵 ΘϑΚ ϑ 的特征值大于零即 ΘϑΚ ϑ 为正定矩阵从而可得 Σ ε Τ ΘϑΚ ϑ ε[ 而且 Σ 当且仅当 ε 系统渐近稳定为避免在线计算逆矩阵即目标成像深度下面对控制律进行简化假定对应于期望位姿构形的图像雅可比矩阵为 ϑδ 成像深度为零阶矩为 μ δ 假定在某时刻成像深度为则由式有 ξ φ Ξ σ φ Ξ σ ψ φ Ψσ φ Ψσ Ζ 显然在成像深度为时所采集图像相对于期望图像其图像平面 Ξ Ψ 方向各放大了 δ 倍从而有文 μ μ δ 即从而可选用如下控制律其中 Σ φ Κϑ μ δ μ δ ε κχ κχ κχ ϑχδ ε Κ χϑ Σ δ Πφ φ ϑχ Τ Θε μ Πχϑχ Τ Θε κχ κ φ 可得摄像机运动控制量 κ κχ φ κχ κ Πχ Σ χ τ Κ χϑχ δ ε Πχ Θ 由于不难验证 ΘϑΚ ϑδ 为正定的 μ ϑχ Τ Θε δ ε μ δ Πφ φ 由式可知 ϑχ δ!ϑχ Τ 可以利用期望图像与实时采样图像的视觉特征 Φ 3 与 Φ 来计算因此控制律只与实时采样的图像及期望图像矩特征向量有关在控制过程中不需要知道物体在期望位置及实际位置时的成像深度而且也不需要知道摄像机焦距 4 仿真结果利用控制律由固连于机器人末端执行器上的摄像机引导机器人跟踪如图所示的无明显特征的不规则目标设摄像机焦距为物体在摄像机标架中的期望高度为视觉伺服控制周期为目标在摄像机标架中以 Τ ξ Τ ψ Τ ζ 速度在维空间做平动期望图像二值化后的矩特征值约为 μ μ μ 图运动目标期望图像

6 机器人年月取控制参数为 θ θ θ κχ κχ κχ Πχ π χ π χ π χ π χ π χ π χ 控制结果如图所示各轴的最终跟踪误差不超过而在期望高度时图像上一个像素所能反映的距离为可见利用矩特征作为视觉特征信息可获得亚像素级的控制精度基于简单几何特征的控制通常在轴方向上有较大的误差而本文所提的基于矩特征的控制在轴方向也具有较高的精度轴方向仿真结果轴方向仿真结果轴方向仿真结果图摄像机引导机器人跟踪结果我们对各种复杂形状的物体进行过仿真实验结果显示所提控制方案具有很好的广泛性和一般性而不象利用物体简单几何特征的方法那样对于不同形状的物体需要人为选择不同的特征以便能充分反映物体外形 5 结束语针对平动视觉伺服控制问题本文利用图像的全局特征描述子 2 图像矩特征作为图像特征信息从而避免了复杂的特征匹配而且不需要借助特定的方法来标识目标根据任务要求本文首先选取了一组矩特征用以完成任务基于所选的一组矩本文给出了矩特征变化量与相对位姿变化量之间的关系矩阵即图像雅可比矩阵然后利用所推导的图像雅可比矩阵设计了由图像反馈与目标运动自适应补偿组成的视觉伺服控制器实现了在未知目标成像深度及摄像机焦距的情况下对运动目标的平动跟踪从仿真结果可看出在视觉伺服控制中以矩做为视觉特征可获得较高的控制精度参考文献 ƒ ƒ ƒ 7 2 χ ƒ ƒ 2 2

7 第卷第期林靖等基于图像矩的运动目标平动视觉跟踪 2 54 李介谷计算机视觉的理论和应用上海交通大学出版社 Ι Α Γ Ο Τ Σ Β Α Σ Δ ς ΙΣΥ Α Λ Τ Ρ Α ΧΚ Ι Γ Ο Φ 3Δ ΤΡ ΑΣΛΑΤΙΟΑΛ ΟΤΙΟ 2 2 ±2 Δεπτ οφ ΤονγϕιΥνιϖερσιτψ Σηνγηι Αβστρχτ Κεψωορδσ 作者简介林靖 2 男博士生研究领域机器人视觉陈辉堂 2 男博士生导师研究领域机器人控制与智能机器人王月娟 2 女博士生导师研究领域机器人控制与智能机器人

! Ν! Ν Ν & ] # Α. 7 Α ) Σ ),, Σ 87 ) Ψ ) +Ε 1)Ε Τ 7 4, <) < Ε : ), > 8 7

! Ν! Ν Ν & ] # Α. 7 Α ) Σ ),, Σ 87 ) Ψ ) +Ε 1)Ε Τ 7 4, <) < Ε : ), > 8 7 !! # & ( ) +,. )/ 0 1, 2 ) 3, 4 5. 6 7 87 + 5 1!! # : ;< = > < < ;?? Α Β Χ Β ;< Α? 6 Δ : Ε6 Χ < Χ Α < Α Α Χ? Φ > Α ;Γ ;Η Α ;?? Φ Ι 6 Ε Β ΕΒ Γ Γ > < ϑ ( = : ;Α < : Χ Κ Χ Γ? Ε Ι Χ Α Ε? Α Χ Α ; Γ ;