第 3 期胡欢, 等 : 基于在线重建的遥操作预测显示系统 449 建环境及机器人虚拟模型, 然后根据远端反馈回来的各种传感器信息在线修正虚拟模型, 操作者通过仿真的虚拟环境来感知真实机器人工作环境. 然而, 有时机器人的操作环境是无法事先预知的.Xie [3] 等提出了一种基于增强现实的遥操作方

Size: px

Start display at page:

Download "第 3 期胡欢, 等 : 基于在线重建的遥操作预测显示系统 449 建环境及机器人虚拟模型, 然后根据远端反馈回来的各种传感器信息在线修正虚拟模型, 操作者通过仿真的虚拟环境来感知真实机器人工作环境. 然而, 有时机器人的操作环境是无法事先预知的.Xie [3] 等提出了一种基于增强现实的遥操作方"

耶石
5 years ago
Views:

1 第 45 卷第 3 期 2015 年 5 月东南大学学报 ( 自然科学版 ) JOURNALOFSOUTHEASTUNIVERSITY(NaturalScienceEdition) Vol.45 No.3 May2015 doi: /j.isn 基于在线重建的遥操作预测显示系统胡欢孙汉旭贾庆轩 ( 北京邮电大学自动化学院, 北京 ) 摘要 : 为了提高遥操作的操作效率, 采用一种基于单目视觉的预测显示方法来解决时延导致的视觉反馈滞后问题. 该方法通过基于地图的相机位姿估计算法来实时跟踪机器人的状态, 在线构建机器人工作环境的三维几何结构模型, 并结合多纹理映射技术进行渲染, 将模型重投影到预测视点下, 得到逼真的预测图像. 搭建了一个基于客户端服务器端模式的系统平台, 用于未知环境下的遥操作. 结果表明, 在总长为 7.112m 的摄像机运动轨迹中, 位姿跟踪的平均误差约为 0.015m. 该系统不仅能提供预测图像, 而且支持生成任意视点的图像, 有利于操作者从各个角度观察机器人工作场景. 关键词 : 预测显示 ; 遥操作 ; 同步定位与地图构建 ; 机器视觉中图分类号 :TP242 文献标志码 :A 文章编号 : (2015) On linereconstruction basedpredictivedisplaysystem forteleoperation HuHuan SunHanxu JiaQingxuan (AutomationSchool,BeijingUniversityofPostsandTelecommunications,Beijing100876,China) Abstract:Toimprovetheoperationeficiencyofteleoperation,apredictivedisplaymethodbasedon monocularvisionisproposedforsolvingthevisualfeedbackdelayproblem causedbytimedelay.in thismethod,therobot sposesaretrackedinreal timebythemap basedcameraposeestimational gorithm.thethree dimensionalgeometrymodelunderrobotworkingenvironmentsisreconstructed on linewithrenderingbymultipletexturemappingtechnology.finaly,therealisticpredictedimage isobtainedbyprojectingthemodelintothepredictedview.thesystemplatformbasedontheclient serverarchitectureisconstructedwhichissuitableforteleoperationunderunknownenvironments. Theexperimentalresultsshowthattheaverageerorofposetrackingisabout0.015moveracamera journeyof7.112m.theproposedsystem cannotonlysupplythepredictedimages,butalsosup porttogeneratetheimagesofarbitraryviews,whichbenefitstheoperatorobservingtheworkingen vironmentsoftherobotfrom alangles. Keywords:predictivedisplay;teleoperation;simultaneouslocalizationandmapping(SLAM);ro botvision 机器人已被广泛应用于远程环境 ( 如太空外星球远程手术水下灾后救援等 ) 中, 研究对远程机器人的高效鲁棒控制是一项重要任务. 其控制方法包括自主控制和遥操作两大类. 在目前智能技术尚未完全成熟的情况下, 遥操作仍是一种不可或缺的操作控制方式. 机器人实际运动和遥操作控制命令之间存在的时延会导致操作性能下降. 预测显示被认为是一种有效解决遥操作时延的方法, 通过将时延排除在本地控制回路之外, 消除时延对系统稳定性的影响, 能够大幅提升遥操作的成功率和执行效率 [12]. 传统的预测显示技术中, 首先利用先验知识构收稿日期 : 作者简介 : 胡欢 (1986 ), 女, 博士生 ; 孙汉旭 ( 联系人 ), 男, 博士, 教授, 博士生导师,hxsun@bupt.edu.cn. 基金项目 : 国家自然科学基金资助项目 ( ) 国家重点基础研究发展计划 (973 计划 ) 资助项目 (2013CB733000). 引用本文 : 胡欢, 孙汉旭, 贾庆轩. 基于在线重建的遥操作预测显示系统 [J]. 东南大学学报 : 自然科学版,2015,45(3): [doi: /j.isn ]

2 第 3 期胡欢, 等 : 基于在线重建的遥操作预测显示系统 449 建环境及机器人虚拟模型, 然后根据远端反馈回来的各种传感器信息在线修正虚拟模型, 操作者通过仿真的虚拟环境来感知真实机器人工作环境. 然而, 有时机器人的操作环境是无法事先预知的.Xie [3] 等提出了一种基于增强现实的遥操作方法, 通过叠加虚拟机器人模型到延时视频流上, 操作者可以实时了解虚拟机器人和真实机器人的匹配程度, 从而进行在线修正, 这在很大程度上提高了操作者的作业能力 ; 然而, 该方法仅对机器人的状态进行了预测, 大多应用于摄像机固定的情形, 且环境是静态的. 如果摄像机是受操作者控制而运动的, 仍需对摄像机视野中环境的改变进行预测.J gersand [4] 提出了一种基于图像插值的快速预测显示方法, 将其与基于增强现实的遥操作方法有效结合, 从而达到同时预测机器人状态和工作环境的目的. 然而, 基于图像插值方法生成的预测图像逼真度较差. 随着近年来 3D 重建技术的飞速发展, 在线实时重建逐渐成为可能, 将该技术引入到预测显示遥 [5] 操作系统中是一种发展趋势.Kely 等搭建了一个遥操作系统平台, 通过融合深度数据和双目彩色图像构建出一个逼真的 3D 场景模型, 从而使操作者能够高效地遥操作远程移动车辆 ; 然而, 多传感器的融合所产生的传感器间标定误差会影响系统 [6] 的鲁棒性.Rachmielowski 等提出了一种基于单目视觉的预测显示方法, 通过对视频图像进行同步定位与地图构建, 重建场景的 3D 模型, 并将其重投影到预测视点下, 得到预测图像 ; 然而, 这种 3D 模型是离线构建的, 无法实时更新. 本文提出了一种基于在线模型构建的预测显示方法, 在进行跟踪与地图构建的同时能够增量式扩展 3D 模型. 1 预测显示系统架构预测显示的目标是处理时延带来的视觉反馈滞后问题, 通过在操作端根据已接收到的延时视频流来构建远程机器人及其工作环境模型, 以预测基于操作者控制输入的即时视觉反馈, 使操作者可以进行连续的遥操作控制, 无需等待远程机器人端反馈的视觉信息. 预测显示遥操作系统是一种典型的客户端服务器系统, 其架构如图 1 所示. 图 1 上半框图中的软件模块位于机器人端 ( 客户端 ). 跟踪与地图构建模块根据视频图像估计机器人的当前位姿, 同时构建环境地图. 地图是指基于视觉特征检测方法获取的场景 3D 特征点云图 1 预测显示系统架构模型. 将模块置于机器人端是考虑到遥操作通信链路带宽的限制. 传输完整视频会占用大量带宽, 且视频含有大量冗余信息, 将部分关键帧图像传输到操作端是一种有效的解决带宽限制的方法. 传输关键帧图像来代替完整视频流, 可较大程度地减少数据传输量. 图 1 下半部分位于操作端 ( 服务器端 ), 是操作者操纵远程机器人的软件平台. 交互输入模块接收控制输入, 并转化为机器人控制命令, 发送给客户端的机器人控制器模块, 同时还发送控制指令到预测显示模块, 以得到预测图像. 此外, 该模块也包含了一些远程模块交互控制命令, 如选择指定图像构建地图保存地图等操作. 模型构建模块接收到远程地图数据, 构建出机器人工作环境下的 3D 几何结构模型.3D 模型可视化模块根据接收到的关键帧图像, 负责对几何结构模型进行纹理渲染, 实现逼真可视化. 预测显示模块根据控制命令解算相机当前位姿, 渲染 3D 模型, 得到预测图像, 补偿视觉反馈滞后, 是操作者高效地进行下步决策的重要依据. 2 跟踪与地图构建跟踪与地图构建模块可实现基于单目视觉的相机位姿跟踪与地图构建 2 个核心功能. 目前主流的视觉跟踪方法有帧间跟踪方法和基于地图的跟踪方法. 帧间跟踪方法是指对连续 2 帧图像进行匹配并计算相对位姿, 累加后便可得到全局位姿 ; 该方法会造成误差累积, 通常还需要通过路径闭合的方法以优化位姿, 但前提是必须能够检测到闭合, 这在很大程度上限制了其应用范围. 基于地图的跟踪方法首先通过 2 帧图像构建初始 3D 地图, 然后根据已有的相机位姿估算相机运动模型, 预测下一时刻相机的可能位姿, 将所有地图点重投影到该预测视点下, 在当前待跟踪图像中查找匹配点, 并根据匹配误差修正预测相机位姿, 从而得到最终的位

3 450 东南大学学报 ( 自然科学版 ) 第 45 卷姿估计 ; 该方法建立在一个全局的地图模型下, 通过不断优化全局地图来减少误差, 从而有效缩小了误差的累积. 本文采用基于地图的跟踪算法, 同步实现了跟踪和地图构建的功能. 2.1 初始地图本文采用立体匹配原理构建初始地图. 在初始阶段需要人为选择 2 帧图像作为立体匹配的首要条件. 具体过程如下 :1 针对这 2 帧图像, 利用自适应通用加速分割算法 (AGAST) [7] 来检测特征点, 并采用基于块的零均值像素灰度差平方和算法 [8] 查找匹配点对 ;2 采用五点算法结合随机抽样一致算法 (RANSAC) 来估计基础矩阵 ;3 进行匹配点对的三角化, 得到初始地图. 使用 AGAST 算法代替 FAST 特征检测算法, 对并行跟踪与地图构建算法 (PTAM) [9] 进行改进, 可使检测速度提高将近 2 倍. 2.2 在线跟踪在线跟踪的目标是实时估计机器人的位姿. 首先, 基于上一时刻相机运动速度来预测当前的相机位姿. 利用刚体变换群 SE(3) 来表示相机位姿, 指数和对数运算可实现 3 4 维位姿变换矩阵和六自由度参数间的转换. 利用六自由度参数向量来表示位姿变换矩阵, 可提高计算效率. 相机运动速度的计算公式为 V t 1 2 V t-1+ ln(p tp t-1) -1 (1) dt 式中,V t 为第 t 帧图像的相机速度 ;P t 为第 t 帧图像的相机位姿 ;d t 为第 t 帧图像的时间间隔. ( ) 预测位姿的计算公式为 P珘 t+1 exp(d t+1 V t )P t (2) 根据重投影误差更新相机位姿. 首先, 根据相机的透视投影模型将已有的 3D 地图点投影到预测视点下, 得到预测投影位置 ; 然后, 在预测投影位置邻域范围内寻找对应的匹配位置 ; 最后, 采用 [10] Levenberg Marquardt 算法对重投影误差进行最小化处理, 更新相机的位姿. 2.3 地图扩展随着机器人的不断探索, 初始地图可能已经在机器人摄像头视域之外, 因此需要不断地对地图进行扩展. 地图扩展是指, 通过对 2 个已跟踪的关键帧图像执行极线搜索匹配点对, 进行三角化处理得到 3D 点, 将其加入到已有地图点云模型中. 关键帧的选取标准如下 : 1) 时间间隔性. 连续帧往往存在大量的冗余信息, 因此在算法初始阶段, 假定 2 个关键帧的时间间隔大于 20 帧, 并基于已有关键帧图像间重合度来修正该间隔值, 如果重合度小于 30%, 则适当减小该值 ; 如果重合度大于 80%, 则适当增大该值. 2) 空间间隔性. 在空间上,2 个关键帧之间应该保留一定的间隔距离, 确保极线搜索有足够的基线. 这样一方面可尽量减少冗余信息, 节省存储空间 ; 另一方面也减少了在极线匹配和后续的地图优化过程中执行关键帧搜索的用时. 关键帧的数目在很大程度上影响了算法的速率. 间隔距离由当前场景的平均深度决定. 间隔距离的计算公式为 d int s inid avg_depth (3) d ref_depth 式中,s ini 为手动选择的 2 个关键帧间的距离 ; d ref_depth 为初始化时得到的场景平均深度 ;d avg_depth 为当前帧的平均深度. 3) 位姿准确性. 只有跟踪质量好的图像帧, 才可能成为关键帧. 首先把所有地图点投影到当前视点下, 得到 m 个投影点 ; 然后, 在当前图像中搜寻对应的匹配点, 假设有 n 个点匹配成功, 则跟踪质量定义为成功匹配点数占总投影点数的比例, 即 s n/m. 如果 s<0.3, 则认为跟踪质量较差 ; 否则认为跟踪质量较好. 2.4 地图优化地图优化是指不断根据新测量数据校准已有数据的过程, 是提高系统精度和鲁棒性的主要步骤. 集束调整是一种鲁棒的地图优化方法, 通过最小化重投影误差迭代修正关键帧位姿及地图点位置, 模型化为求解如下目标函数的非线性最小二乘问题 : argmin m n k1 j1 1 δ kj (^p kj -p kj ) 2 (4) 式中,^p kj,p kj 分别为 3D 点的重投影像素位置及其匹配的像素位置, 其中 k,j 分别为相机编号和地图点编号 ;δ kj 为权值项, 取决于其所在的金字塔等级, 等级越高, 则 δ kj 越大, 误差权值越小. 本文采用 Levenberg Marquardt 算法求解非线性最小二乘问题. 其核心问题是求解雅克比矩阵. 首先, 引入 3D 点的透视投影变换公式, 即 pf(p w,m)f(p w,e ε A) KP c KM P w [ 1] K(eε A P w ) (5) 式中,P w,p c 分别为点 P 在世界坐标系和相机坐标

4 第 3 期胡欢, 等 : 基于在线重建的遥操作预测显示系统 451 系下的三维坐标, 且 P c {x c,y c, } T ;K 为相机的内参矩阵 ;M 为估计相机位姿相对于世界坐标系的变换矩阵, 依据刚体变换群 SE(3) 的特性,M e ε A, 其中 A 为相机的真实位姿变换矩阵 ; 运算表示点相对于相机的投影变换 [11]. [ ] 然后, 求解雅克比矩阵 J J(P w) J(ε ), 其中 J(P w ) 和 J(ε) 分别为对特征点位置 P w 和相机位姿变量 ε 进行微分后获得的一阶导数矩阵, 即 J(P w ) f(p w,m) P w ( [ ] [ ] ) K 1 M P w P w [ ] K 1 z 2 c ε [ ] [ ] P ( c ) P w KM P w 1 J(ε) f(p w,e ε A) 0 1 z ( ) c P ( P w ) c 0 K P c z 2 c ( R c -P c [ 0 0 1R ] c ) ( c) 0 K 1 P ε ε (eε A P w ) x c z[ 2 c 0 1 0] K 0 -y c [ I 3 -P c] 式中,R c 为相机位姿变换矩阵 M 中的 3 3 旋转子矩阵. 3 模型重建与预测显示模型重建的目标是根据散乱点云构建场景的几何网格模型, 采用基于 3DDelaunay 三角化的自由空间雕刻方法 [12], 增量式扩展构建网格模型, 其输入来源于跟踪与地图构建模块中不断更新的地图数据. 本文采用事件关联机制来实现地图构建与模型构建的同步, 即在地图事件发生的同时, 触发模型构建模块的相关事件, 其关联如图 2 所示. 当添加关键帧到地图时, 触发以下 3 个模型构建事件 : 添加新网格点记录新关键帧插入可见视线. 添加新网格点的过程为 : 首先找到该点所在的 3D 网格, 并将其删除 ; 然后针对所有和删除网格相关联的 3D 点及新插入点, 执行 3D Delaunay 三角化, 重新构建新网格. 记录新关键帧事件是指添加新关键帧到关键帧队列中, 其数据包含了图像 ( 用于可视化模块的纹理渲染 ). 插入可见视线事件记录点和关键帧的关联关系, 同时判断此可见视线是图 2 地图更新与模型更新的关联否违背自由空间约束 ( 即相交于某已存在的网格面 ), 如果违背则删除相交的网格面. 对地图进行集束调整优化时, 模型构建模块需执行以下几个事件 : 点位置调整关键帧位置调整可见视线删除坏点删除. 点位置调整等同于先执行坏点删除事件, 然后执行添加新网格点事件. 关键帧位置调整是指从关键帧队列中找到该关键帧, 修改其位姿, 如果位姿有较大变化, 则遍历所有关联的可见视线, 执行可见视线插入事件. 可见视线删除是指去除与其相关的点和关键帧的关联属性. 坏点删除是指先删除所有相关的关键帧关联属性, 然后删除所有相关网格, 最后对其邻域内所有点重新执行 3DDelaunay 三角化, 生成新网格. 网格模型的可视化能够带给操作者逼真的临场感. 逼真可视化算法是通过将关键帧图像投影到网格模型上来实现的. 本文选择空间上最近的 4 帧关键帧图像进行多纹理融合映射. 纹理融合是通过加权合并来实现的. 针对渲染点 p, 第 i(i {1,2, 3,4}) 帧图像对应的权值计算公式为 W i V i N i S i V i (P i -p)(p cr -p) N i P n (P i -p) { b S i 0 Z r>z b 1 Z r Z 式中,V i,n i 分别为根据视线夹角和法线向量计算的权重分量 ;S i 为深度测试值 ;P i 为第 i 帧图像对应的相机位置 ;P cr 为渲染视点位置 ;P n 为渲染点 p 的法线向量 ;Z r,z b 分别为渲染点 p 在渲染视点下和深度缓冲区中存储的深度值, 且当 Z r >Z b 时, 渲染点 p 在第 i 帧图像中不可见, 故权值为 0. 当 V i > 0 时, 表示渲染视线与当前相机的观察视线夹角小于 90, 且夹角越大, 此值越小 ; 当 V i <0 时, 表示夹角大于 90, 直接设置 W i 0, 表示第 i 帧图像对当

5 452 东南大学学报 ( 自然科学版 ) 第 45 卷前渲染效果无影响. 当 N i >0 时, 表示点 p 在第 i 帧图像中可见 ; 反之不可见, 设置 W i 0. 考虑到高效性的需求, 纹理融合是通过 Open GL 软件中的着色语言实现的. 预测视点的计算是根据操作者的控制输入来解算的. 预测显示能够及时为操作者的下一步决策提供实时依据, 无需等待延时的反馈图像, 从而实现高效的遥操作. 4 实验验证搭建了一个用于机器人预测显示遥操作的客户端服务器端系统, 通过真实场景数据来验证预测显示效果. 机器人端平台运行在一个轻量级的笔记本电脑上, 其型号为联想 ThinkpadX230t, 处理器为 2.4GHzIntelCore(TM)i3 2370M. 操作端运行在一个组装的台式电脑上, 其处理器型号为 3.50GHzIntelCore(TM)i7 3770K, 同时配有 NVIDIAGeForce7800GT 图形卡.2 个电脑上均运行 ubuntu12.04 系统. 软件平台搭建在一个通用机器人软件开发平台 ROS [13] 上, 每个子模块封装为一个节点, 节点和节点之间通过消息进行通信. 这种模块化程序设计有利于应用程序的扩展. 本文将从数据传输量位姿跟踪的精确度和验证预测显示 3 个方面来验证系统的可行性. 4.1 数据传输量考虑到遥操作通信链路带宽的限制, 大量数据的传输会降低系统的效率. 实验中采集了 3 个室外场景视频, 其分辨率分别为 , , 像素, 记录软件运行过程中传输不同类型数据的平均数据传输量, 结果见表 1. 平均传输数据量等于总数据量除以视频总帧数 ; 图像视频数据的平均传输数据量即为每帧图像大小 ; 关键帧数据包括了关键帧图像及位姿数据 ; 地图数据包括三维点云及相应的地图事件数据. 由表 1 可知, 与传输图像视频数据相比, 仅传输关键帧数据和地图数据时的平均数据传输量明显减少. 表 1 网络平均传输数据量对比视频序号图像视频关键帧地图位姿跟踪的精确度 kb 根据操作者的控制输入及机器人的运动学和动力学理论, 可以估算出机器人的位姿. 但由于存在传感器及机构误差, 随着时间的推移误差将不断累积, 造成较大位姿偏移. 因此, 基于视觉对机器人位姿进行估计是必要的, 这可在一定程度上补偿上述偏移. [14] 在本文实验中, 选用了 RGB D 数据集中的一组 30s 视频数据 freiburg1_xyz 作为实验数据集, 其分辨率为像素, 摄像机的运动轨迹总长为 7.112m, 工作空间为 0.46m 0.70m 0.44m. 通过比较绝对轨迹误差来验证跟踪的精确度. 如图 3 所示, 实验中共计算了 736 帧图像对应的相机位姿误差. 由图可知, 本文算法与 RGB D [14] SLAM 算法具有相似的精确度. 两者的平均误差分别约为和 0.012m, 误差中值分别约为和 0.011m, 最小误差分别约为和 0.001m, 最大误差分别约为和 0.034m. 本文算法的最大误差较大的原因在于, 图像模糊有时会造成特征检测与匹配失败, 从而导致跟踪失败 ; RGB DSLAM 算法通过引入深度测量, 避免了跟踪失败. 然而, 本文算法的优势在于对平台要求较低, 可运行在通用的 CPU 平台上, 仅需单一摄像机 ; 而 RGB DSLAM 算法则必须运行在 GPU 平台上, 并且需要使用深度测量传感器. 图 3 2 种算法的相机位姿误差比较

第３期胡欢等基于在线重建的遥操作预测显示系统４３验证预测显示４５３全局视域操作者可以从任意角度任意距离观察

合距离当前渲染视点最近的４幅纹理图像来实现即每当接收到关键帧数据和地图事件数据时先将的

多幅纹理图像更有助于型构建模块进行处理预测显示是由３Ｄ模型重投增加可视化区域影得到的结果见图４由图可知

和真实图像的差异正是由于位姿估计误差所造成的利用本文算法获取的３Ｄ几何结构模型见图４ｄ该模型是对稀疏的３Ｄ点云进行

在程序运行过程中进行在线更新实时图像ｂ预测图像图６多纹理映射５结语本文搭建了一个客户端服务器端模式的预测

早期的预测显示系统大多针对结构化环境需要事图４预测显示效果先构建场景模型本文则将其扩展到未知环境下的

５ｃ为场景几何结构模型它们分别代表了局部视域和预测显示遥操作中利用单目视频在线重建方法对３Ｄ环境进行构建在线重建包括了

又可以给操作者一个全方位的观测实验结果表明该预测显示系统能够逼真地预测延时图像解决了时延造成的视觉反馈滞后的问题

周建亮空间机器人大时延遥操作技术研究综述Ｊ宇航学报２１３１２２９９３６ＷｇｙｇＸＹＺｈＪ

6 第３期胡欢等基于在线重建的遥操作预测显示系统４３验证预测显示４５３全局视域操作者可以从任意角度任意距离观察本实验通过安装在无人机底端的一个俯视相场景来高效地遥控机器人模型的可视化是通过融机来采集场景视频在操作端人为引入４时延合距离当前渲染视点最近的４幅纹理图像来实现即每当接收到关键帧数据和地图事件数据时先将的使用单幅纹理图像和多幅纹理图像的模型可视其存储在等待队列中经过４时延后再传送给模化结果见图６由图可知多幅纹理图像更有助于型构建模块进行处理预测显示是由３Ｄ模型重投增加可视化区域影得到的结果见图４由图可知延时图像明显滞后而预测图像则较为接近真实图像在实验中预测位姿为跟踪算法估算的实时图像位姿预测图像和真实图像的差异正是由于位姿估计误差所造成的利用本文算法获取的３Ｄ几何结构模型见图４ｄ该模型是对稀疏的３Ｄ点云进行３ＤＤｙ单纹理近视点ｂ单纹理远视点ｃ多纹理近视点ｄ多纹理远视点三角化处理得到的在程序运行过程中进行在线更新实时图像ｂ预测图像图６多纹理映射５结语本文搭建了一个客户端服务器端模式的预测显示系统该系统能够对操作者的控制输入提供即ｃ延时图像ｄ３Ｄ模型时的视觉反馈将时延排除在本地控制回路之外早期的预测显示系统大多针对结构化环境需要事图４预测显示效果先构建场景模型本文则将其扩展到未知环境下的为了进一步验证三维重建的效果选取了具有丰富纹理的实验室书架作为对象重建结果见图５图５和ｂ为任意视点渲染的图像图５ｃ为场景几何结构模型它们分别代表了局部视域和预测显示遥操作中利用单目视频在线重建方法对３Ｄ环境进行构建在线重建包括了２个核心内容跟踪与地图构建和模型重建与预测显示通过多纹理融合映射技术构建出一个逼真的模型可视化平台既可以提供预测图像又可以给操作者一个全方位的观测实验结果表明该预测显示系统能够逼真地预测延时图像解决了时延造成的视觉反馈滞后的问题配套软件平台可用于遥操作无人机火星车移动车辆机械臂等各种远程机器人远视点ｂ近视点参考文献Ｒｆｃ１王永谢圆周建亮空间机器人大时延遥操作技术研究综述Ｊ宇航学报２１３１２２９９３６ＷｇｙｇＸＹＺｈＪｇＡｃｈｖｙｐｆｐｃｂｈｇｈｍｄｙＪＪｆａｃ２１３１２２９９３６Ｃｈｃ全局几何结构模型图５模型及渲染效果２孙汉旭胡欢贾庆轩等遥操作系统中预测显示技术研究Ｊ宇航学报２１３３４１１１５２ｈｐｊｄｃ

7 454 东南大学学报 ( 自然科学版 ) 第 45 卷 SunHanxu,HuHuan,JiaQingxuan,etal.Research onpredictivedisplayinteleoperationsystem[j].jour nalofastronautics,2013,34(11): (in Chinese) [3] XieT,XieLJ,HeLS,etal.Ageneralframeworkof augmentedreality aided teleoperation guidance[j]. JournalofInformation and ComputationalScience, 2013,10(5): [4]J gersandm.image basedpredictivedisplayforhighd. o.f.uncalibratedtele manipulationusingafineandin tensitysubspacemodels[j].advancedrobotics,2001, 14(8): [5]KelyA,ChanN,HermanH,etal.Real timephotore alisticvirtualizedrealityinterfaceforremotemobilero botcontrol[j].theinternationaljournalofrobotics Research,2011,30(3): [6]RachmielowskiA,BirkbeckN,JagersandM.Perform anceevaluationofmonocularpredictivedisplay[c]// IEEEInternationalConferenceonRoboticsandAutoma tion.anchorage,alaska,usa,2010: [7] MairE,HagerGD,BurschkaD,etal.Adaptiveand genericcornerdetectionbasedontheacceleratedseg menttest[c]//11theuropeanconferenceoncomputer Vision.Heraklion,Greece,2010: [8]WuFC,HuZY.5 pointand4 pointalgorithm tode termineofthefundamentalmatrix[j].actaautomatica Sinica,2003,29(2): [9] KleinG,MurayD.Paraleltrackingandmappingfor smalarworkspaces[c]//6thieeeandacm Interna tionalsymposiumonmixedandaugmentedreality.na ra,japan,2007: [10]SzeliskiR. 计算机视觉算法与应用 [M]. 艾海舟, 等译. 北京 : 清华大学出版社,2012: [11] BlancoJL.A tutorialonse(3)transformationsand on manifoldoptimization[r].sevile,spain:univer sityofmalaga,2010. [12]MilerGL,PavSE,WalkingtonN.Fulyincremen tal3ddelaunayrefinementmeshgeneration[c]//pro ceedings of the International Meshing Roundtable (IMR).Ithaca,NY,USA,2002: [13] CousinsS.ExponentialgrowthofROS[ROStopics] [J].IEEERobotics&AutomationMagazine,2011, 18(1): [14] Sturm J,EngelhardN,EndresF,etal.Abenchmark fortheevaluationofrgb D SLAM systems[c]// 2012IEEE/RSJInternationalConferenceonInteligent RobotsandSystems.Vilamoura,Portugal,2012:

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位自然科学版文章编号视网膜图像中视盘的快速自动定位方法赵晓芳林土胜李碧摘要基于眼底视网膜血管的分布结构及视盘本身的特点提出一种快速自动定位视盘的方法首先根据视网膜血管的网络分布结构大致定位视盘的垂直坐标然后根据视盘的亮度信息及视盘与血管的关系来定位视盘的水平坐标最后把视盘限定在以粗定位的视盘为中心的一个小窗口内用变换精确定位视盘中心该方法不需要事先分割视网膜血管也不需要对算法进行训练