基于ARToolkit的地下工程增强现实研究和试验

Size: px

Start display at page:

Download "基于ARToolkit的地下工程增强现实研究和试验"

弱秤昌
5 years ago
Views:

1 Hans Journal of Civil Engineering 土木工程, 2013, 2, Published Online February 2013 ( Research and Experiment of Underground Engineering Augment Reality Based on ARToolkit Chaoyi Zhu, Xiaojun Li, Wenbo Zheng, Shuai Wang Tongji University, Shanghai Received: Dec. 21 st, 2012; revised: Jan. 10 th, 2013; accepted: Jan. 18 th, 2013 Abstract: Augmented Reality technology is still blank in underground engineering applications. This paper analysised the whole process of augment reality on the basis of ARToolkit, conducted indoor model experiment. Aim at the specific application characteristics of the environment in underground engineering, improved the system from camera internal and external parameters, finally conducted simulation experiment in cooridor. Keywords: Augmented Reality; Underground Engineering; ARToolkit 朱超翼, 李晓军, 郑文博, 王帅同济大学, 上海收稿日期 :2012 年 12 月 21 日 ; 修回日期 :2013 年 1 月 10 日 ; 录用日期 :2013 年 1 月 18 日摘要 : 增强现实技术在地下工程的应用领域中尚属空白, 本文以 ARToolkit 平台为基础, 对实现增强现实的全过程进行分析, 进行室内模型试验针对地下工程中的特殊应用环境特点从摄像机内参和外参两方面改进系统, 最后结合头盔显示器在室内走廊进行了模拟试验关键词 : 增强现实 ; 地下工程 ;ARToolkit 1. 引言随着信息技术的飞速发展, 地下工程的数字化信息化也蓬勃发展近几年来, 国内外的许多学者在地 [1] 下空间数字化领域做了大量的研究, 并在一些重大 [2] 工程中实现数字化的初步应用朱合华最早提出了 [3] 数字地层的概念, 刘伟涛等人将数字化信息技术应用与隧道工程中接着, 三维地层信息系统城市地下空间开发与规划数字化等新概念陆续提出然而, 随着虚拟现实技术的进一步应用, 其暴露出建模量巨大更新不及时仅人机交互等缺点针对上述问题, 增强现实技术发展起来了, 增强现实技术能够充分利用真实世界的场景, 并且用计算机产生的虚拟信息来增强对真实世界的认识然而纵观国内外研究, 对增强现实技术在地下工程中的研究与应用尚处于空白, 对地下工程中增强现实应用存在的问题也缺乏认识本文以地下工程中的盾构隧道为背景, 开展增强现实技术应用研究与室内试验本文首先介绍增强现实技术的相关概念, 其次介绍了基于 ARToolkit 的盾构隧道增强现实系统的实现过程和模型试验, 接着分析影响因素并进行了相应的改进, 最后在室内走廊进行了模拟试验 2. 增强现实技术 [4] 增强现实技术是上世纪 90 年代初新兴的可视 20 Copyright 2013 Hanspub

2 化技术的一种, 是随着虚拟现实技术的迅速发展应用而出现的实时地计算摄影机影像的位置及角度并加上相应图像的技术, 即一种将真实世界与虚拟世界无缝匹配的技术增强现实由用户看到的真实场景和计算机生成的虚拟景物组合而成, 相对于虚拟现实技术, 增强现实技术具有虚实结合实时交互三维注册的特点开发增强现实系统的难点在于如何实时精确地获取摄像机相对真实世界的位置和姿态, 使得虚拟场景能够与真实世界无缝融合 ( 三维注册 [5,6] ) 增强现实的最终目标是生成一个真实场景和虚拟场景完全融合的场景, 用户感觉不到哪些是真实的, 哪些是虚拟的, 而认为自己看到的是一个完全真实的场景 3. 基于 ARToolkit 的盾构隧道增强现实系统 3.1. 系统原理 ARToolkit [7,8] 是一套基于 C 语言及 OpenGL 的 AR 系统开发工具包, 以非线性成像摄像机为基本模型, 通过对标志物进行视觉检测计算坐标转换矩阵实习注册, 并通过 OpenGL 将虚拟信息渲染到视频流中输出, 具体流程如图 1 所示该系统具体实现过程如下 : 1) 初始化摄像机 ARToolkit 默认的摄像机属性在 camera_para.dat 中, 但默认的参数范围较宽不利于精度要求, 故使用摄像机前最好对其进行参数标定, 而且由于其采用非线性的成像模型, 故采用两步标定法, 图 2 为两步标定法获取摄像机内参 2) 标志物识别摄像机获取图像后,ARToolkit 就开始逐帧对图像进行标志物提取并与模板库中的标志物进行匹配具体原理就是 ARToolkit 先把输入的彩色图像二值化变为黑白图像, 然后依靠输入的标志物特征识别阈值 (threshold) 区分识别出图像中的所有四边形区域作为候选匹配区域, 再依次将每个区域与模板库中的标志 Figure 1. The overall work flow chart of ARToolkit 图 1. ARToolkit 整体工作流程图 Figure 2. Two-step calibration method 图 2. 两步标定法 Copyright 2013 Hanspub 21

3 物模板进行匹配 [9], 如果匹配成功, 则能顺利进行下一步注册矩阵计算, 如果没有成功, 则继续下一帧图像输入, 直到找到匹配标志物 3) 注册矩阵计算有了摄像机的内参和标志物的信息就可以计算标志物坐标系到摄像机坐标系的转换矩阵, 即摄像机外参系统通过标志物的四条边和四个顶点来计算摄像机在世界坐标系 ( 即以标志物中心为原点的真实世界坐标系 ) 中的转换矩阵, 文献 [10,11] 都详细讲解了 ARToolkit 如何计算转换矩阵, 完成注册过程 4) 渲染输出求出注册转换矩阵后,ARToolkit 调用 OpenGL 的函数库, 将 3 4 的转换矩阵变为 OpenGL 格式的一组 1 16 的数组这个 3 4 的转换矩阵是真实摄像机与 marker 点之间的转换矩阵, 利用这 16 个值可以再调用 OpenGL 函数生成一个虚拟的摄像机, 而且这个摄像机的视角位置焦距等参数跟真实摄像机是完全相同的, 所以用这个虚拟摄像机里面拍摄到的虚拟物体看起来和真实标记点固定在一块然后在 draw 函数里面调用 OpenGL 函数, 设置虚拟坐标里的灯光虚拟物体的材质及其绘制虚拟物体 3.2. 室内模型试验试验以 ARToolkit 的 simpletest.c 程序代码为基础进行二次开发, 程序流程图见图 3 计算机为 dell XT2, 运行环境为 Windows7, 所用到的虚拟模型建模语言为 OpenGL, 程序编译环境为 Visual Studio 2008, 所用摄像头为罗技 Pro9000 摄像头, 以一个直径为 30 cm 的半圆形盾构隧道模型为对象展开试验在程序里, 用 OpenGL 语言建立应力应变变形钢筋等隧道模型, 并以云图半透视图像等形象化的手段展示出来如图 4~7 4. 系统改进和走廊试验模型试验中的叠加精度和效果很好, 但是在将系统应用到室内走廊时发现系统叠加效果较差, 虚拟模型和真实环境没有友好的融合, 如图 8 因此, 本节通过改进系统的影响因素来提升精度 4.1. 系统的改进根据上一节的试验研究, 针对 ARToolkit 的流程, 提出措施来提升增强现实系统的精度 ARToolkit 流程中最核心的步骤是计算转换矩阵, 即真实摄像机与标志物之间的转换矩阵, 然后将转换矩阵变为 OpenGL 格式的一组 1 16 的数组, 利用这 16 个值可以再调用 OpenGL 函数生成一个虚拟的摄像机, 而且这个摄像机的焦距畸变系数图像中心点坐标视角位置等参数跟真实摄像机是完全相同的, 所以用这个虚拟摄像机里面拍摄到的虚拟物体看起来和真实标记点固定在一块从中不难发现, 获取的真实摄像机的焦距畸变系数图像中心点坐标视角位置等参数直接影响了系统的精度对应到 ARToolkit 流程中, 焦距畸变系数图像中心点坐标是在相机标定内参过程中确定的, 而视角位置则在计算注册矩阵中确定, 也就是相机的外参而且在注册矩阵的计算过程中还用到了相机的内参矩阵, 导致外参的计算过程中还有一个累加误差, 因此相机内参的准确测定尤为重要 Figure 3. Flow chart of program 图 3. 程序流程图 22 Copyright 2013 Hanspub

Figure 4. Stress cloud of tunnel segment 图 4. 隧道管片应力 ( 变 ) 云图 Figure 7.

Deformation of tunnel segment 图 5. 隧道管片变形图 Figure 6.

1. 改进摄像头内参 ARToolkit 软件默认的摄像机内参被放在摄像机属性文件 camera_para.

首先, 在标定过程中, 第一步获取摄像头畸变参数时, 理论上获取的图像数量越多, 角度位置越多变, 得到的参数越准确,

4 Figure 4. Stress cloud of tunnel segment 图 4. 隧道管片应力 ( 变 ) 云图 Figure 7. Soil information in front of tunnel 图 7. 隧道前方土层信息 Figure 5. Deformation of tunnel segment 图 5. 隧道管片变形图 Figure 6. Steel structure of tunnel segment 图 6. 隧道管片内部钢筋构造改进摄像头内参 ARToolkit 软件默认的摄像机内参被放在摄像机属性文件 camera_para.dat 中, 它是在程序开始运行时被读入的默认的参数提供了较宽范围的参数值以适合于多重不同的摄像头在上面的试验中介绍了用 Figure 8. Result of corridor experiment 图 8. 走廊试验结果 ARToolkit 自带的两步标定法对 Logitech_Pro9000 摄像头进行内参标定标定过程中, 发现 ARToolKit 系统的稳定性较差且精度较低首先, 在标定过程中, 第一步获取摄像头畸变参数时, 理论上获取的图像数量越多, 角度位置越多变, 得到的参数越准确, 但是试验过程中发现获取的图像超过五张或者角度较为倾斜时得到的畸变系数为 0, 只有在五张以下, 倾斜角度较小时才能得到较为合理的畸变系数, 因此程序的稳定性很不理想其次标定的过程中, 第一步需要手工操作鼠标去点击每个点中心, 第二步通过键盘移动使得白线和标记上的线重合, 且很难做到摄像机完全垂直于标记面, 这一系列操作中引入了很多的人为误差由此可见,ARToolkit 的标定过程在进一步提升系统精度的过程中很难满足要求本文采用德国 MVTec 公司计算机视觉工具包 Halcon, 该工具包提供有一套自带的相机内参标定方法使用 Halcon 对所获图像进行分析的过程中可以实现照片中标定板的自动识别标定板中标志点的自动 Copyright 2013 Hanspub 23

5 寻找和圆形标志点中心的亚像素定位, 从而实现高效稳定高精度的标定过程整个图像处理过程可以实现全自动完成 ; 同一组图像多次标定, 结果误差小于 0.01 像素 ; 计算 20 幅图像的标定图像序列时间在 20 秒左右由表 1 对比发现 Halcon 标定法的优势很明显改进摄像头外参摄像头的外参确定了摄像头在世界坐标系中的三维位置, 包括相机所处位置和姿态, 在 simpletest.c 程序中摄像头和标识之间的转换矩阵 Tcm 用 argettransmath 函数计算, 它通过世界坐标系中的标识的两对平行边的直线方程四个角点的坐标以及它们在理想坐标系中的对应直线方程点的坐标计算外参矩阵, 由于成像畸变以及图像处理过程中的一些误差, 在标志物中心周围区域计算得到的位置校准, 而在远离标志物中心的区域误差很大, 这是将系统应用到大空间中的主要障碍, 由此本文想到在摄像头窗口中增加几个标志点, 然后分别求得各自区域的转换矩阵, 然后采用最小二乘法对转换矩阵进行求精, 从而提升远离标志物叠加虚拟模型的精度多标志改进外参的的程序代码是在 ARToolKit 的 multitest.c 基础上进行二次开发得到的事先将多个标志之间的位置关系保存在一个 dat 文件里, 程序运行时会读入多标志物信息有了多个标志物, 可以分别获得各自的变换矩阵, 利用非线性最小二乘法对摄像头相对世界坐标系的变化矩阵 Tcm 进行优化, 目标函数如, 其含义是通过图像处理提取到的标识角点与通过计算恢复出的角点之间的距离平方和最小为了验证多标志物系统提升精度的效果, 本文进行如下试验 : 将多标志物中的六个标志物分别打印成 30 cm 边长的标志物, 并平整地黏贴在泡沫板上, 然后将标志物 A 固定在墙上, 测试其叠加误差接着分别在标志物 A 的 x 轴上 0.5 m,0.8 m,1.1 m 处固定标志物 B, 测试误差进行对比, 发现增加标志物后明显提升了系统精度, 结果如图走廊试验基于 ARToolkit 的增强现实系统的硬件设备如图 10 所示计算机为 Dell XT2 笔记本, 摄像头为罗技 Pro9000 摄像头, 头盔显示器为 Emagin Z8003D Visor ( 视频透视式 HMD) 程序是上一节改进后的多标 Table 1. Calibration method comparison 表 1. 标定法对比 ARToolkit 自带的两步标定法处理图像数量较少,5 张以下第一步需要人手动操作鼠标去点击选取每个点的中心, 第二步中通过键盘手动移动使得白线和标记上的线重合, 且很难通过人工调整使得摄像机完全垂直于标记面 Halcon 标定法可以计算 20 张以上图像实现标定板的自动识别标定板中标志点的自动寻找和圆形标志点中心的亚像素定位, 整个图像处理过程可以全自动完成, 同一组图像多次标定, 结果误差小于 0.01 像素 Figure 9. Precision experiment of multi-marks 图 9. 多标志物精度试验 24 Copyright 2013 Hanspub

志程序, 由于用 OpenGL 建模过于底层, 效率较低, 因此本文在该程序中引入 wrl 模型, 在 3D MAX 中进行直观快速的建模后以 wrl 格式导出, 加载到程序中在走廊现场, 戴上这套装置之后, 可以实时地看到应力应变背后地质条件等隐藏信息, 如图 11 5.

最后在走廊中成功实现应用鉴于本文是首次将增强现实技术应用于隧道工程中, 在系统的稳定性和模型的可视化方法方面还有待在以后的研究中完善 Figure 10. Hardware devices 图 10. 硬件设备参考文献 (References) [1] 李晓军, 朱合华, 解福奇. 地下工程数字化的概念及其初步应用 [J].

中国图象图形学报, 2004, 9(7): 767-774. [5] 姚远. 增强现实应用技术研究 [D]. 浙江大学, 2006. [6] 康绍鹏. 增强现实关键技术研究 [D]. 沈阳航空工业学院, 2009. [7] 沈克. 基于 ARToolKit 平台的增强现实人机交互系统的若干问题研究 [D]. 合肥工业大学, 2007. [8] 任波, 管涛, 李利军等.

6 志程序, 由于用 OpenGL 建模过于底层, 效率较低, 因此本文在该程序中引入 wrl 模型, 在 3D MAX 中进行直观快速的建模后以 wrl 格式导出, 加载到程序中在走廊现场, 戴上这套装置之后, 可以实时地看到应力应变背后地质条件等隐藏信息, 如图结语目前, 我国地下工程的发展进入黄金期, 而增强现实技术作为虚拟现实技术的下一步趋势, 将得到更广泛的应用增强现实技术可以应用于地下工程的施工养护等方面, 为地下工程的全生命周期服务本文在总结相关概念及相关研究的基础上, 从基于 ARToolkit 的核心注册问题出发, 开展了地下工程增强现实技术研究, 结合地下工程的特殊环境研究其限制因素, 并从内参和外参两方面进行了改进, 最后在走廊中成功实现应用鉴于本文是首次将增强现实技术应用于隧道工程中, 在系统的稳定性和模型的可视化方法方面还有待在以后的研究中完善 Figure 10. Hardware devices 图 10. 硬件设备参考文献 (References) [1] 李晓军, 朱合华, 解福奇. 地下工程数字化的概念及其初步应用 [J]. 岩石力学与工程学报, 2006, 25(10): [2] 朱合华, 李晓军. 数字地下空间与工程 [J]. 岩石力学与工程学报, 2007, 26(11): [3] 刘伟涛, 郑东锋. 数字化在隧道工程中的应用 [J]. 工程地质学报, 2008, 16( 增刊 ): [4] 朱淼良, 姚远, 蒋云良. 增强现实综述 [J]. 中国图象图形学报, 2004, 9(7): [5] 姚远. 增强现实应用技术研究 [D]. 浙江大学, [6] 康绍鹏. 增强现实关键技术研究 [D]. 沈阳航空工业学院, [7] 沈克. 基于 ARToolKit 平台的增强现实人机交互系统的若干问题研究 [D]. 合肥工业大学, [8] 任波, 管涛, 李利军等. 基于 ARToolKit 的增强现实系统开发与应用 [J]. 计算机系统应用, 2006, 1: [9] 任鹏. 增强现实中基于视觉的跟踪配准技术的研究 [D]. 电子科技大学, [10] 管涛, 李利军, 武建刚等. 一种健壮的三维注册方法对 ARToolKit 的改进 [J]. 计算机应用与软件, 2007, 11: [11] 孙伟. 基于新模板的增强现实研究 [D]. 西安电子科技大学, Figure 11. Corridor experiment 图 11. 走廊试验 Copyright 2013 Hanspub 25

国有大型能源企业财务风险内部控制研究

国有大型能源企业财务风险内部控制研究 Frontiers of International Accounting 国际会计前沿, 2012, 1, 1-5 http://dx.doi.org/10.12677/fia.2012.11001 Published Online June 2012 (http://www.hanspub.org/journal/fia) A Study of Internal Control of