201722

Size: px

Start display at page:

Download "201722"

板告
5 years ago
Views:

1 Computer Engineering and Applications 2017,53(22) 185 基于 AR-VR 混合技术的博物馆展览互动应用研究李婷婷 1, 王相海 LI Tingting 1, WANG Xianghai 大连东软信息学院数字艺术系, 辽宁大连辽宁师范大学计算机与信息技术学院, 辽宁大连 Department of Digital Art, Dalian Neusoft University of Information, Dalian, Liaoning , China 2.College of Computer and Information Technology, Liaoning Normal University, Dalian, Liaoning , China LI Tingting, WANG Xianghai. Application of interactive museum exhibits based on AR- VR hybrid technology. Computer Engineering and Applications, 2017, 53(22): Abstract:The traditional museum display mostly uses items display mode, information express single, poor interactive. This paper analyzes the key technology of augmented reality mixed with virtual reality, proposes a museum interactive display solutions based on AR-VR. The experiment shows, the combination of virtual reality technology and augment reality technology can make display more comprehensive, more realistic, inspires visitors observation and thinking, and achieves a deeper interactive experience. Key words:computer vision; virtual reality; augmented reality; interactive experience 摘要 : 传统的博物馆展示方式大多采用橱窗陈列物品, 存在信息表达单一, 互动性差等缺陷通过分析增强现实与虚拟现实混合所涉及的关键技术, 提出了一种基于 AR-VR 混合开发博物馆互动展示系统的方法实验表明, 采用虚拟现实技术和增强现实技术结合的方式可以使馆藏信息展示更全面效果更逼真, 激发参观者的观察与思考, 实现更深层次的交互体验关键词 : 计算机视觉 ; 虚拟现实 ; 增强现实 ; 互动体验文献标志码 :A 中图分类号 :TP391 doi: /j.issn 引言近年来, 人们开始对文化的需求呈现出与日俱增的态势, 博物馆作为人类认知文明的重要场所, 馆藏展品的展示方式一直备受关注传统的博物馆展示模式大多采用物品陈列方式, 几乎所有展品都是以静态方式摆放在橱窗中, 再辅以有限的文字说明, 这样的展示方式会令参观者感觉索然无味, 并且很难观测到展品的细节特征随着移动互联网的迅猛发展, 增强现实 (Augment Reality,AR) 交互式展示方式得到了更多人的青睐, 国内外众多学者都对增强现实技术进行了相关探索及应用研究例如,Feiner 等人创建了最早期的 AR 原型系 [1] 统, 这个系统为手持式应用, 可以为参观者提供建筑或文物的 3D 图形信息 ; 陈靖等使用惯性传感器构建室外 [2] AR 系统 ; 北京理工大学利用透视式头盔等显示设备在 [3] 增强现实技术基础上开发虚拟数字圆明园系统 ; 任波等人结合 ARToolKit 开发工具实现了增强现实地产样 [4] 板房展示系统 ; 李江等人利用增强现实技术开发了一 [5] 个恐龙博物馆 ; 胡颖群等人基于增强现实技术研究实 [6] 现三维虚拟商品展示系统增强现实技术可以用虚拟的附加信息去增强使用者对真实世界的观察, 做到从参观者角度出发, 充分调动参观者积极性然而在具体实践中, 却暴露出了一些问题, 比如沉浸感不强, 在博物馆参观过程中, 人们在了解展品历史文化时, 希望身临其境一般与场景中的模型进行近距离接触, 仔细端详各个细节来补充人眼直接观察时不易观察到的细节信息单一的增强现实技术弱化了使用者对真实世界的观察和感知能力, 为了克服这些问题, 本文在增强现实技术基础上融入虚拟现实技作者简介 : 李婷婷 (1985 ), 女, 讲师, 研究领域为虚拟现实技术, 图形图像处理, litingting_ys@neusoft.edu.cn; 王相海 (1965 ), 男, 博士研究生, 教授, 研究领域为多媒体信息处理, 图像识别收稿日期 : 修回日期 : 文章编号 : (2017) CNKI 网络优先出版 : ,

2 ,53(22) 术, 将二者结合提出一种基于 AR-VR 混合技术的展品展示方式, 并探讨二者混合所涉及的关键技术, 该方法打破了传统的静态橱窗展示方式, 采用双向互动方式在虚拟现实与增强现实间进行切换, 大大增强展览的参与性和交互性, 从而克服增强现实技术在交流互动中存在的一些问题, 使得人们能够在主动观察的同时有更好的交互体验 2 关键技术 2.1 系统框架 AR-VR 博物馆展览互动系统将虚拟现实技术与增强现实技术结合, 利用虚拟现实技术的沉浸感以及增强现实的交互感提升参观者参观博物馆的交流互动体 Computer Engineering and Applications 验系统一共分两个模块, 分别是博物馆虚拟漫游模块和增强交互模块, 博物馆虚拟漫游模块使用虚拟现实技术 [7], 虚拟的模拟博物馆内外场景, 把客观上并不存在的景物, 运用计算机技术, 在用户眼前生成一个虚拟的环境, 使人感到沉浸在虚拟博物馆场景中而增强交互模块基于增强现实技术, 通过摄像头采集场景视频, 采用 [8] 计算机视觉跟踪注册方法根据真实场景中的人工标志物信息进行跟踪注册, 将虚拟信息叠加在真实场景中, 以增强展品信息展示, 系统具体框架结构如图 1 所示首先开启程序进入虚拟漫游模块, 基于预先制作好的三维虚拟场景开启场景漫游模式, 参观者可以在博物馆中向前向后向左向右移动, 或是用鼠标头盔控制旋转视角在 AR-VR 切换方面, 当参观者想从虚拟世界切换到真实世界时只需点击虚拟 AR 按钮, 即可完成模块切换当切换到增强交互模块后, 系统立即开启摄像头捕获场景的初始识别图像, 采用基于计算机视觉跟踪注册技术计算出摄像机位姿数据, 并持续地将位姿数据不断传递给渲染模块, 将虚拟展品加载到真实场景中系统实现采用 Unity3D 平台, 整合 Vuforia SDK 进行开发拟漫游模块博物馆展览互动系统虚与空间环境交互模型制作虚拟现实场景搭建开启摄像头采集视频与展品交互图虚拟漫游模块开发场景漫游模式切换是标志物跟踪注册增强现实增强交互模块 AR-VR 系统框架图否 VR 输出渲染 AR 输出渲染虚实叠加博物馆展览互动系统中虚拟漫游模块开发基于 Unity3D 平台,Unity3D 是由 Unity Technologies 公司开发的一款综合性交互式开发平台, 拥有高度优化的图形渲染管道, 可以与一些增强现实开发工具相结合实现虚实叠加人机交互功能也可以实现虚拟现实世界的生成首先通过 3ds Max Maya 等三维软件完成建模和贴图, 将模型建好后发布为.fbx 格式文件, 接下来将.fbx 文件直接导入 Unity3D 中构建虚拟博物馆场景最后, 为参观者的虚拟漫游加入交互指令, 并对场景进行管理, 具体实现流程如图 2 所示虚拟场景构建虚拟博物馆场景模型制作是虚拟现实漫游模块开发中非常重要的组成部分, 因为模型的质量决定了虚拟场景搭建后的效果, 与博物馆漫游系统的体验效果也直接相关在本文中, 所有博物馆建筑均采用 3ds Max 建模软件实现, 在制作建筑模型过程中, 既要考虑模型真实感问题, 又要考虑系统运行速度问题 [9] 因此, 采用精细建模和简单建模相结合的方式构建虚拟的博物馆三维景观博物馆场景模型的制作分为两种, 一种是复杂模型, 像博物馆内陈设展品等, 这种模型制作要求非常精细, 做建模时要适当保留细节还有一种是简单模型, 像道路树木等, 这种模型的制作非常简单, 只需制作出大致的轮廓, 可以靠贴图去实现三维效果模型的制作也有很多的规范, 在考虑到系统性能的情况下要求非常多比如, 做模型在不影响真实度基础上, 必须要减少模型的面数和分段数, 删除模型相交处隐形的面数, 单个模型面数最多不能超过 1 000, 否则场景中复杂模型过多, 会影响系统的运行, 通过对整个场景中模型的优化达到最终的效果贴图方面, 本文使用高清数码相机拍摄的图片来制作纹理贴图, 让体验者有更加直观的感受虚拟漫游当博物馆场景搭建完成后, 导入 Unity 平台, 通过加入虚拟漫游交互功能, 可以实现体验者在博物馆场景中进行虚拟漫游, 体验者通过上下左右键进行前后左右行走, 也可以通过头戴设备进行视角转换, 或是选择跑步走路等多种方式以便让用户获得更好的体验, 具体实现如下所示模型制作三维建模模型贴图导出 fbx 文件 Unity3D 用户交互用户指令虚拟漫游场景搭建渲染场景碰撞检测图 2 虚拟漫游模块虚拟现实系统开发流程图

李婷婷, 王相海 : 基于 AR-VR 混合技术的博物馆展览互动应用研究 2017,53(22) 187 void Update() float movev=0; float moveh=0; if(input.getkey(keycode.uparrow)) Movev-=m_speed*Time.deltaTime; if(input.getkey(keycode.downarrow)) Movev+=m_speed*Time.

3 李婷婷, 王相海 : 基于 AR-VR 混合技术的博物馆展览互动应用研究 2017,53(22) 187 void Update() float movev=0; float moveh=0; if(input.getkey(keycode.uparrow)) Movev-=m_speed*Time.deltaTime; if(input.getkey(keycode.downarrow)) Movev+=m_speed*Time.deltaTime; if(input.getkey(keycode.leftarrow)) Moveh+=m_speed*Time.deltaTime; if(input.getkey(keycode.rightarrow)) Moveh-=m_speed*Time.deltaTime; this.transform.translate(newvector3(moveh,0,movev)); 2.3 增强交互模块开发同 VR 技术相比,AR 技术可以使博物馆导览系统创造更丰富的互动方式, 因为 AR 技术可以在真实世界中叠加虚拟信息, 因此可以增强真实世界的物体和环境 [10] 增强交互模块开发主要分三步进行 : 首先, 通过摄像头采集真实场景视频图像其次, 将检测到的标志进行跟踪注册最后, 在真实的场景中叠加虚拟信息丰富博物馆中展品的信息显示视频采集当系统切换到增强交互模块后, 摄像头被立即打开, 实时采集博物馆中的环境, 并生成一系列的真实场景图像, 供系统跟踪注册模块进行调用基于计算机视觉的跟踪注册技术跟踪注册是增强现实系统的核心, 目前的增强现实系统中, 主要有两大类跟踪注册技术 [11], 一类是基于计算机视觉跟踪注册 ; 另一类是利用设备中的传感器 GPS 进行硬件跟踪注册基于计算机视觉的跟踪注册方式按照系统是否使用人工标记来区分, 分为使用人工标记增强现实技术和没有使用人工标记的增强现实技术 [12] 基于人工标记的增强现实系统能够将虚拟模型准确定位到真实世界, 并最大限度地实现虚实之间的无缝融合, 具有快速稳定准确的特点, 可以快速从复杂的真实环境中检测出人工标记且对硬件配置要求不高因此, 大多数增强现实系统的跟踪注册模块都采用基于人工标记的方式实现 [13], 本文采用计算机视觉技术中的人工标志方法进行跟踪注册, 并采用彩色识别图, 如图 3 所示跟踪注册过程主要分为以下四步, 如图 4 所示步骤 1 基于视频采集设备采集视频图像为满足实时性精确性的要求,AR-VR 系统通过调用 Android 移动设备的摄像头, 采集真实世界中视频图像步骤 2 对采集的图像进行预处理, 二值化处理捕捉到的视频图像, 这样就完成了从彩色的视频图像到黑白两色二值图像的转换 ; 对于图像中任意一点 (x,y), 如果其灰度值 S(x,y) t 则可以认为该像素点为背景点, 否则认为该点为兴趣点, 经过阈值化处理的图像可定义为 : S(x,y) = ì í î a0,f (x,y) < t a1,f (x,y) t 通常设置 a0 = 0,a1 = 1, 得到的即为二值化的图像然后, 利用图像分割及边缘检测技术找出该二值图像中所有的兴趣点步骤 3 根据模式识别匹配算法, 将标记图像与标记库中的模板标记图像进行比较匹配来判断此标记是否为合法标记, 如果匹配成功则认为找到了一个兴趣区步骤 4 模版匹配成功后, 确定当前标志物的特定 ID, 进行标志识别虚实叠加处理图 3 AR 识别图图图像预处理像采集经过跟踪注册步骤后, 则获得了摄像机位姿, 此时将摄像头所拍摄的室内环境视频流图像与生成的虚拟文物信息进行实时融合, 形成增强现实图像, 最终将虚拟的文物信息渲染到屏幕上, 使用户体验到真实室内场景与虚拟信息相融合的逼真效果本文增强现实交互模块开发采用 Vuforia SDK 实现 Vuforia SDK 是一个功能强大的增强现实开发工具包, 在 Java C++ 和.NET 语言中提供了 API 接口, 并扩展至 Unity3D 中目前国际上比较常用的增强现实开发平台包括模版匹配标志识别图像化分割图 4 标志识别过程边缘检测二值

188 2017,53(22) AR ToolKit Aurasma 及 Vuforia [14] 但是,AR ToolKit 只能进行单视点的位置和方向追踪, 如果标识物被遮挡或者移动速度过快就无法产生虚实叠加的效果, 且只能

Applications 用 Oculus Rift DK2 虚拟显示设备, 如图 5 所示 DK2 是 Oculus 公司在 2014 年推出的虚拟现实显示设备, 分辨率达到 1 920 1 080, 根据体验者的反馈来看,DK2

拥有更加丰富的使用范围图 8 博物馆内展品参观效果图 6 博物馆内场景漫游效果图 7 博物馆展品摆放效果图 5 Oculus Rift DK2 虚拟显示设备 2.

使参观者在参观过程中与展品交流互动发现探索, 互动体验主要包括人与空间环境的交互和人与展品 [15]

1 人与空间环境的交互人与空间环境的交互采用虚拟现实技术实现, 效果如图 6~9 所示参观者在参观博物馆时, 不仅需要观察展品, 更重要的是了解展品的历史年代, 发展流传历史通过 Unity3D 平台构建虚拟三维博物馆,

4 ,53(22) AR ToolKit Aurasma 及 Vuforia [14] 但是,AR ToolKit 只能进行单视点的位置和方向追踪, 如果标识物被遮挡或者移动速度过快就无法产生虚实叠加的效果, 且只能对特定标识物进行识别, 无法对普通图片或真实场景进行识别, 应用范围有限 Aurasma 并不是免费的开发者无法获得软件的全部代码, 且需要付费因此本文通过 Unity3D 集成开发环境搭载 Vuforia SDK 进行 AR-VR 系统的开发 2.4 显示技术随着计算机软硬件技术的不断发展,VR 系统显示设备在不断进步, 头盔显示器可以让用户感受到空间立体感, 增加用户体验时沉浸效果, 所以本文中 VR 系统采 Computer Engineering and Applications 用 Oculus Rift DK2 虚拟显示设备, 如图 5 所示 DK2 是 Oculus 公司在 2014 年推出的虚拟现实显示设备, 分辨率达到 , 根据体验者的反馈来看,DK2 的显示效果非常理想 AR 系统主要是呈现物体的三维详细信息, 应该以轻巧灵便为系统设计原则, 所以本文中 AR 系统采用基于 Android 操作系统的智能手机屏幕作为 AR 系统显示设备, 简单便携, 可以不受展览环境的限制, 拥有更加丰富的使用范围图 8 博物馆内展品参观效果图 6 博物馆内场景漫游效果图 7 博物馆展品摆放效果图 5 Oculus Rift DK2 虚拟显示设备 2.5 互动体验博物馆文物展示重在文化传播, 构建一个观众与展品间交流互动平台将大大提升参观者互动体验, 将增强现实技术与虚拟现实技术结合对系统的界面和行为进行交互设计, 让展品与参观者建立一种全新的互动体验关系, 使参观者在参观过程中与展品交流互动发现探索, 互动体验主要包括人与空间环境的交互和人与展品 [15] 的交互两方面内容人与空间环境的交互人与空间环境的交互采用虚拟现实技术实现, 效果如图 6~9 所示参观者在参观博物馆时, 不仅需要观察展品, 更重要的是了解展品的历史年代, 发展流传历史通过 Unity3D 平台构建虚拟三维博物馆, 参观者以第一人称视角, 在场景中进行漫游了解展品的详细信息当用户点击屏幕左侧上方的 AR 按钮后,VR 场景立即切换到 AR 互动界面虚拟漫游使参观者沉浸在博物馆营造的空间环境中, 周围的展品烘托出浓厚的文化氛围, 突出表现特定的场景中观众与展品的对话和交流, 使参观者感受到活动的视觉语境, 提升展品的感染力图 9 博物馆内展品介绍效果人与展品的交互人与展品的交互采用增强现实技术实现传统的橱窗展示方式不能很好地展现展品的细节特征, 增强现实交互技术可以创造丰富的互动方式来增强真实世界的展品当参观者想仔细观察某一个展品时, 扫描该展品的人工标记, 系统根据扫描的标记立即在真实场景中叠加虚拟三维物体, 方便参观者从各个角度进行仔细观摩, 大大增强参观者的交互体验有别于 VR 环境, 由于 AR 环境中的识别图和展示内容是叠加在真实场景中, 如果在一个界面内同时显示大量信息会导致混乱因此,AR 的交互场景采用简洁易懂的设计原则, 效果如图 10 所示图 10 AR 展示效果

李婷婷, 王相海 : 基于 AR-VR 混合技术的博物馆展览互动应用研究 2017,53(22) 189 3 实验结果与分析实验基于 Unity3D

发, 实验中所用的移动设备是在内存 Intel CoreTM2 注册精度和跟踪性能会受到很大影响定义标志物的 Quad CPU,Q8200@3.

默认进入 VR 系统, 参观者可以在博物馆中进行个性化的自主参观, 欣赏博物馆外风景或是进入博物馆内部参观博物馆内藏品,

经过多次测试表明本文方法在遮挡环境中能够根据残留的标志物信息来获得准确的跟踪注册数据, 具有很好的鲁棒性, 可以很好地适应遮挡环境图 11

70% 渲染效果图 12 博物馆门口漫游效果切换到 AR 系统后, 为验证系统性能, 这里定义跟踪 [16] 角度为标志物与摄像头的夹角,

5 m 当拍摄角初始为 0 时, 系统采集不到人工标志图像中所包含的特征信息 ; 当跟踪角度选取 30 到 90 之间时,

超过了系统跟踪注册功能模块的正常工作范围, 测试结果如图 13~16 所示图 13 渲染效果 90 图 14 渲染效果 60

当对某一个展品感兴趣时, 立即切换到 AR 系统观察展品的细节特征, 其标识物不受复杂度影响, 对标识物采用特征点检测方式跟踪效果好 4

对遮挡的标志物识别效果较好比起传统的交互技术, 虚拟现实技术和增强现实技术的结合可以使可视化效果更逼真, 在参观过程中能够调动参观者的积极性,

可以将增强现实识别能力作为研究重点, 实现云服务和移动增强现实技术的结合图 15 渲染效果 45 图 16 渲染效果 30 参考文献 : [1]

5 李婷婷, 王相海 : 基于 AR-VR 混合技术的博物馆展览互动应用研究 2017,53(22) 实验结果与分析实验基于 Unity3D 平台, 集成 Vuforia SDK 进行开在实际应用中, 标志物遮挡对系统的影响显得尤为重要标志物被遮挡后, 特征信息受到了破坏, 系统的发, 实验中所用的移动设备是在内存 Intel CoreTM2 注册精度和跟踪性能会受到很大影响定义标志物的 Quad CPU,Q8200@3.22 GHz,4 GB 内存,NVIDIA 特征信息被破坏的比例为遮挡率, 实验通过不同的遮挡 GT9800 显卡的 PC 测试通过启动系统后, 默认进入 VR 系统, 参观者可以在博物馆中进行个性化的自主参观, 欣赏博物馆外风景或是进入博物馆内部参观博物馆内藏品, 提高了参观者和展品的交流互动, 效果如图所示率测试系统性能, 随着遮挡率的增加, 实验系统测试结果如图 17~20 所示经过多次测试表明本文方法在遮挡环境中能够根据残留的标志物信息来获得准确的跟踪注册数据, 具有很好的鲁棒性, 可以很好地适应遮挡环境图 11 博物馆外场景漫游效果图 17 遮挡率为 0 时渲染效果图 18 遮挡率 50% 渲染效果图 19 遮挡率 60% 时渲染效果图 20 遮挡率 70% 渲染效果图 12 博物馆门口漫游效果切换到 AR 系统后, 为验证系统性能, 这里定义跟踪 [16] 角度为标志物与摄像头的夹角, 分别选取跟踪角度为逐帧图像进行注册性能验证, 初始跟踪矩为 0.5 m 当拍摄角初始为 0 时, 系统采集不到人工标志图像中所包含的特征信息 ; 当跟踪角度选取 30 到 90 之间时, 系统采集到人工标志图像中的特征信息, 实现了实时跟踪功能 ; 当跟踪角度小于 20 时, 加载的三维模型出现了抖动和漂移, 超过了系统跟踪注册功能模块的正常工作范围, 测试结果如图 13~16 所示图 13 渲染效果 90 图 14 渲染效果 60 通过上述实验结果得出, 基于 AR-VR 混合技术开发博物馆导览系统具有很好的三维展示和交互功能, 参观者可以虚拟地在博物馆中漫游, 当对某一个展品感兴趣时, 立即切换到 AR 系统观察展品的细节特征, 其标识物不受复杂度影响, 对标识物采用特征点检测方式跟踪效果好 4 结束语本文提出了一种基于虚拟现实技术和增强现实技术结合的展示系统, 实验结果表明该方法能够在终端连续移动过程中自适应显示虚实叠加的效果, 对遮挡的标志物识别效果较好比起传统的交互技术, 虚拟现实技术和增强现实技术的结合可以使可视化效果更逼真, 在参观过程中能够调动参观者的积极性, 动态地展示展品信息, 启发参观者的观察与思考, 使参观者在交流互动中加深记忆, 实现更深层次的交互体验在未来的研究中, 可以将增强现实识别能力作为研究重点, 实现云服务和移动增强现实技术的结合图 15 渲染效果 45 图 16 渲染效果 30 参考文献 : [1] Feiner S,MacIntyre B,Hollerer T,et al.a touring machine: prototyping 3D mobile augmented reality systems for exploring the urban environment[j].personal and Ubiquitous Computing,1997,1(4): ( 下转 263 页 )

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位自然科学版文章编号视网膜图像中视盘的快速自动定位方法赵晓芳林土胜李碧摘要基于眼底视网膜血管的分布结构及视盘本身的特点提出一种快速自动定位视盘的方法首先根据视网膜血管的网络分布结构大致定位视盘的垂直坐标然后根据视盘的亮度信息及视盘与血管的关系来定位视盘的水平坐标最后把视盘限定在以粗定位的视盘为中心的一个小窗口内用变换精确定位视盘中心该方法不需要事先分割视网膜血管也不需要对算法进行训练