手机上的增强现实

Similar documents

Augmented Reality

说 明 根 据 上 海 市 公 共 信 用 信 息 归 集 和 使 用 管 理 办 法 ( 沪 府 令 38 号 ) 和 上 海 市 地 方 标 准 全 过 程 信 用 管 理 要 求 第 3 部 分 : 应 用 清 单 编 制 指 南 相 关 要 求, 本 市 公 共 信 用 信 息 应 用 事

审计署关于北京市密云县2012年机构运转支出情况的审计调查结果

2014zb9

(

中華民國山岳協會所屬隊會登山途徑說明

2009年总站工作计划-2009-0102

600247物华股份_ bnbqw.PDF

自然科学版 预处理 视盘粗定位 视盘垂直坐标的粗定位 视盘水平坐标的粗定位

HD ( ) 18 HD ( ) 18 PC 19 PC 19 PC 20 Leica MC170 HD Leica MC190 HD 22 Leica MC170 HD Leica MC190 HD Leica MC170 HD

PowerPoint Presentation

菩提道次第廣論

路 上 沒 說 話, 車 子 被 爸 離 去 後 開 走 了, 沒 什 麼 變, 除 了 一 股 淡 淡 的 香 味, 我 不 太 習 慣, 像 空 氣 中 的 粉 塵, 左 飄 右 飄, 光 中 飛 舞 我 沒 提, 看 車 窗 外, 外 面 不 太 有 趣, 我 只 是 沒 事 幹, 我 們 本

繁 華 國 小 101 學 年 母 親 節 感 恩 惜 福 - 跳 蚤 市 場 暨 科 學 闖 關 遊 戲 親 子 活 動 實 施 計 畫 一 依 據 : 本 校 101 學 年 度 校 務 計 畫 及 行 事 曆 二 目 的 : 1. 培 養 學 生 感 恩 惜 物 知 福 惜 福 的 節 儉 觀


育儿小故事(四)

台 中 市 北 屯 區 東 山 里 橫 坑 9 林 志 明 巷 89-5 菜 豆 菜 大 漿 果 菜 豆 菜 大 漿 果 小 漿 果 核 果 柑 桔 無 陳 錦 生 新 竹 市 香 山 區

国家测绘局政府网站

Microsoft Word zw

<4D F736F F D20B5FEB2E3C6ACCABDCDA8D3C3B4C5D6E94D474742CFB5C1D02E646F63>

軟體的安裝

目录

册子0906

分类号 密级 UDC 注 1 学位论文 基于虚拟现实技术 (Virtual Realit) 的物品展示 ( 题名和副题名 ) 王科 ( 作者姓名 ) 指导教师熊彩东教授 电子科技大学 陈树强 电子科技大学 成都 教授 成都 ( 姓名 职称 单位名称 ) 申请学位级别硕士专业学位类别工程硕士 工程领域


阿富汗盒子相机计划 :


105年公務員申領或侵占小額款項

4 39 ( ) 5 : 1) () () () () () : () ( ) ( ) 2) 3) ( ) ; ) ( ) : 5) : : ( ) 4500 ()

X523_Book.book

台南縣政府

第 期 曹 源 等 形式化方法在列车运行控制系统中的应用

《后工业社会的来临》导读



<4D F736F F D203037CEC0C9FACDB6C8EBECE9D2B3>

我 的 小 確 幸 四 : 在 第 二 份 打 工 時, 遇 到 一 位 對 我 非 常 好 的 同 事, 她 是 帶 我 的 人, 她 對 我 非 常 有 耐 性 的 教 導, 一 次 又 一 次 的 細 心 帶 領 在 這 次 的 期 中 考 前, 我 沒 上 班, 因 說 要 準 備 考 試,

水晶分析师

剑门关文学-2.FIT)


上海现代设计集团建筑协同设计平台研究与应用

, ( ) :,, :,, ( )., ( ) ' ( ),, :,,, :,, ;,,,,,, :,,,, :( ) ;( ) ;( ),,.,,,,,, ( ), %,. %,, ( ),,. %;,

1


財金資訊-81期.indd


Microsoft Word - P SDV series.DOC

育儿知识100问(二)

201722

标题

F515_CS_Book.book

第卷 第 二 相關單位說明 高雄市政府環境保護局陳副局長居豐 高雄市政府警察局余股長瑞堂 台灣自來水股份有限公司第七區管理處蕭主任再興 高雄市旗山區公所民政課李課長秀蓉 行政院南部聯合服務中心工商組李組長俊輝 高雄市政府環境保護局楊視察漢宗 三 民意代表 學者專家及各界代表陳述意見及討論交流 一 林

中图分类号[化工].doc

佛教招〔2016〕9号--佛山市教育局关于调整面向全市招收艺术特长生音乐专业考试内容及大纲的通知.doc

r_09hr_practical_guide_kor.pdf

视频场景重建的流程 运动恢复结构 深度恢复 三维重建

!"# $%& %!"# $%& %!"#$%& %! ( )***%% ) $)! +**+),,* -)+.* )( ) +, +*.*)+..**! )$,*)+$))$!"!#

校友会系统白皮书feb_08

100年度工作報告

01

9202reply-s.doc

é ê

201705_基于视觉SLAM的实时地图

年 第 6 期 总 第 322 期 一 寻 找 博 尔 赫 斯 向 中 心 汇 聚 过 来 的 街 道, 五 条 街 道, 六 条 街 道, 我 在 水 中 央 仿 佛 一 朵 莲 花 盛 开, 有 千 万 片 花 瓣 在 摇 曳 舒 展 不 知 道 该 往 哪 个 方 向 走 布

基于ARToolkit的地下工程增强现实研究和试验

PS1608 Series PS1608-1R0NT PS1608-1R5NT PS1608-2R2NT PS1608-3R3NT PS1608-4R7NT PS1608-6R8NT PS1608-8R2NT PS1608-0MT PS1608-0MT PS1608-0MT PS1608-0MT P

量 來 調 節 體 溫 隨 年 齡 老 化, 真 皮 層 之 厚 度 約 減 少 20%, 其 中 的 血 管 汗 腺 與 神 經 末 梢 的 數 量 也 隨 之 減 少, 造 成 老 人 的 體 溫 調 節 功 能 降 低 發 炎 反 應 減 慢 對 觸 覺 與 痛 覺 感 降 低 提 供 皮 膚

《拍案惊奇》(中)

信息科学与工程学院人工智能与机器人研究所 ORB-SLAM 代码详细解读 泡泡机器人

2

表 1: 思 政 课 三 三 制 考 核 体 系 构 成 表 具 体 内 容 结 构 组 成 理 论 考 查 1 成 绩 实 践 活 动 2 成 绩 思 想 表 现 3 成 绩 分 值 构 成 各 占 总 成 绩 约 30%( 根 据 实 际 微 调 ) 考 核 方 法 笔 试 ( 开 闭 卷 )

计算机工程 & 年 月 ) 日 序列的视觉重建方法采用自标定&图像匹配&立体匹 配&纹理渲染等技术实现重建该算法虽然耗时但对 视觉重建的研究和发展具有重大意义 文献() 提出 基于无序互联网图像序列的视觉重建方法但其基于 无序图像的重建需要对图像进行匹配关联增加算法 (H 2 的复 杂 度 文 献

旅游出行知识50题.jpg

全國新住民火炬計畫(草案)

untitled

(Microsoft Word - 1_\252\354\244p\257S\300u_\254\374\304R\252\272\254K\244\321.doc)

4.C ( 详细解析见视频课程 绝对值 01 约 21 分 15 秒处 ) 5.E ( 详细解析见视频课程 绝对值 01 约 32 分 05 秒处 ) 6.D ( 详细解析见视频课程 绝对值 02 约 4 分 28 秒处 ) 7.C ( 详细解析见视频课程 绝对值 02 约 14 分 05 秒处 )

本科毕业设计论文

电邮.FIT)

Untitled

大同大學數位論文

ESET Mobile Security for Android

关于印发《上海市建设工程夜间施工许可和备案审查管理办法》的通知

A01 流 行 服 飾 科 壹 術 科 測 驗 考 題 說 明 一 施 測 題 目 : 寵 物 服 飾 貼 圖 創 作 二 施 測 程 序 : ( 一 ) 主 辦 學 校 統 一 說 明 考 試 內 容 和 方 式 ( 二 ) 主 辦 學 校 提 供 寵 物 圖 形 紙 予 考 生 ( 三 ) 由

绝密★启用前

北京四维图新科技股份有限公司2013年度报告

<4D F736F F D20BAC3C2E8C2E8CAA4B9FDBAC3C0CFCAA6322E646F63>

专 业 高 分 子 化 学 高 分 子 化 学 ( 第 三 版 ), 潘 祖 仁, 化 学 工 业 出 版 社 综 药 物 化 学 综 药 物 化 学 ( 第 六 版 ), 郑 虎 主 编, 人 民 卫 生 出 版 社 化 工 综 参 见 化 工 原

PowerPoint 演示文稿

日期:2004年10月10日

FPGAs in Next Generation Wireless Networks WPChinese

臺北市國民小學96-99學年度校務評鑑計畫


X713_CS_Book.book

Microsoft Word - SNR Series

untitled


新婚夫妇必读(二).doc

Ps22Pdf

Transcription:

基于手机的增强现实 学生 : 雷 娟

报告内容包括 : 1. 增强现实的研究意义 2. 移动增强现实的研究现状 研究方法 3. 现阶段所做工作及下一阶段研究计划

1. 什么是 AR? 增强现实 (Augmented Reality) 是将现实世界和计算机生成的信息融合在一起的技术, 这些信息可以是图像, 文字和三维模型等等 2.AR 系统框架

增强现实的三个特性 : (1) 虚实结合 (2) 实时交互 (3) 显示设备位姿确定 (registration) 移动增强现实关键技术 : 移动增强现实系统应实时跟踪手机在真实场景中的位置及姿态, 并根据这些信息计算出虚拟物体在摄像机中的坐标, 实现虚拟物体画面与真实场景画面精准匹配, 即 registration( 即手机的空间位置和姿态 ) 的性能是增强现实的关键 应用前景 : 校园 博物馆导游, 购物指南, 工程设计和室内的装修设计等等

移动增强现实 (Mobile Augmented Reality, 简称 MAR) 目标是将增强现实技术有效地应用于移动设备终端, 拓展增强现实技术的应用领域 移动增强现实 (MAR) 的性能指标 : (1) 跟踪目标位置的正确性 (2) 响应时间 (3) 鲁棒性 (4) 跟踪范围等

2 研究现状 移动增强现实 (MAR) 研究主要是两类方法 : 1. 基于硬件传感器的方法 常见的有磁场 声学 光学 惯性等四类传感器跟踪技术 2. 基于视觉的方法 2.1 基于 marker 的方法 2.2 基于自然特征的方法

一. 基于传感器的增强现实方法 以惯性传感器 ( 电子指南针 ) 跟踪为例 : 采用这种方式的增强现实应用, 手机是最为合适的实现平台 因为实现简单, 目前智能手机上 GPS 摄像头和指南针的搭配已经可以初步实现增强现实 将镜头对准餐馆, 关于这个餐馆的评价会浮现在画面之上, 例如 : Layer Wiketude 等 但是存在 GPS 精度问题, 电子指南针易受周边设备 ( 铁磁器等 ) 的影响, 无线互联网的传输速率等的限制, 目前还没有产生稳定的实际应用

必须装置 : 摄像头 显示屏 GPS 电子指南针 原理 : 1) 通过 GPS 取得纬度 经度和高度信息, 通过电子指南针取得面向的方向, 确定 MAR 搜索的范围 ; 2) 指定搜索内容, 发送搜索范围的数据 ; 3) 通过无线互联, 将从网络获取的信息叠加在显示屏上

在手机上实现 GPS + Sensor 方式的原理图

二. 基于视觉的增强现实方法 原理 基于视觉的跟踪技术不需要额外的硬件设备, 通过在视频图像对检测到的特征进行分析, 得到空间点和图像点的对应关系, 计算相机的位置和姿态 分为两大类方法 : 基于标记的增强现实基于自然特征的增强现实

基于人工标记的方法 : 在真实场景中放置标识作为跟踪基准, 通过对含有标识的图像进行处理, 得到空间点与图像点之间的对应关系, 计算相机位姿, 实现相机跟踪 读取视频, 进行边缘检测, 检测得到四边形, 内部区域进行归一化, 从标识数据库中进行检索, 获取标识的空间信息 基于人工标记的方法目前应用比较多的是采用 ARtoolkit 工具包, 计算位姿的方法有多种, 其中文献 [1] 中采用的方法与张正友的平面标定法类似

[1] 董子龙, 章国锋等, 基于汉字标志的增强现实系统 这是文献 [1] 计算 R,T 的方法, 通过单应性矩阵得到的摄像机外参只是一个估计值, 往往不够精确, 且很容易受到噪声的影响, 不同的方法在进行 R,T 的优化上不同 ( 利用优化标识角点在图像平面上的重投影误差 ), 抑制噪声带来的影响, 得到准确的外参, 使得合成的虚拟物体能够保持平稳而不发生漂移或抖动

基于自然特征的跟踪方法 基于标识的跟踪技术的实现依赖于放置在真实场景中的标志物, 在很大程度上限制了增强现实的应用 基于标识的跟踪技术只适合小范围的 AR 应用, 而基于自然特征的跟踪技术可以适用户外等大范围的应用, 且与基于 marker 的跟踪相比, 在光照变化比较大和遮挡情况下更鲁棒

基本原理与基于标识的跟踪技术类似, 不过这里采用自然特征而不是人工 marker, 例如 sift harris 等 传统 AR 是在平面物体上叠加虚拟信息, 例如 Daniel Wagner 等的 Pose Tracking from Natural Features on Mobile Phones (ISMAR2008); 未来 AR 的研究方向应为三维场景下虚拟信息的叠加, 其中较有代表性的方法是 Georg Klein 等的 Parallel Tracking and Mapping on a Camera Phone (ISMAR2009)

Pose Tracking from Natural Features on Mobile Phones 这篇文章 [2] 第一个实现只使用手机内置相机的实时 ( 帧率为 20Hz) 自然特征跟踪系统, 得到相机的姿态 (6DOF) 文中使用的是有纹理的平面物体提取简化的 sift 和 ferns 特征 [2] Daniel Wagner,Pose Tracking from Natural Features on Mobile Phones

系统流程 : 初始化 : 相机正对着平面物体, 在参考帧的初始跟踪区域内提取特征点, 将这些特征点反投影到 Z=z 平面上 ( 摄像机坐标系下 ), 可以得到特征点的空间位置 ; 运行时 : 首先在新帧中提取特征点并描述, 根据前一帧相机的位姿和运动模型, 得到当前帧相机的位姿估计, 得到参考帧中的特征点在新帧中粗略的位置 ; 匹配的候选点在以该位置为中心某个半径范围内的所有特征点, 将这些候选特征点与参考帧中的特征点进行匹配, 计算新的位姿 视频

Parallel Tracking and Mapping for Small AR workspaces 是解决 SLAM( 同步制图与定位 ) 提出的一种方法 它将 SLAM 分成跟踪 (tracking) 和地图 (mapping) 建立两个并行结构, 即将原有问题分解为 structure from motion 和 motion from structure 两个问题, 跟踪的任务是在给定的地图中估计相机的位置, 制图的任务是利用跟踪得到的位置将图像上的特征点三角化得到空间坐标, 同时利用 bundle adjustment 对地图进行整体优化, 进而得到空间点和相机位置的最优估计 [3] Georg Klein 等. Parallel Tracking and Mapping for Small AR Workspaces

将 PTAM 移植到手机上所做的简化工作 使用较少的地图特征点 修改跟踪的具体操作 去除冗余的关键帧 采用更灵活的地图初始化方法 视频 [4] Georg Klein 等. Parallel Tracking and Mapping on a Camera Phone

基于 SERVER-CLIENT 架构的增强现实研究 前述方法主要是集中在手机端的工作, 为减轻手机端计算负担, 目前存在基于 server-client 的计算模式, 将部分计算工作放在服务器端, 通过无线互联网将计算结果返回, 在手机端进行增强现实效果的显示

以文献 [5] 中的方法为例, 介绍 server-client 架构的增强现实方法 原理 : 在手机端, 进行初始识别后, 通过有效地运动估计 ( 根据相邻帧之前图像像素位置移动的多少来判断 ) 决定是否需要发送新的检索数据给服务器 ; 在服务器端, 从上传的检索帧中提取局部特征 (SURF), 通过 k-d 树的方法在图像数据库中找到匹配数据 视频 : 实时识别和跟踪书和 CD 的封面 [5 ] David M.chen 等 Streaming Mobile Augmented Reality on Mobile Phones ISMAR(2009)

前一阶段所做工作 手机上的跟踪与分割 视频 方法流程 : 摄像机获取的图像 确定初始跟踪区域, 特征点检测 存在的问题 : 鲁棒性 ( 光照 快速运动 ), 漂移等 特征点描述及匹配, 计算相似变换, 在后续每一帧中确定跟踪区域

实验平台 :N900 性能参数 : CPU: 600Hz 内存 :RAM 256MB ROM 768MB 操作系统 :Maemo 5 开发工具 :Nokia for Qt 是一个跨平台的开发工具, 可以适用不同手机操作系统, 关注的是算法层面

需要解决问题 : (1) 考虑到手机计算能力 内存 电源消耗等, 手机上如何获得实时 ( 在移动手机的过程中不因跟踪不及时导致虚拟物体的显示有延迟 ) 鲁棒 ( 能够应对摄像机各种比较随意的运动和跟踪失败时及时恢复 ) 稳定 准确的跟踪 (2) 一般跟踪遇到的问题 : 光照变化 物体的快速运动 物体和场景的外观变化等等 (3) 数据传输速率, 网络延迟等等

Thanks for listening