Augmented Reality

Size: px

Start display at page:

Download "Augmented Reality"

肝刘
6 years ago
Views:

1 Augmented Reality Xin Yang, HUST

2 What Is Augmented Reality (AR)? A combination of a real scene viewed by a user and a virtual scene generated by a computer that augments the scene with additional information. ARToolkit demo movie T-immersion 2004 video

3 Augmented Reality vs. Virtual Reality Augmented Reality System augments the real world scene User maintains a sense of presence in real world Needs a mechanism to combine virtual and real worlds Hard to register real and virtual Virtual Reality Totally immersive environment Senses are under control of system Need a mechanism to feed virtual world to user Hard to make VR world interesting

Milgram s Reality-Virtuality Continuum Mixed Reality (MR) Real Environment Augmented Reality (AR) Augmented Virtuality (AV) Virtual Environment Milgram coined

4 Milgram s Reality-Virtuality Continuum Mixed Reality (MR) Real Environment Augmented Reality (AR) Augmented Virtuality (AV) Virtual Environment Milgram coined the term Augmented Virtuality to identify systems which are mostly synthetic with some real world imagery added such as texture mapping video onto virtual objects.

5 Combining the Real and Virtual Worlds We need: Precise models Locations and optical properties of the viewer (or camera) and the display Calibration of all devices To combine all local coordinate systems centered on the devices and the objects in the scene in a global coordinate system

6 Combining the Real and Virtual Worlds (cont) Register models of all 3D objects of interest with their counterparts in the scene Track the objects over time when the user moves and interacts with the scene

7 Realistic Merging Requires: Objects to behave in physically plausible manners when manipulated Occlusion Collision detection Shadows

8 Research Activities Develop methods to register the two distinct sets (real, virtual) of images and keep them registered in real-time This often reduces to finding the position of a camera relative to some fiducial markers Develop new display technologies for merging the two images

9 Performance Issues Two performance criteria are placed on the system: Update rate for generating the augmenting image Accuracy of the registration of the real and virtual image

10 Failures in Registration Failures in registration due to: Noise Position and pose of camera with respect to the real scene Image distortions Time delays In calculating the camera position

11 AR 三大要素虚实结合一半是虚拟一半是现实实时交互用户和产品双向交流三维注册三维场景添加虚拟物体

12 AR--10 年前现实场景 : 黑白块呈现方式 : 电脑手机 Augmented Reality for Contextual Learning in Schools & Higher Education

13 AR--3 年前现实场景 : 彩色卡片呈现方式 : 电脑手机

14 AR--3 年前现实场景 : 真实场景 ( 特定 ) 呈现方式 : 电脑手机

15 AR--3 年前现实场景 : 真实场景 ( 特定 ) 呈现方式 : 电脑手机

16 AR 如今今天的 AR, 将不断朝交互方式多元化呈现方式真实化发展 : 1. 任何物体都是黑白块 2. 任何平面都是显示屏

17 AR 如今交互方式多元化 : 任何物体都蕴藏信息

18 AR 如今交互方式多元化 : 任何动作都触发反应 Osmo. Play Beyond the Scree

19 AR 如今呈现方式真实化 : 平面皆可显示

20 AR 如今所有平面都是显示器 Glowworms and Fireflies The Augmented Climbing Wall- High Facial Projection Mapping Parallel Tracking and Mapping for Small AR Workspaces

21 AR 如今 4D AR ( 添加听觉嗅觉触觉等 ) FeelSleeve- Haptic Feedback to Enhance Early Reading

22 AR 核心技术图像输入设备计算与存储设备 1. 目标检测识别 2. 跟踪定位技术 3. 即时定位与地图构建 4. 平面检测 5. 碰撞检测系统显示技术虚实融合技术用户交互技术虚拟对象数据库

移动设备内置传感器的数据存在噪声和自身偏差, 需尽量提取其中准确和有用信息 IMU 加速度仪陀螺仪地磁仪

23 1.1 目标跟踪定位研究背景传统的跟踪方法由于计算能力有限, 在移动平台上直接运行基于台式机设计的跟踪方法, 往往无法达到实时稳定的效果区别于台式机, 移动设备往往集成多种传感器, 可以提供设备的运动信息移动设备内置传感器的数据存在噪声和自身偏差, 需尽量提取其中准确和有用信息 IMU 加速度仪陀螺仪地磁仪从这些背景出发, 充分考虑移动智能终端的硬件局限性, 同时充分利用移动智能终端上的惯性传感器资源, 从而更好地实现移动终端上高精度高鲁棒性和实时的跟踪

24 视觉鲁棒准确率高计算量大耗时传感器实时不受外观影响存在噪声, 准确率低已有研究 : 并行独立地运行视觉跟踪器和惯性跟踪器, 将两个结果用一种统计滤波框架结合起来准确率和效率都不能得到改善串行利用惯性传感器数据辅助视觉跟踪过程方案可取, 但是仅仅依靠惯性传感器引导后续跟踪, 系统并不稳定普遍问题一些研究的算法估计使用高精度的专用惯性传感器, 对一般的移动设备并不适用

在线结构输出学习, 利用上一帧错误匹配的特征点更新模型中的特征点描述特征选取 : 高质量描述低计算复杂度 LDB ---

25 基于模型的特征匹配跟踪基本思想 : 将目标模型和从相机输入的当前帧 ( 即包含目标的图像 ) 进行匹配, 找到当前帧相对初始模型的二维图形变换关系模型建立提取局部特征特征点匹配估计变换矩阵模型的更新 : OSO --- 在线结构输出学习, 利用上一帧错误匹配的特征点更新模型中的特征点描述特征选取 : 高质量描述低计算复杂度 LDB --- 鲁棒性和可区分性都达到领域先进水平, 同时又能保持高效的特征构建和运行图像之间变换矩阵的计算 : PROSAC --- 匹配的点对集采用顺序结构, 大大地减少了计算消耗

26 Object model is updated so that the probability of obtaining an incorrect homography as the final tracking result in the next frame is minimized Identifying a set of feature descriptors {d } which form false correspondences {m f } that comply with the homography with the second highest scores.

of forming a wrong homography in the next frame is reduced t j w (1 )

27 t w j respectively The model is adjusted to increase the distance between the revised model and the descriptors {d } so that the chance of forming a wrong homography in the next frame is reduced t j w (1 ) w t 1 t t j t j t j is the difference between descriptors d j * and d j

28 相邻帧之间的快速跟踪相邻帧之间的快速跟踪方法的成立基于一种假设, 即相机在捕捉相邻帧的间隔内运动很小 ( 一 ) 基于像素的图像配准过程是优化差异性测量函数 : 2 E ( H ) I H x I x SSD t t 1 t t t 1 i t 1 i i 矩阵 Ht t 1 表示图像 It 1 到 I t 的变换关系因为连续帧之间的几何形变非常小, 在优化变换矩阵的参数时迭代的次数也比较少优缺点 : 计算量虽小, 但是容易造成误差累积如果应用在融合算法中 : 要充分利用图像配准的高效, 同时为了避免影响后续跟踪结果的准确性, 又不能让其在整个算法中起引导作用

29 相邻帧之间的快速跟踪 ( 二 ) 快速的特征匹配跟踪方法基于相邻帧之间旋转, 平移和形变都很微小的前提, 舍弃特征的旋转不变性和尺度不变性, 省略 LDB 中对图像作不同尺度的缩放和计算每个特征点对应图像块的主方向这些耗时过程优缺点 : 跟踪速度可以达到 20 帧 / 秒, 但是不够稳定, 而且容易造成误差累积如果应用在融合算法中 : 和图像配准方法所处地位相同, 需要有准确的跟踪结果来及时更替纠正

30 基于惯性传感器的跟踪技术 ( 二 ) 传感器数据和图像变换 V 世界坐标系相机坐标系视平面坐标系屏幕坐标系 P H 推导任意两帧图像之间的变换矩阵, 并利用传感器提供的角速度和平移加速度计算其中的旋转和平移信息通过若干次实验发现, 由传感器数据推导的旋转部分准确率较高, 而基于加速度仪估计的平移误差太大, 基本不具有参考价值

31 基于多源数据的融合跟踪方法基于模型的特征匹配跟踪传感器数据提供的旋转信息相邻帧之间的快速跟踪

32 基于模型的视觉跟踪和传感器数据的融合惯性传感器 xtt 1 突然误差检测卡尔曼预测加速基于模型的特征跟踪 x tt 突然误差检测卡尔曼更新 H t 卡尔曼滤波 : 视觉跟踪结果和传感器数据都存在一定的噪声, 可以通过卡尔曼增益的调节来得到更为稳定的结果突然误差检测 : 由于设备在移动时会出现突然抖动等特殊情况, 跟踪噪声的方差不应该维持固定值, 加入突然误差检测可以实现自适应卡尔曼滤波, 更贴合实际应用加速 : 传感器数据可以用来加速特征提取和匹配过程, 包括对当前帧的逆旋转和分块处理

33 多源数据的混合跟踪流程每一帧自适应的图片缩放连续帧的快速特征跟踪修正需求估计更新惯性传感器是每 N 帧基于模型的特征跟踪和传感器的融合跟踪误差估计可靠融合过程对每一帧实行快速的特征跟踪, 而基于模型的特征跟踪和传感器数据的融合每隔 N 帧计算一次, 当前者满足修正需求估计条件时, 利用高准确率的后者来更新最终结果最终结果

(Pattern Recognition) 1 1. CCD

********************************* ********************************* (Pattern Recognition) 1 1. CCD 2. 3. 4. 1 ABSTRACT KeywordsMachine Vision, Real Time Inspection, Image Processing The purpose of this