SURF Speeded Up Robust Features

Size: px

Start display at page:

Download "SURF Speeded Up Robust Features"

肴宿陈
5 years ago
Views:

1 图像检索 SURF: 与 Speeded-Up Robust Features 快速稳健特征点 Together with AVIC 中航光电

2 SURF 适用的领域 1 图像检索 2 图像配准 3 目标识别

3 特征提取 1 低层, 视觉特征颜色纹理形状等 2 高层, 语义内容图像中包含的物体物体之间的语义关系

4 特征提取

5 SURF: 介绍 SURF (Speeded-Up Robust Feature) 是一种高稳定性的局部特征点检测和描述算法, 可用来检测两幅图像之间的具有相同特征的点

6 SURF: 可用领域图像检索目标识别图像配准 3D 重建

7 SURF: 作者目标快速兴趣点检测高鉴别度的兴趣点描述快速描述子匹配对常用图像变换的不变性图像旋转尺度变化亮度变化视角轻微变化

8 SURF: 兴趣点检测积分图积分图中任意一点 I Σ (I,j) 的值, 等于原图像左上角区域像素的和 : I ( i, j) p( i ', j ') i' i, j ' j A B C D S ABCD = D B C + A

9 SURF: 兴趣点检测尺度变换图像为 I 0 (X),X = (x, y); 图像 I( X, t ) 为初始图像 I 0 (X) 经过尺度参数为 t ( t > 0 ) 的尺度变换所得到的图像 ; 则算子 T t : I 0 (X) I( X, t ) 定义为尺度空间算子, 算子族 {T t } t>0 就定义为尺度空间

10 SURF: 兴趣点检测高斯函数经过高斯变换得到的尺度空间称为高斯尺度空间 ; 高斯尺度空间的概念是由 Witkin 最早提出的, 并经 Koenderink 等人的研究工作得到进一步的发展 ; Koenderink 证明了高斯核函数是线性核函数, 而 Lindeberg 又证明了高斯核函数是唯一的线性核函数

11 SURF: 兴趣点检测高斯函数模式分类,SVM, 数据在低维线性不可分时, 使用高斯核函数, 映射到高维后可分

12 SURF: 兴趣点检测高斯函数二维高斯曲面,σ=

13 SURF: 兴趣点检测 Hessian 矩阵对图像中的点 X = (x, y), 尺度为 σ 的 Hessian 矩阵 H(X, σ) 定义为 : 其中 L xx (X, σ) 是尺度为 σ 的二维高斯函数的二阶倒数与图像 I 在 X 点处的卷积 : L xx g( ) 2 x 2 * I( x, y)

14 SURF: 兴趣点检测 Hessian 矩阵高斯二阶倒数的离散化和近似 : L yy D yy L xy D xy

15 SURF: 兴趣点检测 Hessian 矩阵用矩形滤波近似高斯函数, 其近似 Hessian 行列式为 : w is needed for the energy conservation between the Gaussian kernels and the approximated Gaussian kernels 计算过程可用积分图进行加速

16 SURF: 兴趣点检测尺度空间 Lowe 的 SIFT 中通过不断缩小图像得到金字塔 SUFT 中只是增大高斯矩形滤波器, 计算量小

17 SURF: 兴趣点检测尺度空间 SURF 将尺度空间划分成若干组 (Octaves), 一个组代表了固定数目的逐步放大的滤波模板对同一个输入图像的一系列响应 3x2x 2 3x 2

18 SURF: 兴趣点检测尺度空间 3 x 3 x 3 非最大化抑制

19 SURF: 兴趣点描述通过计算尺度空间的 Haar 小波响应在 x,y 方向的偏导数, 来生成 64D 的描述子 1 以兴趣点为中心, 以 6s(s 为兴趣点所在尺度 ) 为半径的圆形区域内, 确定主方向, 以实现旋转不变性 ; 2 构建一个沿主方向的正方形, 并从中提取 SURF 描述子

20 SURF: 兴趣点描述主方向以兴趣点为中心,6s 为半径的圆形区域内, 计算 Haar 小波响应, 小波边长为 4s; 用中心位于兴趣点的 σ=2s 的高斯滤波器加权

21 SURF: 兴趣点描述主方向以兴趣点为中心, 用中心角为 π/3 的滑动窗口, 计算窗口内的 x y 方向加权小波响应的和, 输出一个向量, 向量长度最长的方向, 即为主方向

22 SURF: 兴趣点描述描述子以兴趣点为中心, 沿主方位构建一个边长为 20s 的正方形, 再等分为 4*4 的子区域在每个子区域等间距选取 5*5 个采样点旋转到主方向主方向

23 SURF: 兴趣点描述描述子计算这些点的相对于主方向的 Haar 小波响应 ( 边长为 2s), 得到 dx,dy 用 σ=3.3s 的高斯滤波器加权旋转到主方向主方向

24 SURF: 兴趣点描述描述子每个 4x4 子区域的 4D 描述向量如下, 一共 64D v = (Σdx, Σdy, Σ dx, Σ dy ) 旋转到主方向主方向

25 SURF: 示例

26 SURF: 示例 SIFT 的计算基于梯度方向 SURF 基于主方向, 抗噪声性更好

27 SURF: 快速匹配兴趣点检测时, 计算了 Hessian 矩阵, 可用拉普拉斯算子, 即 Hessian 矩阵的迹, 排除一大部分不匹配的点

28 SURF: 匹配欧氏距离欧氏距离 (Euclidean) 如果马氏距离中的协方差矩阵 Σ 为单位阵, 则马氏距离简化为欧氏距离

29 子课题一. 计算输入图像的积分图输入 : 原始彩色图像输出 : 图像的积分图流程 : 把输入图像变成灰度图像积分图像中, 每个点存储是其左上方所有像素之和计算图像的积分图 : I Σ x = i x i=0 j y j=0 I(i, j 任意矩形区域内的点的求和只需要计算三个加 ( 减 ) 法运算

30 子课题二. 计算图像的 det 值输入 : 图像的积分图输出 : 图像 det 值得向量流程 : 建立图像的 response 层, 即向上取样, 如下图所示计算每一层次图像像素点的 det 值对层次极值点进行插值计算图像像素点 det 值是这个算法最耗时的部分为了在目标影像上确定 SURF 特征点, 我们使用了 3*3*3 的模板在 3 维尺度空间进行非最大化抑制, 根据预设的 Hessian 阈值 H, 当 h 大于 H, 而且比临近的 26 个点的响应值都大的点才被选为兴趣点最后进行插值精确

31 子课题三. 计算图像兴趣点的方向输入 : 兴趣点向量输出 : 兴趣点的方向流程 : 计算兴趣点以 6s 为半径圆的内的 x 方向和 y 方向 Harr 小波变换值计算哪个方向上 x 方向和 y 方向 harr 值的和最大, 最大值方向就是兴趣点的方向

32 子课题四. 计算图像的特征矢量输入 : 方向矢量和 det 矢量输出 : 兴趣点的特征矢量流程 : 计算 5*5s 区域 harrx 和 haary 计算 Gaussian 权值计算局部的 dx abs(dx) dy 和 abs(dy) 全局的 dx abs(dx) dy 和 abs(dy), 加上局部的 dx abs(dx) dy 和 abs(dy),5 返回 1, 直到计算完 4 个局部的 dx abs(dx) dy 和 abs(dy)

33 子课题五. 匹配图像对应点对于两个特征点描述子的相似性度量, 我们采用欧式距离进行计算 : 式中,Xik 表示待配准图中第 i 个特征描述子的第 k 个元素, Xjk 是参考图中第 j 个特征描述子的第 k 个元素,n 表示特征向量的维数

34 输入 : 图像兴趣点特征值矢量输出 : 匹配对应点矢量过程 :2 层循环搜索 2 个图像特征矢量对应点的距离如果从内层循环搜索完成, 判断搜索得到的对应点距离比值小于阈值则加入匹配点矢量中下图是匹配 2 幅静态图像的结果

35 五 Tile-based SURF

36 OpenGL 与基于视线焦点追踪的低功耗图形处理 Together with Tencent 腾讯

37 创意人的视线和注意力往往聚焦在某些局部区域 ( 视线焦点 ) 利用这一特点, 本创意优化视线焦点附近区域而非全屏幕的显示效果满足甚至提高人主观视觉的感受极大降低图形处理器 (GPU) 渲染图形的功耗, 节约电能并增加电子设备的续航能力

38 类似专利介绍眼球追踪并控制显示内容

39 相关专利阅读体验视频控制智能屏保

40 Tile-based GPU (PowerVR from Imagination) GPU 的渲染管线包括 : 顶点转化图元建立栅格化帧缓冲处理 ( 包含纹理贴图染色透明混合处理, 光影处理等 ) 桌面 GPU: 每一帧重新渲染, 带宽需求大功耗大但效果性能好嵌入式 GPU: 片上缓存, 只保留中间数据, 每次只计算需要更新的内容, 节省带宽多大的片上缓存? 切分渲染区域去隐藏

41 基本技术

42 显示区域层次划分在不同层的划分中进行不同粒度的渲染图元大小分层

43 LOD 算法

44 改变传统渲染管线

GC2000 200Mtri/s 1000Mpxl/s, OpenGL ES 3.

45 Freescale Sabrelite:i.MX6Q Development Board Features: CPU Complex 4x ARM Cortex -A9 up to 1.2 GHz per core 1 MB L2 cache 32 KB instruction and data caches NEON SIMD media accelerator GPU GPU 3D Vivante GC Mtri/s 1000Mpxl/s, OpenGL ES 3.0 & Halti, CL EP GPU 2D(Vector Graphics) Vivante GC Mpxl/s, OpenVG 1.1 GPU 2D(Composition) Vivante GC Mpxl/s, BLIT Memory DDR 2x32 LP-DDR2, 1x64 DDR3 / LV-DDR3 NAND SLC/MLC, 40-bit ECC, ONFI2.2, DDR

AMD GX-415GA APU SOC Development Board 1st generation APU SOC design Integrates Controller Hub functional block as well as CPU+GPU+NB 28nm process technology, FT3 and FT3b BGA packages, 24.5mm x 24.

46 AMD GX-415GA APU SOC Development Board 1st generation APU SOC design Integrates Controller Hub functional block as well as CPU+GPU+NB 28nm process technology, FT3 and FT3b BGA packages, 24.5mm x 24.5mm Dual- or Quad- Jaguar or Jaguar+ CPU cores with 2MB shared L2 cache Features Model: GX-415GA SOC CPU Cores: 4(x86) TDP(Thermal Design Power)(CPU, GPU,& SB): 15W Shared L2 Cache : 2MB CPU FREQ. : 1.5GHz GPU FREQ.(GRAPHICS): 500MHz (HD 8330E) DDR SPEED: DDR TjC:0-90 C Support DirectX 11.1 OpenGL 4.2x OpenCL 1.2

NVIDIA Tegra 3 Apalis T30 Features: CPU: NVIDIA Tegra 3 (ARM Cortex -A9) NVIDIA SoC:T30MQS CPU Cores:4+1 4+1 L1 Instruction Cache (each core):32kbyte L1 Data Cache (each core):32kbyte L2 Cache

3ghz Memory DDR3 RAM Size 2GByte DDR3 RAM Speed (max) 1600MT/s DDR3 RAM Memory Width 32bit emmc NAND Flash (8bit) 8GByte GPU: Ultra-low Power NVIDIA GeForce GPU OpenGL ES 1.1 and 2.

47 NVIDIA Tegra 3 Apalis T30 Features: CPU: NVIDIA Tegra 3 (ARM Cortex -A9) NVIDIA SoC:T30MQS CPU Cores: L1 Instruction Cache (each core):32kbyte L1 Data Cache (each core):32kbyte L2 Cache (shared by cores) 1MByte NEON support Maximum CPU frequency (single core mode):1.4ghz Maximum CPU frequency (quad core mode peak performance, time and temperature limited):1.3ghz Memory DDR3 RAM Size 2GByte DDR3 RAM Speed (max) 1600MT/s DDR3 RAM Memory Width 32bit emmc NAND Flash (8bit) 8GByte GPU: Ultra-low Power NVIDIA GeForce GPU OpenGL ES 1.1 and 2.0 (depending on driver) Dual Core (2 fragment shader pipe, vertex shader pipe) OpenGL ES Shader Performance 16 GFLOPS Programmable pixel shader Programmable vertex and lighting Anti aliasing: 5x VCAA, 4xFSAA, or both 2K x 2K texture and 4K x 4K render resolutions supported Advanced 2D and vector engine

48 Research: Soft Error in Multicore architecture Together with 浪潮

49 芯片和系统的可靠性软错误原因 : 宇宙射线辐射击穿器件, 导致逻辑错误 ; 特点 : 短暂的错误, 电路可以恢复案例 : Sun 公司价值百万美元的旗舰服务器 UltraSPARC-II 由于软错误而崩溃 ; 惠普公司安装在美国国家实验室的 2048-CPU 核服务器因在高海拔地区, 极易受到宇宙射线打击引起软错误导致经常性宕机高空 ( 宇宙 ) 中的航电等电子设备更易出现故障

50 芯片和系统的可靠性软错误传统解决方案 : 增加硬件冗余 ( 如飞机有 3 套各自独立的电子控制系统 ), 通过投票来做出决定 : 功耗, 成本具体, 增加处理器核心数目增加冗余线程, 在系统级完成检测和保护研究目标 : 利用 CPU 中多层级保护机制进行在线检测和恢复利用 GPU 中多路数据通道进行在线检测和恢复

P4i45GL_GV-R50-CN.p65

P4i45GL_GV-R50-CN.p65 1 Main Advanced Security Power Boot Exit System Date System Time Floppy Drives IDE Devices BIOS Version Processor Type Processor Speed Cache Size Microcode Update Total Memory DDR1 DDR2 Dec 18 2003 Thu