幻灯片 1

Size: px

Start display at page:

Download "幻灯片 1"

看篮宣
4 years ago
Views:

1 运动恢复结构章国锋浙江大学 CAD&CG 国家重点实验室

2 多视图几何投影函数

3 运动恢复结构流程特征跟踪获得一堆特征点轨迹运动恢复结构求解相机参数和特征点轨迹的三维位置

4 图像特征图像中显著容易区分和匹配的内容点角点线 : 直线, 曲线, 边 : 二维边, 三维边形状 : 长方形, 圆, 椭圆, 球, 纹理不变性视角不变 ( 尺度, 方向, 平移 ) 光照不变物体变形部分遮挡

5 Harris 角点检测核心思想 : 统计图像梯度的分布平坦区域 : 梯度不明显边缘区域 : 梯度明显, 方向一致角点区域 : 梯度明显, 方向不一致方法 : 计算像素邻域的梯度二阶矩计算上述矩阵的角点响应指标对 R 进行阈值过滤和非极大值抑制

9 13 四个位置, 如果是角点, 四个位置中应当有三个满足上面的条件速度快, 但对噪音不鲁棒 Edward Rosten, Tom

6 FAST 核心思想角点与周围邻域内足够多的像素的灰度差异较大通过少量像素点的比较, 加速角点提取考虑中心点周围的 16 个像素, 设中心点亮度为 p 如果有连续 n 个像素亮度都大于 p+t, 或者都小于 p-t ( 如图中的 14~16, 1 ~ 6) 首先检查四个位置, 如果是角点, 四个位置中应当有三个满足上面的条件速度快, 但对噪音不鲁棒 Edward Rosten, Tom Drummond. Machine Learning for High-Speed Corner Detection. ECCV (1) 2006:

7 SIFT Scale-Invariant Feature Transform SIFT 通过在不同级别的图像 DoG 上寻找极值点来确定特征点的位置和对应的尺度, 后续的特征提取在与其尺度最邻近的图像 DoG 上进行这使它有良好的尺度不变性 David G. Lowe.Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision 60(2): (2004).

8 More Invariant Features SIFT 之后陆续出现了各种尺度不变特征描述量提取算法如 RIFT GLOH SURF 等保证了一定的视觉不变性, 又能很好地对抗噪声 SURF ORB 使用了 Haar 小波卷积替代 SIFT 中的高斯核用积分图像进行了加速, 使得计算速度达到 SIFT 的 3~7 倍使用 FAST 提取特征点使用轻量级的二进制描述子由于其极快的提取速度得到了广泛使用

9 特征提取精度高 SIFT SURF ORB 速度快 SIFT 极佳的尺度不变性, 能一定程度上适应视角变化和亮度变化 SURF 能够处理严重的图像模糊, 速度要高于 SIFT, 但精度不如 SIFT ORB 极快的提取速度, 在实时应用中常用来替代 SIFT 以上三种特征提取算法均在 OpenCV 中有实现

10 特征匹配模板匹配直接在目标图像中寻找给定的图像块

11 特征匹配在小运动假设下, 可以采用 KLT 跟踪方法 : I(x,y,t) I(x,y,t+1) 一个等式, 两个未知量

12 特征匹配进一步假设 : 相邻像素运动一致 ( 单个像素 ) ( 邻域窗口 )

13 特征匹配大运动情况下的匹配通过比较特征描述量的距离进行匹配 SIFT = 128 维 SURF = 64 维 ORB = 256bits 暴力匹配快速最近邻匹配 OpenCV 中提供了相应的匹配算法

14 Non-Consecutive Feature Tracking How to efficiently match the common features among different subsequences?

15 Non-Consecutive Feature Tracking

16 Framework Overview 1. Detect SIFT features over the entire sequence. 2. Consecutive point tracking: 2.1 Match features between consecutive frames with descriptor comparison. 2.2 Perform the second-pass matching to extend track lifetime. 3. Non-consecutive track matching: 3.1 Use hierachical k-means to cluster the constructed tracks. 3.2 Estimate the matching matrix with the grouped tracks. 3.3 Detect overlapping subsequences and join the matched tracks.

17 Two-Pass Matching SIFT Feature Extraction First-Pass Matching by Descriptor Comparison Global distinctive

19 Two-View Geometry 3D???

20 Two-View Geometry 3D: Epipolar Geometry

21 Not Enough! How to handle image distortion? Naïve window-based matching becomes unreliable! How to give a good position initializaton? Whole line searching is still time-consuming and ambiguous with many potential correspondences.???

22 Second-Pass Matching by Planar Motion Segmentation Estimate a set of homographies Using inlier matches in first-pass matching frame t 1 2 H t H, t+1 t, t+1 frame t+1 Alignment 3 H t, t+1 4 H t, t+1

23 Second-Pass Matching by Planar Motion Segmentation Guided matching Epipolar constraint Homography constraint

24 Second-Pass Matching with Multi-Homographies First-Pass Matching (53 matches) Direct Searching (11 matches added) Our Second-Pass Matching (346 matches added)

25 Non-Consecutive track matching Fast Matching Matrix Estimation Detect overlapping subsequences and join the matched tracks.

26 Fast Matching Matrix Estimation Each track has a group of description vectors Track descriptor Use a hierarchical K-means approach to cluster the track descriptors

27 Fast Matching Matrix Estimation

matching the common features of the selected image pairs.

28 Non-Consecutive Track Matching Simultaneously Match Images and Refine Matching Matrix Refine the matching matrix after matching the common features of the selected image pairs. More reliably find the best matching images with the updated matching matrix.

29 常用的增量式 SfM 系统框架

30 基于自定标的单序列增量式 SfM 求解框架 1. 自动抽取特征点并匹配 ; 2. 抽取关键帧组成关键帧序列 ; 3. 初始化度量空间下的三维结构和运动 : 3.1 选择合适的三帧组进行射影重建的初始化 ; 3.2 采用增量式求解, 并选择合适时机进行自定标, 将射影重建转换到度量重建 ; 4. 对于每一个新加入求解的关键帧 : 4.1 初始化新求解帧的相机参数和相关的三维点 ; 4.2 用局部集束调整算法对局部已经求解的结构和运动进行求精 ; 5. 求解所有非关键帧的相机参数 ; 6. 对整个序列恢复的结构和运动用集束调整进行最后优化 30

31 三角化已知 F, 计算 P 和 P 已知 x 和 x 计算 X: x= PX x'= P 'X Richard Hartley and Andrew Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, Second Edition 2004.

32 有噪声情况下的三角化由于存在噪声, 反投到三维空间上的射线并不会严格相交优化投影点到对应极线的距离 Richard Hartley and Andrew Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, Second Edition 2004.

33 线性三角化方法给定方程 x= PX x'= P 'X p it 表示 P 的第 i 行. 写成矩阵和向量相乘的形式直接解析求解. 没有几何意义不是最优.

34 优化几何误差目标函数用 Levenberg-Marquart 算法求解

35 已知三维, 求解相机位姿 Compute Projection Matrix Decomposition for Metric Projection Matrix P = K[ R t] = [ KR Kt] = [ M Kt] Decompose M into K, R by QR decomposition 1 t = K p, p, p ) ( T

Bundle Adjustment Definition Refining a visual reconstruction to produce jointly optimal 3D structure and viewing parameter (camera pose and/or calibration)

36 Bundle Adjustment Definition Refining a visual reconstruction to produce jointly optimal 3D structure and viewing parameter (camera pose and/or calibration) estimates. B. Triggs, P. F. McLauchlan, R. I. Hartley, and A. W. Fitzgibbon. Bundle adjustment - a modern synthesis. In Workshop on Vision Algorithms, pages , 1999.

37 Geometric Ambiguities Projective Self-Calibration Metric Reconstruction Reconstruction Marc Pollefeys. Visual 3D Modeling from Images

38 Self-Calibration State-of-the-Art References R.I. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, second ed. Cambridge Univ. Press, M. Pollefeys, L.J. Van Gool, M. Vergauwen, F. Verbiest, K. Cornelis, J. Tops, and R. Koch, Visual Modeling with a Hand-Held Camera, Int l J. Computer Vision, vol. 59, no. 3, pp , G. Zhang, X. Qin, W. Hua, T.-T. Wong, P.-A. Heng, and H. Bao, Robust Metric Reconstruction from Challenging Video Sequences, Proc. IEEE CS Conf. Computer Vision and Pattern Recognition, 2007.

39 代表性 SfM 方法增量式 SfM 采用逐张图片加入处理的方式精度高, 求解鲁棒, 但速度较慢代表性工作 Bundler: VisualSFM: COLMAP: ACTS: 层次式 SfM 先求解局部地图, 再进行融合和补充得到完整的重建显著提高重建的效率代表性工作 ENFT-SFM: 39

40 代表性 SfM 方法全局式 SfM 直接求解全局的图像外参, 然后通过少量的集束调整完成优化高效, 但是容易受到错误匹配的影响代表性工作混合式 SfM OpenMVG: 采用全局方法估计图像旋转, 然后增量式的求解图像位置大幅度减少重建时间, 错误的匹配关系可以及时修正代表性工作语义 SfM HSfM: Hybrid Structure-from-Motion(Cui et al.,2017) 通过语义信息进行联合优化三维地图包含语义信息代表工作 Semantic structure from motion (Bao et al.,2011) 40

41 谢谢! 41

实验室研究方向

实验室研究方向多视图几何与运动恢复结构章国锋浙江大学 CAD&CG 国家重点实验室视频场景重建的流程运动恢复结构深度恢复三维重建针孔相机模型投影方程 : 齐次坐标表示 : Richard Hartley and Andrew Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, Second