机器人辅助膝关节手术系统设计 与术后评价算法研究 申抒含 2010 年 5 月 26 日
提纲 1. 绪论 2. 全膝关节置换手术基础 3. 机器人辅助膝关节手术系统设计 4. 机器人辅助膝关节手术系统实验测试 5. 膝关节术后评价中的变形体运动分析 6. 膝关节术后评价中的连结刚体运动分析 7. 总结与展望
1. 绪论
绪论 未来手术的发展趋势 : 微创 + 计算机辅助 Da vinci BrainLab
全膝关节置换术 绪论
绪论 现有的 CAOS 主动系统 ROBODOC CASPAR
绪论 现有的 CAOS 半主动系统 ACROBOT PFS
绪论 现有的 CAOS 被动系统 BrainLab PST
绪论 膝关节手术术后评价 软组织平衡性评价 术后行走模式评价
2. 全膝关节置换手术基础
全膝关节置换术 全膝关节置换手术基础
全膝关节置换术 全膝关节置换手术基础
全膝关节置换术 全膝关节置换手术基础
3. 机器人辅助膝关节手术系统设计
机器人辅助膝关节手术系统设计 膝关节手术机器人 :WATO-I WATO-II WATO-I WATO-II
WATO-II 系统组成 : 机器人辅助膝关节手术系统设计
机器人辅助膝关节手术系统设计 WATO-II 系统标定 摄像机标定 立体标定 手眼标定
机器人辅助膝关节手术系统设计 WATO-II 系统标定 摄像机标定 立体标定 手眼标定
机器人辅助膝关节手术系统设计 WATO-II 工具标定 探针标定 刀具标定
机器人辅助膝关节手术系统设计 WATO-II 工具标定 探针标定 刀具标定
机器人辅助膝关节手术系统设计 WATO-II 工具标定 探针标定 刀具标定
机器人辅助膝关节手术系统设计 WATO-II 工具标定 探针标定 刀具标定
WATO-II 股骨手术 机器人辅助膝关节手术系统设计
WATO-II 股骨手术 机器人辅助膝关节手术系统设计
WATO-II 股骨手术 机器人辅助膝关节手术系统设计
WATO-II 胫骨手术 机器人辅助膝关节手术系统设计
WATO-II 胫骨手术 机器人辅助膝关节手术系统设计
4. 机器人辅助膝关节手术系统实验测试
WATO-II 系统标定 机器人辅助膝关节手术系统实验测试
WATO-II 探针标定 机器人辅助膝关节手术系统实验测试
机器人辅助膝关节手术系统实验测试 WATO-II 手术过程 求股骨头中心点取生理标志点机器人截骨
WATO-II 石膏骨实验 机器人辅助膝关节手术系统实验测试
机器人辅助膝关节手术系统实验测试 WATO-II 石膏骨实验 股骨远端外形测试部件 使用 MicroScribe G2X 测试股骨力线
机器人辅助膝关节手术系统实验测试 WATO-II 石膏骨实验 股骨力线
机器人辅助膝关节手术系统实验测试 WATO-I 尸骨实验 股骨手术
机器人辅助膝关节手术系统实验测试 WATO-II 尸骨实验 股骨手术 胫骨手术
医用导航系统 : 机器人辅助膝关节手术系统实验测试
机器人辅助膝关节手术系统实验测试 医用导航系统 : 颌面整形临床手术
机器人辅助膝关节手术系统实验测试 WATO-II 机器人手术系统与医用导航系统
5. 膝关节术后评价中的变形体运动分析
膝关节术后评价中的变形体运动分析 基于视觉的变形体三维运动分析是对膝关节软组织平衡性进行评价的有效方法
膝关节术后评价中的变形体运动分析 刚体 连接刚体 运动 多刚体 变形体 轻微变形体 自由变形体 流体
与刚体相比, 变形体具有更高的自由度 膝关节术后评价中的变形体运动分析
膝关节术后评价中的变形体运动分析 建立模型 特征点对应 L /L 2 双目 / 单目 3D 重建 单幅 / 序列
膝关节术后评价中的变形体运动分析 基于 L 范数和线性规划的单目变形体运动分析方法
变形体网格 V 由 n 个顶点 v 1 1,,v 2,v n 组成 膝关节术后评价中的变形体运动分析
膝关节术后评价中的变形体运动分析 网格 V 上每一个特征点 x i 的位置由其所在三角片的顶点坐标表示 :
膝关节术后评价中的变形体运动分析
膝关节术后评价中的变形体运动分析 仅通过特征点对应恢复变形体三维结构是一个严重欠定问题
膝关节术后评价中的变形体运动分析 仅通过特征点对应恢复变形体三维结构是一个严重欠定问题
膝关节术后评价中的变形体运动分析 仅通过特征点对应恢复变形体三维结构是一个严重欠定问题
膝关节术后评价中的变形体运动分析 可以通过添加平滑约束等方式来消除部分歧义性 对于一个不可延展 ( 或延展较小 ) 的变形体而言, 最基础的约束是限制 其每个三角片边长不变 ( 或变化较小 )
变形体重建问题可以转化为一个优化问题 : 膝关节术后评价中的变形体运动分析
膝关节术后评价中的变形体运动分析 使用凸优化解决计算机视觉问题, 求得全局最优解 : F. Kahl, Multiple view geometry and the L norm, ICCV 2005. F. Kahl, D. Henrion, Globally optimal estimates for geometric Reconstruction problems, IJCV 2007 F. Kahl, S. Agarwal, et al., Practical global optimization for multiview geometry, IJCV 2008. 线性规划 二阶锥规划 半定规划
特征点对应 : 膝关节术后评价中的变形体运动分析
特征点对应 : 膝关节术后评价中的变形体运动分析
特征点对应 : 膝关节术后评价中的变形体运动分析
特征点对应 : 膝关节术后评价中的变形体运动分析
膝关节术后评价中的变形体运动分析 特征点对应 : It s an LP problem
膝关节术后评价中的变形体运动分析 边长约束 : These are second-order equality constraints
边长约束 : 膝关节术后评价中的变形体运动分析
膝关节术后评价中的变形体运动分析 边长约束 : This is an LP constraint
膝关节术后评价中的变形体运动分析 特征点对应 + 边长约束 : Update: Until:
膝关节术后评价中的变形体运动分析 通过 SVD 降维 : 例 : 一个 16 22 的矩形网格,V 为 16 22 3=1056 维 网格有 981 条边, 为 1056-981=75 维
膝关节术后评价中的变形体运动分析 变形体三维重建问题 : This is an LP problem in Not sensitive to initial iti low dimension space point V 0
实验结果 : 膝关节术后评价中的变形体运动分析
实验结果 : 膝关节术后评价中的变形体运动分析
膝关节软组织形变重建结果 : 膝关节术后评价中的变形体运动分析
膝关节术后评价中的变形体运动分析 所提出的变形体运动分析算法得到了国际同行的认可 [14] S. Shen, W. Shi, Y. Liu. Monocular Tracking of Inextensible Deformable Surfaces under L 2 -Norm. ACCV 2009.
6. 膝关节术后评价中的连结刚体运动分析
连结刚体三维运动分析 膝关节术后评价中的连结刚体运动分析
膝关节术后评价中的连结刚体运动分析 刚体 连接刚体 运动 多刚体 变形体 轻微变形体 自由变形体 流体
3D 人体运动数据 (Voxel): 膝关节术后评价中的连结刚体运动分析
3D 人体运动数据 (Voxel): 膝关节术后评价中的连结刚体运动分析
3D 人体运动数据 (Voxel): 膝关节术后评价中的连结刚体运动分析
膝关节术后评价中的连结刚体运动分析 3D 人体运动数据 (Voxel): N f (X, Z) p ( V i ) i1 1 p( Vi ) 0 如果 V 否则 i 落入 11个圆柱体中
膝关节术后评价中的连结刚体运动分析 量子计算 (Quantum Computing) φ =α 0 +β 1 2 s.t. 1 2 1 α β φ 0
膝关节术后评价中的连结刚体运动分析 量子进化算法 (Quantum Evolutionary Algorithm, QEA) 量子位 : 2 2 1 个体 : 1 2 m 1 2 m K-H Han et al. Quantum-inspired evolutionary algorithm for a class of combinatorial optimization. IEEE Transactions on Evolutionary Computation, 2002
膝关节术后评价中的连结刚体运动分析量子进化算法 (QEA) 量子门更新 : ) sin( ) cos( ) ( i i i U ) cos( ) sin( i i ) sin( ) cos( ' i i i i i i i i ) cos( ) sin( ) sin( ) cos( '
膝关节术后评价中的连结刚体运动分析 量子进化算法 (QEA) 量子位编码 : 2 1 2 1 m m 量子门更新 : U ( ) cos( ) sin( ) sin( ) cos( )
膝关节术后评价中的连结刚体运动分析概率进化算法 (Probability Evolutionary Algorithm, PEA) QEA PEA 0 p 1 2 2 1, 1 0 1 p k p p p p k p m p p p 0 2 0 1 0 m m 2 2 1 1 m p p p 1 2 1 1 1 m k k k p p p 2 1
膝关节术后评价中的连结刚体运动分析概率进化算法 (Probability Evolutionary Algorithm, PEA) 概率复合位编码 : m p p p 0 2 0 1 0 p 0 m p p p 1 2 1 1 1 p 1 m p p p 2 1 k p (k+1) m k k k p p p (k )
膝关节术后评价中的连结刚体运动分析 概率进化算法 (Probability Evolutionary Algorithm, PEA) 概率复合位编码 : p p p 0 1 2 m p p 0 0.2 0.1 0.3 0.1 0 0 2 m p 1 0.1 0.3 0.4 0.1 1 p1 2 0.5 0.1 0.1 0.2 3 0.1 0.3 0.1 0.3 1 m p 2 k pk 4 0.1 0.2 0.1 0.3 1 1 k P( 212 3 ) 0.50.30.10.3 0.0045 P ( 4 3 01) 01 0.1 03 0.3 03 0.3 01 0.1 0. 0009
膝关节术后评价中的连结刚体运动分析 概率进化算法 (Probability Evolutionary Algorithm, PEA) 观测 : p p p p p 0 1 2 3 4
膝关节术后评价中的连结刚体运动分析 概率进化算法 (Probability Evolutionary Algorithm, PEA) 观测 : An individual 0 0.2 01 0.1 03 0.3 01 0.1 1 0.1 0.3 0.4 0.1 2 0.5 0.1 0.1 0.2 3 0.1 0.3 0.1 0.3 4 0.1 0.2 0.1 0.3 r [0.4 0.2 0.8 0.6] Observation [ 2 1 2 3 ]
膝关节术后评价中的连结刚体运动分析 概率进化算法 (Probability Evolutionary Algorithm, PEA) 更新 : p p p p p 0 1 2 3 4
膝关节术后评价中的连结刚体运动分析 PEA 算法流程 : 初始化 : 初始种群 P; 观测 : 观测 P 的观测种群 S; 评价 : 计算 S 适应度 ; 更新 : 更新 P; 迁移 : 对 P 进行全局和局部迁移 ;
膝关节术后评价中的连结刚体运动分析 3D 人体跟踪结果 : APF PEA
3D 人体跟踪结果 : 膝关节术后评价中的连结刚体运动分析
3D 人体跟踪结果 : 膝关节术后评价中的连结刚体运动分析
7. 总结与展望
Journal: 博士期间发表的论文 [1] Monocular 3D Tracking of Inextensible Deformable Surfaces under L2-Norm, 第一作者 IEEE Transactions on Image Processing, Vol. 19, No. 2, 2010. (SCI) [2] Convex Optimization for Non-Rigid Stereo Reconstruction, 第一作者 IEEE Transactions on Image Processing, Vol. 19, No. 3, 2010. (SCI) [3] Monocular 3D Tracking of Deformable Surfaces Using Sequential SOCP, 第一作者 Pattern Recognition, Vol. 43, No. 1, 2010. (SCI) [4] Model Based Human Motion Tracking gusing Probability Evolutionary Algorithm, 第一作者 Pattern Recognition Letters, Vol. 29, No. 13, 2008. (SCI) [5] Efficient Multiple Faces Tracking Based on RVM and Boosting Learning, 第一作者 [5] Efficient Multiple Faces Tracking Based on RVM and Boosting Learning, 第作者 Journal of Visual Communication and Image Representation, Vol.19, No. 6, 2008. (SCI)
Conference: 博士期间发表的论文 [1] Monocular Tracking of Inextensible Deformable Surfaces under L 2 -Norm, 第一作者 The 9th Asian Conference on Computer Vision (ACCV 2009). (EI) [2] L 2 Approximation for Efficient Deformable Surface 3D Tracking, 第一作者 2 The 2009 IEEE International Conference on Image Processing (ICIP 2009). (EI) [3] Deformable Surface Stereo Tracking-by-Detection Using SOCP, 第一作者 The 19th International Conference on Pattern Recognition (ICPR 2008). (EI) [4] Probability Evolutionary Algorithm Based Human Motion Tracking gusing gv Voxel Data, 第一作者 The 2008 IEEE World Congress on Evolutionary Computation (CEC 2008). (EI) [5] Probability Evolutionary Algorithm for Functional and Combinatorial Optimization, 第一作者 The 7th World Congress on Intelligent Control and Automation (WCICA 2008). (EI) [6] Human Body Tracking Based on Probability Evolutionary Algorithm 第一作者 [6] Human Body Tracking Based on Probability Evolutionary Algorithm, 第作者 International Conference on Computer Vision Theory and Applications (VISAPP 2006) (EI)
博士期间申请的专利 [1] 基于二阶锥规划的变形体三维跟踪方法, 申请号 : 200810202637.3 3 [2] 基于相关向量机和提升学习的多人脸跟踪方法 申请号 : 200810033997.5 [3] 基于多目相机的三维人体运动跟踪的方法 申请号 : 200710044219.1 [4] 利用同心圆进行摄像机标定的方法 申请号 : 201010301174.3 [5] 利用曲线拟合校正摄像机径向畸变的方法 申请号 : 201010301177.7
理论研究 : 未来的研究方向 计算机视觉的目的 : Understanding di the 3D world 难点 : 大范围复杂动态场景 海量数据 研究内容 : 刚体 连接刚体 变形体三维重建 Rigid Articulated rigid Deformable
理论研究 : 未来的研究方向 Key 1: More robust tlocal ldetector t and ddescriptor Key 2: Model based and model free Key 3: Modern optimization methods, convex, graph cuts, et al. Key 4: A unified framework for all kinds of motions Key 5: A prototype system to show
应用研究 可控环境 : Industrial and medical applications Require: Accurate and convenient 未来的研究方向 PtGrey BrainLab Claron Tech
应用研究 不可控环境 : Internet vision, mobile vision Require: Fully automatic and robust 未来的研究方向 Photo Tourism im2gps
Thank you!