1922 计算机应用研究第 32 卷决定图像序列中手部的运动轨迹跟踪问题是本文研究的重点, 下文将作具体分析 c) 三维姿态的评估和手势识别评估由手部模型和模型拟合组成, 该部分主要对处理的图像进行评估和筛选, 根据结果观察是否能达到预期效果手势识别则是对分割出的手部形态以及跟踪到的运动轨迹

Size: px

Start display at page:

Download "1922 计算机应用研究第 32 卷决定图像序列中手部的运动轨迹跟踪问题是本文研究的重点, 下文将作具体分析 c) 三维姿态的评估和手势识别评估由手部模型和模型拟合组成, 该部分主要对处理的图像进行评估和筛选, 根据结果观察是否能达到预期效果手势识别则是对分割出的手部形态以及跟踪到的运动轨迹"

亡史
7 years ago
Views:

1 第 32 卷第 7 期 2015 年 7 月计算机应用研究 ApplicationResearchofComputers Vol32No7 Jul.2015 基于 Kinect 的手势跟踪概述刘佳 a,b, 郑勇 a, 翧冬慧 a a,b, 张小瑞 ( 南京信息工程大学 a. 信息与控制学院 ;b. 江苏省大数据分析技术重点实验室, 南京 ) 摘要 : 综述了当前基于 Kinect 手势跟踪的几种代表性方法 : 基于轮廓和特征匹配运动目标跟踪算法均值漂移跟踪算法连续自适应均值漂移跟踪算法卡尔曼滤波跟踪算法以及粒子滤波跟踪算法, 分析其特点及相互关系, 详细探讨了各方法的优缺点最后对手势跟踪发展趋势作出了展望关键词 :Kinect; 人机交互 ; 手势跟踪 ; 匹配搜索 ; 粒子采样中图分类号 :TP3914 文献标志码 :A 文章编号 : (2015) doi: /j.isn OverviewofhandgesturetrackingbasedonKinect LiuJi a,b,zhengyong a,xiedonghui a,zhangxiaorui a,b (a.schoolofinformation&control;b.jiangsukeylaboratoryofbigdataanalysistechnology,nanjinguniversityofinformationscience& Technology,Nanjing210044,China) Abstract:ThepaperreviewedthecurentrepresentativealgorithmsofhandgesturetrackingbasedonKinect,namelymoving targettrackingalgorithm basedoncontourandfeaturematching,meanshifttrackingalgorithm,continuousadaptivemean Shifttrackingalgorithm,Kalmanfiltertrackingandparticlefiltertrackingalgorithm,andanalyzedtheircharacteristics.Then itdiscusedtheadvantagesanddisadvantagesofthesealgorithmscarefuly.finaly,thispaperproposedtheprospectonthe developmenttrendsofhandgesturetracking. Keywords:Kinect;humancomputerinteraction;trackingofhandgesture;matchsearch;particlesampler 手势交互是人机交互中一种十分重要的交互方式, 它主要是从计算机视频图像中检测手势并进行跟踪识别, 从而理解人的意图精确的人手部跟踪可以促进手语识别 [1] 机器人控制人机交互等多方面的应用发展目前基于 Kinect 的手势跟踪是人机交互领域的研究热点之一在 Kinect 等深度相机出现之前, 人们通常利用一般的 RGB 相机进行多手势的跟踪若使用一个相机, 则只能实现二维手势跟踪, 与此对应的交互为二维人机交互, 如用指尖控制鼠标 [2] [3,4] 绘画或者定义一些手势进行识别 [5] Kinect 深度相机不仅能提供普通相机所有的场景彩色图像, 还能提供场景的深度图像, 利用一个 Ki nect 相机就能获取手势位置 Kinect 易于实现更自然的人机交互, 当研究多目标变形快速运动的应用场景下的手势检测与跟踪时, 也能取得较理想的结果, 因此它让手的跟踪更加稳定 Kinect [6] 是由微软公司 2010 年 11 月推出的 3D 体感摄像机,KinectforWindows 是微软对 Windows 平台的 Kinect 应用开发而推出的一套硬件设备 Kinect [7] 的摄像部分包括一个红外摄像头一个 RGB 摄像头和一个红外发射器, 如图 1 所示红外发射器可发出近红外激光, 当激光照射到粗糙物体时会形成具有高度随机性的衍射斑点, 称为激光散斑激光散斑会随着成像物体距离不同而变换图案, 当激光散斑照射到整个空间时即对空间进行标记红外摄像头则接收空间标记, 传递至 Kinect 内部的 PS1080SoC 图像处理器芯片图像处理器通过分析散斑图案获得的空间距离生成深度影像, 并使用 USB2.0 协议传输至 PC 端图 1 kinect 外观图和内部结构图基于手势操作基本过程图基于 Kinect 手势操作主要包括以下几部分, 如图 2 所示 a) 图像采集采集过程由 Kinect 传感器获得图像序列 ( 包含目前的图像和先前的图像 ) b) 手部定位进行手部的定位, 包含手势的分割和跟踪手部分割的主要作用是判断图像中的哪些像素点属于手部, Kinect 在这一方面有着独特的优势, 因为它只需要一个深度阈值就可以达到较好效果目前用到基于 Kinect 深度图像最常 [8,9] 见的分割方法就是肤色分割 Bastos 和曹建秋等人分别利 [10] 用 HSV 空间和 YCbCr 空间进行肤色分割于洋通过结合设置动态阈值和灰度级直方图的方法进行手势识别和分割, 达到较好效果手势跟踪牵涉到较多算法, 所以也较为复杂, 它收稿日期 : ; 修回日期 : 基金项目 : 国家自然科学基金资助项目 ( , ); 江苏省自然科学基金资助项目 (BK ); 虚拟现实技术与系统国家重点实验室开放基金资助项目 (BUAAVR13KF04) 作者简介 : 刘佳 (1981), 女, 江苏扬州人, 副院长, 副主任, 副教授, 博士, 主要研究方向为虚拟现实 / 增强现实人机交互 (liujia@nuist.edu.cn); 郑勇 (1989), 男, 江苏南京人, 硕士研究生, 主要研究方向为虚拟现实 / 增强现实人机交互 ; 翧冬慧 (1990), 女, 江苏常州人, 硕士研究生, 主要研究方向为增强现实人机交互 ; 张小瑞 (1979), 女, 河南南阳人, 副教授, 博士, 主要研究方向为虚拟现实人机交互.

2 1922 计算机应用研究第 32 卷决定图像序列中手部的运动轨迹跟踪问题是本文研究的重点, 下文将作具体分析 c) 三维姿态的评估和手势识别评估由手部模型和模型拟合组成, 该部分主要对处理的图像进行评估和筛选, 根据结果观察是否能达到预期效果手势识别则是对分割出的手部形态以及跟踪到的运动轨迹来判断当前的手势是属于预设中的哪一种手势手势的识别由手势类型和识别算法构成, 根据手势识别的研究方向, 可将其分为以数据手套为基础的手势识别技术以计算机视觉为基础的手势识别技术和基于触摸屏的手势识别技术等, 涉及的算法有隐马尔可夫模型算法动态贝叶斯算法模板匹配动态规划动态时间规整有限状态机等图 2 基于 Kinect 手势操作示意图基于手势跟踪的难点从目前研究来看基于 Kinect 的手部跟踪主要存在以下几个难点 : a) 实时性通常情况下为了保证 Kinect 有较高的识别率, 在实际的手势识别操作系统中, 算法使用的复杂性很高, 因而需要大量设备进行并行处理, 需要比较高端的处理器然而目前大多数用户所使用的计算机的处理能力都比较一般, 这使得整个手势识别系统很难达到实时性的要求 b) 错误恢复问题目前的跟踪算法无法保证跟踪不会丢失, 即使跟踪准确度极高, 当目标移出 Kinect 深度摄像头视觉范围内或者长时间被其他目标遮档时均会造成目标的丢失因此, 需要目标跟踪丢失时快速恢复错误恢复的研究重点包括确定目标丢失和跟踪恢复算法两部分 ; 在跟踪失败之后如何快速恢复跟踪也是研究的重点 c) 多目标跟踪与干扰的处理 Kinect 对目标跟踪数量有明确的限制, 另外多目标跟踪主要处理两个问题 : 实时性与干扰在多目标跟踪系统中, 由于同时需要对多个目标进行跟踪, 需要多目标并行的跟踪算法以实现实时性的需求 ; 此外需要在跟踪的同时定位新目标, 故对目标跟踪与目标检测算法的实时性要求较高目前的目标检测与跟踪算法很难满足这种应用场景 d) 复杂运动下的跟踪手势动作在三维空间内有很大的运动空间和活动范围, 人们在做同一种手势动作时, 由于熟练程度动作幅度个人习惯等不同, 每次手势的相对位置方向角度以及幅度大小都不尽相同复杂运动下的跟踪还需处理的一个难点即是变形手势的跟踪, 手势在运动时可能发生快速的变形, 因此, 应用模板轮廓等特征的目标跟踪算法会受到很大的限制目前, 基于 Kinect 手势跟踪已经引起了许多研究机构高度重视, 意大利的 PRISMA 实验室美国的路易斯维尔大学哥伦比亚国立大学韩国高丽大学延世大学等国外研究机构及浙江大学 [11] 华南理工大学 [12] 上海交通大学 [13] 哈尔滨工程大学 [14] [15] 成都理工大学等国内研究人员都对 Kinect 的手部跟踪进行了比较细致的研究基于手势跟踪的主要算法基于 Kinect 摄像头的手势跟踪是利用 Kinect 的红外发射器和红外摄影机以及内部的图像处理芯片得到手势深度图像, 再利用一些算法对这些动态的手势深度图像进行追踪这些手势跟踪算法主要包含基于轮廓和特征匹配目标跟踪算法基于滤波预测手部跟踪方法基于优化匹配搜索手部跟踪方法三大类基于轮廓的跟踪算法通过对目标的分割和边缘提取实现对运动目标的跟踪然而, 当目标被部分或全部遮挡时, 跟踪算法将受到很大的限制基于特征匹配的目标跟踪算法则主要根据手部的一些特征属性, 结合设计的算法进行研究基于优化匹配搜索手部跟踪方法中的均值漂移 (Mean [16] Shift) 理论最早是由 Fukunaga 等人为了估计概率密度梯度函数而提出的 MeanShift 是一种无参密度估计函数, 它沿着密度分度梯度上升的方向寻找分布的峰值 CamShift 算法是以颜色概率分布图为基础进行的目标跟踪算法, 是对 Mean Shift 算法的改进, 对具有特定颜色的目标跟踪具有较好的效果但该算法对运动物体不作任何预测, 在复杂背景目标位置发生突变时将导致跟踪失败基于滤波预测的方法主要是指将目标跟踪过程转换为概率函数的估计问题基于 Kalman 滤波的方法最早是由 Kal man [17] 在 20 世纪 60 年代年提出的 2010 年 Kinect 问世, 巴 [18] 西利亚大学助理教授 Bo 等人将 Kalman 滤波和 Kinect 第一次联系在了一起后来许多研究者将这种算法进一步用于 Ki nect 的手部跟踪, 取得较好结果 Condensation 算法也被称为粒子滤波器, 最早由 Isard 和 Blake [19] 在 1996 年提出用来跟踪运动的目标, 由于此方法能很好地适应非线性非高斯的系统, 并且将高维积分问题转换为离散样本 ( 粒子 ) 的加权和问题, 大大降低了计算的复杂性并且具有较好的跟踪精确性和稳定性, 因此在众多领域中得以广泛应用图 3 列出了基于 Kinect 手势跟踪的主要算法分类图 3 基于 Kinect 手势跟踪的主要算法分类基于轮廓和特征匹配跟踪算法基于轮廓的跟踪算法基于轮廓的方法是当前运用比较普遍的方法, 该方法通过计算手区域轮廓上每个点与其左右邻接点构成的向量的夹角及其方向来判断指尖候选点, 其缺点是对手区域分割的精度要求较高美国路易斯维尔大学的 Li [20] 采用基于 Kinect 手势识别的工作系统由手工检测手指识别和手势识别三个主要部分组成在第二个步骤中采用手势的轮廓跟踪算法,a) 扫描屏幕上的所有像素, 设定出发点 ;b) 对起点的当前像素进行邻域检查, 并计算邻域 ;c) 顺时针发现像素, 进行循环反复, 直到检测的数量超过最大值 [21] 沈阳工业大学的苑玮琦等人首先定位手形轮廓的起始

3 第 7 期刘佳, 等 : 基于 Kinect 的手势跟踪概述 1923 点, 然后依据手形轮廓的走向在局部区域内确定出候选的轮廓点集, 并用合适的梯度卷积模板计算出候选像素点集中垂直于边缘方向上梯度最大的点 ( 此处的边缘方向是指从上一轮廓点到该候选点的方向 ); 接着逐点跟踪梯度最大点, 即可得到完整的手形轮廓基于特征匹配的跟踪算法基于特征匹配的跟踪方法不考虑运动目标的整体特征, 即不关心具体的运动目标, 而只通过其特征来进行跟踪, 这些特征包括运动速度大小手指的弯曲程度手指的运动轨迹利用基于特征匹配的方法进行目标跟踪时, 主要包括特征提取和特征匹配两个过程, 如图 4 所示 [26] 的 Yang 等人利用一般不适用该彩色数据但对深度数据实现的颜色的跟踪算法来实现基于深度的跟踪然而这种方法可能会出现一个目标对象连接具有类似深度的对象问题跟踪算法如图 5 所示假设手势有主导成分为波浪状的运动, 本文的算法侧重于找到这些波浪状的运动并检测和跟踪手势波浪状运动检测由移动物体的识别聚类和目标物体检测组成如果目标对象 ( 如手 ) 像波浪运动一样移动, 那么探测器就决定目标对象 ; 然后在手区域深度直方图被初始化并传送到跟踪部分图 4 基于特征匹配的手部跟踪算法流程 [22] 同济大学的 Tao 等人提出 Kinect 传感器作为输入设备, 同时捕捉 RGB 图像和深度图像该方法包含以下步骤 :a) 边缘提取 ;b) 把每个分离的轮廓取为 BLOB;c) 通过 KNN 分类算法来执行 BLOB 追踪由于人手的速度是有限的, 跟踪问题可以通过在两个帧之间来寻找最简匹配基于轮廓和特征匹配跟踪算法主要利用目标的轮廓和外部特征信息方法进行跟踪 Li 和苑玮琦等人的主要工作是将基于 Kinect 的手部轮廓提取出来, 包括在跟踪开始时初始化目标轮廓, 一旦初始化不理想则会导致目标跟踪失败, 所以它的计算量相对简单 Tao 等人方法的难点在于确定连续帧间的特征对应关系, 尤其是每一帧图像的特征数存在差异, 稳定性欠缺, 但对于运动目标的尺度, 颜色等特征不敏感, 效果较好基于优化匹配搜索手部跟踪算法基于均值漂移手部跟踪算法 MeanShift 在目标跟踪中的应用就是选择目标特征向量, 计算新目标点与原目标点的相似性, 通过迭代求解新目标点并更新, 直到算法收敛 [23] 土耳其海峡大学的 Keskin 等人提出利用 Kinect 提取深度图像, 采用中间表示的想法跟踪对象, 生成手部图像并做好部分标签, 使得每个骨骼关节都会在标记的中心部分 ; 然后手动设置骨架参数并形成大型数据集, 同时训练几个随机决策树 (RDT) [24] ; 最后再应用均值漂移算法来估算手部关节中心, 由此产生的框架可以实时估计手的姿势作为验证, 通过使用该算法演示系统来对美国手语 (ASL) 位数进行识别 [25] Chen 等人提出的算法包括三个阶段第一阶段是基于手移动位置预测, 该阶段主要计算新手位置移动速度 ; 第二阶段整个手区域使用一个区域上的三维点云生长技术来分割手区域, 对整个手区域可找到点云连接组件, 同时找到种子点并对整个区域手分段 ; 第三阶段为对手中心的定位, 该阶段根据所设定的深度边界点评估粗糙手中心, 利用均值漂移细化手的中心位置并尝试找出手掌中心虽然这个均值漂移过程可以迭代地执行, 但一次迭代对于实验已经足够基于连续自适应均值漂移手部跟踪算法通常基于 Kinect 深度颜色跟踪有两个局限性 :a) 对于手和手臂的背景往往有相同的颜色 ;b) 光照的变化过于频繁为了减轻基于色彩跟踪算法的局限性, 来自韩国首尔高丽大学图 5 基于连续自适应均值漂移手部跟踪算法流程在跟踪过程中, 连续自适应均值漂移 (Camshift) 算法应用到搜索窗口, 直到它收敛于最可能的目标 Camshift 可以自适应地根据对象的大小改变搜索窗口变化, 事实证明这种算法很适合追踪手来回移动该算法计算初始搜索窗口的直方图, 继而发现移动的窗口, 初始搜索窗口和跟踪窗口之间最小化直方图的区别如果手腕或手肘与手的深度类似, 跟踪性能就会退化, 因为手腕或肘部的干扰,Camshift 无法准确跟踪一只手为了解决这个问题, 提出了一种手工优化的深度分布跟踪方法 [26] a) 找到手尖, 确定对方的终点手腕上的手尖 (T X,T Y ) 的一面 b) 计算手尖高斯概率加权深度图像, 一个手尖端周围的高斯分布权重 G(x u,v ) ^p xu,y =^p xu,y G(x u,y ) ( u d -T X )2+(v d -T Y )2 G(x u,y )=K 1 2 e- 2σ2 槡 2πσ 其中 :x u,y 是深度图像的像素 ;u v 和 K 是规范化因子,d 是一个比例因子深度概率被施加到 Camshift 算法的跟踪程序该方法由于框架与手部动作的手变化的深度, 通过更新每个直方图确保了手部跟踪准确性基于优化匹配搜索手部跟踪算法是采用无参估计的方法优化候选目标和目标模板的迭代收敛过程, 以达到缩小搜索范围的目的 Keskin 和 Chen 所提出的算法对目标的旋转变形有一定的适用性, 能够对非线性非刚性目标进行实时跟踪 ; 但是该算法忽略了运动目标的方向和速度信息, 也容易造成目标丢失所以 MeanShift 算法实时性较强, 计算量偏大 Cam Shift 算法可以有效地解决目标部分遮挡和变形的问题, 运算效率也较高, 但是在跟踪前需要指定跟踪目标基于滤波预测跟踪方法基于卡尔曼滤波手部跟踪算法 Kalman 滤波进行跟踪的最适合条件为 : 状态估计假设为线性高斯程, 完全由均值向量和协方差矩阵来确定 [27] 深圳先进技术研究院的 Tang 等人提出的方法包括三个主要步骤 : 肤色分割和检测深度分割与检测跟踪的三维空间该方法选用 YCbCr 色彩空间作肤色分割根据经验设置初始值, 使得大部分的皮肤颜色的物体从其他对象中分离出来 ; 接着把手和其他皮肤色的对象分开, 这需要选择手里面的

4 1924 计算机应用研究第 32 卷点作为种子点, 一个区域生长算法从种子点开始应用到深度图像 ; 最后使用了卡尔曼滤波器跟踪手的质心当跟踪两只手时, 容易发生重叠问题在这种情况下, 使用区域生长算法迭代地对重叠区域提取双手跟踪信息可以被记录以便在今后的工作中应用 [28] 韩国延世大学的 Park 等人提出在深度空间使用 Kinect 并采用卡尔曼滤波实时 3D 手势跟踪方法该方法将状态方程设为三个维度, 而对于控制向量, 在每一个轴上使用三维向量作为在轴上的速度 ; 接着定义手中的参考点, 这个点可以作为椭圆的中心而得到, 而椭圆由初始手检测过程中检测的手确定的检测的方法是 : 存储当前的参考点和群集, 然后找到所有的运动集群中的下一帧卡尔曼的应用程序过滤跟踪通常修复控制更新为常数在此算法中, 手的速度连续地变化, 它们更新每帧为各轴的速度, 因此跟踪手的位置也更准确基于粒子滤波手部跟踪算法粒子滤波也称为条件概率密度传播算法 ( 简称 Condensa tion), 它是通过非参数化的序列蒙特卡罗方法 (sequential MonteCarlomethod) 实现递推的贝叶斯滤波, 用加权样本 ( 粒子 ) 的形式而不是函数的形式对先验和后验概率进行描述在测量的基础上, 通过调节各粒子的权重大小和样本的位置来近似实际概率分布, 并以样本的期望作为系统的估计值 [29] 张中甫采用粒子滤波追踪手指运动该方法在目标区域随机生成若干个粒子, 根据粒子与目标的关联, 对粒子的权值进行估计并进行归一化处理, 通过一系列的加权粒子来估算状态当粒子滤波器进行若干次迭代后, 一些粒子的权值会趋向无穷小, 从而造成粒子退化根据权值的大小对粒子进行调整, 并再次进行采样算法共分为四步 : 粒子预测权值计算 [30] 状态估计重采样重采样的原理如图 6 所示图 6 粒子采样原理图由于肤色是运动手势的一个显著特征, 它不会随着手势的运动而变化, 并且在手势分割部分考虑到手势运动过程的遮挡问题而对 V 值作了改变因此在动态手势跟踪部分采用了肤色和粒子滤波相结合的方法而目标手势区域与粒子传播的候选区域的相似度通常会采用颜色加权概率 p u 和 q u 之间的巴氏系数 (Bhatacharyya) 来确定, 其中巴氏系数范围在 [0,1] 内, 其值越大表示两者的相似度越高 [31] 印度尼西亚大学的 Alamsyah 等人提出了一种基于使用微软 Kinect 的指尖跟踪系统粒子滤波算法该跟踪是在两个单独的模块执行 : 基于图像的二维位置跟踪和校准一维深度跟踪相较于三维跟踪, 图像的二维位置跟踪和校准一维深度追踪通常更稳定基于滤波预测跟踪方法是预测运动目标下一帧可能出现的位置, 在其位置区域寻找最优点 Tang 和 Park 等人分别针对手的质心和 3D 手势提出滤波算法, 预测时具有最优稳定等优点, 且计算量小可实时计算, 准确把握预测目标的位置和速度但这只适用于呈高斯分布的线性系统, 针对这种情况, Alamsyah 和张中甫提出的粒子滤波系统可以解决此外粒子滤波算法是一种基于贝叶斯理论和蒙特卡洛最优算法, 它节约了大量的存储空间, 并且具有很好的鲁棒性近年来随着 Kinect 相机深度跟踪的成熟化, 所提出的的算 [32] 法也更加多元化杜钊君提出了将 CamShift 跟踪算法和 Kalman 滤波器结合的方法, 利用 Kalman 滤波器预测更新手势位置, 实现准确地手势跟踪波兰热如夫理工大学的 Oszust 等 [33] 人是在 KinectTCP [34] 应用程序上利用 Java 编程语言来实现手部的跟踪算法 KinectTCP 接收来自传感器并作为服务器将数据发送到客户端英国萨里大学 PhilipKrejov [35] 等提出由于环境变化, 手部动作较快和手指运动自由度较高, 他建议使用一个强大的实时方法取代视觉外观测量最大值, 这样更 [36] 加高效和稳定刘伟华等人提出了一种利用 Kinect 摄像头对复杂背景下近景人手指尖空间点的检测和跟踪算法, 该算法能够准确地跟踪多种姿态下手指指尖的空间位置, 具有较低的误差率基于手部跟踪的算法比较目前常用的基于 Kinect 算法都有其自身的优缺点, 为了方便选择和应用这些模型, 有必要对其优缺点进行比较和总结 a) 基于表达和相似性度量算法通常不具有预测功能, 跟踪的完整性也有待加强, 计算量不是很大, 鲁棒性偏低 b) 基于滤波预测方法的 Kalman 滤波具有很好的预测功能, 相对于其他算法, 具有计算量小实时性好无偏和最优的特点, 是目前在视频跟踪方面应用最广泛的算法之一准确的目标检测算法是应用 Kalman 滤波跟踪算法的前提条件而另外的粒子滤波跟踪算法实现了对于非高斯分布的观测概率的描述, 通常计算量较大, 对于实时性要求较高的系统具有局限性 c) 基于优化匹配搜索 CamShift 算法是以颜色概率分布图为基础来进行的目标跟踪算法, 是对 MeanShift 算法的改进, 对具有特定颜色的目标跟踪具有较好的效果但该算法对运动物体不作任何预测, 在复杂背景目标位置发生突变时将导致跟踪失败另外该算法用颜色概率分布图检测目标, 容易引起目标轮廓区域跟踪不完整表 1 对不同类型的手部跟踪算法进行了详细的比较比较项表 1 基于 Kinect 手部跟踪算法比较基于轮廓和特征匹配基于轮廓特征匹配算法基于滤波预测方法 Kalman 滤波算法基于优化匹配搜索 Condensation MeanShift CamShift 算法算法算法是否可以预测否是是否否跟踪完整性一般较好较好较低较低计算量较低较低较低较大较大实时性较低较低较好一般一般鲁棒性较低一般较好较低一般发展趋势目前, 基于 Kinect 手部跟踪的研究方兴未艾, 由于其在军事医疗远程操作虚拟现实制造等领域的广阔应用前景, 其发展得到了越来越多研究人员的重视, 今后其发展将呈现以下趋势 : a) 人们将加大在手势跟踪的准确性实时性鲁棒性等方面的研究力度, 并将单纯基于计算机视觉的手势跟踪技术与其他设备 ( 显示头盔, 数据手套 ) 等融合在一起, 更好地实现虚拟现实 / 增强现实技术, 根据用户的体验, 借鉴人机交互在别的领域

5 第 7 期刘佳, 等 : 基于 Kinect 的手势跟踪概述 1925 取得的成果, 为手势识别跟踪技术的长足发展寻找技术支撑 b)kinect 的跟踪准确性将会进一步提高人们将从多角度分析基于 Kinect 手势跟踪的特征, 如手指弯曲程度运动轨迹手大小对于跟踪的影响手势图像深度信息等, 综合利用这些特征以改善前期手势分割效果另外结合各种基础跟踪算法的优点, 如利用滤波预测方法的可以预测下一帧可能出现的位置优点与优化匹配搜索算法的优化搜索方向优点相结合, 实现目标更准确和全面的跟踪 c) 现阶段 Kinect 价格依然较高, 研究人员未来在改善 Ki nect 性能的同时, 有效地降低 Kinect 的成本, 使之更加快速地走进普通的家庭, 为更多的人带来便捷, 这也是未来趋势 d) 由于 Kinect 自身的限制, 手部对于离 Kinect 的距离有严格要求 (50cm~1.5m), 否则有较大误差距离太近,Ki nect 得不到手部深度值所以对于距离的延展性以及减小误差, 也是未来 Kinect 对于手部的研究方向之一参考文献 : [1] 姜华强, 潘红. 基于关键帧的多级分类手语识别研究 [J]. 计算机应用研究,2010,27(2): [2] OHaganR,ZelinskyA.Fingertrack:arobustandrealtimegesture interface[c]//procofthe10thaustralianjointconferenceonartifi cialinteligence.1997: [3] CrowleyJL,BerardF,CoutazJ.Fingertackingasaninputdevice foraugmentedreality[c]//procofinternationalworkshoponauto maticfaceandgesturerecognition.1995: [4] MacCormickJM,IsardM.Partitionedsampling,articulatedobjects andinterfacequalityhandtracking[c]//procofthe6theuropean ConferenceonComputerVision.2000:319. [5] SegenJ,KumarS.GestureVR:visionbased3Dhandinterfacefor spatialinteraction[c]//procofthe6thacm InternationalConfer enceonmultimedia.1998: [6] Wikipedia.Kinect[EB/OL].( ).htp://en.wikipe dia.org/wiki/kinect. [7] 邓瑞, 周玲玲, 应忍冬. 基于 Kinect 深度信息的手势提取与识别研究 [J]. 计算机应用研究,2013,30(4): [8] BastosR,DiasM S.Skincolorprofilecaptureforscaleandrotation invarianthandgesturerecognition[c]//procofthe7thinternational GestureWorkshop,2009:8192. [9] 曹建秋, 王华清, 蓝章礼. 基于改进 YCrCb 颜色空间的肤色分割 [J]. 重庆交通大学学报 : 自然科学版,2010,29(3): [10] 于洋. 基于手形特征的静态手势识别 [D]. 天津 : 河北工业大学, [11] 晏浩. 基于 Kinect 的三维多手指跟踪算法及应用 [D]. 杭州 : 浙江大学,2013. [12] 陈子毫. 基于深度信息的手势检测与跟踪 [D]. 广州 : 华南理工大学,2012. [13] 陈静. 基于 Kinect 的手势识别技术及其在教学中的应用 [D]. 上海 : 上海交通大学,2013. [14] 于义雪. 手部检测及其运动跟踪算法研究 [D]. 哈尔滨 : 哈尔滨工程大学,2013. [15] 陈?. 手势跟踪检测及识别技术研究与系统实现 [D]. 成都 : 成都理工大学,2013. [16]FukunagaK,HostetlerL.Theestimationofthegradientofadensity function,withapplicationsinpaternrecognition[j].ieeetrans oninformationtheory,1975,21(1):3240. [17]KalmanRE.Anewapproachtolinearfilteringandpredictionprob lems[j].journalofbasicengineering,1960,82:3545. [18]BoAPL,HayashibeM,PoignetP.Jointangleestimationinrehabil itationwithinertialsensorsanditsintegrationwithkinect[c]//proc ofthe33rdannualinternationalconferenceofieeeengineeringin MedicineandBiologySociety.2011: [19]IsardM,BlakeA.Contourtrackingbystochasticpropagationofcon ditionaldendity[c]//procofthe4theuropeanconferenceoncom putervision.berlin:springverlag,1996: [20]LiYi.HandgesturerecognitionusingKinect[C]//Procofthe3rd InternationalConferenceonSoftwareEngineering& ServiceScience. 2012: [21] 苑玮琦, 董茜, 桑海峰. 基于方向梯度极值的手形轮廓跟踪算法 [J]. 光学精密工程,2010,18(7): [22]TaoHongyong,YuYouling.Fingertrackingandgestureinteraction withkinect[c]//procofthe12thinternationalconferenceoncom puterandinformationtechnology.2012:216. [23]KeskinC,KiracF,KaraYE,etal.Realtimehandposeestimation usingdepthsensors[c]//consumerdepthcanerasforcomputervi sion.2013: [24]BreimanL.Randomforests[J].MachineLearning,2001,45(1): 532. [25]ChenCP,ChenYuting,LeePinghan,etal.Realtimehandtrack ingondepthimages[c]//visualcommunicationsandimageproces ing.2011:14. [26]YangC,JangY,BehJ,etal.Gesturerecognitionusingdepthbased handtrackingforcontactlescontrolerapplication[c]//procof InternationalConferenceonConsumerElectronics.2012: [27]TangCheng,OuYongsheng,JiangGuolai,etal.Handtrackingand poserecognitionviadepthandcolorinformation[c]//procofieee InternationalConferenceonRoboticsandBiomimetics.2012: [28]ParkS,YuSunjin,KimJ,etal.3DhandtrackingusingKalmanfil terindepthspace[j].eurasipjournalonadvancesinsignal Processing,2012(2):36. [29] 张中甫. 基子深度信息的手势识别研究及应用 [D]. 杭州 : 浙江大学,2013. [30] 王炳锡, 屈丹, 彭煊. 实用语音识别基础 [M]. 北京 : 国防工业出版社,2005. [31]AlamsyahD,FananyM I.Particlefilterfor3D fingertipstracking fromcoloranddepthimageswithocclusionhandling[c]//procofin ternationalconferenceonadvancedcomputerscienceandinforma tionsystems.2013: [32] 杜钊君. 基于体感传感器的手势识别及人机交互系统研究 [D]. 武汉 : 武汉科技大学,2013. [33]OszustM,WysockiM.Polishsignlanguagewordsrecognitionwith Kinect[C]//Procofthe6thInternationalConferenceonHumanSys teminteraction.2013: [34]KinectTCP[EB/OL].[ ].htps://sites.google.com/a/ temple.edu/kinectcp/. [35]KrejovP,BowdenR.Multitouchles:realtimefingertipdetection andtrackingusinggeodesicmaxima[c]//procofthe10thieeein ternationalconferenceonautomaticfaceandgesturerecognition. 2013:17. [36] 刘伟华, 樊养余, 雷涛. 基于深度图像的运动人手检测与指尖点跟踪算法 [J]. 计算机应用,2014,34(5): [37] 赫文强, 艾矫燕, 赫银峰. 动态手势识别及在 PPT 播放当中的应用研究 [J]. 自动化技术与应用,2014,33(2):6061. [38] 覃文军, 杨金柱, 王力, 等. 基于 Kalman 滤波器与肤色模型的手势跟踪方法 [J]. 东北大学学报 : 自然科学版,2013,34(4): [39]WrenC,AzarbayejaniA,DarelT,etal.Pfinder:realtimetrack ingofthehumanbody[j].ieeetransonpaternanalysisand MachineInteligence,1997,19(7): [40] 侯志强, 韩崇昭. 视觉跟踪技术综述 [J]. 自动化学报,2006,32 (4): [41]HsuR,AbdelMotalebM,JainA.Facedetectionincolorimages [J].IEEETransonPaternAnalysisandMachineInteligence, 2002,24(5): [42]SuarezJ,MurphyRR.Handgesturerecognitionwithdepthimages: areview[c]//procofthe21stieeeinternationalsymposiumonro botandhumaninteractivecommunication.2012: [43] 李伟群. 人手跟踪方法研究综述 [J]. 计算机与数字工程,2010,38 (9):

上海现代设计集团建筑协同设计平台研究与应用

上海现代设计集团建筑协同设计平台研究与应用邓雪原苏昶孙朋王国俭上海交通大学土木工程系上海上海现代建筑设计集团有限公司上海本文首先分析了建筑协同设计发展过程中存在的问题指出建筑协同设计的发展需要经过二维协同设计向三维协同设计的过渡接着对适合于大型建筑设计企业的建筑协同设计平台的关键问题进行了阐述通过上海现代建筑设计集团一个实际工程项目详细描述了建筑工程协同设计的方法与过程然后对建筑协同设计的标准统一工种协同等特点和高效沟通及超大项目的应用优势进行了讨论