08019aa5-1f0b-4921-a1f8-e6a070e0d138

Transcription

1 ISSN ,CODEN SCYCE4 Journal of Data Acquisition and Processing Vol. 35,No. 1,Jan. 2020,pp DOI: /j C 2020 by Journal of Data Acquisition and Processing sjcj. nuaa. edu. cn E nuaa. edu. cn Tel/Fax: 人脸表情识别综述 叶继华, 祝锦泰, 江爱文, 李汉曦, 左家莉 ( 江西师范大学计算机信息工程学院, 南昌,330022) 摘要 : 人脸表情识别是人类情感识别的基础, 是近年来模式识别与人工智能领域研究的热点问题 本文首先总结了人脸表情识别的发展过程, 主要包括传统的表情特征提取 表情分类方法与基于深度学习的表情识别方法, 并对各种算法的识别率与性能进行了分析与比较 然后介绍了表情识别常用的数据集及各数据集的优势与存在的问题, 并针对这些问题归纳分析了生成对抗网络等用于数据增强的技术与方法 最后, 总结了表情识别领域目前存在的问题并展望了未来可能的发展 关键词 : 表情识别 ; 特征提取 ; 表情分类 ; 深度学习 ; 表情数据集中图分类号 :TP 文献标志码 :A Facial Expression Recognition: A Survey YE Jihua,ZHU Jintai,JIANG Aiwen,LI Hanxi,ZUO Jiali (College of Computer Information and Engineering, Jiangxi Normal University, Nanchang, , China) Abstract:Facial expression recognition is the basis of human emotion recognition,which has been a hot topic in pattern recognition and artificial intelligence. This paper summarizes the development process of facial expression recognition framework,mainly including the traditional expression feature extraction, expression classification method and deep learning based expression recognition method,and then analyzes and compares the recognition rate and performance of various algorithms. Moreover,this paper introduces the commonly used datasets of facial expression recognition and the advantages and problems of each data set. In view of these problems,the techniques and methods for data enhancement are analyzed,such as generative adversarial network (GAN). Finally,the existing problems in the field of facial expression recognition are summarized and the prospect of future development is put forward. Key words: facial expression recognition; feature extraction; expression classification; deep learning; expression dataset 引 言 人脸表情是一种非常重要的语言交往方式, 也是人与人之间进行沟通的重要手段 1971 年,Ek [1] man 等第一次将表情划分为 6 种基本形式, 包括悲伤 (Sad) 高兴 (Happy) 恐惧 (Fear) 厌恶 (Dis gust) 惊讶 (Surprise) 和愤怒 (Angry) 随着面部表情研究的发展与深入, 基于运动单元 (Action unit, AU) 的面部动作编码系统 (Facial action coding system, FACS) 被提出, 其通过分析运动单元的运动特 基金项目 : 国家自然科学基金 ( , , , ) 资助项目 收稿日期 : ; 修订日期 :

2 22 数据采集与处理 Journal of Data Acquisition and Processing Vol. 35, No. 1, 2020 征及其对应区域来说明与之联系的相关表情 人脸表情识别 (Facial expression recognition, FER) 技术是将生理学 心理学 图像处理 机器视觉与模式识别等研究领域进行交叉与融合, 是近年来模式识别与人工智能领域研究的一个热点问题 人脸表情识别在计算机视觉 社会情感分析 刑事案件侦破与医疗诊断等方面有着广泛的应用 [2] 人脸表情识别是人脸识别的进一步发展, 主要包括了 3 个基本步骤, 即人脸图像预处理 面部特征提取与表情分类, 如图 1 所示 图像预处理主要是对原始图像 [3] 进行检测与分割 本文主要对传统的面部表情特征提取与表情分类方法以及基于深度学习的表情识别方法进行归纳与总结 表情数据集是表情识别研究中重要的一部分, 本文对各表情数据集进行了介绍与分析, 总结了各数据集普遍存在的问题, 并针对这些问题, 介绍了几种数图 1 人脸表情识别主要步骤据增强的方法 最后, 总结了目前表情识别研究中存在 Fig.1 Main steps of facial expression recognition 的问题, 并对其未来的发展作出了展望 1 传统的表情识别方法传统的表情识别方法主要分为人脸面部特征提取与表情分类两部分, 分步进行操作 1. 1 表情特征提取一张人脸图片拥有大量的信息, 而且在视频序列中一个人在不同时刻所做出的表情也不完全相 [4] 同, 因此表情识别时需要提取出图像的纹理特征 五官特征等有效信息 这些有效信息的提取对识别速度与准确率的提升具有重要意义 表情特征提取是表情识别研究过程中最重要的部分, 所提取特征 [5] 的鲁棒性与完整性将对最终识别结果产生决定性影响 传统的表情特征提取方法主要分为基于全局 [6] 的提取方法 基于局部的提取方法以及混合提取方法 基于全局的提取方法人脸表情的表现依赖于人脸肌肉的运动 人脸表情图像可以直观表现出人脸做出表情时肌肉运动所带来的相应的人脸纹理与外观的变化, 而这些变化对人脸图像产生全局信息的影响, 从而提出了基于全局的特征提取方法 基于全局的特征提取方法是指将人脸作为一个完整的部分对其进行特征提取, 然后将提取出的特征进行降维处理, 从而获得表情特征 主成分分析 (Principal component analysis, PCA) [7] 方法是图像处理中常用的方法, 其通过线性方法从原始变量中导出主成分, 这些主成分可以尽量保留原始信息, 从而节约处理时间, 并从全局提取特征 但 PCA 方法有以下缺点 : 面对二维人脸图像矩阵必须将其先转化为一维向量, 计算量很大 ; 训练为无监督训练, 不能利用训练样本中的类别信息 ; 识别率有待提高 因此 PCA 方法需要解决二维图像降维的问题, 文献 [8 9] 开始使用二维 PCA 来提取图像的二维特征信息, [8] 其优化目标变为将矩阵 S x 转换为对角矩阵, 然后取前 n 个特征向量 在 PCA 的基础上,Niu 等利用加权主成分分析 (Weighted principal component analysis, WPCA) 进行特征提取并使用改进的支持向量机 [9] (Support vector machine, SVM) 进行表情分类, 提高了识别效率但整体识别准确率较低 ;Zhu 等提出了利用均值主元分析 (Equable principal component analysis, EPCA) 方法进行表情特征提取, 该方法能够 [10] 大幅提高表情特征提取的鲁棒性 ; 周书仁等在对 PCA 进行改进后, 提出了独立成分分析 (Indepen dent component analysis, ICA), 并将其与隐马尔科夫模型 (Hidden Markov model, HMM) 结合, 在保持识别效率的同时提升了识别准确率 ICA 将数据划分为独立分量的线性组合从而获得数据的独立成

3 叶继华等 : 人脸表情识别综述 23 分, 所以具备较好的可分性, 但面对复杂图像会导致识别率下降 此外, 局部线性嵌入 (Locally linear embedding, LLE) 与线性判断分析 (Linear discriminant analy [11] sis, LDA) 也广泛应用于表情特征提取部分 Roweos 等首次提出了使用 LLE 方法进行图像降维处 [12] 理 ;Meng 等将 LLE 与神经网络进行结合, 提出了一种 LLENET 进行特征提取, 并取得了不错的效 [13] 果 Siddiqi 等提出了一种逐步线性判断分析 (Stepwise linear discriminant analysis, SWLDA) 方法用于 [14] 提取表情特征, 得到了较高的识别率 朱明旱等提出一种二维 Fisher 线性判别分析 (Two dimension al Fisher linear discriminant analysis, 2DFLA) 与局部保持投影相结合的表情识别方法, 较大地提升了识别效率 基于全局的特征提取方法在受控制的环境中取得了不错的成绩, 但在样本量小 环境复杂的情况下不能达到很好的效果, 而且性能普遍较差 基于局部的提取方法基于局部的特征提取方法主要是针对人脸的表情易变区域进行编码与表征 常见的局部提取方法主要包括基于几何特征的提取方法和基于纹理的特征提取方法 (1) 基于几何特征的提取方法几何特征的提取主要是通过图像中人脸表情的显著特征, 如眼睛 嘴巴 鼻子 眉毛等部位进行定位, 从而得到丰富的空间几何信息, 通过这些信息进行表情识别 在基于几何特征的提取方法中,AU [15] 是一种比较经典的特征提取方法, 许多研究者开始从图像中 [16] [17] 提取 AU 特征再进行分类 Zhao 等使用多标签学习和联合小块的方式提取 AU 特征 Han 等提出 [18] 了一种用于提高 AU 特征提取效果的面部网格变换法 Coots 等提出的主动形状模型 (Active shape [19] models,asm) 可以更好地提取人脸轮廓以及眼睛 鼻子 嘴的位置 在 ASM 的基础上,Matthews 等提出了主动外观模型 (Acitve appearance models,aam), 能够更加精确地提取人脸轮廓以及五官的位 [20] 置 Barmana 等提出了一种快速 Sic 主动外观模型 (Fast Sic active appearance model, Fast Sic AAM), 通过选择人脸的特征点 ( 眉毛上的 3 个点, 眼睛上的 4 个点, 鼻子上的 3 个点以及嘴巴上的 4 个点 ) 形成一个由特征点之间的欧式距离组成的网格, 以更有效率地提取面部特征 基于几何的特征提取方法可以有效地提取人脸面部表情的显著特征, 但是当图像出现人脸五官不完整, 或角度 光照强度及人脸尺寸等关键识别分类信息丢失时, 会导致提取出的特征出现偏差, 从而使得识别精度下降 (2) 基于纹理特征的提取方法纹理特征是指图像像素周围空间邻域的灰度分布, 最常用的提取方法是局部二值模式 (Local bina ry pattern, LBP) [21] [22] 与 Gabor 变换 传统的 LBP 算法定义了一个 3 3 的 LBP 算子, 设置其中央像素点灰度值作为阈值, 然后对阈值与中央像素点附近 8 个方向的灰度值进行比较, 如果相邻像素点的灰度值大于中心像素的灰度值, 则将其值设为 1, 否则设置为 0, 然后按照一定顺序形成 8 位二进制码, 对应的十进制数则为 LBP 值 传统的 LBP 方法将中心像素与单个邻域像素的灰度值进行比较, 忽略了中心像素的作用以及一定范围内相邻像素之间的关系, 从而导致部分局部特征丢失 面部表情图像特征复杂 细节丰富 类内差异大, 使得传统的 LBP 方法难以详细描述像素在邻域方向上的灰度值变化 所以在 LBP 的基础上, [23] Sheng 等针对 LBP 算子的覆盖区域难以满足不同尺寸图像纹理的问题, 提出了一种多尺度局部二值 [24] 模式,Kabir 等提出了一种基于局部方向模式 (Local directional pattern, LDP) 方差的人脸描述符用于 [25] [26] 人脸表情识别,Jabid 等提出了基于 LDP 的方法, 提升了表情识别的鲁棒性,Li 等通过研究中心像素与相邻像素的定量关系, 提出了一种多方向 LBP 编码方式 (Multi directional LBP,MDLBP), 识别准

4 24 数据采集与处理 Journal of Data Acquisition and Processing Vol. 35, No. 1, 2020 [27] 确率较传统 LBP 方法提升了 1.5% Nagaraja 等提出了完全局部二值模式 (Complete local binary pattern, CLBP), 引入了一种新的包含边缘特征的完整性概念, 用于提取面部表情更重要的特征 [28] 此外,Wu 等提出了一种自适应鲁棒二值模式 (Adaptive robust binary pattern, ARBP), 通过融合平均强度 最小强度和最大强度对阈值方案进行 [29] 改进 Rubel 等提出了一种基于外观特征描述的自适应鲁棒局部完备模式 (Adaptive robust local complete pattern, ARLCP), 克服了现有局部算子的局限性 表 1 给出了 JAFFE 数据集下几种特征提取方法的识别准确率 此外, 基于 Gabor 小波变换的方法也常用于表 表 1 不同特征提取方法在 JAFFE 数据集上的识别准确率 Table 1 Identification accuracy of different feature extraction methods on JAFFE dataset 特征提取方法表情识别准确率 /% LBP LTP LDP MDLBP CLBP ARBP ARLCP [30] 情特征提取 2008 年,Bashyal 等提出基于 Gabor 小波变换的表情特征提取方法, 证明了 Gabor 小波 [31] 在表情特征提取中具有巨大优势 此后,Abboud 等继续使用 Gabor 小波作为滤波器进行表情特征提 [32] 取, 取得了较好的识别效果, 但冗余特征较多且提取时间过长 针对以上问题, 邓洪波等提出了一种基于局部 Gabor 滤波器组, 其算法对 Gabor 进行了特征优化与降维, 从而使得识别性能得到了提升 姚 [33] 伟等提出了一种二层 Gabor 特征选择方法, 其对高维向量做过滤处理, 再对过滤产生的特征子集进行 AdaBoost 选择, 挑选出最具区分度的特征, 从而降低 Gabor 特征的维度 混合提取方法混合提取方法是指将基于全局的特征提取方法和基于局部的特征提取方法进行融合, 共同提取人 [34] 脸表情的多种特征 Chao 等提出使用特定表情的局部二值模式 (ES LBP) 来提取特征, 此方法先使 [35] 用 ASM 提取人脸的标记点, 然后在标记点附近提取 LBP 特征组成 ES LBP 特征 Agarwal 等在提取 [36] 特征时采用流光法和图像梯度相结合的方法 Wang 等将几何特征与纹理特征进行融合从而提取表 [37] 情特征, 取得了较好的识别效果 Liu 等提出了一种基于局部 Gabor 滤波器组和分数次幂多项式核函数 PCA 的人脸表情识别方法, 既克服了传统 Gabor 滤波器组的缺点, 还可以削弱光照影响, 使得识别率得到了大幅提高 1. 2 表情分类在特征提取工作完成后, 需要根据提取出的特征对表情进行分类处理 传统的表情分类方法主要分为机器学习方法与非机器学习方法 非机器学习方法非机器学习方法主要包括了 HMM 模型 模糊数学 (Fuzzy mathemtics) 以及贝叶斯分类器 (Naive [38] Bayes classifier) 等 Filntisis 等提出将 HMM 模型与 ASM 模型相结合的方法, 证明了 HMM 插值可以 [39] 有效地实现表情地分类 Devi 等对 HMM 的时间复杂度与参数进行了优化, 使其可以并行处理图像, [40] [41] 从而提升了分类效率 Halder 等使用模糊数学使分类准确度达到了 87.8% Sebe 等提出了一种通过 Cauchy 贝叶斯分类器进行表情分类的方法, 此方法使用 Cauchy 分布替代高斯分布, 得到了更为出色的分类效果 机器学习方法随着机器学习的深入发展, 研究者开始使用机器学习方法对表情进行分类 常用的机器学习方法 [42] 有 SVM K 近邻算法 (K NearestNeighbor, KNN) 以及神经网络等 Liu 等将提取到的特征分为某一

5 叶继华等 : 人脸表情识别综述 25 种表情的特有特征与两种表情的共有特征, 再用稀疏支持向量机算法对其进行表情识别, 提高了识别精 [43] 确度 孙晓等将面部结构作为先验知识, 将 KNN 与感兴趣区域 (Region of interest,roi) 进行结合, 用于深度学习训练后表情分类的部分, 提升了深度学习在表情分类中的鲁棒性, 同时极大地降低了识别错 [44] 误率 Hivi 等提出了一种基于方向梯度直方图 (Histograms of oriented gradients,hog), 并对 SVM KNN 与初级神经网络等分类器进行对照试验, 在使用相同表情库与特征提取方式的条件下,SVM 效果最佳, 准确率达到 93.53%; 其次是神经网络, 准确率为 82.57%;KNN 效果最差, 识别率为 79.97% 经过实验证明, 采用机器学习方法进行表情分类的识别率较非机器学习方法有极大的提升 2 基于深度学习的表情识别方法 [45] 2006 年,Hinton 等提出深度信念网络 (Deep belief networks,dbns), 使得深度学习重新引起重 [46] 视 2012 年,Krizhevsky 等提出的 AlexNet 将卷积神经网络用于图像分类, 在 ImageNet 计算机视觉比 [47] 赛中位列第一位 2014 年,Simonyan 等提出一个 19 层 VGGNet 模型, 由尺寸小 数量多的卷积核组 [48] 成卷积组, 在 ILSVRC 大赛中将 Top 5 错误率降至 7.32% 随后, 谷歌团队提出的 GoogLeNet 模型及 [49 51] 其后续改进模型, 进一步将 ImageNet 数据集上的 Top 5 错误率降到了 4.8% 随着神经网络深度的增加, 对网络进行训练时经常会出现梯度消失或梯度爆炸的问题 针对这些问题, 何凯明及其团队提出了深度残差网络 ResNet [50], 通过多个带参数的网络层来学习输入输出之间的残差表示, 在可以增加深度的同时避免了梯度爆炸与梯度消失的问题 在 ResNet 出现后,Google 团队借鉴了 ResNet 的思想, [51] 推出了 Inception ResNet V2 以及 InceptionV4 两种模型, 并对两种模型进行融合, 将 ILSSVRC 比赛的 TOP 5 错误量降到了 3.08% [52] 深度学习在图像识别领域取得的巨大成绩为表情识别提供了新的思路 许多研究者开始将深度神经网络 (Deep neural network,dnn) 用于表情识别 深度学习的出现打破了表情识别中传统的先特征提取后模式识别的固定模式, 可以同时进行特征提取与表情分类, 而且深度学习对特征的提取是通过反向传播算法与误差优化对权值进行迭代更新, 所以能够提取出人类预想不到的关键点和特征 深度学习在表情识别中的应用, 大多基于 VGGNet GooGleNet 与 ResNet 网络模型, 其核心结构均 [53] 为深度卷积神经网络 (Deep convolution neural networks, DCNN) 在此基础上,Mollahosseini 等将 AlexNet 与 GoogleNet 模型结合, 构建了一个 7 层 CNN 用于人脸表情识别, 得到了较好的识别效果 [54] Jung 等提出利用彩色图像与人脸特征点联合训练 CNN 网络, 其网络包括 3 个卷积层与 2 个隐藏层, [55] 但这使得其表情特征学习不够精确 Lopes 等将部分特定特征提取方法与卷积神经网络进行组合, 先采用预处理技术提取部分特定表情特征, 但这会导致未知环境下正确率不高 鲁棒性不足 Verma [56] 等提出了一个具有视觉和面部标识分支的网络, 其视觉分支负责图像序列的输入, 并引入从低层到高层的跳转连接, 以此考虑到底层特征的重要性 ; 面部标识分支研究面部标记轨迹, 考虑到因面部大动作造成的面部特征的变化, 如眼睛 鼻子 嘴唇的动作变化等, 该方法在 CK+ 数据集上取得了较高的识别率 表 2 对几种深度模型在 CK+ 数据集上的识别准确率进行了比较 [57] 除了对基础模型及网络结构进行改进外, 有些研究者还对损失函数进行了研究与改进 Sun 等 [58] 将 contrastive loss 损失函数用于表情识别 Schroff 等提出 triplet loss 损失函数, 因其可以训练差异性较小样本的优势从而可以更好地训练表情识别网络, 但其计算量较大, 会导致网络性能下降 Wen [59] 等提出了一种 center loss 损失函数, 其目的是关注类内分布均匀性, 让其绕类内中心均匀分布, 以实 [60] 现类内差异最小化 Cai 等在传统 softmax 损失函数的基础上, 提出了 island loss 损失函数, 可以在减 [61] 少类内变化的同时, 扩大类间差异, 从而进一步增强深度特征的辨别力 Wang 等提出了一种 AM softmax 损失函数, 以 softmax loss 损失函数作为基础, 引入角度间距, 加入余弦余量项, 使学习到的

6 26 数据采集与处理 Journal of Data Acquisition and Processing Vol. 35, No. 1, 2020 特征在特征空间中的决策边缘最大化, 从而在获得更大类间距的同时极大地减少类内距离 吴慧华 [62] 等对 AM softmax 损失函数与 island loss 损失函数进行结合, 提出了一种基于余弦距离的损失函数 co sine distance loss, 用于对 CNN 学习强区分度表情特征进行监督, 取得了较高的识别准确率 Qiang [63] 等提出了一种全新的损失函数 Knot magnify(km)loss, 通过自适应的方式对训练过程中的每个样本添加一个权重, 从而提升强样本在 DCNNs 中训练的效果 表 3 对比了不同损失函数下表情识别的准确率 表 2 深度模型在 CK+ 数据集识别准确率 Table 2 Recognition accuracy of deep model in CK+ dataset 表 3 不同损失函数下表情识别准确率对比 Table 3 Comparison of facial expression recogni tion accuracy under different loss functions 深度模型 准确率 /% 损失函数 准确率 /% 3DCNN DLP CNN DCNN DAP GAN Inpainting CNN DNN Softmax loss TCAN+Partical contrastive Island loss CNN+FC Center loss KM loss 表情数据集与数据增强 Cosine distance loss 表情数据集比较与分析 表情识别起步相对较晚, 发展还不够成熟, 因此当前公开的数据集也较少 完善的表情数据集需要人脸图片包括各种表情以及五官信息, 常用的表情数据集如下 : [64] (1)The Japanese Female Facial Expression Database(JAFFE) 1998 年,Lyons 等建立了一个日本女性表情数据集 该数据集共 213 张图像, 包含了 10 名日本女性在相同背景下做出的高兴 悲伤 中性 厌恶 生气 害怕以及惊讶这 7 种表情, 每一种表情拥有 30~31 张图像 图像拥有相同的尺寸, 只是光照强度有些差异 [65] (2)The Extended Cohn Kanade Dataset(CK+) 2010 年,Lucey 等建立了目前应用较为广泛的 CK+ 数据集 该数据集拥有更多的数量, 还包括了表情的标记以及运动单元的标记 这个数据集包含 123 位参与人员, 生成了 593 个图像序列, 是目前公开的表情数据集中较为完善的数据集 JAFFE 与 CK+ 数据集部分图像对比如图 2 所示 [66] (3)Natural Visible and Infrared Facial Expression(USTC NVIE) 2010 年,Wang 等建立一个包含自发与诱发 6 种基本表情的静态数据集, 成为目前世界上较为全面的人脸数据集 图 2 Fig.2 JAFFE 与 CK+ 数据集部分图像对比 Comparison of JAFFE and CK + datasets

7 叶继华等 : 人脸表情识别综述 27 [67] (4)Acted Facial Expression in the Wild(AFEW) 2012 年,Dhall 等建立了一个野外动态面部表情数据集 该数据集从电影中获取表情数据, 被用于视频情感识别大赛系列感情识别挑战赛 (5)GENKI 4K 该数据集共 张图像, 包含了两种表情 : 笑与不笑, 被专门用来进行笑脸识别 此数据集姿势随意, 图像大小不一, 光照变化较多, 导致此数据集比较复杂 (6)Bimodal Face and Body Gesture Database(FABO) 该数据集在人脸表情的基础上, 添加了身体姿态信息, 目的在于利用表情与姿态进行表情分析与情感分析 FABO 数据集包含 23 名参与者 9 种不同的表情 [68] (7)Beihang University(BHU) 2007 年, 毛峡等建立了一个由 18 种单一表情 3 种混合表情以及 4 种复杂表情组成的数据集 该数据集在实验室拍摄, 含有部分在其他表情数据集中未曾出现过的情感表情, 使得已有的表情数据集得到了极大的补充 [69] (8)The Facial Expression Datasets with Label in the Wild(FELW) 2019 年, 叶继华等创建了一个自然场景下带标签的人脸表情数据集, 如图 3 所示 该数据集由网络收集的不同性别 种族 年龄的人脸表情图像组成, 对每张图像标注带有人脸部件的表情标签与状态标签, 并引入了 Kappa 一致性检验 FELW 数据集包含了 张图像以及 10 种表情, 图像数量与表情丰富度都得到了不错的提升 图 3 FELW 数据集部分表情图像 Fig.3 Partial expression images of FELW 3. 2 表情数据增强虽然近年来越来越多的表情数据集得到公开, 但人脸表情数据集普遍存在数据规模较小 数据量不足以及数据种类不平衡的问题 随着深度学习更广泛地应用于表情识别, 训练神经网络需要更丰富 平衡的数据集 针对这一问题, 研究者开始使用数据增强的方法扩充原始数据集 [70] 最初, 对原始图像进行几何变换成为一种普遍的做法 Simard 等提出使用平移 旋转以及倾斜 [71] 图像等方式增加样本数量 Lopes 等通过使用二维高斯分布在原始图像眼睛附近加入随机噪声的方法, 生成新的两眼位置, 再通过旋转操作将两眼位置保持平衡, 从而得到新的样本图像 Krizhevsky [72] 等对原始图像进行随机裁剪, 形成固定大小的子样本, 然后再对每个子样本进行水平翻转, 从而将训练集扩充了 倍 针对图像的亮度 对比度等色彩空间属性进行调节, 也是一种常见的数据增强方法 通过对原始图像的亮度进行调节, 在扩大样本数量的同时, 可以在一定程度上削弱光照问题对表情识别产生的影响 除了通过几何变换与调整色彩属性的方法, 对局部区域进行特殊处理也产生了不错的效果 Sun [73] 等提出了一种基于感兴趣区域的表情数据增强方法, 将人脸五官与下巴等在表情识别研究中特征更显著的区域设定为感兴趣区域, 通过对不同图像感兴趣区域的替换来生成新的人脸图像

8 28 数据采集与处理 Journal of Data Acquisition and Processing Vol. 35, No. 1, 年,Goodfellow 提出了生成对抗网络 (Gener ative adversarial network, GAN) [74], 对图像数据增强产生了重要意义 GAN 网络是一种深度生成模型, 如图 4 所示, 包含了生成器与判别器两个部分 生成器通过接收一个随机噪声并根据这个噪声生成假样本, 图 4 GAN 网络模型结构 即生成图像 ; 而判别器用于对生成样本与原始样本进 Fig.4 GAN network model structure 行区分, 判断此图像是否属于真实图像样本 经过不断地生成与判别, 最终生成与原始图像同风格的 图像 随着 GAN 网络的发展, 越来越多的表情识别研究者开始将 GAN 网络用于人脸表情数据集增强 [75] Arjovsky 等提出的 WGAN GP 网络可以通过惩罚梯度以及 Earth MoverhL 来增加网络学习的稳定 [76] 性 Zhu 等提出了一个 CycleGAN 网络, 该模型可以利用未配对的训练数据学习从一个域到另一个 [77] 域的映射函数, 从而实现图像的风格迁移 Mirza 等提出的 CGAN 在模型中加入了类别信息, 从而可 [78] 以生成具有特定标签的图像 Choi 等对 CGAN 与 CycleGAN 进行结合, 提出了一种 StarGAN 网络, 将生成器简化为 1 个, 同时可以生成多种不同风格的图像 此方法完成了表情图像风格迁移的一步跨 越, 使得多邻域图像生成成为可能, 使表情种类更为丰富, 一定程度上解决了大部分表情数据集风格单 [79] 一 数据不平衡的问题 Tang 等提出了一种 EC GAN 网络, 适用于各种不同的表情生成任务, 可以 通过条件属性标签轻松地控制其中特定的面部表情, 增加了生成图像的丰富性 图 5 展示了 StatGan 网 络在 CelebA 数据集上的效果 图 5 Fig.5 StarGAN 在 CelebA 数据集上效果图 Effect of StarGAN on the CelebA dataset 4 人脸表情识别存在的问题与未来的发展 4. 1 存在的问题目前人脸表情识别研究已经有了很大进展, 部分技术也已经得到了应用 但是当前表情识别依然存在着一些问题, 主要有以下几个方面 : (1) 表情种类不够丰富, 人脸表情并不是局限于 6 种基本表情, 这也导致人脸表情识别对复杂表情

9 叶继华等 : 人脸表情识别综述 29 识别效果不佳 (2) 目前传统的特征提取和分类方法一般都是通过标准人脸表情数据集来验证识别率, 对于复杂环境与多变环境考虑不足, 削弱了表情识别系统的适用性 (3) 传统的特征提取方法难以提取出人脸表情中隐藏较深的特征, 而 CNN 等深度学习算法虽然可以提取出人工难以想到的特征, 但训练复杂神经网络需要大量的计算成本与训练时间 4. 2 发展方向在机器学习与人工智能迅速发展的今天, 对人脸表情进行实时识别与分析的需求越来越显著, 表情识别获得了更为广阔的研究前景 表情识别未来的发展应当在技术创新与新应用方向两方面进行探索 技术创新 (1) 进一步解决光照 遮挡等复杂环境下表情识别率下降的问题, 提升表情识别系统的鲁棒性 当前, 自然环境下的数据集并不丰富, 导致很多模型对于复杂环境下的表情识别效果不佳, 构造一个丰富的自然环境下 3D 人脸表情数据集, 对于表情识别未来的研究会产生重要的影响 (2) 在提取表情特征时, 考虑更多的边缘信息 随着边缘计算的兴起与发展, 利用边缘信息进行人脸识别与图像识别的技术正变得越来越成熟, 利用边缘信息分析人脸表情也更加重要 (3) 改进深度模型 当前的深度模型可以得到不错的预测准确率, 但训练中因高复杂度模型产生的过多参数会导致模型训练成本急剧增加, 同时深度模型对于提取到的特征的解释性较差 如何增强深度模型的解释性, 以及如何通过技术对深度模型进行精简, 在降低训练成本的情况下保持并增加模型预测的准确率, 是未来表情识别发展的重要环节 (4) 提高 GAN 网络对表情数据增强的影响, 通过融入非视觉形式, 如对语义特征等更深层次的特征的关注, 来提升模型的泛化能力 此外, 通过生成对抗网络解决表情数据量不平衡, 也是值得关注的问题 新应用方向 (1) 在计算机中训练好的模型虽然可以得到不错的预测效果, 但巨大的计算成本导致其难以使用到轻便设备中 如何更好地将模型运用到移动端与嵌入式设备中, 增加表情识别的实用性, 还有待于进一步研究 (2) 随着微表情在心理学领域的发展, 将表情识别的方法用于对人脸微表情进行识别已经得到了一部分研究者的关注 微表情作为一种自发性的表情, 具有动作幅度小 持续时间短的特点, 所以制作微表情数据集 提取微表情特征是未来的研究重点 (3) 人的表情与动作在很大程度上能够体现一个人的情感状态 在表情识别的基础上, 与姿态分析技术进行结合, 通过实时人脸表情与姿态动作进行情感识别与分析, 是未来研究的重要方向 5 结束语本文重点总结了表情识别中传统的特征提取方法 表情分类方法与基于深度学习的表情识别方法 介绍了表情数据集, 并针对表情数据集出现的数据量不足以及数据不丰富等问题, 总结了 GAN 等用于表情数据增强的方法 最后总结了表情识别目前存在的问题并对未来的发展方向做出了展望 随着心理学的不断发展, 对于人内心情绪的判断变得更为重要, 通过表情识别对心理健康状况进

10 30 数据采集与处理 Journal of Data Acquisition and Processing Vol. 35, No. 1, 2020 行分析与判断是人们当前显著的诉求, 因此通过机器进行表情识别与心理状况分析显得更为重要 未来的表情识别应当朝着效率更高 适用性更强的方向进行发展 参考文献 : [1] EKMAN P, FRIESON WV. Constants across cultures in the face and emotion[j]. Journal of Personality and Social Psychology, 1971, 17: [2] ZHU Yulian. Local bagging and its application on face recognition[j]. Transactions of Nanjing University of Aeronautics & Astronautics, 2010, 27(3): [3] WANG Zhen, XIE Qiang, DING Qiulin. Scratch detection algorithm of car surface based on directional color SUSAN operator [J]. Transactions of Nanjing University of Aeronautics & Astronautics, 2019, 36(3): [4] 胡彬, 杨铖, 邵叶秦, 等. 基于视频的行人再识别 [J]. 南京航空航天大学学报, 2019, 51(5): HU Bin, YANG Cheng, SHAO Yeqin, et al. Video based person re identification[j]. Journal of Nanjing University of Aeronautics and Astronautics, 2019, 51(5): [5] TEHMINA K, MUHAMMAD A S, MUHAMMAD M, et al. Emotion recognition from facial expressions using hybrid feature descriptors[j]. IET Image Processing, 2018, 12(6): [6] YI Jizheng, CHEN Aibin, CAI Zixing, et al. Facial expression recognition of intercepted video sequences based on feature point movement trend and feature block texture variation[j]. Applied Soft Computing, 2019: [7] WOLD S, ESBENSEN K, GELADI P. Principal component analysis[j]. Chemometrics and Intelligent Laboratory Systems, 1987, 2(1/2/3): [8] NIU Zhiguo, QIU Xuehong. Facial expression recognition based on weighted principal component analysis and support vector machines[c]// Proceedings of International Conference on Advanced Computer Theory & Engineering. [S. l.]: IEEE, DOI: /ICACTE [9] ZHU Yani, LI Xiaoxin, WU Guohua. Face expression recognition based on equable principal component analysis and linear regression classification[c]// Proceedings of International Conference on Systems & Informatics. [S. l.]: IEEE, DOI: /ICSAI [10] 周书仁, 梁昔明, 朱灿, 等. 基于 ICA 与 HMM 的表情识别 [J]. 中国图象图形学报, 2008(12): ZHOU Shuren, LIANG Ximing, ZHU Can, et al. Facial expression recognition based on independent component analysis and hidden Markov model[j]. Journal of Image and Graphics, 2008(12): [11] ROWEIS S T. Nonlinear dimensionality reduction by locally linear embedding[j]. Science, 2000, 290(5500): [12] MENG Dan, CAO Guitao, HE Zhihai, et al. Facial expression recognition based on LLENet[C]// Proceedings of 2016 IEEE International Conference on Bioinformatics and Biomedicine (BIBM). [S.l.]: IEEE Computer Society, 2016: [13] SIDDIQI M H, ALI R, KHAN A M, et al. Human facial expression recognition using stepwise linear discriminant analysis and hidden conditional random fields[j]. IEEE Transactions on Image Processing, 2015, 24(4): [14] 朱明旱, 罗大庸. 2DFLD 与 LPP 相结合的人脸和表情识别方法 [J]. 模式识别与人工智能, 2009, 22(1): ZHU Minghan, LUO Dayong. Faceand expression recognition method by combing 2DFLD with LPP[J]. Patt Recog Artif Intell, 2009, 22(1): [15] PANTIC M, BARTLETT M S. Face recognition[m]. [S.l.]: I Tech Education and Publishing, [16] ZHAO Kaili, CHU Wensheng, TORRE F D L, et al. Joint patch and multi label learning for facial action unit detection[c]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S. l.]: IEEE Computer Society, 2015: [17] HAN Shizhong, MENG Zibo, LIU Ping, et al. Facial grid transformation: A novel face registration approach for improving fa cial action unit recognition[c]// Proceedings of 2014 IEEE International Conference on Image Processing (ICIP). [S.l.]: IEEE,

11 叶继华等 : 人脸表情识别综述 : [18] COOTES T F, TAYLOR C J, COOPER D H, et al. Active shape models their training and application[j]. Computer Vision and Image Understanding, 1995, 61(1): [19] MATTHEWS I, BAKER S. Active appearance models revisited[j]. International Journal of Computer Vision, 2004, 60(2): [20] BARMAN A, DUTTA P. Facial expression recognition using distance and shape signature features[j]. Pattern Recognition Letters, 2017: S [21] OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution gray scale and rotation invariant texture classification with lo cal binary patterns[j]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): [22] ZHANG Ziyang, MU Xiaomin, GAO Lei. Recognizing facial expressions based on Gabor filter selection[c]//proceedings of International Congress on Image and Signal Processing. Shanghai, China: IEEE, 2011: [23] LIAO Shengcai, ZHU Xiangxin, LEI Zhen, et al. Learning multi scale block local binary patterns for face recognition[c]// Proceedings of the 2007 International Conference on Advances in Biometrics. [S.l.]: DBLP, 2007: [24] KABIR H, JABID T, CHAE O. A local directional pattern variance (LDPV) based face descriptor for human facial expression recognition[c]//proceedings of Seventh IEEE International Conference on Advanced Video & Signal Based Surveillance. [S.l.]: IEEE, DOI: /AVSS [25] JABID T, KABIR M H, CHAE O. Robust facial expression recognition based on local directional pattern[j]. ETRI Journal, 2010, 32(5): [26] LI Hao, LI Guomin. Research on facial expression recognition based on LBP and deep learning[c]// Proceedings of 2019 Inter national Conference on Robots & Intelligent System (ICRIS). [S.l.]: IEEE, 2019: [27] NAGARAJA S, PRABHAKAR C J, KUMAR P P. Complete local binary pattern for representation of facial expression based on curvelet transform[c]// Proceedings of International Conference on Multimedia Processing, Communication and Informa tion Technology (MPCIT). [S.l.]: Association of Computer Electronics and Electrical Engineers, 2013: [28] WU Xuelian, QIU Qingchen, LIU Zhi, et al. Hyphae detection in fungal keratitis images with adaptive robust binary pattern[j]. IEEE Access, 2018, 6: [29] RUBEL A S, CHOWDHURY A A, KABIR M H. Facial expression recognition using adaptive robust local complete pattern [C]// Proceedings of 2019 IEEE International Conference on Image Processing (ICIP). [S.l.]: IEEE, 2019: [30] BASHYAL S, VENAYAGAMOORTHY G K. Recognition of facial expressions using Gabor wavelets and learning vector quantization[j]. Engineering Applications of Artificial Intelligence, 2008, 21(7): [31] ABBOUD B, DAVOINE F, DANG M. Expressive face recognition and synthesis[c]// Proceedings of Conference on Com puter Vision & Pattern Recognition Workshop. [S.l.]: IEEE, DOI: /CVPRW [32] 邓洪波, 金连文. 一种基于局部 Gabor 滤波器组及 PCA+LDA 的人脸表情识别方法 [J]. 中国图象图形学报,2007, 12(2): DENG Hongbo, JIN Lianwen. Facial expression recognition based on local Gabor filter bank and PCA+LDA[J]. Journal of Image and Graphics, 2007, 12(2): [33] 姚伟, 孙正, 张岩. 面向脸部表情识别的 Gabor 特征选择方法 [J]. 计算机辅助设计与图形学学报, 2008, 22(1): YAO Wei, SUN Zheng, ZHANG Yan. Optimal Gabor feature for facial expression recognition[j]. Computer Graphics, 2008, 22(1): [34] CHAO Weilun, DING Jianjun, LIU Junzuo. Facial expression recognition based on improved local binary pattern and class reg ularized locality preserving projection[j]. Signal Processing, 2015, 117: [35] AGARWAL S, MUKHERJEE D P. Facial expression recognition through adaptive learning of local motion descriptor[j]. Mul timedia Tools and Applications, 2017, 76(1): [36] WANG Xiaohua, JIN Chao, LIU Wei, et al. Feature fusion of HOG and WLD for facial expression recognition[c]// Proceed

12 32 数据采集与处理 Journal of Data Acquisition and Processing Vol. 35, No. 1, 2020 ings of 2013 IEEE/SICE International Symposium on System Integration (SII). Kobe, Japan: IEEE, DOI: /SII [37] LIU Shuaishi, TIAN Yantao. Facial expression recognition method based on Gabor wavelet features and fractional power poly nomial kernel PCA[C]// Proceedings of International Symposium on Neural Networks. Berlin, Heidelberg: Springer, 2010: [38] FILNTISIS P P, KATSAMANIS A, MARAGOS P. Photorealistic adaptation and interpolation of facial expressions using HMMS and AAMS for audio visual speech synthesis[c]// Proceedings of 2017 IEEE International Conference on Image Pro cessing (ICIP). [S.l.]: IEEE, DOI: /ICIP [39] DEVI D N, RAO M V K. A novel method to achieve optimization in facial expression recognition using HMM[C]// Proceed ings of 2015 International Conference on Signal Processing and Communication Engineering Systems (SPACES). Guntur, In dia: IEEE, DOI: /SPACES [40] HALDER A, CHARKRABORTY A, KONAR A, et al. Computing with words model for emotion recognition by facial ex pression analysis using interval type 2 fuzzy sets[c]// Proceedings of Fuzzy Systems (FUZZ), 2013 IEEE International Confer ence on. Hyderabad, India: IEEE, DOI: /FUZZ IEEE [41] SEBE N, LEW M S, COHEN I, et al. Emotion recognition using a Cauchy Naive Bayes classifier[c]// Object Recognition Supported by User Interaction for Service Robots. Quebec City, Quebec, Canada: IEEE, DOI: /ICPR [42] LIU P, ZHOU J T, TSANG W H, et al. Feature disentangling machine A novel approach of feature selection and disentan gling in facial expression analysis[c]// Proceedings of European Conference on Computer Vision. Cham: Springer, 2014: [43] 孙晓, 潘汀, 任福继. 基于 ROI KNN 卷积神经网络的面部表情识别 [J]. 自动化学报, 2016, 42(6): SUN Xiao, PAN Ting, REN Fuji. Facial expression recognition using ROI KNN deep convolutional neural networks[j]. Acta Automatica Sinica, 2016, 42(6): [44] DINO H I, ABDULRAZZAQ M B. Facial expression classification based on SVM, KNN and MLP classifiers[c]// Proceed ings of 2019 International Conference on Advanced Science and Engineering (ICOASE). [S.l.]: IEEE, 2019: [45] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[j]. Science, 2006, 313 (5786): [46] ALEX K, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[j]. Advances in Neural Information Processing Systems, 2012, 25(2): [47] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large scale image recognition[j/ol]. ( ) [ ]. [48] SZEGEDY C, LIU Wei, JIA Yangqing, et al. Going deeper with convolutions[c]//proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 2015: 1 9. [49] LOFFE S, SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[j]. ( )[ ]. preprint arxiv: [50] HE Kaiming, ZHANG Xiaoyu, REN Shaoqing, et al. Deep residual learning for image recognition[c]//proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2016: [51] SZEGEDY C, LOFFE S, VANHOUCKE V, et al. Inception V4, inception resnet and the impact of residual connections on learning[c]// Proceedings of Thirty First AAAI Conference on Artificial Intelligence. [S.l.]: AAAI, [52] 钱付兰, 李建红, 赵姝, 等. 基于深度混合模型评分推荐 [J]. 南京航空航天大学学报, 2019, 51(5): QIAN Fulan, LI Jianhong, ZHAO Shu, et al. Rating recommendation based on deep hybrid model[j]. Journal of Nanjing Uni versity of Aeronautics and Astronautics, 2019, 51(5): [53] MOLLAHOSSEINI A, CHAN D, MAHOOR M H. Going deeper in facial expression recognition using deep neural networks

13 叶继华等 : 人脸表情识别综述 33 [C]//Proceedings of 2016 IEEE Winter Conference on Applications of Computer Vision (WACV). [S.l.]: IEEE, 2016: [54] JUNG H, LEE S, YIM J, et al. Joint fine tuning in deep neural networks for facial expression recognition[c]//proceedings of the IEEE International Conference on Computer Vision. [S.l.]: IEEE, 2015: [55] LOPES A T, AGUIAR E D,SOUZA A F D,et al. Facial expression recognition with convolutional neural networks:coping with few data and the training sample order[j]. Pattern Recognition, 2017, 61: [56] VERMA M, KOBORI H, NAKASHIMA Y, et al. Facial expression recognition with skip connection to leverage low level features[c]// Proceedings of 2019 IEEE International Conference on Image Processing (ICIP). [S.l.]: IEEE, 2019: [57] SUN Yi, CHEN Yuheng, WANG Xiaogang, et al. Deep learning face representation by joint identification verification[c]// Proceedings of Advances in Neural Information Processing Systems. Canada: [s.n.], 2014: [58] SCHROFF F, KALENICHENKO D, PHILBIN J. Facenet: A unified embedding for face recognition and clustering[c]//pro ceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2015: [59] WEN Yangdong, ZHANG Kaipeng, LI Zhifeng, et al. A discriminative feature learning approach for deep face recognition [C]// Proceedings of European Conference on Computer Vision. Cham: Springer, 2016: [60] CAI J, MENG Z, KHAN A S, et al. Island loss for learning discriminative features in facial expression recognition[c]// Pro ceedings of th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018). [S. l.]: IEEE, 2018: [61] WANG Feng, CHENG Jian, LIU Weiyang, et al. Additive margin softmax for face verification[j]. IEEE Signal Processing Letters, 2018, 25(7): [62] 吴慧华, 苏寒松, 刘高华, 等. 基于余弦距离损失函数的人脸表情识别算法 [J]. 激光与光电子学进展, 2019, 56(24): WU Huihua, SU Hansong, LIU Gaohua, et al. A facial expression recognition algorithm based on cosine distance loss function [J]. Las Optoelect Prog, 2019, 56(24): [63] RAO Qiang, YU Bing, YANG Yun, et al. Knot magnify loss for face recognition[c]// Proceedings of th IEEE Inter national Conference on Image Processing (ICIP). [S.l.]: IEEE, 2018: [64] LYONS M, AKAMATSU S, KAMACHI M, et al. Coding facial expressions with gabor wavelets[c]//proceedings of Third IEEE International Conference on Automatic Face and Gesture Recognition. [S.l.]: IEEE, 1998: [65] LUCEY P, COHN J F, KANADE T, et al. The extended cohn kanade dataset (CK+): A complete dataset for action unit and emotion specified expression[c]// Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. [S.l.]: IEEE, 2010: [66] WANG Shangfei,LIU Zhilie,LV Siliang,et al.a natural visible and infrared facial expression database for expression recogni tion and emotion Inference[J]. IEEE Transactions on Multimedia, 2010, 12 (7): [67] DHALL A, GOECHE R, LUCEY S, et al. Collecting large, richly annotated facial expression databases from movies[j]. IEEE Multi Media, 2012, 19(3): [68] 薛雨丽, 毛峡, 张帆. BHU 人脸表情数据库的设计与实现 [J]. 北京航空航天大学学报, 2007, 33(2): XUE Yuli, MAO Xia, ZHANG Fan. Design and realization of BHU facial expression database[j]. Journal of Beijing University of Aeronautics and Astronautics, 2007, 33(2): [69] 叶继华, 刘燕, 李汉曦, 等. 自然场景下人脸表情数据集的构建 [J]. 数据采集与处理, 2019, 34(1): YE Jihua, LIU Yan, LI Hanxi, et al. Construction of facial expression dataset in natural scene[j]. Journal of Data Acquisition and Processing, 2019, 34(1): [70] SIMARD P Y, STEINKRAUS D, PLATT J C. Best practices for convolutional neural networks applied to visual document analysis[c]// Proceedings of Seventh International Conference on Document Analysis and Recognition, Edinburgh, UK: IEEE, DOI: /ICDAR [71] LOPES A T, DE AGUIAR E, DE SOUZA A F, et al. Facial expression recognition with convolutional neural networks: Coping with few data and the training sample order[j]. Pattern Recognition, 2017, 61:

14 34 数据采集与处理 Journal of Data Acquisition and Processing Vol. 35, No. 1, 2020 [72] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[c]// Proceedings of Advances in Neural Information Processing Systems. [S.l.]: ACM, 2012: [73] SUN Xiao, LV Man, QUAN Changqin, et al. Improved facial expression recognition method based on ROI deep convolutional neutral network[c]// Proceedings of 2017 Seventh International Conference on Affective Computing and Intelligent Interaction (ACII). [S.l.]: IEEE, 2017: [74] GOODFELLOW I, POUGET ABADIE J, MIRZA M, et al. Generative adversarial nets[c]// Proceedings of the 27th Inter national Conference on Neural Information Processing Systems. [S.l.]: ACM, 2014: [75] GULRAJANI I, AHMED F, ARJOVSKY M, et al. Improved training of wasserstein gans[j/ol].( )[ ]. [76] ZHU Junyan, PARK T, ISOLA P, et al. Unpaired image to image translation using cycle consistent adversarial networks [C]//Proceedings of the IEEE International Conference on Computer Vision. [S.l.]: IEEE, 2017: [77] MIRZA M, OSINDERO S. Conditional generative adversarial nets[j/ol]. ( )[ ] [78] CHOI Y, CHOI M, KIM M, et al. Stargan: Unified generative adversarial networks for multi domain image to image transla tion[c]//proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2018: [79] TANG Hao, WANG Wei, WU Songong, et al. Expression conditional GAN for facial expression to expression translation[j/ OL].( )[ ]. 作者简介 : 叶继华 (1966 ), 男, 教授, 博士生导师, 研究方向 : 物联网技术 数据融合 图像处理等,E mail:yjhwcl@163. com 李汉曦 (1982 ), 男, 博士, 特聘教授, 研究方向 : 计算机视觉 祝锦泰 (1994 ), 男, 硕士研究生, 研究方向 : 图像处理 表情识别 左家莉 (1982 ), 女, 博士, 副教授, 研究方向 : 信息检索 文本挖掘 江爱文 (1984 ), 男, 博士, 教 授, 研究方向 : 智能信息处 理 图像处理等 ( 编辑 : 张黄群 )