第 1 期闫静杰, 等 : 基于人脸表情和语音的双模态情感识别 61 感知能力, 就能够跟人类更加和谐与智能地进行交互 [1-4] 所以, 情感识别研究是未来人工智能的一个发展趋势, 在人机交互机器人和无人驾驶等应用中都将发挥重要的作用在过去的几十年当中, 国内外的很多研究者利用常用的几种人机

Size: px

Start display at page:

Download "第 1 期闫静杰, 等 : 基于人脸表情和语音的双模态情感识别 61 感知能力, 就能够跟人类更加和谐与智能地进行交互 [1-4] 所以, 情感识别研究是未来人工智能的一个发展趋势, 在人机交互机器人和无人驾驶等应用中都将发挥重要的作用在过去的几十年当中, 国内外的很多研究者利用常用的几种人机"

畜枚江
5 years ago
Views:

1 第 38 卷第 1 期 2018 年 2 月南京邮电大学学报 ( 自然科学版 ) JournalofNanjingUniversityofPostsandTelecommunications(NaturalScienceEdition) Vol.38 No.1 Feb2018 doi: /j.cnki 基于人脸表情和语音的双模态情感识别闫静杰 1, 卢官明 1, 李海波 1,2 3, 王珊珊 1. 南京邮电大学通信与信息工程学院, 江苏南京瑞典皇家理工学院, 瑞典斯德哥尔摩 SE 南京中医药大学科学技术与产业处, 江苏南京摘要 : 在未来的人工智能领域中, 计算机的情感识别能力将扮演越来越重要的角色针对人脸表情和语音的双模态情感识别, 文中提出了一种基于稀疏典型相关分析的特征融合方法首先, 分别提取人脸表情和语音两个模态的情感特征, 然后采用稀疏典型相关分析方法对两个模态的情感特征进行融合, 最后采用 K 近邻分类器进行情感识别实验结果表明文中提出的基于稀疏典型相关分析的双模态情感识别方法能够比语音单模态和人脸表情单模态情感识别取得更高的识别率关键词 : 人脸表情 ; 语音 ; 双模态情感识别 ; 稀疏典型相关分析中图分类号 :TP391 文献标志码 :A 文章编号 : (2018) Bimodalemotionrecognitionbasedonfacialexpresionandspeech YANJingjie 1,LUGuang 1,LIHaibo 1,2,WANGShanshan 3 1.ColegeofTelecommunications&InformationEngineering,NanjingUniversityofPostsandTelecommunications,Nanjing210003,China 2.KTHRoyalInstituteofTechnology,SE10044Stockholm,Sweden 3.DepartmentofScienceandTechnology,NanjingUniversityofChineseMedicine,Nanjing210023, China Abstract:Intheareaoffutureartificialinteligence,theemotionrecognitionofthecomputerswilplaya moreimportantrole.forthebimodalemotionrecognitionfromfacialexpresionandspeech,afeaturefu sionmethodbasedonsparsecanonicalcorelationanalysisispresented.firstly,theemotionfeaturesfrom facialexpresionandspeecharerespectivelyextract.then,theparsecanonicalcorelationanalysisis usedtofusethebimodalemotionfeatures.finaly,theknearestneighborclasifierisusedforemotion recognition.theexperimentalresultsshowthatthebimodalmethodbasedonthesparsecanonicalcore lationanalysiscanobtainbeterrecognitionratethanthespeechandthefacialexpresionwithsinglemo dal. Keywords:facialexpresion;speech;bimodalemotionrecognition;sparsecanonicalcorelationanalysis 近几年来, 随着无人驾驶的兴起和阿尔法狗在围棋中的成功应用, 人工智能技术的发展越来越快, 目前在科学界和工业界中都得到了广泛的关注, 欧洲许多国家美国日本和中国等科技强国也都投入了大量的人力和资金来研究人工智能技术的理论以及在机器人互联网无人驾驶人机交互智能医疗和智能交通等各个领域的应用因此, 人工智能的时代即将到来在未来人工智能的各个应用当中, 情感识别和感知能力变得越来越重要 [1-3] 例如, 如果机器人和基于无人驾驶的汽车拥有情感识别和收稿日期 : 本刊网址 :htp: nyzr.njupt.edu.cn 基金项目 : 国家自然科学基金 ( ) 江苏省自然科学基金 (BK ) 江苏省重点研发计划 (BE ) 和南京邮电大学引进人才科研启动基金 (NY214143) 资助项目通讯作者 : 卢官明, 男, 教授, 博士生导师, lugm@njupt.edu.cn 引用本文 : 闫静杰, 卢官明, 李海波, 等. 基于人脸表情和语音的双模态情感识别 [J]. 南京邮电大学学报 ( 自然科学版 ),2018,38(1):60-65.

2 第 1 期闫静杰, 等 : 基于人脸表情和语音的双模态情感识别 61 感知能力, 就能够跟人类更加和谐与智能地进行交互 [1-4] 所以, 情感识别研究是未来人工智能的一个发展趋势, 在人机交互机器人和无人驾驶等应用中都将发挥重要的作用在过去的几十年当中, 国内外的很多研究者利用常用的几种人机交互模态 ( 比如, 人脸表情语音和动作姿态 ) 进行了情感识别研究, 提出了一些有效的表情识别方法语音情感识别方法和动作姿态识别方法 [1-2,4-13] 在这些方法中, 绝大多数都是基于单一模态的情感识别方法 [1,5-10,12] 但是在未来的情感机器人无人驾驶和智能交通等应用中, 人机的情感交互往往是基于双模态或者多模态 [1,5-12] 比如, 情感机器人可以同时通过人脸表情模态和语音模态来进行人机交互因此, 研究基于人脸表情和语音等多模态的情感识别方法对未来的情感机器人无人驾驶和智能交通等技术的发展和进步起着非常重要的作用 [7-10,12] 目前, 一些研究者初步开展了基于人脸表情和语音的双模态情感识别研究 [7-10,14-25] [14] 王蓓等提出了一种基于决策层融合机制的人脸表情和语音 [15] 多模态方法, 取得了一定的融合效果 Zeng 等提出了一种基于多流隐马尔可夫模型 (Multistream HiddenMarkovModel,MHMM) 的人脸表情和语音多模态方法, 融合后取得了 72.42% 的识别率 Han [16] 等研究了一种基于直接融合和 BP 神经网络分类 [17] 器的人脸表情和语音多模态方法 Wang 等采用核交叉模型因子分析 (KernelCrosModalFactorA nalysis,kcfa) 方法对语音模态和人脸表情模态进行特征降维和特征融合文献 [18] 采用核熵成分分析 (KernelEntropyComponentAnalysis,KECA) 方法和决策层融合方法研究人脸表情和语音双模态情感识别, 在两个常用的情感库上都取得了较高的双模态情感识别率, 但该方法没有对核函数进行优化为了有效提高计算机在人机交互中的情感识别率并推动在情感机器人无人驾驶和智能交通等领域中的应用, 本文在上述基于人脸表情和语音的双模态情感识别方法的基础上, 提出了一种基于稀疏典型相关分析的特征融合方法首先, 本文方法在 enterface 05 人脸表情和语音双模态情感数据 [7-8,14,22,26] 库中分别提取人脸表情和语音两个模态的特征, 然后采用稀疏典型相关分析方法 (Sparse CanonicalCorelationAnalysis,SCCA) [11,27-31] 进行融 [1,4,7,11,13] 合, 最后采用 K 近邻分类器进行双模态情感识别 1 人脸表情和语音情感特征提取对于 enterface 05 人脸表情和语音双模态情感数据库中的人脸表情模态, 本文采用尺度不变特征变换 (Scale Invariant Feature Transform, SIFT) [7-8,14,32-33] [32] 提取特征 SIFT 特征是一种非常有效的图像特征提取方法, 以其鲁棒和抗噪等优点广泛应用在动作识别运动检测正面和非正面人脸表情识别面部运动单元识别以及多模态情感识别等领域 [32,34-37] 文献 [8,32] 显示,SIFT 特征提取过程一般包括原始图像极值点提取特征点选择特征点梯度求解和特征点描述子生成 [34,38] 在人脸表情识别等实际应用中, 后面的特征点梯度求解步骤和特征点描述子生成步骤是最关键的特征点的梯度主要采用下面两个公式进行计算 [14,32,34,38] : ρ(x,y)= 槡 [J^(x,y+1)-J^(x,y-1)] 2 +[J^(x+1,y)-J^(x-1,y)] { } 2 (1) θ(x,y)=tan J^(x,y+1)-J^(x,y-1) -1 J^(x+1,y)-J^(x-1,y ) (2) 其中,ρ(x,y) θ(x,y) 和 J^(x,y) 分别表示所求的梯度大小梯度方向和高斯平滑图像利用式 (1) 和式 (2) 求得梯度后, 首先通过直方图方法计算每个特征点的方向, 然后在求得的方向基础上提取不同维数的 SIFT 特征向量 [32,34,38] 详细的 SIFT 特征提取过程可以参考文献 [7-8,14,32,33] 对于 enterface 05 人脸表情和语音双模态情感数据库中的语音模态, 本文采用 opensmile 软 [7-8,14,39] 件提取语音模态的情感特征相比于传统的语音情感特征提取方法, 基于 opensmile 软件的语音情感特征更加方便直接, 只要输入相应的语音音频, 通过简单操作就能直接提取丰富的语音情感特征 2 基于稀疏典型相关分析的特征融合本节采用稀疏典型相关分析 (SCCA) 方法融合两个模态的特征,SCCA 方法可以表示为 [7-8,11,27-31] : arg L SCCA =arg (WW T ) (W-AW A T SS) 2 F+ A W,A S A W,A S η W A W 1 +η S A S 1 (3) 其中,S 为 opensmile 软件提取的语音特征矩阵,W 为 SIFT 方法提取的人脸表情特征矩阵,A W 为 W 的投影矩阵,A S 为 S 的投影矩阵,η W 为 A W 的稀疏参数,η S 为 A S 的稀疏参数 [7-8,11,13,40]

62 南京邮电大学学报 ( 自然科学版 ) 2018 年 [7-8,13,40-42] 式 (3) 可以通过增广拉格朗日方法进行计算, 令 A ~ W =A W,A ~ S=A S, 则式 (3) 变为 : arg L SCCA =arg (W -A W A T SS) 2 F+η S

S 为 A ~ S-A S 的范数系数,Γ W 为 A ~ W -A W 的拉格朗日乘子矩阵,Γ W 为 A ~ S -A S 的拉格朗日乘子矩阵 [7-8,13,40-43] 式 (4) 可以进一步改写为 : arg arg L SCCA = tr[(ww T ) -1 2 WW T

1 +tr(γ T SA ~ S-Γ T SA S )+ S 2 tr(a~ SA ~ T S-2A ~ SA T S+A S A T S)+ W 2 tr(a~ WA ~ T W -2A ~ WA T W +A W A T W)+ tr(γ T WA ~ W -Γ T WA W )

S A W 1 + 1 W 2 A W - A ~ W + Γ W ( ) W A S 1 + 1 S 2 A S- A ~ S+ Γ S ( ) 然后可以求得 : A W =ξη W W [ ] A ~ W + Γ W W [ ] S 2 F 2 F (10) (11) (12) A S

enterface 05 数据库是一个同时记录人脸表情模态和语音模态的双模态情感数据库该数据库共记录了 1293 个成人的人脸表情和语音数据样本, 包含了最常见的 6 种情绪 : 高兴悲伤厌恶生气恐惧惊讶 [7-8,14,22,26,37] 图 1 为 enterface 05

T ) -1 A ~ WA ~ T SSS T A ~ S=0 (6) =-2(WW T ) -1 SW T A ~ W +Γ S + S A ~ S- S A S +2(WW T ) -1 SS T A ~ SA ~ T WA ~ W =0 (7) 可求得 : A ~ W =A W +

3 62 南京邮电大学学报 ( 自然科学版 ) 2018 年 [7-8,13,40-42] 式 (3) 可以通过增广拉格朗日方法进行计算, 令 A ~ W =A W,A ~ S=A S, 则式 (3) 变为 : arg L SCCA =arg (W -A W A T SS) 2 F+η S A S 1 + tr[γ T W(A ~ W -A W )+η W A W 1 ]+ tr[γ T S(A ~ S-A S )]+ W 2 A~ W -A W 2 F+ (WW T ) -1 2 S 2 A~ S-A S 2 F (4) 其中, W 为 A ~ W -A W 的范数系数, S 为 A ~ S-A S 的范数系数,Γ W 为 A ~ W -A W 的拉格朗日乘子矩阵,Γ W 为 A ~ S -A S 的拉格朗日乘子矩阵 [7-8,13,40-43] 式 (4) 可以进一步改写为 : arg arg L SCCA = tr[(ww T ) -1 2 WW T (WW T ) -1 2 ]- 2tr[(WW T ) -1 2 WS T A ~ SA ~ T W(WW T ) -1 2 ]+ tr[(ww T ~ ) -1 2 A WA ~ T SSS T A ~ SA ~ T W(WW T ) -1 2 ]+ η S A S 1 +η W A W 1 +tr(γ T SA ~ S-Γ T SA S )+ S 2 tr(a~ SA ~ T S-2A ~ SA T S+A S A T S)+ W 2 tr(a~ WA ~ T W -2A ~ WA T W +A W A T W)+ tr(γ T WA ~ W -Γ T WA W ) (5) 2 (WW T ) -1 SS T A ~ SA ~ T WA ~ W - Γ S (9) S S 根据文献 [7-8,13,40-42] 中介绍的方法, 在求得 A ~ W 和 A ~ S 后,A W 和 A S 的求解可以转化为 : η W arg A W η S arg A S A W W 2 A W - A ~ W + Γ W ( ) W A S S 2 A S- A ~ S+ Γ S ( ) 然后可以求得 : A W =ξη W W [ ] A ~ W + Γ W W [ ] S 2 F 2 F (10) (11) (12) A S =ξη S A ~ S+ Γ S (13) S S 其中,ξ 函数为文献 [7-8,13,40-42] 中定义的阈值函数最后, 基于稀疏典型分析方法的双模态特征融合为 [1,7-8,11,14,31,37,43] : A T WW ( S ) A T S 3 实验结果与分析 enterface 05 数据库是一个同时记录人脸表情模态和语音模态的双模态情感数据库该数据库共记录了 1293 个成人的人脸表情和语音数据样本, 包含了最常见的 6 种情绪 : 高兴悲伤厌恶生气恐惧惊讶 [7-8,14,22,26,37] 图 1 为 enterface 05 数据库中的各种情绪类别的人脸表情样本分别对式 (5) 求关于 A ~ W 和 A ~ S 的偏导, 并令其为 0, 可以得到 : L SCCA A ~ W L SCCA A ~ S =-2(WW T ) -1 WS T A ~ S+Γ W + W A ~ W - W A W +2(WW T ) -1 A ~ WA ~ T SSS T A ~ S=0 (6) =-2(WW T ) -1 SW T A ~ W +Γ S + S A ~ S- S A S +2(WW T ) -1 SS T A ~ SA ~ T WA ~ W =0 (7) 可求得 : A ~ W =A W + 2 W (WW T ) -1 WS T A ~ S- 2 W (WW T ) -1 A ~ WA ~ T SSS T A ~ S- Γ W W (8) A ~ S=A S + 2 S (WW T ) -1 SW T A ~ W - 图 1 enterface 05 数据库中的各种情绪类别的人脸表情样本

第 1 期闫静杰, 等 : 基于人脸表情和语音的双模态情感识别 63 在本文实验中, 我们从中选择了 1140 个成人的人脸表情和语音数据样本比较语音单模态人脸表情单模态和基于稀疏典型相关分析的双模态 3 种模式的识别性能, 并选择了五折交叉验证策略和 K 近邻分类器进行上述 3 种模式的分类 [7-8,14,22,26,37] 表 1 为语音单模态

4 第 1 期闫静杰, 等 : 基于人脸表情和语音的双模态情感识别 63 在本文实验中, 我们从中选择了 1140 个成人的人脸表情和语音数据样本比较语音单模态人脸表情单模态和基于稀疏典型相关分析的双模态 3 种模式的识别性能, 并选择了五折交叉验证策略和 K 近邻分类器进行上述 3 种模式的分类 [7-8,14,22,26,37] 表 1 为语音单模态人脸表情单模态和基于稀疏典型相关分析的双模态的识别率比较图 2 为基于稀疏典型相关分析的双模态情感识别的混淆矩阵表 1 3 种模式的识别率比较模式识别率 /% 语音单模态人脸表情单模态基于稀疏典型相关分析的双模态图 2 基于稀疏典型相关分析的双模态情感识别的混淆矩阵根据上述实验结果, 可以得到类似文献 [1,7-8,11,14,43] 的结论, 基于稀疏典型相关分析的双模态情感识别方法能够比语音单模态和人脸表情单模态情感识别取得更高的识别率 4 结束语针对人脸表情和语音的双模态情感识别, 本文提出了一种基于稀疏典型相关分析的特征融合方法首先, 在 enterface 05 人脸表情和语音双模态情感数据库中分别提取人脸表情和语音两个模态的情感特征, 然后采用稀疏典型相关分析方法对两个模态的情感特征进行融合, 最后采用 K 近邻分类器进行情感识别实验结果表明本文提出的基于稀疏典型相关分析的双模态情感识别方法能够比语音单模态和人脸表情单模态情感识别取得更高的识别率参考文献 : [1] 闫静杰, 郑文明, 辛明海, 等. 表情和姿态的双模态情感识别 [J]. 中国图像图形学报,2013,18(9): YANJingjie,ZHENG Weng,XIN Minghai,etal.Bi modalemotionrecognitionbasedonbodygestureandfacial expresion[j].journalofimageand Graphics,2013, 18(9): (inChinese) [2] MICHALSKIR S,CARBONELLJG,MITCHELLTM. Machine Learning:An ArtificialInteligence Approach [M].Berlin:Springer,2013. [3] PICARDRW.AfectiveComputing[M].Cambridge:MIT Pres,1997. [4]YANJingjie,WANGXiaolan,GUWeiyi,etal.Speeche motionrecognitionbasedonsparserepresentation[j].ar chivesofacoustics,2013,38(4): [5] GUNESH,PICCARDIM,PANTICM.FromtheLabtothe RealWorld:AfectRecognitionUsingMultipleCuesand Modalities[M].Vienna:InTechEducationandPublishing, 2008: [6] GUNESH,PICCARDIM.From MonomodaltoMultimo dal:afectrecognitionusingvisualmodalities[m].lon don:springer,2009: [7] YAN Jingjie,ZHENG Weng,XU Qinxu,etal.Sparse kernelreducedrankregresionforbimodalemotionrecog nitionfromfacialexpresionandspeech[j].ieeetrans actionsonmultimedia,2016,18(7): [8] 闫静杰. 双模态情感识别关键技术研究 [D]. 南京 : 东南大学,2014. YANJingjie.Researchonkeytechnologiesinbimodalemo tionrecognition[d].nanjing:southeastuniversity,2014. (inchinese) [9] ZENG Z,PANTICM,HUANG TS.EmotionRecognition BasedonMultimodalInformation[M].London:Springer, 2009: [10] ZENGZ,PANTICM,ROISMANGI.Asurveyofafect recognitionmethods:audio,visual,andspontaneousex presions[j].ieeetransactionsonpaternanalysisand MachineInteligence,2009,31(1): [11] YANJingjie,ZHENGWeng,XINMinghai,etal.In tegratingfacialexpresionandbodygestureinvideosfor emotionrecognition[j].ieicetransactionsoninforma tionandsystems,2014(3): [12] GUNESH,PICCARDIM.Bimodalemotionrecognition from expresivefaceandbodygestures[j].journalof Network and ComputerApplications,2007,30(4): [13]YANJingjie,ZHENGWeng,XINMinghai,etal.Fa cialexpresionrecognitionbasedonsparselocalitypreser vingprojection[j].ieicetransactionsonfundamentals ofelectronics,communicationsandcomputersciences, 2014(7): [14] 王蓓, 王晓兰. 基于表情和语音的多模态情感识别研

5 64 南京邮电大学学报 ( 自然科学版 ) 2018 年究 [J]. 信息化研究,2014,40(1): WANGBei,WANGXiaolan.Multimodalemotionrecog nitionbasedonvideoandaudio[j].informatizationre search,2014,40(1):48-50.(inchinese) [15]ZENGZ,TUJ,LIUM,etal.Audiovisualafectrecogni tion[j].ieeetransactionsonmultimedia,2007,9(2): [16] HANZ,WANGJ.Featurefusionalgorithmformultimodal emotionrecognitionfromspeechandfacialexpresionsig nal[c] MATECWebofConferences.2016:3-12. [17] WANGY,GUANL,VENETSANOPOULOSAN.Audio visualemotionrecognitionviacrosmodalasociationin kernelspace[c] ProceedingsoftheIEEEInternational Conferenceon Multimediaand Expo(ICME).2011: 1-6. [18]XIEZ,GUANL.Multimodalinformationfusionofaudio visualemotionrecognitionusingnovelinformationtheoret ictools[c] ProceedingsoftheIEEEInternationalCon ferenceonmultimediaandexpo(icme).2013:1-6. [19] LIB,QIL,GAOL.Multimodalemotionrecognitionbased onkernelcanonicalcorelationanalysis[c] Proceedings oftheieeeworkshoponelectronics,computerandap plications(iweca).2014: [20] SUNB.Combiningmultimodalfeatureswithhierarchical clasifierfusionforemotionrecognitioninthewild[c] Proceedingsofthe16thACM InternationalConferenceon MultimodalInteraction.2014: [21]KUDIRIKM,SAIDAM,NAYANM Y.Emotiondetec tionthroughspeechandfacialexpresions[c] IEEEIn ternationalconferenceoncomputerasistedsystem in Health.2015: [22]DOBRISEKS,GAJSEKR,MIHELICF,etal.Towardsef ficientmultimodalemotionrecognition[j].international JournalofAdvancedRoboticSystems,2013,10(53): [23] NICOLAOUM A,PANAGAKISY,ZAFEIRIOUS,etal. Robustcanonicalcorelationanalysis:audiovisualfusion forlearningcontinuousinterest[c] Proceedingsofthe 39thIEEEInternationalConferenceonAcoustics,Speech andsignalprocesing(icassp).2014: [24] KIM Y,LEEH,PROVOSTEM.Deeplearningforrobust feature generation in audiovisualemotion recognition [C] Proceedingsofthe38thIEEEInternationalConfer enceonacoustics,speechandsignalprocesing(ic ASSP).2013: [25] TSALAMLALM Y,AMORIM M A,MARTINJC,etal. Combiningfacialexpresionandtouchforperceivingemo tionalvalence[j].ieeetransactionsonafectivecom puting,2016,9(9):1-8. [26] MARTIN O,KOTSIA I,MACQ B,etal.TheeNTER FACE 05audiovisualemotiondatabase[C] Proceed ingsofthe22ndieeeinternationalconferenceondata EngineeringWorkshops(ICDE).2006:1-8. [27] HARDOONDR,SHAWETAYLOR J.Sparsecanonical corelationanalysis[j].machinelearning,2011,83(3): [28] WITTENDM,TIBSHIRANIR,HASTIET.Apenalized matrixdecomposition,withapplicationstosparseprincipal componentsandcanonicalcorelationanalysis[j].biosta tistics,2009,10(3): [29] WITTENDM,TIBSHIRANIR.Extensionsofsparseca nonicalcorelationanalysiswithapplicationstogenomic data[j].statisticalapplicationsingeneticsandmolecu larbiology,2009,8(1):1-27. [30] PARKHOMENKO E,TRITCHLER E D,BEYENE J. Sparsecanonicalcorelationanalysiswithapplicationto genomicdataintegration[j].statisticalapplicationsin GeneticsandMolecularBiology,2009,8(8): [31] 邱伟. 基于姿态和表情的双模态情感识别方法研究 [D]. 南京 : 东南大学,2011. QIUWei.Astudyonthemethodsofbiomalemotionrec ognitionbasedonbodygestureandfacialexpresion[d]. Nanjing:SoutheastUniversity,2011.(inChinese) [32] LOWEDG.Distinctiveimagefeaturesfrom scaleinvari antkeypoints[j].internationaljournalofcomputervi sion,2004,60(2): [33] YANG J,YU K,GONG Y,etal.Linearspatialpyramid matchingusing sparse coding forimage clasification [C] ProceedingsoftheIEEEConferenceonComputer VisionandPaternRecognition.2009: [34] 任艳. 面部运动单元识别中的特征提取方法研究 [D]. 南京 : 东南大学,2012. RENYan.Astudyonfeatureextractionmethodinfacial actionunitrecognition[d].nanjing:southeastuniversi ty,2012.(inchinese) [35] ZHENGW,TANGH,LINZ,etal.Anovelapproachto expresionrecognitionfromnonfrontalfaceimages[c] Proceedingsofthe12thIEEEInternationalConferenceon ComputerVision(ICCV).2009: [36] NAYAKNM,SRTHIRJ,SONGB,etal.Modelingand recognitionofcomplexhumanactivities[m].london: Springer,2011: [37] 王蓓. 基于面部表情和生理信号的多模态情感识别研究 [D]. 南京 : 东南大学,2014. WANGBei.A studyofmultimodalemotionrecognition basedonfacialexpresionandbiologicalsignals[d]. Nanjing:SoutheastUniversity,2014.(inChinese) [38] 刘阳. 基于彩色空间的人脸面部图像识别特征提取方法研究 [D]. 南京 : 东南大学,2011. LIUYang.A studyonfeatureextractionoffacialimage recognitionbasedoncolorspace[d].nanjing:southeast University,2011.(inChinese)

第 1 期闫静杰, 等 : 基于人脸表情和语音的双模态情感识别 65 [39] EYBENF,WOLLMERM,SCHULLERB.Opensmile:the munichversatileandfastopensourceaudiofeatureex tractor[c] ProceedingsoftheACM InternationalCon ferenceonmultimedia.

6 第 1 期闫静杰, 等 : 基于人脸表情和语音的双模态情感识别 65 [39] EYBENF,WOLLMERM,SCHULLERB.Opensmile:the munichversatileandfastopensourceaudiofeatureex tractor[c] ProceedingsoftheACM InternationalCon ferenceonmultimedia.2010: [40] YANJingjie,YANBojie,LIANGRuiyu,etal.Facialex presionrecognitionviaregresionbasedrobustlocality preservingprojections[j].ieicetransactionsoninfor mationandsystems,2018,101(2): [41] HUANGD,CABRALRS,TORREF.Robustregresion [C] Proceedingsofthe12thEuropeanConferenceon ComputerVision(ECCV).2012: [42] LINZ,CHENM,MAY.Theaugmentedlagrangemulti pliermethodforexactrecoveryofcoruptedlowrankma trices[r].urbanachampaign:universityofilinoisat UrbanaChampaign,2009. [43] YAN Jingjie,YAN Bojie,LU Guang,etal.Convolu tionalneuralnetworksandfeaturefusionforbimodalemo tionrecognitionontheemotiw 2016Chalenge[C] Proceedingsofthe10thInternationalCongresonImage andsignalprocesing,biomedicalengineeringandinfor matics(cispbmei) 作者简介 : 闫静杰 (1983-), 男, 浙江宁波人南京邮电大学通信与信息工程学院讲师, 博士 2015 年 3 月获得东南大学信息与通信工程专业博士学位目前主要的研究方向为图像处理模式识别情感计算计算机视觉智能视频分析本刊喜获江苏省科协 2017 年度精品科技期刊项目资助 2017 年 12 月, 江苏省科协公布 2017 年度精品科技期刊项目资助名单, 南京邮电大学学报 ( 自然科学版 ) ( 以下简称本刊 ) 喜获立项资助设立精品科技期刊项目, 是江苏省科协提升学会服务科技创新能力计划中的一项重要举措, 旨在推动建设一批具有较好品牌效应, 较强发展潜力的重点优势特色科技期刊, 促进我省科技期刊的创新发展, 加强科技出版强省的建设近年来, 本刊在学校的大力支持和编委会的指导下, 通过积极组织校内外优质稿源, 开设多个具有较大影响力的专题, 不断提高学报的学术水平和办刊质量

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位自然科学版文章编号视网膜图像中视盘的快速自动定位方法赵晓芳林土胜李碧摘要基于眼底视网膜血管的分布结构及视盘本身的特点提出一种快速自动定位视盘的方法首先根据视网膜血管的网络分布结构大致定位视盘的垂直坐标然后根据视盘的亮度信息及视盘与血管的关系来定位视盘的水平坐标最后把视盘限定在以粗定位的视盘为中心的一个小窗口内用变换精确定位视盘中心该方法不需要事先分割视网膜血管也不需要对算法进行训练