2 北京邮电大学学报第 35 卷习一个认知模型, 从而解决在不同特征空间进行知识迁移的问题. 特征迁移问题一般被归为直推式迁移学习 [6], 其定义为 : 给定源数据空间 D s

Size: px

Start display at page:

Download "2 北京邮电大学学报第 35 卷习一个认知模型, 从而解决在不同特征空间进行知识迁移的问题. 特征迁移问题一般被归为直推式迁移学习 [6], 其定义为 : 给定源数据空间 D s"

冻方
7 years ago
Views:

1 2012 年 12 月第 35 卷第 6 期北京邮电大学学报 Journal of Bejng Unversty of Posts and Telecommuncatons Dec Vol. 35 No. 6 文章编号 :1007 鄄 5321(2012)06 鄄 0001 鄄 05 一种基于迁移学习的文本图像特征映射算法刘杰, 杜军平 (1 郾北京邮电大学智能通信软件与多媒体北京市重点实验室, 北京 ; 2 郾北京邮电大学计算机学院, 北京 ) 摘要 : 提出一种事件约束下基于迁移学习的文本图像特征映射算法. 通过潜在狄利克莱分配方法对事件文本数据进行主题建模, 并通过计算主题特征的信息增益选出最显著的文本特征 ; 用视觉词袋模型和朴素贝叶斯方法对事件图片进行主题建模 ; 通过同事件下的文本数据特征分布和文本图像共现数据特征分布, 实现了对图像特征分布的近似. 在包含 15 个主题事件的数据集上进行实验的结果证明了所提特征映射算法的有效性. 关键词 : 事件约束 ; 迁移学习 ; 文本图像特征映射 ; 共现数据中图分类号 : TN919 文献标志码 : A A Transfer Learnng Based Text 鄄 Image Feature Mappng Algorthm LIU Je, DU Jun 鄄 png (1 郾 Bejng Key Laboratory of Intellgent Telecommuncaton Software and Multmeda, Bejng Unversty of Posts and Telecommuncatons, Bejng , Chna; 2 郾 School of Computer, Bejng Unversty of Posts and Telecommuncatons, Bejng , Chna) Abstract: A transfer learnng based text 鄄 mage feature mappng algorthm under event constrant s pro 鄄 posed. Frstly, the documents of each event are modeled by the latent drchlet allocaton, n whch the most dscrmnatng feature s obtaned by computng the nformaton gan of each topc. Secondly, the mages of the correspondng event are modeled through the bag 鄄 of 鄄 vsual 鄄 word model and the na 觙 ve bayes approach. Fnally, the feature dstrbutons of the target mages are approxmated by utlzng the feature dstrbutons of the text data and the text 鄄 mage co 鄄 occurrence data wthn the same event. Experment s conducted on a dataset contanng 15 categores of events. The effectveness of the proposed feature map 鄄 png algorthm s shown. Key words: event constrant; transfer learnng; text 鄄 mage feature mappng; co 鄄 occurrence data 随着互联网信息传播技术的发展, 文本图像相互伴随的事件信息的数量越来越多. 传统的文本信息挖掘技术已经不能满足人们对多媒体信息知识的学习需求. 但是目前直接在多媒体数据特征空间, 特别是图像特征空间中学习知识模型还有很大难度 [1]. 能否利用成熟的文本挖掘技术和互联网上充足的文本信息来辅助图像数据的知识学习, 是现在研究的一个热点 [2 鄄 3]. 对于知识在不同特征空间的迁移问题, 曾经有学者提出多视角学习的概念, 对每个数据实例都通过多个视角来看待, 并在跨空间的知识学习中取得了一定的成绩 [4] [5]. 迁移学习与多视角学习相比, 在数据层面不再要求每个数据实例都要有相应多的视角概念表达. 迁移学习要通过利用现有数据来学收稿日期 : 2012 鄄 01 鄄 12 基金项目 : 国家重点基础研究发展计划项目 (2012CB821200,2012CB821206); 国家自然科学基金项目 ( , ); 北京市自然科学基金项目 ( ) 作者简介 : 刘杰 (1984 ), 男, 博士生, E 鄄 mal: luje. bupt@ gmal. com; 杜军平 (1963 ), 女, 教授, 博士生导师.

2 2 北京邮电大学学报第 35 卷习一个认知模型, 从而解决在不同特征空间进行知识迁移的问题. 特征迁移问题一般被归为直推式迁移学习 [6], 其定义为 : 给定源数据空间 D s 和相应的学习任务 T s, 目标数据空间 D t 和目标数据空间学习任务 T t, 直推式迁移学习通过利用 D s 和 T s 中的知识, 帮助学习 D t 中的目标预测函数 f T, 其中 :D s 屹 D t T s = T t. 在特征迁移过程中, 即使源数据空间与目标数据空间中的数据在实例层面没有交集, 却可能会在特征层面上有关联. 可以利用具备 2 个特征视角的数据来建立一个纽带, 对 2 个不同的特征空间进行连接. 这些数据不一定作为知识学习的训练数据, 但是可扮演一个字典的角色. 以某个主题事件作为背景, 将互联网上关于此事件充足的文本图像伴随信息作为进行知识迁移的一个基础. 1 事件约束下的文本图像共现数据在异构空间学习模型中, 若利用一种具有 2 个特征空间视角的数据作为辅助, 将会使整个学习过程的难度大为降低, 而事件约束下的异构空间学习模型提供了该可能性. 这里给出事件约束下文本图像共现数据 :E 为事件集合, 事件 e 沂 E;V 为整个图片数据集, 事件 e 下相关图片 {v} 沂 V;D 为整个文本数据集, 事件 e 下文本集合 {d} 沂 D;U V 为图像特征空间,U D 为文本特征空间 ; 文本图像共现数据实例 (v,d) 沂 S,S 为共现数据集. u v 沂 U V 和 u d 沂 U D 分别为图像数据实例和文本数据实例所对应的特征. 事件约束下文本图像共现数据 (v,d) 在特征层面的形式化描述为 ) = 乙,d)P(u d d)dd (1) D w z, 准 (z ) ~ dsc( 准 (z ) ), 准 ~ dr( 茁 ) z 兹 (d ) ~ dsc( 兹 (d ) ), 兹 ~ dr( 琢 ) (4) 为处理事件训练文本之外的新文本, 便于参数 (d) (z) 推理, 对兹和准做对称 dr( 琢 ) dr( 茁 ) 先验概率假设. 为了获取文本主题概率分布, 不直接计算准和兹, 而是计算词汇 w 对于文本主题的后验概率 P(w z), 再通过 Gbbs 抽样间接计算准和兹. 通过计算各主题的信息增益, 在事件类别 c 下找出其文本主题特征空间中最具有判别能力的特征. 信息增益越多的特征, 就可作为显著文本特征. 2 郾 2 图像数据建模采用朴素贝叶斯模型对图像进行建模. 首先计算加速稳健特征 ( SURF, speeded up robust fea 鄄 tures) [8], 并建立视觉词袋 ( BOVW, bag of vsual words) 模型 [9]. 将图片 v 认为是视觉词汇的集合, 每个视觉词汇 f 来自视觉词汇本 F,v = {f f 沂 F},F 同时表示整个图像特征空间. 由特征独立性假设, 定义图像分类模型为 : 一个事件类别 c 决定一种图像特征分布 P( f 沂 F c). 通过此模型, 并利用极大后验来推测图片分类目标函数 h NB :V 寅 C, 完成图像主题类别建模. 对于目标图片 v, 其主题类别为 h NB = arg max c 沂 C p(c) 仪 f 沂 v 3 文本图像特征映射 P(f c) (5) 文本主题建模和图像主题建模都属于离散型对象模型, 可对其特征运用特征独立性假设, 即每个特征独立影响实例在给定事件类别下的后验概率. 在文本图像特征迁移过程中, 把文本特征和图像特征分别拆分进行映射, 能使特征迁移的问题大大简化. 图 1 为文本图像特征迁移示意图. ) = 乙 P(v ) v)dv (2) V ) = 乙 V 乙 D P(v,d)P(u d d) v)dvdd (3) 其中 P(u d d) 和 v) 是特征提取过程. 2 文本和图像数据建模 2 郾 1 文本主题建模使用基于 Gbbs 抽样的潜在狄利克莱分配 [7] (LDA,latent drchlet allocaton) 模型抽取文本集合的主题信息为相关文本进行主题建模, 其概率模型为图 1 事件约束下的文本图像特征迁移事件约束下的 D 中每个文本的类标与图像目标类别 c 相同, 文本 d 使用主题特征词袋表示为 d =

数 f T, 其中 :D s 屹 D t T s = T t. 在特征迁移过程中, 即使源数据空间与目标数据空间中的数据在实例层面没有交集, 却可能会在特征层面上有关联.

3 第 6 期刘杰等 : 一种基于迁移学习的文本图像特征映射算法 3 {t t 沂 T}, 其中主题特征词典 T 是文本特征空间主题词汇表. 同时, 存在相应事件下文本图像共现数据集合 S = {( v,d)}. 为推测事件类别 c 下的图像特征分布 P(f c), 首先计算文本集合 D 中最显著的文本特征, 再借助文本图像共现数据集合 S 将最显著文本特征映射到图像特征空间上. 通过事件文本集合中的文本显著特征和文本图像共现数据来推测目标类别下的图像特征分布, 表示为 P(f c) = N c 移 P(f w,c,s)p(w c,d) (6) w 沂 W(c) 其中 :W(c) 是事件类别 c 下文本集合 D 中最显著的文本特征集合,N c 是正规化系数,P( w c,d) 是事件类别 c 下的文本特征分布,P(f w,c,s) 是文本图像共现数据上的图像特征条件分布概率. 式 (6) 表示若给定事件类别 c, 特定图像特征出现的概率与其在每个显著文本特征关联的文本图像共现数据里出现的概率呈正比例. 同时, 特定图像特征出现的概率还与每个显著文本特征对目标概念的重要程度相关. 下面, 具体阐述 P(f w,c,s) 和 P(w c,d) 的计算过程. 首先, 为每个事件类别概念 c 沂 C 计算文本特征分布 P(w c,d), 并以此计算最显著的事件文本特征集合 W( c). 对事件文本集合采用 LDA 模型建模, 并使用拉普拉斯平滑来解决文本主题特征稀疏的问题. P(w c,d) = [1 + n(w,c,d)] / [ W + n(c,d)] (7) n(w,c,d) = 移 n(w d)p(c d) (8) d 沂 D n(c,d) = 移 n(d)p(c d) (9) d 沂 D 然后计算文本图像共现数据集中图像特征条件分布 P(f w,c,s), 依然使用拉普拉斯平滑. P(f w,c,s) = [1 + n(f,w,c,s)] / [ F + n(w,c,s)] (10) n(f,w,c,s) = 移 n(f v)p(w,c d) (11) (v,d) 沂 S n(w,c,s) = 移 n(v)p(w,c d) (12) (v,d) 沂 S 4 实验 4 郾 1 评价标准文本图像特征映射算法目标是要估计出事件类别下图片信息的特征分布. 根据视觉词袋模型所具有的特征独立性假设, 把图像特征作为相互独立出现的随机变量. 图像特征分布可以表示为一个维度与特征词袋大小相同的向量 : F - 1 P(f c) = 掖 p 逸 0 业 = 0, 移 p = 1 (13) 将余弦相似度和 K 鄄 L 离散度 ( Kullback 鄄 Lebler dvergence) 作为性能评价尺度, 设定某种概率分布 p 是数据基准分布, 另一个概率分布 q 是分布 p 的近似. 2 个特征分布的余弦相似度越大, 则 2 种特征分布就越接近, 近似程度越高. 余弦相似度的计算公式为 CS(p,q) = 移 p q ( 移 p 2 + 移 q 2 ) (14) K 鄄 L 离散度是评价 2 个概率分布差异性的非对称型度量标准, 其数值反映了分布 q 对分布 p 的近似程度. 在基准图像数据特征分布确定时,K 鄄 L 离散度定义为 4 郾 2 数据集 KL(p 椰 q) = 移 p lb p q (15) 数据集采自互联网上 15 个类别的食品安全事件的相关报道. 对应类别为, E1: 三鹿奶粉事件 ; E2: 红心鸭蛋事件 ;E3: 多宝鱼事件 ;E4: 金浩茶油事件 ;E5: 麦乐鸡事件 ;E6: 塑化剂事件 ;E7: 瘦肉精事件 ;E8: 石蜡火锅底料事件 ;E9: 地沟油事件 ;E10: 小龙虾事件 ;E11: 福寿螺事件 ;E12: 毒馒头事件 ;E13: 蛆虫柑橘事件 ;E14: 爆裂西瓜事件 ;E15: 毒燕窝事件. 根据事件的持续时间长短, 下载相关文本数量分别为 800 ~ 个, 其中文本图像伴随文本的数量约占 1 / 3 ~ 1 / 2. 一个文本图像伴随的样本作为一个共现数据实例, 而对于一个样本里面有多幅图片的情况, 认为是一幅图片对应相同的伴随文本, 并按图片的数量计算共现数据实例数量. 通过人工方式从互联网搜索引擎和相关网页上搜集每个食品安全事件对应的图片数据. 对于每个事件, 分别搜集 200 ~ 400 张图片. 并利用 BOVW 模型对每张图片进行视觉词袋表示, 得出每张图片的直方图向量表达. 4 郾 3 实验结果及分析事件约束下文本图像特征映射算法的本质在于使用文本数据与文本图像共现数据去估计相应事件类别中的图像特征分布. 评价算法的一个视角是看估计出的分布是否与该事件类别下的基准图像特征分布相似.

通过事件文本集合中的文本显著特征和文本图像共现数据来推测目标类别下的图像特征分布, 表示为 P(f c) = N c 移 P(f w,c,s)p(w c,d) (6) w 沂 W(c) 其中 :W(c) 是事件类别 c 下文本集合 D 中最显著的文本特征集合,N c 是正规

4 4 北京邮电大学学报第 35 卷首先构造基准图像特征分布, 使用每个事件类别 c 下的全部图片, 通过朴素贝叶斯分类器, 得出一个图像特征分布作为基准特征分布. 理论上, 在训练数据充分多的情况下, 通过朴素贝叶斯分类器能计算出目标类别下真实的图像特征分布. 选择较为直观的 2 种方法与文本图像特征映射算法作对比. 第 1 种是均匀分布算法. 假设每个图像特征以相同的概率在每个事件目标概念下随机地出现. 第 2 种方法是标记查询算法. 直接将类别 c 的名称作为查询关键字, 在互联网搜索引擎中进行搜索, 使用返回的前 K 张图片对朴素贝叶斯模型进行训练得到图片特征分布, 本实验根据经验取 K 值为种算法在余弦相似度下的效果比较如图 2 所示, 度量结果中, 值越大越好. 分布, 而均匀分布算法只在一个类别 (E6) 下接近其他算法所得结果. 通过检查该类别下的数据发现, 这是由于其图片数据相互差异过大造成的. 通过标记查询算法在 3 个类别 (E1,E9,E11) 下与笔者所提出的文本图像特征映射算法效果相当. 通过检查数据, 对于这几个事件类别, 从搜索引擎上直接输入事件类别名作为查询关键字, 所得的图片与事件类别关联度都相当紧密, 所以标记查询算法所近似的分布效果比较好. 除了与上述直接方法进行比较外, 可从不同训练数据规模的角度来衡量一个近似图片特征分布对基准分布的逼近程度. 每次从所搜集到的事件图片数据集的每个类别中, 随机地挑选 N 张图片, 并训练朴素贝叶斯模型 100 次, 将每次得到的图像特征分布和基准分布作比较, 最后把所有重复轮次下的结果进行算数平均. 每个事件类别下每次随机选取的图片数量依次为对均匀分布算法标记查询算法和特征映射算法在每个类别下的近似结果取平均值, 然后与上面的方法进行比较. 图 4 和图 5 给出了在 2 种度量尺度下, 这些近似计算方法所得到的图像特征分布与基准分布的平均差异. 图 2 余弦相似度下不同算法估计分布的效果比较图 3 所示为 3 种算法在 K 鄄 L 离散度下的预测效果比较, 可见, 度量结果中, 值越小越好. 图 4 余弦相似度下不同算法估计分布的效果比较图 3 K 鄄 L 离散值下不同算法估计分布的效果比较从以上不同度量尺度下不同算法估计分布的效果比较图中可看出, 文本图像特征映射算法在大多数事件类别下产生的图像特征分布最接近其基准从图 4 和图 5 可看出, 文本图像特征映射算法与用 100 张带标注的图片训练所得特征分布相当. 表明文本图像特征映射算法可有效地从相关事件的文本数据和文本图像共现数据中学习到目标事件类别下的图像特征分布. 5 结束语提出了一种利用同一主题事件下的文本图像共现数据实现文本和图像数据之间特征迁移的学习

假设每个图像特征以相同的概率在每个事件目标概念下随机地出现. 第 2 种方法是标记查询算法.

5 第 6 期刘杰等 : 一种基于迁移学习的文本图像特征映射算法 5 图 5 K 鄄 L 离散值下不同算法估计分布的效果比较算法. 通过基于 Gbbs 抽样的 LDA 模型和信息增益计算出显著文本特征, 并且利用 BOVW 模型和朴素贝叶斯方法对图像数据进行主题建模. 随后在同一事件文本图像共现数据的帮助下, 将文本特征分布映射到图像特征空间, 并近似出该事件下图像数据的特征分布. 在包含 15 个主题事件的数据集上进行了实验, 结果证明了所提出的事件约束下文本图像特征映射算法的有效性. 参考文献 : [1] Zhu Zhenfeng, Zhu Xngquan, Ye Yangdong, et al. Transfer actve learnng [ C ] 椅 Proceedngs of the 20 th ACM Internatonal Conference on Informaton and Knowl 鄄 edge Management. Glasgow: ACM, 2011: 2169 鄄 [2] Zhu Yn, Chen Yuqang, Lu Zhongq, et al. Heterogene 鄄 ous transfer learnng for mage classfcaton [ C] 椅 Pro 鄄 ceedngs of the 25 th AAAI Conference on Artfcal Intell 鄄 gence. San Francsco: AAAI Press, 2011: 1304 鄄 [3] Q Guojun, Aggarwal C, Huang Thomas. Towards se 鄄 mantc knowledge propagaton from text corpus to web m 鄄 ages[ C] 椅 Proceedngs of the 20 th Internatonal Confer 鄄 ence on World Wde Web. Hyderabad: ACM Press, 2011: 297 鄄 306. [4] Muslea I, Mnton S, Knoblock C A. Actve + sem 鄄 super 鄄 vsed learnng = robust mult 鄄 vew learnng[c] 椅 Proceed 鄄 ngs of the 19 th Internatonal Conference on Machne Learnng. Sydney: ACM Press, 2002: 435 鄄 442. [5] Pan S J L, Yang Qang. A Survey on transfer learnng [J]. IEEE Transacton on Knowledge and Data Engneer 鄄 ng, 2010, 22(10): 1345 鄄 [6] Pan Jaln. Feature 鄄 based transfer learnng wth real 鄄 world applcaton[ D]. Hong Kong: The Hong Kong Unversty of Scence and Technology, [7] Porteous I, Newman D, Ihler A, et al. Fast collapsed gbbs samplng for latent drchlet allocaton [ C] 椅 Pro 鄄 ceedngs of the 14 th ACM SIGKDD Internatonal Confer 鄄 ence on Knowledge Dscovery and Data Mnng. Las Ve 鄄 gas: ACM Press, 2008: 569 鄄 577. [8] Bay H, Eelaars A, Gool L V. Speed 鄄 up robust features (SURF) [ J]. Computer Vson and Image Understand 鄄 ng, 2008, 110(3): 346 鄄 359. [9] L Fefe, Perona P. A bayesan herarchcal model for learnng natural scene categores[c] 椅 Proceedngs of the IEEE Computer Socety Conference on Computer Vson and Pattern Recognton. San Dego: IEEE Press, 2005: 524 鄄 531.

随后在同一事件文本图像共现数据的帮助下, 将文本特征分布映射到图像特征空间, 并近似出该事件下图像数据的特征分布.

SVM [6] PCA+SVM 79.75% 9 FERE FERE. PCA LDA Adaboost SVM 5 1 SVM Moghaddam [6] M (x,y ) x R N y x y {0,1} M f ( x) = y α k( x, x ) + b x k f(x) = 1 x

SVM [6] PCA+SVM 79.75% 9 FERE FERE. PCA LDA Adaboost SVM 5 1 SVM Moghaddam [6] M (x,y ) x R N y x y {0,1} M f ( x) = y α k( x, x ) + b x k f(x) = 1 x 100084 PCA Fsher FLD Adaboost SVM 9 FERE Adaboost 1. Gollomb [1] SEXNE 30 30 Cottrell [] BP Edelman [3] Alce [4] PCA PCA [5] Moghaddam [6] (SVM) RBF Fsher FLD FERE 3.4% Shakhnarovch [7] Adaboost 78% ±15

2 北 京 邮 电 大 学 学 报 第 35 卷 习 一 个 认 知 模 型, 从 而 解 决 在 不 同 特 征 空 间 进 行 知 识 迁 移 的 问 题. 特 征 迁 移 问 题 一 般 被 归 为 直 推 式 迁 移 学 习 [6], 其 定 义 为 : 给 定 源 数 据 空 间 D s

2 北京邮电大学学报第 35 卷习一个认知模型, 从而解决在不同特征空间进行知识迁移的问题. 特征迁移问题一般被归为直推式迁移学习 [6], 其定义为 : 给定源数据空间 D s