迁移学习的发展与现状 个人的一点粗浅的理解 王晋东 中国科学院计算技术研究所 2017.11.04
个人情况简介 中国科学院计算技术研究所 2014 级直博生 主要研究迁移学习及其应用 在国际会议 ICDM UbiComp 等录用或发表若干文章 知乎 ID: 王晋东不在家, 乐于在知乎上分享相关知识 微博 :@ 秦汉日记 jindongwang@outlook.com 个人主页 :http://jd92.wang 不是大牛, 仅为分享
01 什么是迁移学习? 为什么要用迁移学习? 02 迁移学习方法的常见分类 大概了解迁移学习的学习过程与代表方法 03 04 深度迁移学习 目前最热门的研究话题 迁移学习的一些最新进展 把握最新的研究方向 目录 CONTENT 05 学习资源推荐及总结
挑战 智能大数据时代 数据量, 以及数据类型不断增加 对机器学习模型的要求 : 快速构建和强泛化能力 虽然数据量多, 但是大部分数据往往没有标注 收集标注数据, 或者从头开始构建每一个模型, 代价高昂且费时 文本图片及视频音频行为 产生问题 : 如何基于已有的数据和模型, 对新数据快速构建相应的模型? 5
迁移学习 迁移学习是解决上述标定数据难以获取问题的有效方法 迁移学习基本思想 (Transfer Learning) 利用学习目标和已有知识之间的相关性, 把知识从已有的模型和数据中迁移到要学习的目标上去 迁移学习已被广泛应用于机器学习的许多应用中 6
为什么需要迁移学习 数据角度 数据为王, 计算是核心 有钱人的游戏 数据爆炸的时代! 计算机更强大了! 没有足够数据, 如何进行机器学习? 7
为什么需要迁移学习 模型角度 云 端融合的模型被普遍应用 通常需要对设备 环境 用户做具体适配 个性化模型适配很复杂 不同的用户隐私处理方式
为什么需要迁移学习 应用角度 机器学习应用中的冷启动问题 : 推荐系统 : 没有初始用户数据, 无法精准推荐
为什么需要迁移学习 总结 数据的角度 收集数据很耗时 对数据打标签很难 用数据训练模型很繁琐 模型的角度 个性化模型很复杂 云 - 端的模型需要做具体化 应用的角度 冷启动问题 : 没有启动数据, 推荐系统之类的无法工作 迁移学习可以减少对标定数据的依赖, 通过和已有数据模型之间的知识迁移, 更好地完成机器学习任务
迁移学习的分类方法
迁移学习方法 : 实例迁移 基于实例的迁移学习方法 (Instance-based transfer learning) 源领域 ( 图像 ) 目标领域 ( 图像 ) 假设 : 源域中的一些数据和目标域会共享很多共同的特征 方法 : 对源域进行 instance reweighting, 筛选出与目标域数据相似度高的数据, 然后进行训练学习
迁移学习方法 : 实例迁移 基于实例的迁移学习方法 代表工作 : TrAdaBoost [Dai, ICML-07] Kernel Mean Matching (KMM) [Smola, ICML-08] Density ratio estimation [Sugiyama, NIPS-07] 优点 : 方法较简单, 实现容易
迁移学习方法 : 特征迁移 基于特征的迁移学习方法 (feature-based transfer learning) 源域和目标域特征空间一致源域和目标域特征空间不一致源域 ( 图像 ) 目标域 ( 图像 ) 源域 ( 文本 ) 目标域 ( 图像 ) 待到山花烂漫时, 她在丛中笑 共同特征 有文本标记的图片 假设 : 源域和目标域含有一些公共的交叉特征 方法 : 通过特征变换, 将两个域的数据变换到同一特征空间, 然后进行学习
迁移学习方法 : 特征迁移 基于特征的迁移学习方法 代表工作 : Transfer component analysis (TCA) [Pan, TKDE-10] Spectral Feature Alignment (SFA) [Pan, WWW-10] Geodesic flow kernel (GFK) [Duan, CVPR-12] Transfer kernel learning (TKL) [Long, TKDE-15] 优点 : 大多数方法采用 特征选择与变换可以取得好效果
迁移学习方法 : 模型迁移 基于模型的迁移学习方法 (parameter-based transfer learning) 模型 1 是否有脚? 是是否有眼睛? 源域 ( 图像 ) 目标域 ( 图像 ) 模型 2 是否有脚? 是是否有眼睛? 否 是 否 是 是否有尾巴? 是否长毛? 否 是 否 是 吉娃娃 牧羊犬 特点 : 模型相同部分直接进行迁移 不需要数据训练
迁移学习方法 : 模型迁移 基于模型的迁移学习方法 假设 : 源域和目标域可以共享一些模型参数 方法 : 由源域学习到的模型运用到目标域上, 再根据目标域学习新的模型 代表工作 : TransEMDT [Zhao, IJCAI-11] TRCNN [Oquab, CVPR-14] TaskTrAdaBoost [Yao, CVPR-10] 优点 : 模型间存在相似性, 可以被利用
迁移学习方法 : 关系迁移 基于关系的迁移学习方法 (relationship-based transfer learning) 师生关系上下级关系 生物病毒 计算机病毒
迁移学习方法 : 关系迁移 基于关系的迁移学习方法 假设 : 如果两个域是相似的, 那么它们会共享某种相似关系 方法 : 利用源域学习逻辑关系网络, 再应用于目标域上 代表工作 : Predicate mapping and revising [Mihalkova, AAAI-07], Second-order Markov Logic [Davis, ICML-09]
深度迁移学习 深度学习 : 更鲁棒的 泛化能力更强的特征表达 迁移学习 : 更领域无关的特征表达 深度迁移学习 : 充分利用神经网络的表达能力, 学习域不变的特征表示
深度迁移学习 How transferable are features in deep neural networks? [Yosinski et al., NIPS-14] 系统地探索了神经网络的可迁移性 https://zhuanlan.zhihu.com/p/27450288 Yosinski J, Clune J, Bengio Y, et al. How transferable are features in deep neural networks?[c]//advances in neural information processing systems. 2014: 3320-3328.
深度迁移学习 :DDC Deep Domain Confusion (DDC) [Tzeng, arxiv-14] 在 AlexNet 的分类器层前加入 domain loss 层 Tzeng E, Hoffman J, Zhang N, et al. Deep domain confusion: Maximizing for domain invariance[j]. arxiv preprint arxiv:1412.3474, 2014.
深度迁移学习 :DAN Deep Adaptation Networks (DAN) [Long et al., ICML-15] AlexNet 网络的后三层都进行域适配 利用了 Multi-kernel MMD 进行距离度量 https://zhuanlan.zhihu.com/p/27657910 Long M, Cao Y, Wang J, et al. Learning transferable features with deep adaptation networks[c]//international Conference on Machine Learning. 2015: 97-105.
深度迁移学习 :JAN Joint Adaptation Networks (JAN) [Long et al., ICML-17] 联合适配 x 和 y 的分布 (JMMD 度量 ) 同时在网络中加入了 adversarial 学习 Long M, Wang J, Jordan M I. Deep transfer learning with joint adaptation networks. ICML 2017.
Tzeng E, Hoffman J, Darrell T, et al. Simultaneous deep transfer across domains and tasks[c]//proceedings of the IEEE International Conference on Computer Vision. 2015: 4068-4076. 深度迁移学习 :soft labels Simultaneous Deep Transfer Across Domains and Tasks [Tzeng et al., ICCV-15] 加入了 soft labels 同时进行 domain 和 task transfer https://zhuanlan.zhihu.com/p/30621691
Tzeng E, Hoffman J, Saenko K, et al. Adversarial discriminative domain adaptation[j]. arxiv preprint arxiv:1702.05464, 2017. 深度迁移学习 :ADDA Adversarial Discriminative Domain Adaptation [Tzeng et al, arxiv] 用 adversarial 的思想去进行 domain adaptation
迁移学习最新发展 远域迁移学习 (Distant domain transfer learning) 当源域和目标域相似度减小, 如何成功进行迁移? Transitive transfer learning [Tan et al., KDD-15] Distant domain transfer learning [Tan et al., AAAI-17] Tan B, Zhang Y, Pan S J, et al. Distant Domain Transfer Learning[C]//AAAI. 2017: 2604-2610. Tan B, Song Y, Zhong E, et al. Transitive transfer learning[c]//kdd 2015.
Stewart R, Ermon S. Label-free supervision of neural networks with physics and domain knowledge[c]//aaai 2017. 迁移学习最新进展 利用物理学知识辅助学习任务 [Stewart, et al., AAAI-17]
迁移学习最新进展 学习迁移 (Learning to Transfer) [Wei et al., arxiv-1708] 迁移学习与增量学习思想结合 解决 what to transfer how to transfer 不用再选算法 调参啦! https://zhuanlan.zhihu.com/p/28888554 Ying Wei, Yu Zhang, Qiang Yang. Learning to Transfer. arxiv:1708.05629
学习资源推荐 综述 A survey on transfer learning [Pan and Yang, TKDE-10] A survey of transfer learning [Weiss, Big data-15] 开源项目 http://www.cse.ust.hk/tl/ 研究学者 Qiang Yang @ HKUST: http://www.cs.ust.hk/~qyang/ Sinno Jialin Pan @ NTU: http://www.ntu.edu.sg/home/sinnopan/ Fuzhen Zhuang @ ICT CAS: http://www.intsci.ac.cn/users/zhuangfuzhen/ Mingsheng Long @ THU: http://ise.thss.tsinghua.edu.cn/~mlong/ Lixin Duan @ Amazon: http://www.lxduan.info/ 会议 期刊 人工智能 机器学习 :AAAI,ICML,ICJAI,NIPS,TNNLS,TIST,CVPR,PAMI 数据挖掘 :TKDE,SIGKDD,ACL,WWW, SIGIR 我的 Github:https://github.com/jindongwang/transferlearning 我的知乎专栏相关文章 : 小王爱迁移 系列
总结 迁移学习的定义与其必要性 迁移学习的常用方法 深度迁移学习还可大有作为! 新的方向是未来的趋势
References [Pan, TKDE-10] Pan S J, Yang Q. A survey on transfer learning[j]. IEEE Transactions on knowledge and data engineering, 2010, 22(10): 1345-1359. [Dai, ICML-07] Dai W, Yang Q, Xue G R, et al. Boosting for transfer learning[c]//proceedings of the 24th international conference on Machine learning. ACM, 2007: 193-200. [Smola, ICML-08] Gretton A, Smola A, Huang J, et al. Covariate shift by kernel mean matching[j]. Dataset shift in machine learning, 2009, 3(4): 5. [Sugiyama, NIPS-07] Sugiyama M, Suzuki T, Kanamori T. Density ratio estimation in machine learning[m]. Cambridge University Press, 2012. [Pan, TKDE-11] Pan S J, Tsang I W, Kwok J T, et al. Domain adaptation via transfer component analysis[j]. IEEE Transactions on Neural Networks, 2011, 22(2): 199-210. [Pan, WWW-10] Pan S J, Ni X, Sun J T, et al. Cross-domain sentiment classification via spectral feature alignment[c]//proceedings of the 19th international conference on World wide web. ACM, 2010: 751-760. [Duan, CVPR-12] Gong B, Shi Y, Sha F, et al. Geodesic flow kernel for unsupervised domain adaptation[c]//computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012: 2066-2073. [Long, TKDE-15] Long M, Wang J, Sun J, et al. Domain invariant transfer kernel learning[j]. IEEE Transactions on Knowledge and Data Engineering, 2015, 27(6): 1519-1532. [Zhao, IJCAI-11] Zhao Z, Chen Y, Liu J, et al. Cross-people mobile-phone based activity recognition[c]//ijcai. 2011, 2011(2011): 2545-2550. [Yao, CVPR-10] Yao Y, Doretto G. Boosting for transfer learning with multiple sources[c]//computer vision and pattern recognition (CVPR), 2010 IEEE conference on. IEEE, 2010: 1855-1862. [Davis, ICML-09] Davis J, Domingos P. Deep transfer via second-order markov logic[c]//proceedings of the 26th annual international conference on machine learning. ACM, 2009: 217-224. [Mihakova, AAAI-07] Mihalkova L, Huynh T, Mooney R J. Mapping and revising Markov logic networks for transfer learning[c]//aaai. 2007, 7: 608-614. [Yang, ACM MM-07] Yang J, Yan R, Hauptmann A G. Cross-domain video concept detection using adaptive svms[c]//proceedings of the 15th ACM international conference on Multimedia. ACM, 2007: 188-197. [Schweikert, NIPS-09] Schweikert G, Rätsch G, Widmer C, et al. An empirical analysis of domain adaptation algorithms for genomic sequence analysis[c]//nips. 2009: 1433-1440. [Duan, TNNLS-12] Duan L, Tsang I W, Xu D, et al. Domain adaptation from multiple sources via auxiliary classifiers[c]//proceedings of the 26th Annual International Conference on Machine Learning. ACM, 2009: 289-296. [Xu, ICONIP-12] Xu Z, Sun S. Multi-source transfer learning with multi-view adaboost[c]//international Conference on Neural Information Processing. Springer Berlin Heidelberg, 2012: 332-339. [Luo, CIKM-08] Luo P, Zhuang F, Xiong H, et al. Transfer learning from multiple source domains via consensus regularization[c]//cikm. ACM, 2008: 103-112. [Tan, KDD-15] Tan B, Song Y, Zhong E, et al. Transitive transfer learning[c]//proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2015: 1155-1164. [Tan, AAAI-17] Tan B, Qiang Y, et al. Distant domain transfer learning. AAAI 2017. [Tzeng, ICCV-15] Tzeng E, Hoffman J, Darrell T, et al. Simultaneous deep transfer across domains and tasks[c]//proceedings of the IEEE International Conference on Computer Vision. 2015: 4068-4076. [Huang, ICASSP-13] Huang J T, Li J, Yu D, et al. Cross-language knowledge transfer using multilingual deep neural network with shared hidden layers[c]//icassp 2013.. [Long, ICML-15] Long M, Cao Y, Wang J, et al. Learning Transferable Features with Deep Adaptation Networks[C]//ICML. 2015: 97-105. [Long, CVPR-13] Long M, Wang J, Ding G, et al. Transfer feature learning with joint distribution adaptation[c]//proceedings of the IEEE International Conference on Computer Vision. 2013: 2200-2207.
谢谢! 请批评指正