误差建模

Size: px

Start display at page:

Download "误差建模"

显农尉迟
4 years ago
Views:

1 机器学习 1. 介绍

2 自我介绍主讲 : 孟德宇助教 : 谢琦, 徐爽数学与统计学院信息科学系 dymeng@mail.xjtu.edu.cn 个人主页 : 助教联系方式 : 谢琦徐爽电话 QQ 邮箱 xq.liwu@stu.xjtu.edu.cn shuangxu@stu.xjtu.edu.cn

3 重要事项上课时间 : 周周二 9-10 节周三 5-6 节上课地点 : 中组成学习小组 :4-6 人我班共 93 人, 期待形成个小组

4 重要事项最终成绩构成 : 小组作业口头报告 :6 月底 / 机器学习汇报会 25% 小组作业海报 : 6 月底 / 现场展示 25% 小组作业书面报告 :6 月底 / 按小组提交 25% 期末报告 : 9 月 4 日 / 每人提交 25% 小组作业每个小组成员获得同样的分数前两项, 同学互评, 特邀嘉宾打分后两项, 教师给分

9 1. 介绍什么是机器学习? 机器学习历史机器学习典型应用典型机器学习问题本课程计划讲授内容

10 人工智能机器学习

17 物体识别 { 狗, 猫, 马, 花, } 天气检测雾霾的概率多大 x F(x) y { 类标签 ( 分类问题 ) 实数 ( 估计 / 回归问题 )

18 x F(x) { 狗, 猫 } y ( x, y ),(, 1 x 2 y 2 ),,( x, n y 1 n )

19 Optimization x* min x Ω f ( x)

20 n min f { ax+ b} i = 1 ( f ( x ) y ) i i 2

22 "A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E". Tom M. Mitchell, 卡内基梅隆大学, 1997

25 什么是机器学习? 1959, Arthur Samuel:machine learning is a "Field of study that gives computers the ability to learn without being explicitly programmed".

26 什么是机器学习? 核心已知有限未知无限

27 什么是机器学习? 核心已知有限未知无限与人学习原理一致 E: 见识多 T: 目标明确 P: 学习方法好

28 什么是机器学习? Generalization! 推广 / 预测 / 泛化能力

29 什么是机器学习? Generalization Understanding 机器学习角度统计角度

30 机器学习历史兴起沉寂复兴 ICML 1980 创办 NIPS 1987 创办,2000 转向 ML ML 1986 创办 JMLR 2000 创办今火热深层网络大数据人工智能种种猜测

31 传统机器学习实现方法 : 模型驱动贝叶斯模型输入 X 输出 Y 优化模型输入 X arg min W X Y(W) 2 + R(W) 输出 Y

32 模型驱动机器学习方法挑战来临 : 大数据时代

36 现代机器学习实现方法 : 数据驱动 / 深度学习 ( x, y ),(, 1 x 2 y 2 ),...,( x, n y 1 n ) 输入 X 输出 Y 狗

37 Rank Name Error rate Description 1 U. Toronto Deep learning 2 U. Tokyo Hand-crafted 3 U. Oxford features and learning models. 4 Xerox/INRIA Bottleneck. Object recognition over 1,000,000 images and 1,000 categories (2 GPU)

2013 年 Imagenet 比赛, 排在前面的大部分队伍采用深度学习策略 ImageNet 2013 图像分类比赛结果 Rank Name Error rate Description 1 NYU 0.11197 Deep learning 2 NUS 0.12535 Deep learning 3 Oxford 0.

39 2013 年 Imagenet 比赛, 排在前面的大部分队伍采用深度学习策略 ImageNet 2013 图像分类比赛结果 Rank Name Error rate Description 1 NYU Deep learning 2 NUS Deep learning 3 Oxford Deep learning MSRA, IBM, Adobe, NEC, Clarifai, Berkley, U. Tokyo, UCLA, UIUC, Toronto. 前 20 名队伍全部采用深度学习策略 ImageNet 2013 物体检测比赛结果 Rank Name Mean Average Precision Description 1 UvA-Euvision Hand-crafted features 2 NEC-MU Hand-crafted features 3 NYU Deep learning

2014 年 Imagenet 比赛, 全部参赛队伍采用深度学习策略 ImageNet 2014 图像分类比赛结果 Rank Name

Precision Description 1 Google 0.43933 Deep learning 2 CUHK 0.

40 2014 年 Imagenet 比赛, 全部参赛队伍采用深度学习策略 ImageNet 2014 图像分类比赛结果 Rank Name Error rate Description 1 Google Deep learning 2 Oxford Deep learning 3 MSRA Deep learning ImageNet 2014 物体检测比赛结果 Rank Name Mean Average Precision Description 1 Google Deep learning 2 CUHK Deep learning 3 DeepInsight Deep learning 4 UvA-Euvision Deep learning 5 Berkley Vision Deep learning

45 深度学习技术爆发式兴起

46 LFW 深度学习技术爆发式兴起

48 2018 图灵奖

49 垃圾邮件过滤机器学习典型应用

50 检索机器学习典型应用

51 推荐系统机器学习典型应用

52 用户甄别机器学习典型应用

53 物体识别机器学习典型应用

54 事件检测机器学习典型应用

55 典型机器学习问题机器学习问题的基本要素训练数据集未知的决策函数学习机器 ( 备选函数集 ) 机器学习问题设置 : 输入 : 训练数据与预设学习机器 n {x i, y i } i=1 f: X Y H={h h: X Y} 输出 : 学习机中最接近未知目标函数的逼近

56 降维典型机器学习问题

57 典型机器学习问题聚类文本用户网页疾病图片交通工具

58 分类典型机器学习问题

59 回归典型机器学习问题

60 多任务学习多视角学习多示例学习多标记学习字典学习主动学习迁移学习领域自适应学习增强学习

61 本课程计划讲授内容 ( 根据教学情况适当缩减 ) 介绍 : l-1. 介绍 l-2. 决策树 l-3. 统计基础 : MLE + MAP l-4. 朴素 Bayes 聚类 : l-5. k- 均值 l-6. 混合高斯 + EM l-7. Meanshift + scale space clustering l-8. 谱聚类

62 本课程计划讲授内容降维 : l-9.pca + SVD l-10. 低秩矩阵分解 + 误差建模 l-11. 流形学习 + 变分自编码器 I-12. 正则化有监督学习 : l-13. 支撑向量机 l-14. 统计学习理论 I-15. AdaBoost l-16. 神经网络选讲 : 自步学习 / 张量正则 / 下一代深度学习 / 机器学习科研方法

63 Enjoy!

1. 搞清楚机器学习的基本定义 2. 搞清楚机器学习的典型问题 3. 搞清楚机器学习的核心要素阅读 : 要求 [1] Pattern Recognition and Machine Learning, Christopher, M. Bishop, Springer, 2006. I.

64 1. 搞清楚机器学习的基本定义 2. 搞清楚机器学习的典型问题 3. 搞清楚机器学习的核心要素阅读 : 要求 [1] Pattern Recognition and Machine Learning, Christopher, M. Bishop, Springer, I. Introduction [2] High-Dimensional Data Analysis: The Curses and Blessings of Dimensionality, David L. Donoho, ICM 2000 [3] 周志华, 机器学习, 清华大学出版社,2015.

< C4EAC8ABB9FAB4F3D1A7C9FAB5E7D7D3C9E8BCC6BEBAC8FCBBF1BDB1C3FBB5A5A3A8B3F5C6C0A3A9A3A A3A92E786C73>

< C4EAC8ABB9FAB4F3D1A7C9FAB5E7D7D3C9E8BCC6BEBAC8FCBBF1BDB1C3FBB5A5A3A8B3F5C6C0A3A9A3A A3A92E786C73> 序号奖项题号赛区组别参赛队学校学生学生学生 1 NEC 电子杯 C 四川本科电子科技大学沈军袁德生陈虹佐 2 E 安徽本科安徽大学鲁海涛高阳谢巧云 3 4 G 安徽安徽安徽机电职业技术学院沈涛安徽机电职业技术学院龙锐张兴苗王海卫