人和人工智能狼来了

Size: px

Start display at page:

Download "人和人工智能狼来了"

骑綦沈
5 years ago
Views:

1 机器学习基础赵永红四川师范大学物理系

2 人和人工智能狼来了

3 李开复

4 困难

5 人工机器深度智能学习学习机器如何学习人类如何学习

6 机器学习

7 The Niche for Machine Learning:1997 数据挖掘从过去的数据预言未来处理难以手动编程的事情新闻过滤 TF-IDF

8 为什么需要学习程序员是否万能人脸识别物体识别和语言理解均难以通过手动编程实现机器学习程序可以从过去的数据经验中进行学习什么时候需要机器学习图像识别语音识别垃圾邮件识别搜索排名 google 比百度领先 10 年在互联网领域意味着什么

9 学习和统计相同点揭示数据的规律依赖于相同的数学工具微积分概率论线性代数和其它算法不同点统计给出结论以支持决策重在解释机器学习给出决策过程重在预言

10 给机器学习分类监督学习 data > label 无监督学习 data > pattern 强化学习 data > maximize long term reward 希望之星

11 学习算法学习完成某项任务 Task 的能力 Performance 随着经验 Experience 而增加学习算法是什么如何设计

12 固定程序机器人 If 左边有个 10cm 宽的坑 then 左脚向左跨出 10cm 右脚向左跨出 10cm else if end if

13 任务固定代码难以完成机器人 Learn to walk VS Program to walk 学习任务处理样本的能力样本特征 x1 1 样本 1 X1 样本 2 X2 特征 x2 2 特征 x3 3

14 任务种类分类几何图形识别人脸识别空间群预测 [1] 回归预测一个数值股票价格转录 OCR 语音识别翻译 sequence to sequence 结构化信息提取语法分析图片描述 [1]. Nat. Comm., 8, (2017);

15 算法性能 Performance 0-1 loss 结果正确为 1 结果错误为 0 分类转录等任务对数概率计算密度分布函数类任务主要困难 1 损失函数需要根据具体问题来定义 2 损失函数难以度量

16 经验 Experience 和数据集经验学习训练所使用的数据集数据集学习函数联合概率未标注已标注无监督学习监督学习 P(x) P(x y) 无监督学习可以用监督学习展开半监督学习部分标注强化学习环境依赖

17 人类 vs. 机器可同时处理的数据集数目数据格式人类机器多单色彩形状美丑数字一切都需要数字化异构数据可以放在一起学习智能化第一步是数字化文字声音图像情感思想部分完成了数字化输出结果精度模糊精确 word2vec 完成了文字数字化如何处理异构数据例如美的判断是热点之一

18 学习算法线性回归任务模型参数 w 控制每个分量 xi 对结果 y 的贡献想要测试误差性能算法最小但是学习的是训练集而性只有训练数能是有测试集来衡量据因此首先要求训练误差最小推广

19 数据集与误差按照功能可分为超参数这个概训练 (train) 集用来训练模型念广泛存在就如 DFT 优化的是电荷测试 (test) 集用来测试模型性能密度而 k 点和 ecut 就是验证 (validation) 集用来确定超参数实际应用超参数

20 推广误差过拟合欠拟合成立条件训练样本和测试样本均满足相同的独立全同分布分两步最小化测试误差 1. 最小化训练误差否则 2. 最小化训练误差和测试误差的差值否则欠拟合过拟合测试误差一般大于训练误差如果所有样本均完全随机独立则无法构建学习算法

21 模型的容量 capacity y 相对 w 依然为线性类似基函数的选择例如平面波截断

22 如何选择容量 Occam 剪刀原理在能够描述观测现象的所有模型中应选取尽可能简洁的那一个 VC(Vapnik-Chervonenkis) 尺度 [1] 一个二分类器能够有效正确分类的样点的个数的最大值深度学习模型的容量难以定义 1 优化算法对结果的影响和模型本身的容量同等重要 2 算法的性能跟优化算法相关但是缺乏解决非凸优化问题的数学手段 [1] Vapnik, V. N. and Chervonenkis, A. Y. (1971). On the uniform convergence of relative frequencies of events to their probabilities. Theory of Probability and Its Applications, 16,

23 典型的训练误差和测试误差减小推广误差的两种方法增加容量增加训练样本数不是单纯减少训练误差

25 数据集有限非逻辑上严格对所有样本正确如果对所有数据产生的概率分布函数平均则任何分类方法都没有区别

26 没有免费的午餐定理没有最优算法只有最适合当前数据集的算法通用智能很困难 Wolpert, D. H. (1996). The lack of a priori distinction between learning algorithms. Neural Computation, 8 (7),

27 正则化修正项降低广义误差不改变训练误差根据具体问题选择边界条件往往是物理意义之所在控制相对大小可以有多项与 Lagrange multiplier 类似 J(w) 是由约束条件描述的系统的拉格朗日量

28 九阶多项式不同的正则化系数不同的模型容量

29 超参数验证数据集超参数用来定义模型的种类比如神经网络的层数神经元个数惩罚因子等验证数据集用来确定超参数的数据集嵌套模型先确定超参数再通过训练学习出模型里的参数交叉验证数据集较小的时候可以随机多次抽取验证集剩下的作为训练集增加随机性可弥补样本空间大小的不足

30 机器学习算法可以看作是一种基于统计学的复杂函数计算方法训练集测试集和验证集之间的独立全同性很重要

31 基本概念评价器 estimator 用来估算某个参量数值的统计函数偏差 bias 期望值与真实值之差方差 variance 用来衡量估算值在全体样品上的整体性偏差标准差 standard error 方差的平方根

32 偏差无偏差 : 渐进偏差 :

33 方差和标准差

34 平衡偏差和方差交叉验证均方差 MSE 统计学的意义 MSE 是机器学习中最常用的损失函数

35 最大似然估计最大似然使得模型概率分布尽可能符合实际的概率分布条件最大似然 :

36 最大似然的性质渐进最优收敛性随样本数而增加条件 1 真实分布必须对应于某一个模型分布条件 2 真实分布必须对应于唯一模型分布对大样本数目极限最大似然统计给出最小 MSE "a living legend whose work has C. (1945). Information Rao, and the accuracy attainable in influenced not just statistics, but has had far reaching implications the estimation of statistical parameters. Bulletin of the for fields as varied as economics, Calcutta Mathematical genetics, anthropology, geology, Society, 37, , 295 national planning, demography, biometry, and medicine."

37 概率是什么频率学派概率是长期性的频率例如投掷硬币次数越多单面朝上概率趋于 0.5 唯物主义贝叶斯学派跟过去经验有关例如硬币被做了手脚而投掷的不知道唯心主义

38 贝叶斯近乎神

39 贝叶斯法则似然值先验概率后验概率贝叶斯鸡汤 What gets us into trouble is not what we don't know. It's what we know for sure that just ain't so.

40 贝叶斯统计概率函数频率论统计贝叶斯统计单个参数所有参数 θ 确定算命都得懂点随机贝叶斯统计单个样本取值随机确定贝叶斯模型适用于训练数据集较小的情况

41 最大似然和贝叶斯推理区别 1 从全体参数预测区别 2 如何看待过去的经验善知过去未来争议很大

42 最大后验估计 Maximum a posteriori (MAP)

43 监督 supervised 学习已知未知已知输入模型输出

44 线性回归模型定义模型损失函数价格函数 ( 损失函数的算术平均 ) 选择合适的 w 和 b 最小化价格函数

45 线性回归直接求解关于权重因子 w 的线性方程组

46 线性回归梯度下降

47 线性分类器 NOT AND NOT AND

48 逻辑回归线性分类器处理二分类问题二分类器线性可分

49 特征映射从线性到非线性

50 非线性异或

51 异或表示象学习缺点 1 无法预先知道特征 2 在高维空间特征数巨大 ( 核算法和支持向量机的起源 )

52 几何含义 Minsky, Marvin, and Papert Seymour. Perceptrons. (1969)

53 支持向量机线性分类器如何求解 w & b?

54 拉格朗日乘子对 w, b 求极小对 α 求极大

55 支持向量线性分类器支持向量机内积核方法的基础决定分类器的只有有限的几个支持向量

56 支持向量机非线性分类器和核模型非线性低维核模型线性核模型高维核模型内积 1. 将数据从低维映射到高维 2. 在高维空间进行分类核函数

57 核函数多项式核线性核高斯核

58 决策树

59 k 近邻监督学习无参数大容量计算量大无法处理特征分布不均匀的情况分类由 k 近邻多数表决确定类别回归由 k 近邻的平均值确定取值 k 值决定论 k 值不能太大高维数据的最近邻最大堆排序

60 羊圈逻辑回归支持向量机和决策树

61 无监督学习特征标签适用监督学习分类无监督学习 X 提取特征标记样本表象变换标准低维稀疏独立

62 主成分分析 : 幺正变化去关联化线性变换对角化去关联对角化 PCA(X) = eigen( ) Σ 是对角化矩阵当 Σ 为非方矩阵的时候该变换称为奇异值分解其中奇异值较大的特征被称为主成分用来减少特征数降维

63 二维数据一维数据

64 k 均值聚类聚类在没有明确标定的情况下对个体按潜在的类型进行分类

65 随机梯度下降法 ( 价格函数梯度运算 m= 千万以上 =100 在深度学习部分讲述 GGA 学习速率 )

66 设计一个完整的机器学习算法数据 + 价格 cost 函数损失函数的算术平均值 + 优化流程 + 模型 = 机器学习算法

67 困境维度灾难传统 AI 的核心问题语音识别和物体识别与高维积分类似 N d 计算机学家最感兴趣的问题理解高维积分把每个点看作一个样本其坐标作为向量 X 函数值作为标签 y 这样高维积分转换为机器学习问题

68 流形不严格的数学非欧空间的局域欧氏子空间 n 维流形在任意点和 n 维欧氏空间局域同胚把高维数据在低维流形上表示因此是一种降维的方法

69 学习函数的分与合二维

70 总结 1 传统机器学习算法的数学结构清晰 2 应用层面最大的问题是如何针对具体问题提取特征 3 传统机器学习有不可逾越的困难尤其是在计算机科学家感兴趣的图像识别和语音识别领域 4 物理和数学上的很多问题可以用传统机器学习进行理解

71 什么是人工智能没有标准答案

72 Scikit-learn 见谢谢

<4D6963726F736F667420506F776572506F696E74202D20A46ABEC7A6DBBFECB5FBC5B2AABAC0B3A6B3A740ACB0BB50B9EAB0C8B1B4AA522E70707478>

<4D6963726F736F667420506F776572506F696E74202D20A46ABEC7A6DBBFECB5FBC5B2AABAC0B3A6B3A740ACB0BB50B9EAB0C8B1B4AA522E70707478> 大學自辦評鑑的應有作為與實務探析主講人 : 曾淑惠國立臺北科技大學技術及職業教育研究所教授兼人文與社會科學學院院長報告大綱 1 2 3 4 5 大學自辦評鑑的理念當前大學自辦評鑑的核心議題大學自辦評鑑的應有作為大學自辦

人和人工智能 狼来了

人和人工智能狼来了