误差建模

Size: px

Start display at page:

Download "误差建模"

翁夏
5 years ago
Views:

1 机器学习 2. 统计基础

2 过拟合与正则化 n min f M阶多项式函数 i = 1 ( f ( x ) y ) i i 2

3 min f Φ L ( D, f ( w)) + p( w) 正则项 p ( w) = w 2 2

5 min f Φ L ( D, f ( w)) + p( w)

7 min f Φ L ( D, f ( w)) + p( w) 学习机误差项正则项

8 3. MLE & MAP 统计 / 概率基本概念与知识贝叶斯准则最大似然估计 (MLE) 最大后验估计 (MAP) MLE VS. MAP 高斯分布情形

9 3. MLE & MAP 统计 / 概率基本概念与知识贝叶斯准则最大似然估计 (MLE) 最大后验估计 (MAP) MLE VS. MAP 机器学习编码本质

10 基本概念概率采样空间, 事件, 代数概率公理, 概率度量随机变量期望与方差联合分布条件分布独立, 条件独立

11 基本概念采样空间定义 : 一个采样空间 Ω 对应一个 ( 抽象概念或具有物理实体的 ) 随机实验所有可能的输出. Ω 可包含有限或无限元素. 举例 : 一个骰子的所有可能输出一本书随机打开的页数温度, 坐标, 时间等

12 基本概念事件定义 : 事件 A 是采样空间 Ω 的一个子集举例 : 骰子 6 点一本书在整 10 页打开中国人身高超过 1 米 8

13 基本概念事件概率定义 : 概率 P(A), 又称事件 A 发生的概率, 是一个将事件 A 映射到区间 [0,1] 的映射函数 P(A) 又成为 A 的概率度量举例 : 骰子摇到 2-4 点的概率采样空间 Ω 事件 A P(A) [0,1]

14 基本概念可行事件集 = 代数定义 :Ω 的一系列子集的集合, 记为 M, 可称为 σ 代数, 若其满足以下三个条件 : (i) ϕ M, 即空集为 M 元素 (ii) 若 A M, 则 A c M, 即补集运算在 M 中为封闭运算 (iii) 若 A 1, A 2, M, 则 i=1 A i M, 即 M 在可列并运算下封闭

15 基本概念概率公理 (Kolmogorov 公理 ) (i) 非负性 : 对任意事件 A,P(A) 0 (ii) P(Ω) = 1 (iii) σ 可加 : 对任意不相交事件 A i, 我们有 P A i i=1 = P(A i ) i=1 一些推论 P(ϕ) = 0 P(A c ) = 1 P(A) P(A B) = P(A) + P(B) P(A B)

16 随机变量基本概念定义 : 随机变量对应于一个由采样空间产生的事件映射到实数 ( 或整数 ) 空间的函数, 即 X: Ω R P(a < X < b) = P(w: a < X(w) < b) P(X = a) = P(w: X(w) = a) 例如 : X(w) = 1, 我们班 ( ) 上课第一个睡着的同学 (w) 是男生 X(w)<60, 在可能获得的成绩 ( ) 里, 最后不及格的分数 (w)

17 基本概念离散分布伯努利分布 : Ber(p) Ω = 正面, 反面,X 正面 = 1,X 反面 = 0 P(X = a) = P(w: X(w) = a) = p, 若 a = 1 1 p, 若 a = 0 二项分布 : Bin(n,p) 假设一个硬币正面朝上的概率为 p, 抛此硬币 n 次, 得到 k 次正面 ( 或 n-k 次反面 ) 的概率多大? Ω = 所有可能 n 长度的正面 / 反面序列, Ω = 2 n w = (w 1, w 2,, w n ) { 正面, 反面 } n, K(2) = w 中出现正面的次数 P(K = k) = P(w: K(w) = k) = p k (1 p) n k w:k(w)=k = ( n k )pk (1 p) n k

18 基本概念连续分布定义 : 累积分布函数 : F X (z) = P(X z) or F X (z) = P(X < zz) Cumulative distribution function (CDF) 定义 : 连续分布 : 累积分布函数为绝对连续的随机变量概率 F( ) = 0,F(+ ) = 1 当存在某个函数 p 使得 F(x) = x p(t)dt, 则 F: (, ) R 为绝对连续定义 : 上述 p(x) 成为分布 F 的概率密度函数性质 : d dx F(x) = p(x). Probability Density function (PDF)

19 基本概念累积分布图???

20 基本概念累积分布图离散概率分布的 CDF 连续概率分布的 CDF 连续 + 离散概率分布的 CDF

21 基本概念概率密度分布 PDF 性质 : p(x) 0 p(x)dx = 1 p(x) = d dx df(x) F(x) = x p(t)dt b P(a X b) = p(x)dx a 直观上, 可认为 p(x)dx 为随机变量 X 落于无穷小区间 [x,x+dx] 的概率

22 基本概念均匀分布 Uniform Distribution 1/(b a), a x b p(x) = 0, 其它 0, x a F(X) = (x a)/(b a), a x b 1, x > bb

23 基本概念正态 / 高斯分布 Normal/Gaussian Distribution p(x) = 1 (x μ)2 exp F(x) = 1 2πσ2 2σ 2 2 (1 + erf x μ 2σ 2 )

24 基本概念矩期望 : 平均值,1 阶矩 Expectation E(X) = x i Ω x i p(x i ), 离散概率分布 xp(x)dx, 连续概率分布方差 : 平均值,2 阶矩 Variance V(X) = x (x i E(X)) 2 i Ω p(x i ), 离散概率分布 (x E(X)) 2 p(x)dx, 连续概率分布

25 基本概念多变量 ( 联合 ) 分布 P(a X b, c Y d) =? P(a 1 X 1 b 1,, a d X d b d ) =?

26 基本概念多变量 ( 联合 ) 分布 P(a X b, c Y d) =? P(a 1 X 1 b 1,, a d X d b d ) =? 离散多变量分布 P(A1,B1) = 5/20 边际分布 :P(A1) = 16/20, P(B1) = 8/20 Marginal distribution B1 坐前五排 B2 不坐前五排 A1 男生 A2 女生 5/20 11/20 3/20 1/20

27 连续多变量分布基本概念多变量累积分布函数对于 A R d,p([x 1,, X d ] A) = A p(t 1,, t d )dt 1 dt d x 1 F X (x 1,, x d ) = p(t 1,, t d )dt 1 dt d x d

28 多变量高斯分布基本概念 μ R d : 均值 Σ R d d : 协方差矩阵 p(x 1,, x d ) = 1 (2π) d Σ exp ( 1 2 (x μ)t Σ 1 (x μ))

29 条件概率基本概念 Conditional probability P(X Y): 在给定 Y 事件为真的前提下 X 事件为真的概率 P(B1 A1) P(B1 A2) P(X Y) = P(X, Y) P(Y) B1 坐前五排 B2 不坐前五排 A1 男生 A2 女生 5/20 11/20 3/20 1/20

30 条件概率基本概念 P(X Y): 在给定 Y 事件为真的前提下 X 事件为真的概率 P(X Y) = P(X, Y) P(Y) P(B1 A1) = (5/20) / (16/20) = 5/16 P(B1 A2) = (3/20) / (4/20) = 3/4 Conditional probability B1 坐前五排 B2 不坐前五排 A1 男生 A2 女生 5/20 11/20 3/20 1/20

31 独立性基本概念独立随机变量 : Independence P(X, Y) = P(X)P(Y); P(X Y) = P(X) 含义 : Y 与 X 不包含互相的信息观察到事件 Y 不能帮助预测 X 事件信息观察到事件 X 不能帮助预测 Y 事件信息例子 : 学校举办的报告一门课程的某一节课

32 条件独立基本概念 Z 使得 X 与 Y 独立 : P(X, Y Z) = P(X Z)P(Y Z) P(X Y, Z) = P(X Z) 例子 : 相关 : 鞋码大小与读书能力

33 条件独立例子 : 基本概念 Z 使得 X 与 Y 独立 : P(X, Y Z) = P(X Z)P(Y Z) P(X Y, Z) = P(X Z) 相关 : 鞋码大小与读书能力条件独立 : 在给定年龄下的鞋码大小与读书能力伦敦出租车司机 : 调查指出交通事故的发生概率与出租车司机是否穿外衣有强正相关关系

34 3. MLE & MAP 统计 / 概率基本概念与知识贝叶斯准则最大似然估计 (MLE) 最大后验估计 (MAP) MLE VS. MAP 机器学习编码本质

35 贝叶斯规则链式法则 P(X, Y) = P(X Y)P(Y) = P(Y X)P(X) 贝叶斯规则 P(X Y) = P(Y X)P(X) P(Y) 贝叶斯规则构成了整个机器学习的重要统计理论基础!

36 贝叶斯规则观测到飞碟有外星人观测到飞碟无外星人未观测到飞碟有外星人未观测到飞碟无外星人当观测到飞碟有外星人的概率 : A=1: 观测到飞碟 B=1: 有外星人 P(A = 1 B = 1)P(B = 1) P(B = 1 A = 1) = P(A = 1) P(A = 1 B = 1)P(B = 1) = P(A = 1 B = 1)P(B = 1) + P(A = 1 B = 0)P(B = 0) = = 有外星人无外星人当观测到飞碟无外星人的概率 : P(B = 0 A = 1) = = 0.943

37 贝叶斯规则观测到飞碟有外星人观测到飞碟无外星人观察 1 即使观测到飞碟, 有外星人的概率仍然很小原因? 未观测到飞碟有外星人有外星人无外星人未观测到飞碟无外星人观察 2 观测到飞碟使有外星人的先验概率显著增大原因?

38 贝叶斯规则先验 vs. 后验

39 3. MLE & MAP 统计 / 概率基本概念与知识贝叶斯准则最大似然估计 (MLE) 最大后验估计 (MAP) MLE VS. MAP 高斯分布情形

40 最大似然估计硬币实验抛一个硬币, 正面朝上的概率? 以下的抛投结果 : Maximum Likelihood Estimation 正面朝上的概率是 3/5 为什么?

41 最大似然估计伯努利分布 D = {X i } n i=1,x i { 正面, 背面 } P 正面 = θ,p 背面 = 1 θ 所有抛掷为 i.i.d. 事件独立 (independent) 事件同分布 (identically distributed) 事件最大似然估计目标 : 选择使得观察数据的发生概率最大!

42 最大似然估计最大似然函数估计 (MLE): D = {X i } n i=1,x i { 正面, 背面 } θ MLE = arg max θ P(D θ) 计算使得观察数据的发生概率最大的 θ MLE = arg max θ P(D θ) n = arg max θ P(X i θ) i=1 =?

43 最大似然估计计算使得观察数据的发生概率最大的 θ MLE = arg max θ P(D θ) n = arg max θ P(X i θ) i=1 θ MLE = n 正面 n 正面 + n 背面

44 最大似然估计一个问题 : 如果抛投五次硬币, 全部为正面,MLE 结果是?

45 最大似然估计一个问题 : 如果抛投五次硬币, 全部为正面,MLE 结果是? P( 正面 ) = 1 对吗?

46 最大似然估计一个问题 : 如果抛投五次硬币, 全部为正面,MLE 结果是? P( 正面 ) = 1 对吗? 我们默认有一个先验在脑中

47 3. MLE & MAP 统计 / 概率基本概念与知识贝叶斯准则最大似然估计 (MLE) 最大后验估计 (MAP) MLE VS. MAP 高斯分布情形

48 最大后验估计贝叶斯规则 P(θ D) = P(D θ)p(θ) P(D) Maximum A Posteriori Estimation 或者 P(θ D)~P(D θ)p(θ) 后验分布似然函数先验分布

49 最大后验估计硬币实验 P(θ D)~P(D θ)p(θ) 先验分布后验分布

50 先验从哪里来??? 关于先验通过专家知识而来 ( 哲学系方法 ) 简单易算形式 ( 工程系方法 ) 无信息先验均匀分布近似均匀分布共轭先验后验能够闭合形式表达先验与后验具有同样形式

51 最大后验估计共轭先验先验与后验具有相同的参数化形式例 1: 抛掷硬币似然函数 : 二项分布 P(D θ) = C n n Z θ n Z (1 θ) n n Z Beta 分布 ( 先验 ): P(θ) = θβ Z 1 (1 θ) β B 1 B(β Z, β B ) 后验形式 : ~Beta(β Z, β B ) P(θ D)~Beta(β Z + n Z, β B + n B ) 二项分布的共轭先验分布为 Beta 分布

52 最大后验估计典型 Beta 分布图 Beta(1,1) Beta(2,2) Beta(2,3) Beta(20,30) β Z, β B 越大, 分布越集中

53 Beta 先验计算效果最大后验估计 P(θ)~Beta(β Z, β B ) P(θ D)~Beta(β Z + n Z, β B + n B ) Beta(2,2) Beta(2,3) Beta(20,30) 直观意义? 当越来越多的样本加入时, 先验的作用会?

54 最大后验估计最大后验原理 θ MAP = arg max θ = arg max θ P(θ D) P(D θ)p(θ) 对二项分布的 MAP 估计 : P(θ D)~Beta(β Z + n Z, β B + n B ) θ MAP = β Z + n Z 1 β Z + n Z + β B + n B 2 与其 MLE 相比有什么样的不同?

55 3. MLE & MAP 统计 / 概率基本概念与知识贝叶斯准则最大似然估计 (MLE) 最大后验估计 (MAP) MLE VS. MAP 机器学习编码本质

56 MLE vs. MAP MLE: 选择最大化观察数据概率的参数值 θ MLE = arg max θ P(D θ) MAP: 在给定观察数据与先验前提下, 选择后验最大的参数值 θ MAP = arg max θ P(θ D) = arg max θ P(D θ)p(θ)

57 MLE vs. MAP θ MLE = n Z n Z + n B 三次正面, 结果为? MLE 估计 : 正面概率为 1 θ MAP = MAP 估计 : β Z + n Z 1 β Z + n Z + β B + n B 2 (β Z 1) + 3 (β Z + β B 2) + 3 总投掷次数 n 趋于无穷时, 会发生什么情况? 何时先验更能体现出重要性?

58 3. MLE & MAP 统计 / 概率基本概念与知识贝叶斯准则最大似然估计 (MLE) 最大后验估计 (MAP) MLE VS. MAP 机器学习编码本质

59 图像恢复问题反问题 : X = f(w) + ε 观测 X 恢复 f(w) 图像超分辨图像去噪图像去模糊

60 机器学习求解模型学习机误差函数正则项 Low rank Sparsity Non-local Similarity

61 = + Log Log

62 = + 随机性信息确定性信息

63 误差函数噪声分布

64 噪声主观假设噪声实际分布

65 要求 1. 搞清楚机器学习涉及的统计基础 2. 搞清楚贝叶斯定理的含义 3. 搞清楚 MLE 与 MAP 各自的特点与本质阅读 : [1] Pattern Recognition and Machine Learning, Christopher, M. Bishop, Springer, II. Probabilistic Distribution

Microsoft PowerPoint - 3-统计基础.pptx

Microsoft PowerPoint - 3-统计基础.pptx 机器学习 3. MLE&MAP 3. MLE & MAP 统计 / 概率基本概念与知识贝叶斯准则最大似然估计 (MLE) 最大后验估计 (MAP) MLE VS. MAP 高斯分布情形 3. MLE & MAP 统计 / 概率基本概念与知识贝叶斯准则最大似然估计 (MLE) 最大后验估计 (MAP) MLE VS. MAP 高斯分布情形基本概念概率采样空间, 事件, 代数概率公理,