Microsoft PowerPoint - 4-朴素贝叶斯.pptx

Size: px

Start display at page:

Download "Microsoft PowerPoint - 4-朴素贝叶斯.pptx"

蓉巩安
5 years ago
Views:

1 机器学习 4. 朴素贝叶斯

2 主要内容贝叶斯分类器 NB 基本原理 MLE vs. MAP 垃圾邮件分类 Bag of Words 字符识别

3 主要内容贝叶斯分类器 NB 基本原理 MLE vs. MAP 垃圾邮件分类 Bag of Words 字符识别

4 贝叶斯分类器分类问题目标 : 学习预测函数, 使得某个风险函数 ( 表现度量 ) R(f) 在某个学习机器上达到最小 X 概率误差 : 体育娱乐科学 Y

5 贝叶斯分类器最优决策器 ( 贝叶斯分类器 ): 等价于 : Bayes Classifier

6 贝叶斯分类器最优决策器 ( 贝叶斯分类器 ): 贝叶斯误差即使最优分类器也会使概率误差 >0 最优的分类器依赖于未知却固定的分布 P(X,Y)

7 贝叶斯分类器生成模型 : 能够基于模型重新产生数据, Generative Model 决策模型 : 直接学习决策分布确定性模型 : 直接学习决策函数 Discrininative Model

8 贝叶斯分类器贝叶斯规则 : 最优分类器 : 类条件密度类先验

9 贝叶斯分类器例子 : 高斯类条件密度 (1 维情形 ) 二分类问题 : 决策边界

10 贝叶斯分类器例子 : 高斯类条件密度 (2 维情形 ) 决策边界

11 最优分类器 : 贝叶斯分类器类条件密度类先验需要知道的信息 : 类先验 : 似然 :

12 主要内容贝叶斯分类器 NB 基本原理 MLE vs. MAP 垃圾邮件分类 Bag of Words 字符识别

13 NB 基本原理任务 : 测试是否一个男生是受欢迎的训练数据 : 幽默高大家境好成绩好有思想做事靠谱受欢迎是是否是是是是是否是否是是是否否否是否否否否是否是否否否目标 : 学习 P(Y X) 多少参数需要学习? 类先验 : 似然 : 若有 K 个类,K-1 若每个特征为 2 类特征,(2^d-1)K

14 NB 基本原理任务 : 测试是否一个男生是受欢迎的训练数据 : 幽默高大家境好成绩好有思想做事靠谱受欢迎是是否是是是是是否是否是是是否否否是否否否否是否是否否否目标 : 学习 P(Y X) 多少参数需要学习? 共 2^dK-1 个参数需要估计! 需要远大于共 2^dK-1 个训练数据来训练所有变量!

15 NB 基本原理条件独立 : 等价于 : 例 P( 会用决策树会用朴素贝叶斯上过 ML 课 ) 例 :P( 会用决策树会用朴素贝叶斯, 上过 ML 课 ) = P( 会用决策树上过 ML 课 )

16 NB 基本原理分析 :A= 会用决策树, B= 会用朴素贝叶斯,C= 上过 ML 课 P( 会用决策树会用朴素贝叶斯, 上过 ML 课 ) = P( 会用决策树上过 ML 课 ) 当未知 C 时,A,B 相关, 因为会用一种机器学习方法的学者通常会用另一种的概率更大当知道 C 时,A,B AB 完全由学生自己的能力悟性与努力程度有关, 因此变成独立事件

17 NB 基本原理 P( 会用决策树, 会用朴素贝叶斯上过 ML 课 ) P(A,B C) 问题 : 根据会不会使用决策树与朴素贝叶斯, 预测是否上过 ML 课从两个条件独立的特征入手 :A, B 估计类概率密度 ( 似然 ) 需要估计的参数个数 : P(A,B C) : (2^2-1)*2 = 6 利用条件概率假设 : P(A,B C) = P(A C) P(B C) : (2-1)*2+(2-1)*2=4

18 NB 基本原理朴素贝叶斯假设 : 所有特征在给定类下条件独立更一般的 : 需要估计多少参数? (2-1)dK vs. (2^d-1)K!!

19 主要内容贝叶斯分类器 NB 基本原理 MLE vs. MAP 垃圾邮件分类 Bag of Words 字符识别

20 MLE vs. MAP 贝叶斯分类器判别过程 : 给定 : 类先验 P(Y) 对每个特征 Xi, 似然 P(Xi Y) 决策规则 : 若条件独立假设成立,NB 解为贝叶斯分类器!

21 MLE vs. MAP 贝叶斯分类器训练过程 : 训练数据 : MLE 估计 : 类先验 : 似然 :

22 MLE vs. MAP 如果你在 y=b 类中未观察到样本俱备特征 X1=a, 会发生什么情况? 无论 X2,,Xd 取什么值, 定有 : 该怎么办?

23 最大似然估计 : MLE vs. MAP Z MLE Z B 当投掷硬币次数太少时, 可能估计为 P( 正面 )=0 最大后验估计 : β Z n Z 1 θ MAP β Z n Z β B n B 2 相当于模拟增加了硬币的投掷次数当投掷硬币次数很少时, 避免出现 P( 正面 )=1/0 的异常情况

24 MLE vs. MAP 训练数据 : 最大后验估计 : 增加虚拟样本 β P X i a Y b #j: X j a,y j b i βi a, b 1 #j: Y j b a βi a, b 1 此时, 即使在某类中未观察到某一特征, 后验概率也一定非 0.

25 主要内容贝叶斯分类器 NB 基本原理 MLE vs. MAP 垃圾邮件分类 Bag of Words 字符识别

26 垃圾邮件分类文本分类 : Y = { 垃圾邮件, 正常邮件 } Y = { 文章的主题 } Y={ 主页的类型 } 特征 X 该如何表达?

27 X 是整个文件! 怎样表示? 垃圾邮件分类

28 主要内容贝叶斯分类器 NB 基本原理 MLE vs. MAP 垃圾邮件分类 Bag of Words 字符识别

29 Bag of Words 表达方式有一个字典集, 构成关键字集合, 如包含 1000 个元素 Xi 代表在字典中的第 i 个字在文本中出现次数, 因此, 特征共 1000 维朴素贝叶斯执行模式估计先验 P(y), 对所有类别估计每一个 P(Xi y), 对所有类别 y 与所有特征 Xi

30 Bag of Words 基本思想 : 不管字的排序, 只管出现次数看上去似乎非常简易, 实际中却往往非常有效! Bag of Words 当下铃课声响的时起候, 请记醒住叫同你边睡旁着的学

31 Bag of Words 基本思想 : 不管字的排序, 只管出现次数看上去似乎非常简易, 实际中却往往非常有效! Bag of Words 当下课铃声响起的时候, 请记住叫醒你旁边睡着的同学

32 Bag of Words

33 Bag of Words BoW 学习过程 : 通过大量训练文本, 获得类先验 P(Y) 对每个特征 Xi, 似然 P(Xi Y) BoW 决策过程 : 对一个测试文本, 使用 NB 决策规则 :

34 Bag of Words 准确率可达到 95% 以上! 准确率可达到 95% 以上! 是最常用的垃圾邮件分类器之一

35 主要内容贝叶斯分类器 NB 基本原理 MLE vs. MAP 垃圾邮件分类 Bag of Words 字符识别

36 字符识别 Xi 是在第 i 个像素处的灰度值高斯朴素贝叶斯 : 每个类别, 每个像素不同的均值与方差变量有时假设方差 : 与 Y 无关与 X 无关或与两者均无关

37 最大似然估计 : 字符识别

38 要求 1. 贝叶斯分类器的基本概念与原理 2. NB 方法的 : 假设, 动机, 怎样训练和预测,MAP 重要性 3. 文本分类与 BoW 原理 4. 高斯 NB 原理 5. 若有少数 Xi 相关, 能否改造 NB 方法? 阅读 : [1] The Elements of Statistical Learning: Data Mining, Inference and Prediction. Hastie, Tibshirani, Friedman. Springer, The Naïve Bayes Classifier [2] [] On Discriminative vs. Generative Classifiers: A comparison of logistic regression and Naive Bayes, Andrew Y. Ng and Michael Jordan. In NIPS 14, 2002.

误差建模

误差建模机器学习 2. 统计基础过拟合与正则化 n min f M阶多项式函数 i = 1 ( f ( x ) y ) i i 2 min f Φ L ( D, f ( w)) + p( w) 正则项 p ( w) = w 2 2 min f Φ L ( D, f ( w)) + p( w) min f Φ L ( D, f ( w)) + p( w) 学习机误差项正则项 3. MLE & MAP