Microsoft Word - lecture03.doc

Size: px

Start display at page:

Download "Microsoft Word - lecture03.doc"

砧绍
7 years ago
Views:

1 第二章贝叶斯决策理论. 引言统计模式识别 : 用概率统计的观点和方法来解决模式识别问题基本概念 : 样本 samle d R 状态 state 第一类 : 第二类 : 先验概率 a ror robablty or ror 样本分布密度 samle dstrbuton densty 总体概率密度类条件概率密度 lass-ondtonal robablty densty 后验概率 a osteror robablty or osteror 错误概率 robablty of error

2 e f s assgned to f s assgned to 平均错误率 average robablty of error e e d 正确率 roabalty of orretness e 贝叶斯决策统计决策理论是统计模式识别的基本方法和基础是最优分类器 : 使平均错误率最小条件 : 类别数一定决策论中把类别称作状态 L 已知类先验概率和类条件概率密度 L

3 . 贝叶斯决策规则.. 最小错误率贝叶斯决策 d e e mn 因为 0 e 0 所以等价于 : mn e for all. 而 assgn f assgn f e f < > assgn 最小错误率贝叶斯决策简称贝叶斯决策如何计算后验概率? 已知贝叶斯公式 :Bayesan heroy 最小错误率贝叶斯决策规则的几种等价表达形式 : If ma then If ma then 3 If l < > then

4 4 ln ln ] ln[ l h + If h > < ln then 其中 l : 似然比 : 似然比阈值 h : 对数似然比图示 : 多类情况 : If ma L then If ma L then R d e R R + d d e e e +

5 .. 最小风险贝叶斯决策最小错误率只考虑了错误进一步可考虑不同错误所带来的损失代价用决策论方法把问题表述如下 : 把样本看作 d 维随机向量 ] [ L 状态空间 Ω 由个可能的状态类组成 : Ω { } d L 3 对随机向量可能采取的决策组成了决策空间它由 k 个决策组成 : 4 对于实际状态为 A { α α } L α k 的向量采取决策 α 所带来的损失为 λ α L k L 形成损失函数对于实际问题损失函数以表格形式给出决策表 : 条件期望损失 : 对于特定的采取决策 α 的期望损失 : [ λ α ] R α E λ α L k 期望风险 : 对所有可能的采取决策 α 所造成的期望损失之和 R α R α d

状态为 A { α α } L α k 的向量采取决策 α 所带来的损失为 λ α L k L 形成损失函数对于实际问题损失函数以表格形式给出决策表 : 条件期

6 也称平均风险 R α 表示 R 依赖于决策规则 α 对所有使 R α 最小则可以使 R α 最小因此有 : 最小风险贝叶斯决策规则 : If R α mn R α then L k α α 计算 : 可采取以下步骤对于给定的样本 : 计算后验概率 : 计算风险 : L R α λ α L k 3 决策 : α arg mn R α L k 两类情况 : λ λ λ λ < λ + λ > λ + λ 则 < 或 λ λ λ λ >

7 > < λ λ λ λ λ λ λ λ > l < λ λ λ λ 则显然当 λ 0 λ λ λ 时最小风险就是最小错误率请认真学习课本例. 和. 体会同样数据情况下不同的损失会导致不同的决策更一般地 α 表示一种决策方法属于某个方法的集合 α A 在 A 所有可能的方法中寻找一个 α 使 R α 最小期望风险最小化模式识别方法研究所追求的目标

8 ..3 限定一类错误率使另一类错误率最小某些实际情况可能要求一类错误率控制在很小不大于某数在满足此条件的前提下再使另一类错误率尽可能小比如 : mn e 对分类边界求最小 s.t. ε e 0 > ε 是个很小的常数用 Lagrange 乘子法 : mn ε + λ e e L 对分类边界和 λ 求最小 + ε λ R R d d + ε λ R R d d [ ]d R λ λε + R R 为两类的决策域记 t 为它们的边界一维情况下即分界点 0 t L * * * λ t t -5 0 λ L ε * R d -6 决策准则 : λ > < 则或 l > < λ 则也称 Neyman-earson 决策规则

ε e 0 > ε 是个很小的常数用 Lagrange 乘子法 : mn ε + λ e e L 对分类边界和 λ 求最小 + ε λ R R d d + ε λ R R d d

9 似然比阈值 λ 通过求解 -5-6 方程得到但显然不容易考虑似然比密度函数 l 求解 λ -9 e l dl ε 0 当 λ 0 时 R φ R R e 所有类均分到了类当 λ 时 R R e 0 所有样本都分到因此不会有错利用对 λ 的单调性总可以找到适当的 λ 使 ε e 但多数情况下得到 λ 的形式化解是很困难的成立 e..4 最小最大决策 mnma 基本思想 : 类先验概率未知考查先验概率变化对错误率的影响找出使最小贝叶斯风险最大的先验概率以这种最坏情况设计分类器详细情况请自学..5 序贯分类方法基本思想 : 除考虑分类造成的损失外还考虑特征获取所造成的代价先用一部分特征分类然后逐步加入新特征以减少分类损失同时衡量总的损失以求得最优的效益

.4 最小最大决策 mnma 基本思想 : 类先验概率未知考查先验概率变化对错误率的影响找出使最小贝叶斯风险最大的先验概率以这种最坏情况设计分类器详细

10 ..6 小结 : 分类器设计几个概念 : 决策面分类面判别函数多类判别函数 g L g ma g 则 L 决策面方程 g g 两类判别函数 > 0 g 则 < 0 决策面方程 g 0 分类器设计就是求 g

11 .3 正态分布时的统计决策为什么研究正态分布? ---- 简单且较符合很多实际情况.3. 关于正态分布的知识单变量 : e πσ σ E { } d { } σ d E σ 记作 N 多变量 : π e d / / E[] 均值向量 E [ ] 协方差矩阵 d d 对角线元素为方差记作 N d R

12 正态分布的性质 : ~ N + / + d d d 个参数决定等密度点形成超椭球面 γ C 的特征向量决定了主轴方向主轴长度与的本征值成正比 3 对于正态分布的随机变量不相关等价于独立不相关 : [ ] [ ] [ ] E E E 独立 : 不相关推论 : 是对角阵的各分量相互独立 4 边缘分布仍是正态分布 ~ N σ 条件分布也是正态分布 5 线性变换仍是正态分布 ~ N A y ~ A A A N y 6 线性组合仍是正态分布线性变换的特例 ~ N a y ~ a a a N y.3. 正态分布下的贝叶斯决策 e / / d I π

对角阵的各分量相互独立 4 边缘分布仍是正态分布 ~ N σ 条件分布也是正态分布 5 线性变换仍是正态分布 ~ N A y

13 考虑判别函数 g ln[ ] ln + ln d ln π ln + ln 决策面方程 g g [ ] ln + ln 0 下面研究一些特殊情况 : 一 σ I L 各类协方差阵相等且各特征独立方差相等如果 L 相等略去判别函数中与类别无关的项得 g σ σ σ d 球状分布各类先验概率相等则分类只取决于样本到各类中心的距离最小距离分类器模板匹配

14 如果 L 不相等得再略去与无关的项 g ln + σ 整理可得其中 g w + b 线性判别函数 w b σ σ + ln 决策面向先验概率小的方向偏移二 L 各类协方差阵相等 g + ln 到的 Mahalanobs 距离的平方记 γ 若相等则分类取决于样本到类中心的 Mahalanobs 距离一般可得 g + + ln 略去项得

15 g w + b 线性判别函数其中 w b + ln 决策面方程 : g g 可写为 w 0 0 其中 w ln / 0 + 当时 + 0 到的马氏距离平方 Mahalanobs 距离考虑了方差因素当 I 时就是欧氏距离三一般情况各类协方差不同 g ln + ln W + w + w 0 其中 W Σ

16 w Σ w 决策面 g g ln + ln 0 举例 : 二维常见情况 W W + w w + w w 0 0 相互独立 σ σ σ σ 已知 0 为超二次曲面

17 .4 关于分类器的错误率研究错误的意义对于同一方法不同的错误率反映问题的复杂程度适合程度对于同一问题不同的错误率反映了方法的优劣 e d + R R d e + e 三类处理方法 : 按理论公式计算计算错误率上限估计 3 实验估计 : C 法用所有样本 H 划分测试集 U 法留一法交叉验证 ross-valdaton:leave-one-out 0-fold ---- 对真实错误率期望错误率的无偏估计但是方差大.5 小结贝叶斯决策理论是统计模式识别的重要理论基础理论上讲贝叶斯决策方法是最优的在最小错误率或最小风险意义上应用中 : 需要首先得到先验概率和类条件概率密度方法一 : 先估计概率密度后求解决策规则方法二 : 若已知或可假设概率密度为某种形式比如正态分布可先求出判决函数形式再从样本估计其中的参数方法三 : 直接选择或假设某种判决函数形式用样本确定其参数

5 小结贝叶斯决策理论是统计模式识别的重要理论基础理论上讲贝叶斯决策方法是最优的在最小错误率或最小风险意义上应用中 : 需要首先得到先验概率和类条件概率密度方法一 : 先估计

18 前几次课小结主要讲了两个内容模式识别的概念和基本方法思路需要说明的几点 : 如对如何区分类别有明确的认识则一般不作为 R 问题看模式识别问题并不一定用统计模式识别方法来解决模板匹配是 R 的最简单方法但不是典型做法最小距离分类器 Verfaton 与 Reognton 区别 : 拒绝如投币识别分类学与 R 决策与 R 贝叶斯决策前提 : 已知损失函数 λ α 求 : 决策 α 目标 : mn α R α d 决策规则 : f R mn R α α α α then 后验概率 : 风险 : R α λ α 贝叶斯分类器

法最小距离分类器 Verfaton 与 Reognton 区别 : 拒绝如投币识别分类学与 R 决策与 R 贝叶斯决策前提 : 已知损失函

19 最小风险 Bayes 分类器贝叶斯决策最小错误率 Bayes 分类器判别函数 g 决策面 g g 似然比 l 似然比阈值 λ / 对数似然比 h ln[ l ] 最小风险 λ λ λ λ λ 限定一类错误率最小最大决策序贯分类 λ 0 l dl ε 正态分布情况 : 一般 : 二次分类面 : 线性分类面马氏距离 σ I : 模板匹配欧氏距离

Microsoft Word - 第7章图表反转形态.doc

Microsoft Word - 第7章图表反转形态.doc 第七章图表反转形态我们知道市场趋势共有三种 : 上升趋势下降趋势和横向整理市场的价格波动都是运行在这三种趋势中, 所有的走势都是这三种趋势的排列组合如图市场趋势结构示意图 7-1 所示市场趋势结构示意图 7-1 图市场趋