第 二 章 贝 叶 斯 决 策 理 论. 引 言 统 计 模 式 识 别 : 用 概 率 统 计 的 观 点 和 方 法 来 解 决 模 式 识 别 问 题 基 本 概 念 : 样 本 samle d R 状 态 state 第 一 类 : 第 二 类 : 先 验 概 率 a ror robablty or ror 样 本 分 布 密 度 samle dstrbuton densty 总 体 概 率 密 度 类 条 件 概 率 密 度 lass-ondtonal robablty densty 后 验 概 率 a osteror robablty or osteror 错 误 概 率 robablty of error
e f s assgned to f s assgned to 平 均 错 误 率 average robablty of error e e d 正 确 率 roabalty of orretness e 贝 叶 斯 决 策 统 计 决 策 理 论 是 统 计 模 式 识 别 的 基 本 方 法 和 基 础 是 最 优 分 类 器 : 使 平 均 错 误 率 最 小 条 件 : 类 别 数 一 定 决 策 论 中 把 类 别 称 作 状 态 L 已 知 类 先 验 概 率 和 类 条 件 概 率 密 度 L
. 贝 叶 斯 决 策 规 则.. 最 小 错 误 率 贝 叶 斯 决 策 d e e mn 因 为 0 e 0 所 以 等 价 于 : mn e for all. 而 assgn f assgn f e f < > assgn ------ 最 小 错 误 率 贝 叶 斯 决 策 简 称 贝 叶 斯 决 策 如 何 计 算 后 验 概 率? 已 知 贝 叶 斯 公 式 :Bayesan heroy 最 小 错 误 率 贝 叶 斯 决 策 规 则 的 几 种 等 价 表 达 形 式 : If ma then If ma then 3 If l < > then
4 ln ln ] ln[ l h + If h > < ln then 其 中 l : 似 然 比 : 似 然 比 阈 值 h : 对 数 似 然 比 图 示 : 多 类 情 况 : If ma L then If ma L then R d e R R + d d e e e +
.. 最 小 风 险 贝 叶 斯 决 策 最 小 错 误 率 只 考 虑 了 错 误 进 一 步 可 考 虑 不 同 错 误 所 带 来 的 损 失 代 价 用 决 策 论 方 法 把 问 题 表 述 如 下 : 把 样 本 看 作 d 维 随 机 向 量 ] [ L 状 态 空 间 Ω 由 个 可 能 的 状 态 类 组 成 : Ω { } d L 3 对 随 机 向 量 可 能 采 取 的 决 策 组 成 了 决 策 空 间 它 由 k 个 决 策 组 成 : 4 对 于 实 际 状 态 为 A { α α } L α k 的 向 量 采 取 决 策 α 所 带 来 的 损 失 为 λ α L k L 形 成 损 失 函 数 对 于 实 际 问 题 损 失 函 数 以 表 格 形 式 给 出 决 策 表 : 条 件 期 望 损 失 : 对 于 特 定 的 采 取 决 策 α 的 期 望 损 失 : [ λ α ] R α E λ α L k 期 望 风 险 : 对 所 有 可 能 的 采 取 决 策 α 所 造 成 的 期 望 损 失 之 和 R α R α d
也 称 平 均 风 险 R α 表 示 R 依 赖 于 决 策 规 则 α 对 所 有 使 R α 最 小 则 可 以 使 R α 最 小 因 此 有 : 最 小 风 险 贝 叶 斯 决 策 规 则 : If R α mn R α then L k α α 计 算 : 可 采 取 以 下 步 骤 对 于 给 定 的 样 本 : 计 算 后 验 概 率 : 计 算 风 险 : L R α λ α L k 3 决 策 : α arg mn R α L k 两 类 情 况 : λ λ λ λ < λ + λ > λ + λ 则 < 或 λ λ λ λ >
> < λ λ λ λ λ λ λ λ > l < λ λ λ λ 则 显 然 当 λ 0 λ λ λ 时 最 小 风 险 就 是 最 小 错 误 率 请 认 真 学 习 课 本 例. 和. 体 会 同 样 数 据 情 况 下 不 同 的 损 失 会 导 致 不 同 的 决 策 更 一 般 地 α 表 示 一 种 决 策 方 法 属 于 某 个 方 法 的 集 合 α A 在 A 所 有 可 能 的 方 法 中 寻 找 一 个 α 使 R α 最 小 期 望 风 险 最 小 化 模 式 识 别 方 法 研 究 所 追 求 的 目 标
..3 限 定 一 类 错 误 率 使 另 一 类 错 误 率 最 小 某 些 实 际 情 况 可 能 要 求 一 类 错 误 率 控 制 在 很 小 不 大 于 某 数 在 满 足 此 条 件 的 前 提 下 再 使 另 一 类 错 误 率 尽 可 能 小 比 如 : mn e 对 分 类 边 界 求 最 小 s.t. ε e 0 > ε 是 个 很 小 的 常 数 用 Lagrange 乘 子 法 : mn ε + λ e e L 对 分 类 边 界 和 λ 求 最 小 + ε λ R R d d + ε λ R R d d [ ]d R λ λε + R R 为 两 类 的 决 策 域 记 t 为 它 们 的 边 界 一 维 情 况 下 即 分 界 点 0 t L * * * λ t t -5 0 λ L ε * R d -6 决 策 准 则 : λ > < 则 或 l > < λ 则 也 称 Neyman-earson 决 策 规 则
似 然 比 阈 值 λ 通 过 求 解 -5-6 方 程 得 到 但 显 然 不 容 易 考 虑 似 然 比 密 度 函 数 l 求 解 λ -9 e l dl ε 0 当 λ 0 时 R φ R R e 所 有 类 均 分 到 了 类 当 λ 时 R R e 0 所 有 样 本 都 分 到 因 此 不 会 有 错 利 用 对 λ 的 单 调 性 总 可 以 找 到 适 当 的 λ 使 ε e 但 多 数 情 况 下 得 到 λ 的 形 式 化 解 是 很 困 难 的 成 立 e..4 最 小 最 大 决 策 mnma 基 本 思 想 : 类 先 验 概 率 未 知 考 查 先 验 概 率 变 化 对 错 误 率 的 影 响 找 出 使 最 小 贝 叶 斯 风 险 最 大 的 先 验 概 率 以 这 种 最 坏 情 况 设 计 分 类 器 详 细 情 况 请 自 学..5 序 贯 分 类 方 法 基 本 思 想 : 除 考 虑 分 类 造 成 的 损 失 外 还 考 虑 特 征 获 取 所 造 成 的 代 价 先 用 一 部 分 特 征 分 类 然 后 逐 步 加 入 新 特 征 以 减 少 分 类 损 失 同 时 衡 量 总 的 损 失 以 求 得 最 优 的 效 益
..6 小 结 : 分 类 器 设 计 几 个 概 念 : 决 策 面 分 类 面 判 别 函 数 多 类 判 别 函 数 g L g ma g 则 L 决 策 面 方 程 g g 两 类 判 别 函 数 > 0 g 则 < 0 决 策 面 方 程 g 0 分 类 器 设 计 就 是 求 g
.3 正 态 分 布 时 的 统 计 决 策 为 什 么 研 究 正 态 分 布? ---- 简 单 且 较 符 合 很 多 实 际 情 况.3. 关 于 正 态 分 布 的 知 识 单 变 量 : e πσ σ E { } d { } σ d E σ 记 作 N 多 变 量 : π e d / / E[] 均 值 向 量 E [ ] 协 方 差 矩 阵 d d 对 角 线 元 素 为 方 差 记 作 N d R
正 态 分 布 的 性 质 : ~ N + / + d d d 个 参 数 决 定 等 密 度 点 形 成 超 椭 球 面 γ C 的 特 征 向 量 决 定 了 主 轴 方 向 主 轴 长 度 与 的 本 征 值 成 正 比 3 对 于 正 态 分 布 的 随 机 变 量 不 相 关 等 价 于 独 立 不 相 关 : [ ] [ ] [ ] E E E 独 立 : 不 相 关 推 论 : 是 对 角 阵 的 各 分 量 相 互 独 立 4 边 缘 分 布 仍 是 正 态 分 布 ~ N σ 条 件 分 布 也 是 正 态 分 布 5 线 性 变 换 仍 是 正 态 分 布 ~ N A y ~ A A A N y 6 线 性 组 合 仍 是 正 态 分 布 线 性 变 换 的 特 例 ~ N a y ~ a a a N y.3. 正 态 分 布 下 的 贝 叶 斯 决 策 e / / d I π
考 虑 判 别 函 数 g ln[ ] ln + ln d ln π ln + ln 决 策 面 方 程 g g [ ] ln + ln 0 下 面 研 究 一 些 特 殊 情 况 : 一 σ I L 各 类 协 方 差 阵 相 等 且 各 特 征 独 立 方 差 相 等 如 果 L 相 等 略 去 判 别 函 数 中 与 类 别 无 关 的 项 得 g σ σ σ d 球 状 分 布 各 类 先 验 概 率 相 等 则 分 类 只 取 决 于 样 本 到 各 类 中 心 的 距 离 最 小 距 离 分 类 器 模 板 匹 配
如 果 L 不 相 等 得 再 略 去 与 无 关 的 项 g ln + σ 整 理 可 得 其 中 g w + b 线 性 判 别 函 数 w b σ σ + ln 决 策 面 向 先 验 概 率 小 的 方 向 偏 移 二 L 各 类 协 方 差 阵 相 等 g + ln ------ 到 的 Mahalanobs 距 离 的 平 方 记 γ 若 相 等 则 分 类 取 决 于 样 本 到 类 中 心 的 Mahalanobs 距 离 一 般 可 得 g + + ln 略 去 项 得
g w + b 线 性 判 别 函 数 其 中 w b + ln 决 策 面 方 程 : g g 可 写 为 w 0 0 其 中 w ln / 0 + 当 时 + 0 到 的 马 氏 距 离 平 方 Mahalanobs 距 离 考 虑 了 方 差 因 素 当 I 时 就 是 欧 氏 距 离 三 一 般 情 况 各 类 协 方 差 不 同 g ln + ln W + w + w 0 其 中 W Σ
w Σ w 决 策 面 g g ln + ln 0 举 例 : 二 维 常 见 情 况 W W + w w + w w 0 0 相 互 独 立 σ σ σ σ 已 知 0 为 超 二 次 曲 面
.4 关 于 分 类 器 的 错 误 率 研 究 错 误 的 意 义 对 于 同 一 方 法 不 同 的 错 误 率 反 映 问 题 的 复 杂 程 度 适 合 程 度 对 于 同 一 问 题 不 同 的 错 误 率 反 映 了 方 法 的 优 劣 e d + R R d e + e 三 类 处 理 方 法 : 按 理 论 公 式 计 算 计 算 错 误 率 上 限 估 计 3 实 验 估 计 : C 法 用 所 有 样 本 H 划 分 测 试 集 U 法 留 一 法 交 叉 验 证 ross-valdaton:leave-one-out 0-fold ---- 对 真 实 错 误 率 期 望 错 误 率 的 无 偏 估 计 但 是 方 差 大.5 小 结 贝 叶 斯 决 策 理 论 是 统 计 模 式 识 别 的 重 要 理 论 基 础 理 论 上 讲 贝 叶 斯 决 策 方 法 是 最 优 的 在 最 小 错 误 率 或 最 小 风 险 意 义 上 应 用 中 : 需 要 首 先 得 到 先 验 概 率 和 类 条 件 概 率 密 度 方 法 一 : 先 估 计 概 率 密 度 后 求 解 决 策 规 则 方 法 二 : 若 已 知 或 可 假 设 概 率 密 度 为 某 种 形 式 比 如 正 态 分 布 可 先 求 出 判 决 函 数 形 式 再 从 样 本 估 计 其 中 的 参 数 方 法 三 : 直 接 选 择 或 假 设 某 种 判 决 函 数 形 式 用 样 本 确 定 其 参 数
前 几 次 课 小 结 主 要 讲 了 两 个 内 容 模 式 识 别 的 概 念 和 基 本 方 法 思 路 需 要 说 明 的 几 点 : 如 对 如 何 区 分 类 别 有 明 确 的 认 识 则 一 般 不 作 为 R 问 题 看 模 式 识 别 问 题 并 不 一 定 用 统 计 模 式 识 别 方 法 来 解 决 模 板 匹 配 是 R 的 最 简 单 方 法 但 不 是 典 型 做 法 最 小 距 离 分 类 器 Verfaton 与 Reognton 区 别 : 拒 绝 如 投 币 识 别 分 类 学 与 R 决 策 与 R 贝 叶 斯 决 策 前 提 : 已 知 损 失 函 数 λ α 求 : 决 策 α 目 标 : mn α R α d 决 策 规 则 : f R mn R α α α α then 后 验 概 率 : 风 险 : R α λ α 贝 叶 斯 分 类 器
最 小 风 险 Bayes 分 类 器 贝 叶 斯 决 策 最 小 错 误 率 Bayes 分 类 器 判 别 函 数 g 决 策 面 g g 似 然 比 l 似 然 比 阈 值 λ / 对 数 似 然 比 h ln[ l ] 最 小 风 险 λ λ λ λ λ 限 定 一 类 错 误 率 最 小 最 大 决 策 序 贯 分 类 λ 0 l dl ε 正 态 分 布 情 况 : 一 般 : 二 次 分 类 面 : 线 性 分 类 面 马 氏 距 离 σ I : 模 板 匹 配 欧 氏 距 离