第 二 章 Bayes 决 策 理 论.0 引 言. 基 于 最 小 错 误 率 的 Bayes 决 策. 基 于 最 小 风 险 的 Bayes 决 策.3 正 态 分 布 的 最 小 错 误 率 Bayes 决 策.4 说 明
.0 引 言
.0 引 言 统 计 决 策 理 论 根 据 每 一 类 总 体 的 概 率 分 布 决 定 决 策 边 界 Bayes 决 策 理 论 是 统 计 决 策 理 论 的 基 本 方 法 每 一 类 出 现 的 先 验 概 率 类 条 件 概 率 密 度
.0 引 言 例 : 医 生 要 根 据 病 人 血 液 中 白 细 胞 的 浓 度 来 判 断 病 人 是 否 患 血 液 病 两 类 的 识 别 问 题 根 据 医 学 知 识 和 以 往 的 经 验 医 生 知 道 :
.0 引 言 患 病 的 人, 白 细 胞 的 浓 度 服 从 均 值 000, 方 差 000 的 正 态 分 布 ; 未 患 病 的 人, 白 细 胞 的 浓 度 服 从 均 值 7000, 方 差 3000 的 正 态 分 布 ; 一 般 人 群 中, 患 病 的 人 数 比 例 为 0.5% 一 个 人 的 白 细 胞 浓 度 是 300, 医 生 应 该 做 出 怎 样 的 判 断?
.0 引 言 数 学 表 示 : 用 Ω表 示 类 别 这 一 随 机 变 量, 表 示 患 病, 表 示 不 患 病 ; X 表 示 白 细 胞 浓 度 这 个 随 机 变 量, 表 示 浓 度 值
.0 引 言 例 子 中, 医 生 掌 握 的 知 识 非 常 充 分, 他 知 道 : 类 别 的 先 验 分 布 : Ω 0.5% Ω 99.5% 先 验 分 布 : 没 有 获 得 观 测 数 据 病 人 白 细 胞 浓 度 之 前 类 别 的 分 布 ;
.0 引 言 观 测 数 据 白 细 胞 浓 度 分 别 在 两 种 情 况 下 的 类 条 件 分 布 : X Ω ~ N000,000. X Ω ~ N7000,3000. 已 知 先 验 分 布 和 观 测 值 的 类 条 件 分 布, Bayes 决 策 理 论 是 最 优 的
.0 引 言 决 策 的 概 念 : 决 策 是 从 样 本 空 间 S, 到 决 策 空 间 Θ 的 一 个 映 射, D : S Θ. 对 于 刚 才 的 例 子, 样 本 空 间 就 是 白 细 胞 浓 度 的 取 值 范 围, 决 策 空 间 Θ, } {
.0 引 言 评 价 决 策 有 多 种 标 准, 对 于 同 一 个 问 题, 采 用 不 同 的 标 准 会 得 到 不 同 意 义 下 最 优 的 决 策 Bayes 决 策 是 所 有 识 别 方 法 的 一 个 基 准 Benchmark Bayes 决 策 两 种 常 用 的 准 则 : 最 小 错 误 率 ; 最 小 风 险
. 基 于 最 小 错 误 率 的 Bayes 决 策
. 基 于 最 小 错 误 率 的 Bayes 决 策 决 策 的 错 误 率 最 小 e 错 误 率 与 条 件 错 误 率 : e., e E d e d e e 错 误 率 是 条 件 错 误 率 的 数 学 期 望!
. 基 于 最 小 错 误 率 的 Bayes 决 策 条 件 错 误 率 的 计 算 : 以 两 类 问 题 为 例, 当 获 得 观 测 值 后, 有 两 种 决 策 可 能 : 决 定, 或 者 条 件 错 误 率 为 : e. e 若 决 定 若 决 定
. 基 于 最 小 错 误 率 的 Bayes 决 策 Bayes 最 小 错 误 率 决 策 : 选 择 后 验 概 率, 中 大 的 作 为 决 策, 使 得 在 观 测 值 下 的 条 件 错 误 率 最 小 条 件 错 误 率 : e ma. 错 误 率 : D arg ma. e E e.
.0 0.8 0.6 0.4 0. 类 条 件 概 率 密 度 函 数 0.0 后 验 概 率
R R e e,, e e e + R + R R + R
. 基 于 最 小 错 误 率 的 Bayes 决 策 Bayes 最 小 错 误 率 决 策 不 仅 保 证 了 错 误 率 条 件 错 误 率 的 期 望 最 小, 而 且 保 证 每 个 观 测 值 下 的 条 件 错 误 率 最 小,Bayes 决 策 是 一 致 最 优 决 策
. 基 于 最 小 错 误 率 的 Bayes 决 策 多 类 识 别 问 题 的 Bayes 最 小 错 误 率 决 策 : 在 观 测 值 下 的 每 个 决 策 的 条 件 错 误 率 为 : e 若 决 定 决 策 为 : D arg ma.
. 基 于 最 小 错 误 率 的 Bayes 决 策 后 验 概 率 的 计 算 : Bayes 公 式 : : 先 验 概 率 ; : 类 条 件 概 率 密 度.
. 基 于 最 小 错 误 率 的 Bayes 决 策 对 数 域 中 计 算, 变 乘 为 加 : 比 较 大 小 不 需 要 计 算 :. ln ln ln +.
. 基 于 最 小 风 险 的 Bayes 决 策
. 基 于 最 小 风 险 的 Bayes 决 策 决 策 的 风 险 : 以 医 生 根 据 白 细 胞 浓 度 判 断 一 个 人 是 否 患 血 液 病 为 例 : 没 病 被 判 为 有 病, 还 可 以 做 进 一 步 检 查, 损 失 不 大 ; 有 病 被 判 为 无 病, 损 失 严 重 做 决 策 要 考 虑 决 策 可 能 引 起 的 损 失
. 基 于 最 小 风 险 的 Bayes 决 策 损 失 的 定 义 :N 类 问 题 D 做 出 决 策, 但 实 际 上 受 到 的 损 失 : λ λ D, 损 失 矩 阵 : λ, N* N,,, L, N.
. 基 于 最 小 风 险 的 Bayes 决 策 N 类 问 题 : λ, N * N λ λ λ λ L λ λ λ L λ O M λ M λ λ λ λ L λ 3 4 n n n n n n n nn 表 示 当 我 们 给 出 的 决 策 为 类, 而 真 实 类 别 为 时 的 损 失 值
. 基 于 最 小 风 险 的 Bayes 决 策 基 于 最 小 风 险 的 Bayes 决 策 : 决 策 带 来 的 损 失 的 平 均 值 风 险 最 小 平 均 的 两 重 含 义 : 获 得 观 测 值 后, 决 策 D 造 成 的 损 失 对 实 际 所 属 类 别 的 各 种 可 能 的 平 均, 称 为 条 件 风 险 : R D λ D.
. 基 于 最 小 风 险 的 Bayes 决 策 条 件 风 险 对 观 测 值 的 数 学 期 望, 称 为 风 险 : R D E R D R D d. Bayes 最 小 风 险 决 策 通 过 保 证 每 个 观 测 值 下 的 条 件 风 险 最 小, 使 得 它 的 数 学 期 望 风 险 最 小, 是 一 致 最 优 决 策
. 基 于 最 小 风 险 的 Bayes 决 策 最 小 风 险 决 策 的 计 算 : 给 定 损 失 矩 阵, 算 出 每 个 决 策 的 条 件 风 险, 取 最 小 的 Dˆ arg mn arg mn R D D D λ D. 某 些 特 殊 问 题, 存 在 简 单 的 解 析 表 达 式
. 基 于 最 小 风 险 的 Bayes 决 策 例 : 两 类 问 题 的 最 小 风 险 Bayes 决 策 : R D λ + λ, R D λ + λ. > λ λ λ λ. <
. 基 于 最 小 风 险 的 Bayes 决 策 用 Bayes 公 式 展 开 :. > 其 它 若 λ λ λ λ D D
. 基 于 最 小 风 险 的 Bayes 决 策 基 于 最 小 错 误 率 的 Bayes 决 策 也 可 以 看 作 最 小 风 险 Bayes 决 策 的 一 种 特 殊 情 形 只 需 要 定 义 损 失 为 : λ δ,.,,, L, N., δ, 0. 决 策 正 确 时, 损 失 为 0; 错 误 时 为
基 于 最 小 风 险 的 Bayes 决 策 根 据 前 面 的 定 义, 条 件 风 险 : R D λ D δ,
基 于 最 小 风 险 的 Bayes 决 策 则 前 面 的 决 策 函 数 Dˆ arg mn R D D arg mn D arg ma D 上 式 与 基 于 最 小 错 误 率 的 决 策 函 数 是 一 致 的 所 以 在 前 述 风 险 函 数 定 义 下, 两 种 决 策 方 法 是 统 一 的
.3 正 态 分 布 的 最 小 错 误 率 Bayes 决 策
.3 正 态 分 布 的 最 小 错 误 率 Bayes 决 策 观 测 值 与 观 测 向 量 : 前 面 的 例 子 中, 观 测 值 是 一 维 的, X是 随 机 变 量 实 际 应 用 中, 可 以 同 时 观 测 多 个 值, 用 向 量 表 示 : d T,, L,. 相 应 地, X 是 多 元 随 机 变 量, 或 称 随 机 矢 量 : d T X X, X, L, X.
.3 正 态 分 布 的 最 小 错 误 率 Bayes 决 策 Bayes 决 策 中, 类 条 件 概 率 密 度 的 选 择 : 模 型 合 理 性 ; 计 算 复 杂 性 常 用 概 率 密 度 模 型 : 正 态 分 布
.3 正 态 分 布 的 最 小 错 误 率 Bayes 决 策 正 态 分 布 : 一 元 正 态 分 布 : µ e{ π }.
.3 正 态 分 布 的 最 小 错 误 率 Bayes 决 策 多 元 正 态 分 布 : }. e{ / / µ µ π T d.,,, T d L.,,, T d µ µ µ µ L. *d d
.3 正 态 分 布 的 最 小 错 误 率 Bayes 决 策 多 元 正 态 分 布 协 方 差 矩 阵 的 方 差 就 是 对 角 线 上 的 元 素, 非 对 角 线 上 的 元 素 为 和 的 协 方 差 dd d d d d LL M M O O M M M M LL LL
.3 正 态 分 布 的 最 小 错 误 率 Bayes 决 策 选 择 正 态 模 型 的 考 虑 : 模 型 的 合 理 性 : 观 测 值 通 常 是 很 多 种 因 素 共 同 作 用 的 结 果, 根 据 中 心 极 限 定 理, 服 从 正 态 分 布 计 算 复 杂 性 : 计 算 分 析 最 为 简 单 的 模 型
.3 正 态 分 布 的 最 小 错 误 率 Bayes 决 策 观 测 向 量 的 类 条 件 分 布 服 从 正 态 分 布 :., ~ N X µ. ln ln ln ln const const T + + + µ µ
.3 正 态 分 布 的 最 小 错 误 率 Bayes 决 策 两 类 问 题 正 态 模 型 的 决 策 面 : ln ln. 决 策 面 方 程 : T T µ µ + const 0. 两 类 的 协 方 差 矩 阵 不 等, 决 策 面 是 二 次 曲 面, 协 方 差 矩 阵 相 等, 决 策 面 是 超 平 面
正 态 分 布 等 协 方 差 决 策 面 R R µ µ 正 态 分 布 且, Σ Σ 时 的 决 策 面
.3 正 态 分 布 的 最 小 错 误 率 Bayes 决 策 多 元 正 态 分 布 协 方 差 矩 阵 的 方 差 就 是 对 角 线 上 的 元 素, 非 对 角 线 上 的 元 素 为 和 的 协 方 差 dd d d d d LL M M O O M M M M LL LL
第 一 种 情 况 I,,L c 每 类 的 协 方 差 矩 阵 都 相 等, 而 且 类 内 各 特 征 间 相 互 独 立
第 一 种 情 况 c I L,, 0 0 0 0 0 0 LL M M O O M M M M LL LL I 则 判 别 函 数 为 忽 略 与 类 别 无 关 的 第 二 三 项, 可 化 简 为 ln ln ln d T d g π + ln T g +
第 一 种 情 况 c I L,, 0 ln T T T w w g + + + w ln T g + 上 述 方 程 为 的 二 次 函 数, 但 是 T 与 无 关, 故 也 可 省 略, 则 判 别 函 数 为 其 中, ln 0 T w +
第 一 种 情 况 I,,L c + g + T T T + ln w w 0 上 述 判 别 函 数 为 的 线 性 函 数 线 性 分 类 器 的 决 策 面 由 线 性 方 程 g 所 确 定 的 一 个 超 平 面 g 0 可 写 为 w T 0 0
第 一 种 情 况 c I L,, w 其 中, 时, 线 性 分 类 器 的 决 策 面 为 超 平 面, 通 过 和 连 线 中 点 并 与 连 线 正 交 时, 线 性 分 类 器 的 决 策 面 为 超 平 面, 不 通 过 和 连 线 中 点, 而 是 在 连 线 上 远 离 先 验 概 率 大 的 均 值 点, 并 与 连 线 正 交 0 0 w T ln 0 +
第 二 种 情 况 w 判 别 函 数 与 无 关, 则 判 别 式 可 化 简 为 忽 略 与 无 关 的 二 次 项, 判 别 函 数 可 写 成 其 中, ln 0 T w + ln ln ln T d g π + ln T g + 0 T w w g +
第 二 种 情 况 w 决 策 面 仍 为 超 平 面 决 策 面 方 程 应 满 足 即 其 中, ln 0 T + 0 g g 0 0 w T
第 二 种 情 况 w 由 可 知, 决 策 面 一 般 不 在 方 向 ; 过 0 点, 与 正 交 先 验 概 率 相 等 先 验 概 率 不 相 等 ln 0 T + 0 0 +
第 三 种 情 况 各 类 的 协 方 差 矩 阵 不 相 等 判 别 函 数 T d g ln ln π + 只 有 第 三 项 与 无 关, 则 判 别 式 可 化 简 为 T g ln ln + 忽 略 与 无 关 的 项, 判 别 函 数 可 写 成 ln 其 中, W g + T T W + w w 0 w d*d 矩 阵 d 维 列 向 量 T w 0 + ln ln
第 三 种 情 况 各 类 的 协 方 差 矩 阵 不 相 等 0 0 0 + + T T w w w w W W 决 策 面 应 满 足 为 超 二 次 曲 面 0 g g
d 双 曲 线 e 直 线 正 态 分 布 下 的 几 种 决 策 面 的 形 式 R R R R R R a 圆 b 椭 圆 c 抛 物 线 R R R R R R R
.4 说 明
.4 说 明 Bayes 决 策 所 需 的 条 件 是 最 多 的, 必 须 知 道 各 类 先 验 概 率 和 观 测 量 的 类 条 件 概 率 密 度 实 际 工 作 中, 在 决 策 之 前 必 须 解 决 概 率 密 度 的 估 计 问 题
参 考 文 献 []Rchard O. Duda, eter E. Hart, Davd G. Stork, attern Classfcaton, nd Edton, John Wley & Sons, Inc. 00. [] 模 式 识 别, 边 肇 祺, 张 学 工 等 编 著, 清 华 大 学 出 版 社,000 年 月 第 版.