Microsoft Word - _ _xin 吴娜 _出二校_-8页_英文已改_.doc

Transcription

1 第 30 卷 第 17 期 农 业 工 程 学 报 Vol.30 No 年 9 月 Transactions of the Chinese Society of Agricultural Engineering Sep 基 于 融 合 多 特 征 图 切 割 的 作 物 病 害 图 像 自 动 分 割 吴 娜 1,2, 李 淼 2, 陈 晟 1,2, 袁 媛 曾 新 华 2, 陈 雷 2, 孙 熊 伟 2, 卞 程 飞 (1. 中 国 科 学 技 术 大 学 信 息 科 学 技 术 学 院, 合 肥 ; 2. 中 国 科 学 院 合 肥 智 能 机 械 研 究 所, 合 肥 ) 摘 要 : 为 提 高 黄 瓜 叶 部 病 害 图 像 的 分 割 性 能, 该 文 提 出 一 种 基 于 融 合 多 特 征 图 切 割 的 病 害 图 像 自 动 分 割 方 法 首 先 采 用 一 种 新 的 阈 值 化 方 法 对 原 始 病 害 图 像 的 红 色 分 量 进 行 二 值 化 处 理 ; 然 后 融 合 纹 理 灰 度 距 离 3 个 特 征 构 建 能 量 函 数 的 边 界 项, 描 述 像 素 间 的 相 似 性 ; 再 利 用 分 割 区 域 像 素 与 区 域 边 界 像 素 的 红 色 分 量 差 值 自 动 建 立 能 量 函 数 的 区 域 项, 反 映 像 素 归 属 于 背 景 和 目 标 的 程 度 ; 最 后 运 用 最 大 流 算 法 求 解 能 量 函 数 得 到 分 割 结 果 将 该 方 法 应 用 于 黄 瓜 3 种 病 害 ( 靶 斑 病 霜 霉 病 和 白 粉 病 ) 叶 部 图 像 分 割 中, 并 与 OTSU 算 法 及 半 自 动 图 切 割 算 法 的 分 割 结 果 进 行 比 较 试 验 结 果 表 明, 该 方 法 的 平 均 错 分 率 为 1.81%, 低 于 其 他 2 种 算 法, 平 均 分 割 速 度 约 为 2.34 s 并 无 大 幅 增 加 该 研 究 可 为 黄 瓜 病 害 的 自 动 识 别 和 诊 断 提 供 技 术 参 考 关 键 词 : 作 物 ; 病 害 ; 图 像 处 理 ; 图 切 割 ; 多 特 征 ; 黄 瓜 doi: /j.issn 中 图 分 类 号 :TP391.4; S24 文 献 标 志 码 :A 文 章 编 号 : (2014) 吴 娜, 李 淼, 陈 晟, 等. 基 于 融 合 多 特 征 图 切 割 的 作 物 病 害 图 像 自 动 分 割 [J]. 农 业 工 程 学 报,2014,30(17): Wu Na, Li Miao, Chen Sheng, et al. Automatic segmentation of plant disease images based on graph cuts fusing multiple features[j]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(17): (in Chinese with 1,2 2, 0 引 言 农 作 物 在 生 长 发 育 过 程 中 容 易 感 染 各 种 病 害, 严 重 时 会 导 致 其 产 量 和 品 质 的 下 降, 对 作 物 病 害 进 行 及 时 诊 断 是 避 免 损 失 的 重 要 前 提 一 般 对 于 发 病 作 物 的 诊 断, 主 要 依 靠 人 眼 判 别 农 民 由 于 缺 乏 专 业 知 识, 容 易 形 成 误 判, 而 农 业 专 家 又 无 法 全 天 候 全 方 位 在 田 间 基 层 提 供 服 务 近 年 来, 随 着 计 算 机 视 觉 技 术 的 快 速 发 展, 利 用 计 算 机 及 时 准 确 有 效 地 识 别 与 诊 断 作 物 病 害 成 为 了 可 能 作 物 病 害 多 会 在 叶 部 表 现, 且 常 以 病 斑 的 形 式 呈 现, 因 此 可 以 通 过 处 理 叶 部 图 像 来 对 病 害 进 行 识 别 和 诊 断 将 病 斑 从 叶 片 中 分 割 出 来 是 病 害 识 别 和 诊 断 过 程 中 非 常 重 要 的 一 步, 其 分 割 精 度 也 直 接 影 响 后 续 特 征 提 取 的 可 靠 性 和 分 类 识 别 的 准 确 性 针 [1] 对 作 物 病 害 图 像 分 割, 目 前 采 用 的 方 法 有 经 典 图 收 稿 日 期 : 修 订 日 期 : 基 金 项 目 : 国 家 863 项 目 (2013AA ); 江 苏 省 人 才 基 金 (2011-wlw-005) 作 者 简 介 : 吴 娜, 女 ( 汉 族 ), 安 徽 省 望 江 县 人, 研 究 方 向 为 图 像 分 割 与 模 式 识 别 合 肥 中 国 科 学 技 术 大 学 信 息 科 学 技 术 学 院, [email protected] 通 信 作 者 : 李 淼 (1955-), 女 ( 汉 族 ), 安 徽 庐 江 人, 研 究 员, 研 究 方 向 为 人 工 智 能 和 农 业 知 识 工 程 合 肥 中 国 科 学 院 合 肥 智 能 机 械 研 究 所, [email protected] [2-7] 像 分 割 算 法 如 阈 值 法 边 缘 检 测 法 和 区 域 生 长 法 及 与 特 定 理 论 相 结 合 的 方 法 如 基 于 模 糊 理 论 的 方 法 神 经 网 络 法 和 基 于 图 论 的 方 法 [8-12] 由 于 基 于 图 论 的 图 像 分 割 方 法 将 图 像 的 全 局 分 割 与 局 部 信 息 处 理 结 合 起 来, 具 有 很 好 的 普 遍 适 用 性 及 良 好 的 分 割 效 果, 因 此 本 文 将 图 论 的 方 法 引 入 病 害 图 像 的 分 割 中 目 前, 已 有 很 多 基 于 图 论 的 图 像 分 割 技 术, 其 中 图 切 割 技 术 以 其 能 量 全 局 最 优 而 最 受 人 关 注 [12] 传 统 的 基 于 图 切 割 的 图 像 分 割 技 术 是 典 型 的 交 互 式 分 割, 需 要 人 工 参 与, 分 割 速 度 不 高, 自 动 化 程 度 也 较 低 针 对 这 个 问 题, 本 文 以 黄 瓜 靶 斑 病 霜 霉 病 及 白 粉 病 为 研 究 对 象, 提 出 一 种 融 合 多 特 征 的 图 切 割 方 法, 实 现 黄 瓜 病 害 图 像 的 自 动 分 割, 以 提 高 图 像 的 分 割 精 度 1 材 料 与 方 法 1.1 图 像 采 集 采 用 佳 能 6D 型 数 码 相 机 于 2013 年 7 月 在 合 肥 市 三 十 岗 乡 拍 摄 黄 瓜 病 害 图 像, 图 像 大 小 为 : 像 素, 为 减 小 存 储 空 间, 提 高 分 割 速 度, 将 图 像 压 缩 至 像 素 大 小 拍 摄 时 随 时 调 整 拍 摄 角 度, 尽 量 利 用 侧 面 光, 使 黄 瓜 病 害 叶 片 能 自 然 地 被 光 线 照 射

2 第 17 期 吴 娜 等 : 基 于 融 合 多 特 征 图 切 割 的 作 物 病 害 图 像 自 动 分 割 算 法 流 程 算 法 流 程 图 如 图 1 所 示 原 始 彩 色 图 像 的 红 色 分 量 经 过 高 斯 滤 波 器 滤 除 噪 声, 再 通 过 一 种 新 的 阈 值 化 方 法 处 理, 去 除 多 数 背 景, 然 后 融 合 纹 理 等 多 个 特 征 构 建 能 量 函 数 的 边 界 项, 并 自 动 建 立 能 量 函 数 的 区 域 项, 最 后 根 据 能 量 函 数 构 建 网 络 图, 并 用 最 大 流 算 法 求 解 得 到 最 终 分 割 结 果 a. R 分 量 a. R component b. G 分 量 b. G component c. B 分 量 c. B component 图 2 靶 斑 病 3 分 量 对 比 图 Fig.2 Three components comparison of target leaf spot images a. R 分 量 a. R component b. G 分 量 b. G component c. B 分 量 c. B component 图 3 霜 霉 病 3 分 量 对 比 图 Fig.3 Three components comparison of downy mildew images a. R 分 量 a. R component b. G 分 量 b. G component c. B 分 量 c. B component 图 4 白 粉 病 3 分 量 对 比 图 Fig.4 Three components comparison of powdery mildew images 图 1 算 法 流 程 图 Fig.1 Flow chart of algorithm 1.3 试 验 预 处 理 灰 度 化 及 去 噪 原 始 图 像 经 过 R G B 3 个 通 道 后, 得 到 3 个 灰 度 图 图 2~4 是 3 种 病 害 图 像 R G B 对 比 图, 图 5 是 病 害 叶 片 图 像 正 常 部 分 与 病 斑 部 分 R G B 值 的 比 较 结 果 由 2 图 可 知,3 种 病 害 红 色 分 量 中 病 斑 与 正 常 叶 片 对 比 度 最 强 因 此 选 取 R 分 量 作 为 后 续 处 理 的 输 入 图 5 3 种 病 害 正 常 部 分 和 病 斑 部 分 R G B 值 比 较 Fig.5 R/G/B value comparison between normal part and disease part of three kinds of diseases

3 214 农 业 工 程 学 报 2014 年 另 外 田 间 采 集 到 的 黄 瓜 叶 部 病 害 图 像, 受 光 照 条 件 采 集 设 备 等 的 影 响, 具 有 一 定 的 噪 声, 会 对 后 续 的 病 斑 提 取 造 成 严 重 的 干 扰 因 此, 本 文 采 用 高 斯 滤 波 器 对 图 像 进 行 滤 波 与 其 他 方 法 相 比, 这 种 方 法 既 能 有 效 滤 除 噪 声, 又 能 保 护 图 像 的 边 缘, 能 获 得 满 意 的 图 像 复 原 效 果 阈 值 处 理 为 了 加 快 图 像 分 割 速 度, 首 先 对 图 像 进 行 阈 值 化 处 理 分 割 出 部 分 背 景 OTSU( 最 大 类 间 方 差 法 ) 是 自 适 应 简 单 阈 值 图 像 分 割 方 法, 其 特 点 是 计 算 简 单, 不 受 图 像 亮 度 和 对 比 度 的 影 响 但 通 过 试 验 对 比 发 现, 该 方 法 对 彩 色 图 像 的 分 割 效 果 并 不 是 很 好 因 此, 本 文 研 究 了 一 种 新 的 阈 值 处 理 方 法, 能 去 除 大 部 分 背 景 且 不 会 丢 失 病 斑, 结 果 见 图 6~8 算 法 步 骤 如 下 : 1) 计 算 红 色 分 量 图 像 的 灰 度 均 值, 记 为 tgray; 2) 统 计 红 色 分 量 图 像 灰 度 大 于 tgray 的 像 素, 计 算 灰 度 均 值, 记 为 tgrayhigh, 即 为 初 始 分 割 的 阈 值 ; 3) 对 原 始 红 色 分 量 图 像 进 行 阈 值 分 割, 得 到 两 部 分 : 其 中 灰 度 值 小 于 tgrayhigh 的 像 素 的 灰 度 设 为 0, 归 为 初 始 背 景 类 ; 其 他 像 素 的 灰 度 值 不 变, 归 为 混 合 类 c. 新 阈 值 法 c. New threshold method 2 改 进 的 病 斑 提 取 算 法 设 计 2.1 图 切 割 算 法 原 理 图 像 分 割 的 目 的 是 为 图 像 中 的 每 一 个 像 素 找 到 一 个 最 好 的 标 号 在 用 图 切 割 理 论 解 决 图 像 分 割 问 题 时 是 将 标 号 的 优 化 问 题 转 化 为 求 取 能 量 函 数 的 最 优 值 问 题, 然 后 基 于 能 量 函 数 构 建 相 应 的 网 络 图, 并 运 用 最 大 流 算 法 求 取 网 络 图 的 最 大 流 ( 即 最 小 割 ), 对 应 能 量 函 数 的 最 小 值 建 立 合 适 的 能 量 函 数 是 其 中 的 关 键 步 骤, 典 型 的 能 量 函 数 形 式 为 : E( f) = V ( f, f ) + D ( f ) (1) p, q p q p p { pq, } N p P 式 中 :E 为 能 量 函 数 ;f 为 每 个 像 素 的 标 签 分 配 ;p q 均 为 图 像 像 素 ;P 为 图 像 像 素 点 的 集 合 ;N 为 连 通 邻 域 内 像 素 点 的 集 合 ;f p ={f p p P} 为 图 像 像 素 标 号 的 集 合 ;V 为 边 界 项, 反 映 像 素 间 的 相 似 程 度 ; D 为 区 域 项, 反 映 像 素 归 属 于 相 应 标 号 所 需 的 代 价 传 统 的 图 切 割 方 法 需 要 用 户 交 互 地 提 供 目 标 和 背 景 的 种 子 点, 才 能 完 成 图 像 的 分 割 图 9 是 一 个 简 单 的 图 切 割 示 例 [12] 将 图 像 映 射 为 一 幅 带 权 的 网 络 图 G=(V, E) 其 中 V 是 G 中 所 有 节 点 的 集 合,V={v, s, t} 分 为 2 类, 一 类 节 点 v 对 应 图 像 中 的 每 一 个 像 素, 另 一 类 包 含 2 个 终 点 : 源 点 s 和 汇 点 t, 对 应 像 素 所 属 的 标 号 E 是 网 络 图 G 中 节 点 间 所 有 边 的 集 合 E={e, {v, s}, {v, t}} 也 有 2 类 : 节 点 v 间 的 边 e, 其 权 值 反 映 了 节 点 间 的 相 似 性, 和 节 点 v 与 源 点 s 及 汇 点 t 间 的 边 {v, s} 及 {v, t}, 其 权 值 反 映 了 节 点 归 属 于 源 点 或 汇 点 的 强 度 图 6 靶 斑 病 初 始 分 割 结 果 Fig.6 Initial segmentation results of target leaf spot images c. 新 阈 值 法 c. New threshold method 图 7 霜 霉 病 初 始 分 割 结 果 Fig.7 Initial segmentation results of downy mildew images 注 :w ij 为 节 点 v i 与 v j 间 边 e 的 权 值, 反 应 2 节 点 的 相 似 度 图 b 是 图 a 的 一 个 切 割, 切 割 cut 将 图 中 所 有 点 集 划 分 为 2 部 分 :S T, 其 中 S T=V Note: w ij is the weight of edge e between node v i and node v j. Figure b is a cut of Figure a, and the cut divides all points in the figure into 2 parts: S and T, where S T=V. c. 新 阈 值 法 c. New threshold method 图 9 简 单 图 切 割 示 例 Fig.9 Simple example of graph cuts 图 8 白 粉 病 初 始 分 割 结 果 Fig.8 Initial segmentation results of powdery mildew images 2.2 纹 理 特 征 提 取 在 传 统 图 切 割 算 法 中 图 像 像 素 的 颜 色 或 亮 度

4 第 17 期 吴 娜 等 : 基 于 融 合 多 特 征 图 切 割 的 作 物 病 害 图 像 自 动 分 割 215 等 信 息 一 直 是 描 述 图 像 的 常 用 特 征 纹 理 是 一 种 反 映 图 像 中 同 质 现 象 的 视 觉 特 征, 它 体 现 了 物 体 表 面 共 有 的 内 在 属 性 以 及 图 像 灰 度 模 式 的 空 间 分 布, 因 此 将 纹 理 引 入 图 切 割 算 法 作 为 描 述 作 物 病 害 图 像 的 一 个 特 征 目 前, 已 有 很 多 关 于 病 害 纹 理 特 征 提 取 方 面 的 研 究, 常 用 的 方 法 有 统 计 分 析 法 模 型 分 析 法 结 构 分 析 法 及 信 号 处 理 分 析 法 [13-18], 这 些 方 法 在 提 取 纹 理 特 征 的 有 效 性 上 相 差 无 几 为 了 降 低 算 法 复 杂 度, 减 少 计 算 时 间, 本 文 采 用 图 像 一 维 信 息 熵 作 为 纹 理 特 征 [15-16], 它 表 示 图 像 中 灰 度 分 布 的 聚 集 特 征 所 包 含 的 信 息 量 令 p i 表 示 图 像 或 图 像 区 域 中 灰 度 值 为 i 的 像 素 数 与 总 像 素 数 的 比 值, 则 灰 度 图 像 或 图 像 区 域 的 熵 H 表 示 为 : 255 H = p log p (2) i= 0 i 针 对 某 个 像 素, 在 其 一 定 邻 域 内 进 行 计 算, 得 到 熵 值, 最 后 赋 值 给 该 像 素 扫 描 整 幅 图 像, 得 到 最 终 的 纹 理 图 像 其 中, 在 邻 域 的 选 择 上, 检 测 病 斑 的 能 力 与 准 确 定 位 边 界 间 存 在 矛 盾 如 图 10 所 示,3 3 邻 域 的 纹 理 图 像 边 界 清 晰 但 无 法 反 映 病 斑,7 7 邻 域 的 纹 理 图 像 能 够 反 映 病 斑 但 边 界 模 糊, 因 此 选 用 具 有 折 中 效 果 的 5 5 邻 域 a. 原 图 c. 5 5 邻 域 c. 5 5 neighborhood i b. 3 3 邻 域 b. 3 3 neighborhood d. 7 7 邻 域 d. 7 7 neighborhood 图 10 不 同 邻 域 下 纹 理 结 果 比 较 Fig.10 Comparison of texture images under different neighborhoods 2.3 融 合 纹 理 等 多 特 征 的 自 动 图 切 割 算 法 融 合 多 特 征 的 能 量 函 数 边 界 项 为 了 体 现 分 割 f 的 边 界 属 性, 引 入 边 界 平 滑 项 V p,q, 它 是 像 素 p 和 q 间 相 似 性 的 度 量 传 统 图 切 割 方 法 只 考 虑 用 像 素 的 亮 度 或 者 颜 色 等 单 一 特 征 描 述 像 素 p 和 q 间 相 似 性 [12,19-21], 丢 失 了 像 素 的 其 他 信 息, 导 致 后 续 分 割 的 不 准 确 本 文 融 合 纹 理 灰 度 距 离 3 个 特 征, 较 全 面 地 反 映 了 像 素 的 信 息 ( t,,, ), e p q + r p q + d V p q pq = (3) 式 中 :t p,q 为 纹 理 特 征 ;r p,q 为 灰 度 特 征 ;d p,q 为 距 离 特 征 为 了 将 不 同 量 纲 不 同 数 量 级 大 小 的 3 个 特 征 进 行 融 合, 对 每 一 项 均 采 用 最 大 最 小 值 法 进 行 归 一 化 处 理, 即 : ( tp tq) min{ tp tq, p t pq, = max{ t t, p min{ t t, p r pq, d p q p q (4) ( rp rq) min{ rp rq, p = max{ r r, p min{ r r, p p q p q (5) d min{ d, p max{ d, p min{ d, p ' ' pq, pq, pq, = ' ' pq, pq, (6) 式 中 :t p r p 分 别 为 纹 理 图 像 中 像 素 的 纹 理 值 和 红 色 分 2 2 量 图 像 像 素 的 灰 度 值, d pq, = ( xp xq) + ( yp yq) 为 像 素 p q 间 的 欧 式 距 离,x p y p 分 别 为 像 素 p 在 图 像 坐 标 系 上 的 横 纵 坐 标 自 动 建 立 的 能 量 函 数 区 域 项 能 量 函 数 中 的 区 域 项 或 数 据 项 D P (ob) D P (bg) 分 别 判 定 一 个 像 素 点 归 属 于 目 标 还 是 背 景, 传 统 的 图 切 割 方 法 或 是 首 先 通 过 交 互 的 方 式 由 用 户 指 定 目 标 和 背 景 的 种 子 点, 再 进 行 分 割, 或 是 采 取 半 自 动 的 基 于 阈 值 的 方 法 [22-25] 前 者 由 于 需 要 用 户 的 参 与, 图 像 分 割 的 速 度 大 大 降 低, 后 者 也 需 要 针 对 大 量 病 害 图 像 进 行 试 验, 选 取 最 优 的 阈 值, 自 动 化 程 度 不 高 针 对 这 些 缺 陷, 本 文 提 出 一 种 自 动 建 立 区 域 项 的 方 法 考 虑 到 图 切 割 算 法 是 针 对 阈 值 预 处 理 后 图 像 的 混 合 类 进 行, 其 灰 度 范 围 为 tgrayhigh~255, 因 此 这 里 分 别 计 算 分 割 区 域 像 素 灰 度 值 与 区 域 边 界 像 素 灰 度 值 tgrayhigh 和 255 的 绝 对 差 值, 自 动 建 立 能 量 函 数 的 区 域 项 rp tgrayhigh rp tgrayhigh > rp 255 Dp( ob) = o else (7) rp 255 rp 255 > rp tgrayhigh Dp ( bg) = o else (8) 能 量 函 数 的 求 解 综 合 上 文 定 义 的 边 界 项 和 区 域 项 得 到 能 量 函

5 216 农 业 工 程 学 报 2014 年 数, 然 后 构 建 相 应 的 网 络 图, 网 络 图 的 最 小 割 对 应 能 量 函 数 的 最 小 值 依 据 最 大 流 / 最 小 割 定 理 : 网 络 图 最 大 流 的 值 等 于 最 小 割 的 容 量, 因 此 可 通 过 求 网 络 图 的 最 大 流 得 到 能 量 函 数 的 最 小 值 常 用 求 解 最 大 流 的 算 法 有 Ford 和 Folkerson 提 出 的 增 广 路 径 法 Goldberg 和 Tarjan 给 出 的 Push-Relabel 法 以 及 Boykov 等 人 提 出 的 新 算 法 [26-29] 本 文 利 用 效 率 较 高 的 Boykov 最 大 流 算 法 求 解, 得 到 能 量 函 数 的 最 优 值 3 试 验 与 结 果 分 析 3.1 试 验 设 计 本 文 算 法 是 在 Matlab 和 VC++ 混 合 编 程 MEX 环 境 下 实 现 的 所 用 计 算 机 的 配 置 为 :Intel Core Q GHz CPU,4G 内 存,Windows XP 操 作 系 统 以 黄 瓜 靶 斑 病 霜 霉 病 及 白 粉 病 为 试 验 对 象, 每 种 病 害 各 取 50 幅 图 片 进 行 试 验 验 证 选 择 传 统 [25] 的 OTSU 算 法 和 半 自 动 图 切 割 算 法 作 为 对 比 其 中 半 自 动 图 切 割 算 法 的 2 个 阈 值 参 数 分 别 设 置 为 T0=110,T1= 结 果 分 析 采 用 3 种 方 法 对 黄 瓜 3 种 病 害 图 像 进 行 处 理, 结 果 如 图 11~13 所 示 可 以 看 出, 利 用 传 统 的 OTSU 算 法 得 到 的 病 斑 图 像 保 留 有 很 多 背 景 ; 而 根 据 半 自 动 图 切 割 算 法 得 到 的 图 像 分 割 效 果 也 不 是 很 好, 尤 其 如 图 12 病 害 图 像 R 分 量 偏 低 的 情 况 下, 错 分 现 象 更 加 明 显 ; 采 用 本 文 方 法 则 均 能 很 好 地 分 割 出 病 斑 为 了 进 一 步 量 化 评 价 本 文 方 法 对 黄 瓜 3 种 病 害 [30] 图 像 分 割 结 果 的 好 坏, 利 用 如 下 错 分 率 公 式 计 算 得 到 3 种 算 法 的 错 分 率, 如 表 1 所 示 B0 BT + F0 FT ME = 1 (9) B + F 0 0 c. 半 自 动 图 切 割 算 法 c. Semi-automatic graph cut algorithm d. 本 文 方 法 d. Proposed method 图 11 靶 斑 病 分 割 结 果 Fig.11 Segmentation results of target leaf spot images c. 半 自 动 图 切 割 算 法 c. Semi-automatic graph cut algorithm d. 本 文 方 法 d. Proposed method 图 12 霜 霉 病 分 割 结 果 Fig.12 Segmentation results of downy mildew images c. 半 自 动 图 切 割 算 法 c. Semi-automatic graph cut algorithm d. 本 文 方 法 d. Proposed method 图 13 白 粉 病 分 割 结 果 Fig.13 Segmentation results of powdery mildew images

6 第 17 期 吴 娜 等 : 基 于 融 合 多 特 征 图 切 割 的 作 物 病 害 图 像 自 动 分 割 217 式 中 :ME 为 错 分 率 ;B 0 F 0 分 别 为 手 动 分 割 图 中 背 景 和 目 标 的 像 素 数 B T F T ; 分 别 为 分 割 算 法 图 中 背 景 和 目 标 的 像 素 数 表 1 3 种 方 法 错 分 率 比 较 Table 1 Performance comparison of three methods 算 法 Algorithm 半 自 动 图 切 割 算 法 OTSU 算 法 Semi-automatic OTSU algorithm graph cut algorithm 本 文 方 法 Proposed method 靶 斑 病 /% 霜 霉 病 /% 白 粉 病 /% 平 均 时 间 /s 由 表 1 可 知, 传 统 OTSU 算 法 对 3 种 病 害 的 错 分 率 分 别 为 28.3% 42.15% 及 33.62%, 平 均 错 分 率 34.69%; 半 自 动 图 切 割 算 法 对 3 种 病 害 的 错 分 率 分 别 为 4.25% 16.76% 及 4.53%, 平 均 错 分 率 为 8.51%; 而 本 文 方 法 对 黄 瓜 3 种 病 害 的 错 分 率 为 1.12% 2.38% 及 1.93%, 平 均 错 分 率 为 1.81% 本 文 方 法 与 OTSU 算 法 的 分 割 错 分 率 差 异 达 到 显 著 水 平, 也 低 于 半 自 动 图 切 割 算 法, 说 明 本 文 提 出 的 方 法 有 效 地 减 少 了 错 分 为 了 更 全 面 地 比 较 3 种 算 法 对 黄 瓜 叶 部 病 害 图 像 的 分 割 性 能, 表 1 给 出 3 种 算 法 的 平 均 分 割 速 度 由 表 1 可 知,OTSU 算 法 虽 然 分 割 速 度 很 快, 但 错 分 率 过 高 ; 半 自 动 图 切 割 算 法 的 分 割 速 度 虽 然 比 本 文 方 法 的 快, 但 错 分 率 仍 比 本 文 方 法 高 6.7%, 综 合 考 虑 本 文 方 法 的 分 割 性 能 更 优 4 结 论 1) 本 文 提 出 了 一 种 基 于 融 合 多 特 征 图 切 割 的 作 物 病 害 图 像 自 动 分 割 方 法, 并 将 该 方 法 应 用 于 3 种 黄 瓜 叶 部 病 害 图 像 的 分 割 中 2) 引 入 一 种 新 的 阈 值 化 方 法, 能 有 效 去 除 多 数 背 景, 且 不 会 丢 失 病 斑 ; 在 建 立 图 切 割 算 法 的 能 量 函 数 时, 融 合 纹 理 灰 度 及 距 离 3 个 特 征 来 构 建 边 界 项, 较 全 面 地 反 映 了 像 素 间 的 信 息 ; 利 用 分 割 区 域 像 素 与 区 域 边 界 像 素 的 红 色 分 量 差 值 建 立 能 量 函 数 的 区 域 项, 无 需 人 工 参 与, 自 动 化 程 度 提 高 3) 与 传 统 OTSU 算 法 及 半 自 动 图 切 割 算 法 相 比, 本 文 提 出 的 方 法 对 黄 瓜 靶 斑 病 霜 霉 病 及 白 粉 病 病 害 图 像 均 有 较 好 的 分 割 效 果 其 平 均 错 分 率 为 1.81%, 低 于 对 比 算 法, 平 均 分 割 速 度 约 为 2.34 s, 并 无 大 幅 增 加, 可 为 后 续 黄 瓜 病 害 的 自 动 识 别 和 诊 断 提 供 技 术 参 考 [ 参 考 文 献 ] [1] 刁 智 华, 宋 寅 卯, 王 欢, 等. 基 于 植 物 病 斑 的 图 像 分 割 研 究 综 述 [J]. 农 机 化 研 究,2012(10):1-5,11. Diao Zhihua, Song Yinmao, Wang Huan, et al. Study surveys on image segmentation of plant disease spot[j]. Journal of Agricultural Mechanization Research, 2012(10): 1-5, 11. (in Chinese with [2] 尹 建 军, 毛 罕 平, 王 新 忠, 等. 不 同 生 长 状 态 下 多 目 标 番 茄 图 像 的 自 动 分 割 方 法 [J]. 农 业 工 程 学 报,2006, 22(10): Yin Jianjun, Mao Hanping, Wang Xinzhong, et al. Automatic segmentation method for multi-tomato images under various growth conditions[j]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2006, 22(10): (in Chinese with [3] 刁 智 华, 王 欢, 宋 寅 卯, 等. 复 杂 背 景 下 棉 花 病 叶 害 螨 图 像 分 割 方 法 [J]. 农 业 工 程 学 报,2003,29(5): Diao Zhihua, Wang Huan, Song Yinmao, et al. Segmentation method for cotton mite disease image under complex background[j]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2003, 29(5): (in Chinese with [4] Camargo A, Smith J S. An image-processing based algorithm to automatically identify plant disease visual symptoms[j]. Biosystem Engineering, 2009, 102(1): [5] 王 爱 民, 赵 忠 旭, 沈 兰 荪. 基 于 矢 量 Prewitt 算 子 的 多 尺 度 彩 色 图 像 边 缘 检 测 方 法 [J]. 中 国 图 象 图 形 学 报, 1999,4(12): Wang Aimin, Zhao Zhongxu, Shen Lansun. Multi-scale color edge detection based on vector order Prewitt operators[j]. Journal of Image and Graphics, 1999, 4(12): (in Chinese with [6] Shih F Y, Cheng S. Automatic seeded region growing for color image segmentation[j]. Image and Vision Computing, 2005, 23(10): [7] 汪 建. 结 合 颜 色 和 区 域 生 长 的 茶 叶 图 像 分 割 算 法 研 究 [J]. 茶 叶 科 学,2011,31(1): Wang Jian. Segmentation algorithm of tea combined with the color and region growing[j]. Journal of Tea Science, 2011, 31(1): (in Chinese with [8] 毛 罕 平, 张 艳 诚, 胡 波. 基 于 模 糊 C 均 值 聚 类 的 作 物 病 害 叶 片 图 像 分 割 方 法 研 究 [J]. 农 业 工 程 学 报,2008, 24(9): Mao Hanping, Zhang Yancheng, Hu Bo. Segmentation of crop disease leaf images using fuzzy C-means clustering algorithm[j]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2008, 24(9): (in Chinese with English abstract) [9] 关 海 鸥, 许 少 华, 谭 峰. 基 于 遗 传 模 糊 神 经 网 络 的 植 物 病 斑 区 域 图 像 分 割 模 型 [J]. 农 业 机 械 学 报,2010, 41(11): Guan Haiou, Xu Shaohua, Tan Feng. Image segmentation

7 218 农 业 工 程 学 报 2014 年 model of plant lesion based on genetic algorithm and fuzzy neural network[j]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(11): (in Chinese with [10] Meyer G E, Camargo Neto J, Jones D D, et al. Intensified fuzzy clusters for classifying plant, soil, and residue regions of interest from color images[j]. Computers and Electronics in Agriculture, 2004, 42(3): [11] Huang K Y. Application of artificial neural network for detecting Phalaenopsis seedling diseases using color and texture features[j]. Computers and Electronics in Agriculture, 2007, 57(1): [12] 郭 宝 龙, 侯 叶. 基 于 图 切 割 的 图 像 自 动 分 割 方 法 [J]. 模 式 识 别 与 人 工 智 能,2011,24(5): Guo Baolong, Hou Ye. Automatic image segmentation method based on graph cuts[j]. Pattern Recognition and Artificial Intelligence, 2011, 24(5): (in Chinese with [13] 刘 丽, 匡 纲 要. 图 像 纹 理 特 征 提 取 方 法 综 述 [J]. 中 国 图 象 图 形 学 报,2009,14(4): Liu Li, Kuang Gangyao. Overview of image textural feature extraction methods[j]. Journal of Image and Graphics, 2009, 14(4): (in Chinese with [14] 冯 建 辉, 杨 玉 静. 基 于 灰 度 共 生 矩 阵 提 取 纹 理 特 征 图 像 的 研 究 [J]. 北 京 测 绘,2007(3): Feng Jianhui, Yang Yujing. Study of texture images extraction based on gray level co-occurrence matrix[j]. Beijing Surveying and Mapping, 2007(3): (in Chinese with [15] 首 照 宇, 王 朝 选, 莫 建 文, 等. 结 合 纹 理 特 征 改 进 的 GBIS 图 像 分 割 方 法 [J]. 计 算 机 应 用 研 究,2013,30(7): Shou Zhaoyu, Wang Chaoxuan, Mo Jianwen, et al. Combined with texture features improved GBIS image segmentation method[j]. Application Research of Computers, 2013, 30(7): (in Chinese with [16] 杨 国 庆, 崔 荣 一. 基 于 纹 理 特 征 的 自 然 图 像 鉴 别 方 法 [J]. 计 算 机 应 用 研 究,2010,27(7): Yang Guoqing, Cui Rongyi. Method for natural image discrimination based on texture feature[j]. Application Research of Computers, 2010, 27(7): (in Chinese with [17] Idrissa M, Acheroy M. Texture classification using Gabor filters[j]. Pattern Recognition Letters, 2002, 23(9): [18] 范 亚 会, 符 冉 迪, 金 炜, 等. 采 用 UTPLBP 的 纹 理 图 像 分 割 [J]. 光 电 工 程,2013,40(5): Fan Yahui, Fu Randi, Jin Wei, et al. Texture image segmentation using UTPLBP[J]. Opto-Electronic Engineering, 2013, 40(5): (in Chinese with [19] 刘 建 龙. 基 于 图 论 的 图 像 分 割 算 法 研 究 [D]. 哈 尔 滨 : 哈 尔 滨 工 业 大 学,2006. Liu Jianlong. Image Segmentation Algorithm Based on Graph Theory[D]. Harbin: Harbin Institute of Technology, (in Chinese with [20] Boykov Y, Funka-Lea G. Graph cuts and efficient ND image segmentation[j]. International Journal of Computer Vision, 2006, 70(2): [21] 王 学 松, 周 明 全, 樊 亚 春, 等. 彩 色 图 像 色 度 距 离 权 值 的 图 论 分 割 算 法 [J]. 中 国 图 象 图 形 学 报,2011, 16(2): Wang Xuesong, Zhou Mingquan, Fan Yachun, et al. The algorithm of graph cut using HSI weights in color image segmention[j]. Journal of Image and Graphics, 2011, 16(2): (in Chinese with [22] Rother C, Kolmogorov V, Blake A. GrabCut: Interactive foreground extraction using iterated graph cuts[j]. ACM Trans on Graphics, 2004, 23(3): [23] Zheng Q, Li W, Hu W, et al. An interactive image segmentation algorithm based on graph cut[j]. Procedia Engineering, 2012, 29: [24] 辛 月 兰. 基 于 Grabcut 的 图 像 目 标 提 取 [J]. 青 海 师 范 大 学 学 报,2012(3): Xin Yuelan. Image target detection based on the Grabcut[J]. Journal of Qinghai Normal University, 2012(3): (in Chinese with [25] 袁 媛, 李 淼, 陈 晟, 等. 复 杂 背 景 黄 瓜 叶 部 病 害 图 像 分 割 方 法 [J]. 农 业 机 械 学 报,2013,44(10): Yuan Yuan, Li Miao, Chen Sheng, et al. Segmentation of cucumber leaf disease images with complex background[j]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(10): (in Chinese with [26] Boykov Y, Kolmogorov V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision[j]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(9): [27] Ford L, Fulkerson D. Flows in Networks[M]. New Jersey: Princeton University Press, [28] Goldberg A V, Tarjan R E. A new approach to the maximum-flow problem[j]. Journal of the Association for Computing Machinery, 1988, 35(4): [29] Boykov Y, Veksler O,Zabin R. Fast approximate energy minimization via graph cuts[j]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(11): [30] 韩 殿 元, 黄 心 渊, 付 慧. 基 于 彩 色 通 道 相 似 性 图 像 分 割 方 法 的 植 物 叶 面 积 计 算 [J]. 农 业 工 程 学 报,2012, 28(6): Han Dianyuan, Huang Xinyuan, Fu Hui. Measurement of plant area based on image segmentation of color channel similarity[j]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(6): (in Chinese with

8 第 17 期 吴 娜 等 : 基 于 融 合 多 特 征 图 切 割 的 作 物 病 害 图 像 自 动 分 割 219 Automatic segmentation of plant disease images based on graph cuts fusing multiple features Wu Na 1,2, Li Miao 2, Chen Sheng 1,2, Yuan Yuan 2, Zeng Xinhua 2, Chen Lei 2, Sun Xiongwei 2, Bian Chengfei 1,2 (1. School of Information Science and Technology, University of Science and Technology of China, Hefei , China; 2. Institute of Intelligence Machines, Chinese Academy of Science, Hefei , China) Abstract: Diseases in crops can lead to declines of production and quality, which cause economic losses in agricultural industry worldwide. Therefore, detection of the diseases in plants is extremely critical for sustainable agriculture. Many crop diseases perform on the leaves, and often present in the form of spots, so processing the leaf images is a feasible way for identifying and diagnosing diseases. Spots separation from the leaf is a very important step in the process of disease recognition and diagnosis. And the segmentation accuracy affects the reliability of the subsequent feature extraction and the accurateness of following classification directly. To improve the segmentation performance, an automatic segmentation algorithm based on graph cut which fused multiple features was put forward in this paper. Firstly the background was excluded by threshold method so as to speed up the image segmentation. The experimental comparison results showed that the segmentation effect for color images processed by OTSU algorithm, a simple adaptive threshold image segmentation method, was not very satisfactory. Therefore, a new method of threshold processing was studied here, which could remove most of the background and did not lose the disease spots. In addition, the red component of the original color images was used as the research objects of the new threshold method, since it had the strongest contrast compared with the green component and the blue component. Then three features, texture, gray level and distance were fused to build the boundary term of the energy function, which described the similarity between the pixels. Among them, for the sake of reducing the computational complexity and calculation time, the texture feature was simply defined by the one-dimensional entropy of images, which was the amount of information included by the gathered characteristics of gray level distribution. Moreover, in order to reflect the extent of the pixel belongs to the background or target, the red component difference between pixels in the image region and the region boundary was used to set up the area term of the energy function automatically. Finally the maximum flow algorithm was utilized to solve the established energy function, and the segmentation results were obtained. With the purpose of verifying the validity of the proposed algorithm, the method was applied to divide three kinds of cucumber disease (target spot, downy mildew and powdery mildew) leaf images. Each disease of 50 pictures, a total of 150 pictures were selected randomly as the experimental samples. And the OTSU algorithm and semi-automatic graph cuts algorithm were chosen as the contrast means. The experimental results demonstrate that the disease spots of the leaf images can be separated effectively when using the method proposed in this paper. The average error rate is 1.81%, which is lower than the other two algorithms, and its average segmentation time do not significantly increase. This study can provide a technical reference for the automatic identification and diagnosis of cucumber diseases in the future. Key words: crops; diseases; image processing; graph cuts; multiple features; cucumber