92 湖 南 工 业 大 学 学 报 2014 年 基 于 特 征 的 方 法 是 现 今 图 像 匹 配 的 主 要 研 究 与 发 展 方 向 这 种 匹 配 方 法 的 原 理 是, 寻 找 待 处 理 图 像 某 区 域 中 的 特 征 点 或 者 关 键 点, 在 计 算 特 征 点 周

第 28 卷 第 4 期 2014 年 7 月 湖 南 工 业 大 学 学 报 Journal of Hunan University of Technology Vol.28 No.4 July 2014 doi:10.3969/j.issn.1673-9833.2014.04.020 基 于 LBP 直 方 图 和 SIFT 的 药 品 包 装 缺 陷 检 测 方 法 陈 财 彪, 于 惠 钧, 张 发 明, 吴 婉, 周 志 伟 ( 湖 南 工 业 大 学 电 气 与 信 息 工 程 学 院, 湖 南 株 洲 412007) 摘 要 : 针 对 铝 塑 泡 罩 药 品 包 装 缺 陷 检 测 问 题, 提 出 了 基 于 LBP 直 方 图 的 SIFT 匹 配 方 法 先 提 取 铝 塑 泡 罩 药 品 包 装 图 像 中 的 特 征 点, 再 计 算 其 周 围 区 域 上 的 LBP 直 方 图, 最 后 进 行 特 征 点 匹 配, 判 断 该 药 品 包 装 是 否 有 缺 陷 试 验 结 果 表 明, 此 方 法 与 SIFT 算 法 相 比, 计 算 速 度 更 快, 且 能 满 足 工 业 生 产 要 求 关 键 词 :LBP 直 方 图 ;SIFT; 关 键 点 ; 缺 陷 检 测 中 图 分 类 号 :TP391.413 文 献 标 志 码 :A 文 章 编 号 :1673-9833(2014)04-0091-05 Pharmaceutical Packaging Defect Detection Method Based on LBP Histogram and SIFT Chen Caibiao,Yu Huijun,Zhang Faming,Wu Wan,Zhou Zhiwei (School of Electrical and Information Engineering,Hunan University of Technology,Zhuzhou Hunan 412007,China) Abstract:In view of the defect detection of aluminum-plastic blister drug packaging, put forward a matching method based on LBP histogram and SIFT. First, extracted the feature points in the image of aluminum-plastic blister drug packaging, and then calculated the LBP histogram of the surrounding area. Finally matched the feature points to judge if there is defect on the medicine packaging. The test results show that compared to common SIFT algorithm, the method has faster computing speed and meets the demand of industrial production. Keywords :LBP histogram;sift;key points;defect detection 0 引 言 随 着 时 代 的 发 展, 人 们 对 健 康 和 卫 生 的 要 求 越 来 越 高, 药 品 作 为 生 活 中 不 可 或 缺 的 部 分, 药 品 的 包 装 要 求 也 越 来 越 严 格 铝 塑 泡 罩 药 品 包 装 是 当 今 的 主 流 封 装 形 式 之 一, 其 具 有 轻 便 安 全 经 济 等 [1] 诸 多 优 点 在 药 品 泡 罩 包 装 过 程 中, 通 常 要 经 过 搅 拌 给 药 压 封 切 割 等 一 系 列 流 水 作 业, 易 出 现 漏 装 碎 片 夹 杂 异 物 等 现 象, 而 且 其 中 过 多 的 手 工 化 操 作, 使 生 产 车 间 内 难 以 达 到 无 菌 要 求, 更 不 能 通 过 国 家 药 监 部 门 的 GMP 生 产 认 证 因 此, 如 何 自 动 发 现 并 剔 除 由 此 产 生 的 不 合 格 药 品 产 品, 成 为 了 一 个 重 要 的 研 究 课 题 图 像 匹 配 是 铝 塑 泡 罩 药 品 包 装 缺 陷 检 测 系 统 的 一 个 关 键 环 节, 主 要 研 究 的 是 2 幅 图 像 对 应 像 素 点 的 匹 配 随 着 图 像 匹 配 的 必 要 性 的 增 加 和 应 用 的 越 来 越 广 泛, 图 像 处 理 中 出 现 的 图 像 匹 配 方 法 种 类 很 多, 但 最 终 的 目 标, 都 是 为 了 提 高 图 像 匹 配 的 实 时 性 准 确 性, 匹 配 时 的 抗 干 扰 性 以 及 通 用 性 总 结 目 前 所 有 的 研 究 状 况, 大 体 可 将 图 像 匹 配 方 法 分 为 [2] 3 大 类 : 基 于 灰 度 基 于 特 征 和 基 于 解 释 其 中, 收 稿 日 期 :2014-05-29 基 金 项 目 : 湖 南 省 科 学 计 划 基 金 资 助 项 目 (2012FJ4265) 作 者 简 介 : 陈 财 彪 (1990-), 男, 湖 南 郴 州 人, 湖 南 工 业 大 学 硕 士 生, 主 要 研 究 方 向 为 信 息 集 成 与 协 调 控 制, E-mail:05biao@sina.com

92 湖 南 工 业 大 学 学 报 2014 年 基 于 特 征 的 方 法 是 现 今 图 像 匹 配 的 主 要 研 究 与 发 展 方 向 这 种 匹 配 方 法 的 原 理 是, 寻 找 待 处 理 图 像 某 区 域 中 的 特 征 点 或 者 关 键 点, 在 计 算 特 征 点 周 围 的 特 征 相 似 度 后, 进 行 2 幅 图 像 之 间 的 匹 配 首 先 提 取 2 幅 匹 配 图 像 中 的 某 局 部 区 域 的 特 征 点 或 关 键 点 集, 然 后 通 过 比 对 这 个 区 域 中 2 个 点 集 之 间 的 函 数 关 系, 计 算 出 2 个 特 征 点 间 的 相 似 度, 以 达 到 图 像 匹 配 的 目 的 基 于 特 征 的 方 法 不 是 直 接 采 纳 全 部 的 图 像 内 容 进 行 匹 配, 而 是 有 针 对 性 地 选 取 局 部 区 域 的 纹 理 特 征, 这 样 算 法 具 有 较 强 的 抗 干 扰 性 和 不 变 性, 因 此 可 以 在 计 算 量 小 的 同 时 兼 备 鲁 棒 性 高 的 特 性 基 于 特 征 的 匹 配 方 法 流 程 如 图 1 所 示 Fig.1 目 前 已 经 研 究 出 的 特 征 匹 配 方 法 中, 由 加 拿 大 教 授 D. G. Lowe 提 出 的 SIFT(scale invariant feature transform) 算 法 是 一 种 用 于 兴 趣 点 的 检 测 和 描 述 的 算 法 不 变 性 是 它 最 根 本 的 特 点 由 于 其 计 算 量 比 较 大, 大 大 影 响 了 现 实 所 要 求 的 匹 配 快 速 性 [3] 因 此, 需 要 对 SIFT 算 法 进 行 改 进 LBP(local binary patterns) 算 法 是 一 种 描 述 某 像 素 点 与 周 围 像 素 点 之 间 的 大 小 关 系 的 二 进 制 描 述 LBP 算 法 具 有 相 平 移 不 变 性, 且 计 算 简 单 为 满 足 泡 罩 包 装 检 测 中 准 确 性 和 快 速 性 的 要 求, 本 文 提 出 了 一 种 基 于 LBP 直 方 图 的 SIFT 匹 配 方 法 1 LBP 描 述 LBP 是 对 图 像 局 部 邻 域 的 纹 理 特 征 进 行 二 进 制 描 述 的 算 子 本 文 以 3 3 邻 域 窗 口 ( 见 图 2) 为 例 来 说 明 其 计 算 过 程 [4] : 第 1 步 在 图 2a 3 3 大 小 的 9 格 窗 口 中, 将 目 标 中 心 点 的 灰 度 值 作 为 阀 值, 与 邻 域 内 四 周 8 个 像 素 点 的 灰 度 值 进 行 比 较, 作 二 值 化 处 理 即 若 邻 域 像 素 点 的 灰 度 值 比 中 心 像 素 点 的 灰 度 值 小, 则 将 该 邻 域 像 素 点 的 灰 度 值 置 为 0; 否 则 置 为 1, 如 图 2b 所 示 第 2 步 图 1 特 征 匹 配 方 法 框 图 The block diagram of feature matching method 将 邻 域 8 个 二 值 结 果 分 别 与 图 2c 中 2 的 指 数 次 权 值 矩 阵 作 乘 积 运 算, 计 算 结 果 如 图 2d 所 示 第 3 步 将 图 2d 中 邻 域 8 个 加 权 值 全 部 相 加, 进 行 加 权 求 和, 得 到 的 十 进 制 数 就 是 3 3 邻 域 窗 口 的 LBP 特 征 值, 即 中 心 像 素 点 的 LBP 特 征 值 为 1+2+4=7 a)3 3 窗 口 b) 二 值 化 处 理 c) 权 值 矩 阵 d) 各 点 对 应 的 乘 积 图 2 LBP 特 征 值 的 计 算 过 程 Fig.2 The LBP calculation process 因 为 LBP 特 征 不 只 是 局 限 于 3 3 邻 域, 为 了 提 高 其 表 达 能 力, 可 以 在 以 特 征 点 为 中 心 半 径 为 1 的 [5] 圆 周 上 均 匀 地 取 8 个 点, 如 图 3 所 示 下 面 通 过 公 式 (1) 说 明 扩 展 LBP 特 征 的 计 算 过 程 假 设 g o 是 中 心 像 素 点 的 灰 度 值,g 1, g 2,, g 8 分 别 是 邻 域 8 个 采 样 点 的 灰 度 值, 中 心 像 素 点 邻 域 窗 口 的 LBP 特 征 计 算 公 式 为, (1) [6] 式 中, 函 数 S 将 g i 与 g o 的 差 作 二 值 化 处 理 图 3 P=8, R=1.0 时 的 圆 对 称 区 域 Fig.3 The circularly symmetric area of P=8 and R=1.0 由 于 本 文 以 药 品 铝 塑 泡 罩 包 装 为 研 究 对 象, 因 此 取 了 4 幅 药 品 铝 塑 泡 罩 包 装 的 图 像, 第 一 副 是 标 准 的 模 版 图, 第 二 幅 是 底 板 空 洞 的 图 像, 第 三 幅 是 缺 粒 空 亮 的 图 像, 第 四 幅 是 缺 粒 空 暗 的 图 像, 如 图 4 所 示 a) 标 准 模 板 b) 底 板 空 洞

第 4 期 陈 财 彪, 等 基 于 LBP 直 方 图 和 SIFT 的 药 品 包 装 缺 陷 检 测 方 法 93 度 之 间 的 间 隔 ; 为 尺 度 因 子 ; 函 数 G 为 高 斯 函 数 ; 函 数 L 为 对 应 图 像 的 尺 度 空 间 对 图 4 中 的 4 幅 铝 塑 泡 罩 图 像 采 用 SIFT 算 法 提 c) 缺 粒 空 亮 d) 缺 粒 空 暗 图 4 铝 塑 泡 罩 包 装 原 图 取 特 征 点, 如 图 6 所 示 Fig.4 The diagram for aluminum-plastic blister packaging 当 图 像 发 生 旋 转 时, 圆 形 邻 域 各 点 的 灰 度 值 g i 仍 然 以 g o 为 圆 心, 半 径 为 R 的 圆 周 上 运 动 由 式 (1) 可 以 得 出, 若 通 过 S(g i -g o ) 得 到 的 值 不 是 全 部 为 0 或 者 1, 当 图 像 旋 转 时, 将 得 到 不 同 的 LBP 特 征 值 [7] LBP 直 方 图 具 有 平 移 不 变 性 图 4 的 4 幅 图 像 的 LBP 直 方 图 如 图 5 所 示 a) 标 准 模 板 b) 底 板 空 洞 a) 标 准 模 板 b) 底 板 空 洞 c) 缺 粒 空 亮 d) 缺 粒 空 暗 图 6 铝 塑 泡 罩 图 像 特 征 点 Fig.6 The feature points of aluminum-plastic blister image 3 特 征 点 匹 配 2 特 征 点 提 取 SIFT 算 法 是 由 D. G. Lowe 提 出 的 一 种 描 述 子, 描 述 对 象 是 局 部 区 域 该 算 法 在 尺 度 空 间 的 基 础 上, 检 测 出 图 像 的 关 键 点, 对 图 像 的 旋 转 和 缩 放 能 保 持 不 变 性 [8] c) 缺 粒 空 亮 d) 缺 粒 空 暗 Fig.5 图 5 LBP 直 方 图 The LBP histogram 通 常, 某 一 尺 度 下 几 乎 检 测 不 到 其 它 尺 度 下 的 特 征 SIFT 算 子 是 在 不 同 尺 度 空 间 中 比 较 图 像 的 灰 度 值 来 确 定 特 征 点, 采 用 差 分 高 斯 函 数 D(x, y, ) [9] 来 提 取 目 标 图 像 的 稳 定 特 征, 其 是 通 过 对 相 邻 层 的 卷 积 结 果 进 行 差 值 处 理 得 到, 表 达 式 如 下 SIFT 算 子 具 有 独 特 性 好 信 息 量 丰 富 匹 配 能 力 强 等 特 点 因 此, 基 于 LBP 直 方 图 的 SIFT 匹 配 算 法 既 解 决 了 基 本 LBP 算 子 的 旋 转 变 化 性 问 题, 又 减 少 了 SIFT 算 子 的 计 算 量, 这 样 可 以 达 到 互 补 的 效 果 [10] 本 文 通 过 在 高 斯 多 尺 度 空 间 中 剔 除 极 值 点 中 不 稳 定 的 点, 稳 定 点 作 为 待 提 取 的 关 键 点 [11] 之 后, 对 关 键 点 周 围 作 LBP 直 方 图 描 述 根 据 此 描 述, 利 用 SIFT 算 法 对 2 幅 图 像 进 行 匹 配 该 算 法 流 程 如 图 7 所 示 (2) 图 7 算 法 流 程 图 式 中 :k 是 常 数, 满 足 关 系 式, 表 示 相 邻 2 个 尺 Fig.7 Flow chart of the algorithm

94 湖 南 工 业 大 学 学 报 2014 年 药 品 铝 塑 泡 罩 包 装 的 标 准 模 板 图 与 底 板 空 泡 图 的 匹 配 如 图 8 所 示 标 准 模 板 图 与 缺 粒 空 亮 图 的 匹 配 如 图 9 所 示 标 准 模 板 图 与 缺 粒 空 暗 图 的 匹 配 如 图 10 所 示 图 8 铝 塑 泡 罩 标 准 模 板 图 与 底 板 空 泡 图 匹 配 Fig.8 The feature matching of the blister standard template image and bottom cavitation image 分 别 与 底 板 空 泡 图 缺 粒 空 亮 图 缺 粒 空 暗 图 进 行 匹 配 所 需 时 间 相 应 地 节 约 了 13%, 15%, 23%, 本 方 法 更 符 合 工 业 生 产 中 实 时 快 速 的 要 求 4 结 语 药 品 铝 塑 泡 罩 包 装 具 有 保 护 药 品 生 产 速 度 快 成 本 低 储 存 占 用 空 间 小 重 量 轻 等 优 点, 因 此, 多 数 药 品 都 是 采 用 铝 塑 泡 罩 包 装 针 对 药 品 铝 塑 泡 罩 包 装 缺 陷 检 测 问 题, 本 文 提 出 了 一 种 基 于 于 LBP 直 方 图 的 的 SIFT 匹 配 方 法 在 保 证 不 变 性 的 同 时, 在 一 定 程 度 上 减 少 了 运 算 时 间, 提 高 了 检 测 效 率, 更 符 合 工 业 生 产 中 的 实 际 要 求 参 考 文 献 : Fig.9 图 9 图 10 Fig.10 试 验 数 据 如 表 1 所 示 图 像 类 型 正 常 底 板 空 泡 缺 粒 空 亮 粒 空 空 暗 铝 塑 泡 罩 标 准 模 板 图 与 缺 粒 空 亮 图 匹 配 The feature matching of the blister standard template image and the lack grain light image 铝 塑 泡 罩 标 准 模 板 图 与 缺 粒 空 暗 图 匹 配 The feature matching of the blister standard template and the lack grain dark image Table 1 表 1 特 征 点 / 个 142 095 092 156 2 种 算 法 测 试 结 果 表 Test results of two algorithms 匹 配 点 / 对 1 2 2 本 算 法 时 间 /s 0.066 0.064 0.089 SIFT 算 法 时 间 /s 0.076 0.075 0.115 上 述 试 验 结 果 表 明, 针 对 药 品 铝 塑 泡 罩 包 装 中 底 板 空 泡 缺 粒 空 亮 缺 粒 空 暗 等 一 些 常 见 的 包 装 缺 陷, 本 算 法 能 准 确 检 测 出 这 些 缺 陷 [12] 从 表 1 可 以 看 出, 本 方 法 与 单 纯 的 SIFT 方 法 相 比, 标 准 模 板 图 [1] 刘 莉, 薛 凡. 包 装 标 准 化 影 响 因 素 实 证 分 析 : 以 长 株 潭 地 区 包 装 企 业 为 例 [J]. 包 装 学 报,2012,4(4):50-54. Liu Li,Xue Fan. Empirical Study of Influencing Factors on Packaging Standardization:Taking Packaging Firms in Chang-Zhu-Tan District as an Example[J]. Packaging Journal,2012,4(4) :50-54. [2] 朱 伯 诚. 基 于 特 征 点 的 图 像 匹 配 算 法 的 研 究 与 实 现 [D]. 成 都 : 电 子 科 技 大 学,2012. Zhu Bocheng. Research and Implementation of Image Matching Algorithm Based on Feature Points[D]. Chengdu : University of Electronic Science and Technology of China, 2012. [3] 李 岩 琪. 基 于 SIFT 算 子 的 双 目 视 觉 立 体 匹 配 算 法 研 究 [D]. 西 安 : 西 安 电 子 科 技 大 学,2010. Li Yanqi. Research on an Algorithm for Binocular Stereo Vision Image Matching Based on SIFT Operator[D]. Xi an :University of Electronic Science and Technology of Xi an,2010. [4] 王 玮, 黄 非 非, 李 见 为, 等. 采 用 LBP 金 字 塔 的 人 脸 描 述 与 识 别 [J]. 计 算 机 辅 助 设 计 与 图 形 学 学 报,2009, 21(1) :94-100. Wang Wei,Huang Feifei,Li Jianwei,et al. Face Description and Recognition by LBP Pyramid[J]. Journal of Computer-Aided Design & Computer Graphics,2009, 21(1) :94-100. [5] Julsing B K. Face Recognition with Local Binary Patterns [D]. Bachelor Assignment:University of Twente,2007. [6] Frank R. Scattered Data Interpolation:Test of Some Methods[J]. Mathematics of Computation,1982,38(157) : 181-200. [7] Ojala T,Pietik inen M,M enp T. Multiresolution Gray Scale and Rotation Invariant Texture Analysis with Local Binary Patterns[J]. IEEE Transactions on Pattern Analysis

第 4 期 陈 财 彪, 等 基 于 LBP 直 方 图 和 SIFT 的 药 品 包 装 缺 陷 检 测 方 法 95 and Machine Intelligence,2002,24(7) :971-987. [8] 赵 立 辉, 杨 红 喆, 郭 栋, 等. 印 品 检 测 过 程 中 基 于 SIFT 算 法 缩 小 匹 配 范 围 的 方 法 [J]. 包 装 工 程,2013(9):104-107. Zhao Lihui,Yang Hongzhe,Guo Dong,et al. Method to Reduce Matching Range in Print Detection Based on SIFT Algorithm[J]. Packaging Engineering,2013(9) :104-107. [9] 潘 子 昂. 基 于 SIFT 算 法 的 图 像 匹 配 研 究 [D]. 西 安 : 西 安 电 子 科 技 大 学,2012. Pan Ziang. Research of Image Matching Based on SIFT Algorithm[D]. Xi an:electronic and Science University of Xi an,2012. [10] 郑 永 斌, 黄 新 生, 丰 松 江. SIFT 和 旋 转 不 变 LBP 相 结 合 的 图 像 匹 配 算 法 [J]. 计 算 机 辅 助 设 计 与 图 形 学 学 报, 2010,22(2) :286-292. Zheng Yongbin,Huang Xinsheng,Feng Songjiang. An Image Matching Algorithm Based on Combination of SIFT and the Rotation Invariant LBP[J]. Journal of Computer Aided Design & Computer Graphics,2010,22(2) :286-292. [11] Gao Ke,Lin Shouxun,Zhang Yongdong,et al. Attention Model Based SIFT Keypoints Filtration for Image Retrieval// 7th IEEE/ACIS International Conference on Computer and Information Science. [S. l.] :IEEE,2008 :191-196. [12] Sirmacek B,Unsalan C. Urban-Area and Building Detection Using SIFT Keypoints and Graph Theory[J]. IEEE Transactions on Geosciences and Remote Sensing,2009. doi:10.1109/tgrs.2008.2008440. ( 责 任 编 辑 : 邓 彬 ) ( 上 接 第 75 页 ) [6] Chen Fuxing,Wang Runsheng. Fast RANSAC with Preview Model Parameters Evaluation[J]. Journal of Software, 2005,16(8) :1431-1437. [7] 周 军 太, 龙 永 红. 一 种 改 进 SURF 算 法 的 图 像 配 准 [J]. 湖 南 工 业 大 学 学 报,2011,25(2) :95-99. Zhou Juntai,Long Yonghong. Image Matching Based on Improved Speed-Up Robust Features[J]. Journal of Hunan University of Technology,2011,25(2) :95-99. [8] 武 岫 缘, 龙 永 新, 高 总 总. 基 于 SIFT-ACO 的 图 像 拼 接 算 法 [J]. 湖 南 工 业 大 学 学 报,2014,28(1) :76-80. Wu Xiuyuan,Long Yongxin,Gao Zongzong. Image Mosaic Optimization Algorithm Based on SIFT-ACO[J]. Journal of Hunan University of Technology,2014,28(1) :76-80. [9] Bentley J L. Multidimensional Binary Search Trees Used for Associative Searching[J]. Communications of the ACM, 1975,18(9) :509-517. [10] 马 颂 德, 张 正 友. 计 算 机 视 觉 [M]. 北 京 : 北 京 科 学 出 版 社,1988:82-83. Ma Songde,Zhang Zhengyou. Computer Vision[M]. Beijing:Beijing Science and Technology Press,1988:82-83. [11] Szeliski R,Shun Heungyeung. Creating Full View Panoramic Image Mosaics and Environment Maps[C]//SIGGRAPH 97 Proceedings of Computer Graphics. Los Angeles:ACM Press,1997:251-258. ( 责 任 编 辑 : 邓 彬 )