第 40 卷 第 7 期 2014 年 7 月 北 京 工 业 大 学 学 报 JOURNAL OF BEIJING UNIVERSITY OF TECHNOLOGY Vol. 40 No. 7 Jul. 2014 基 于 图 像 识 别 技 术 的 烟 包 封 条 缺 陷 检 测 赵 众, 常 灿, 陈 磊 ( 北 京 化 工 大 学 信 息 学 院, 北 京 100029) 摘 要 : 为 了 提 高 香 烟 在 线 生 产 的 效 率, 提 出 了 一 种 烟 包 封 条 缺 陷 检 测 方 法, 开 发 了 基 于 图 像 识 别 技 术 的 烟 包 封 条 缺 陷 检 测 系 统. 所 开 发 系 统 首 先 对 采 集 到 的 烟 包 图 像 进 行 中 值 滤 波 和 边 缘 检 测 ; 然 后 对 边 缘 图 像 进 行 Radon 变 换 ; 进 而 通 过 检 测 烟 包 小 标 上 特 征 直 线 的 角 度 和 位 置 来 判 断 烟 包 小 标 的 粘 贴 是 否 合 格 ; 最 后 用 PLC 控 制 将 判 别 不 合 格 的 烟 包 剔 除 出 香 烟 生 产 线. 中 烟 公 司 某 烟 厂 长 周 期 的 应 用 结 果 表 明 : 该 检 测 方 法 具 有 判 别 速 度 快 易 于 实 现 等 优 点, 所 开 发 的 系 统 可 行 有 效. 关 键 词 : 包 装 检 测 ; 图 像 分 割 ; 边 缘 检 测 ; Radon 变 换 中 图 分 类 号 : TP 237 文 献 标 志 码 : A 文 章 编 号 : 0254-0037(2014)07-0986 - 06 Detection Method for Cigarette Packet Seal Based on Image Recognition Technology ZHAO Zhong, CHANG Can, CHEN Lei ( College of Information Science & Technology, Beijing University of Chemical Technology, Beijing 100029, China) Abstract: To improve the efficiency of online cigarette production, a detection method for a cigarette packet seal sticker was proposed. Based on the method, an application system was developed. First, the captured image of cigarette packet was executed with median filtering and edge detection in this system. Second, the straight line on the edge image was detected by radon transform. Third, according to the position and angle of the straight line, the qualification of the seal sticker was determined. Finally, the cigarette packets with defective seal sticker were detected and removed from the production line based on PLC control. Results show that this detection method runs fast and easy to implement, and the long term application results in a factory of China Tobacco verified the feasibility and effectiveness of the developed system. Key words: packing detection; image segmentation; edge detection; Radon transform 现 代 化 香 烟 生 产 的 高 速 流 水 线 上, 设 备 的 自 动 化 程 度 很 高, 生 产 过 程 中 出 现 不 合 格 产 品 时 有 发 生. 其 中 香 烟 包 装 上 的 封 条 歪 斜 折 角 缺 失 等 是 一 类 常 见 现 象, 该 类 缺 陷 在 香 烟 生 产 的 质 量 问 题 上 占 有 一 定 比 例. 不 合 格 产 品 会 降 低 品 牌 的 满 意 度 和 产 品 信 誉 度, 因 此, 在 烟 包 生 产 线 上 对 不 合 格 品 进 行 检 测 并 及 时 剔 除 有 重 要 的 意 义 [1]. 近 年 来 烟 草 行 业 将 图 像 识 别 系 统 引 入 香 烟 生 产 流 水 线, 利 用 图 像 识 别 技 术 实 现 对 烟 包 包 装 质 量 问 题 的 在 线 检 测 [2]. 但 烟 包 在 流 水 线 上 运 转 太 快 拍 摄 背 景 比 较 复 杂 等 因 素 阻 碍 了 在 线 图 像 识 别 技 术 在 烟 草 行 业 的 发 展. 收 稿 日 期 : 2013 鄄 03 鄄 14 基 金 项 目 : 国 家 自 然 科 学 基 金 资 助 项 目 (60974065); 国 家 863 冶 计 划 资 助 项 目 (2009AA04Z135) 作 者 简 介 : 赵 众 (1970 ), 男, 教 授, 主 要 从 事 复 杂 工 业 过 程 先 进 控 制 过 程 监 测 方 面 的 研 究,E 鄄 mail: zhaozhong@ mail. buct. edu. cn 通 信 作 者 : 常 灿 (1988 ), 男, 硕 士 研 究 生, 主 要 从 事 过 程 监 测 方 面 的 研 究,E 鄄 mail:changcan880216@ gmail. com
第7 期 987 赵 众, 等: 基于图像识别技术的烟包封条缺陷检测 本文针对中烟公司某厂生产的 渡江冶 牌香烟, 通过对烟包图像特性的分析,提出了一种快速烟包 封条检测方法,并开发了基于图像识别技术的烟包 2 烟包图像检测 2. 1 图像分割 封条缺陷检测系统. 该系统可以有效地抑制图像模 为方便阐述,本文以中烟公司某烟厂生产的渡 糊和噪声带来的干扰,能够快速地识别出烟包封条 江香烟为例. 一般情况下被采集烟包处于深色的传 的歪斜 折角 缺失等现象. 烟厂长周期的应用结果 送带上,因此,可以使用图像分割技术 [3] 将烟包图 证实了所开发系统的可行性和有效性. 像从背景中分离出来,这里使用如下单一阈值分割 1 烟包封条缺陷检测系统 法将烟包与深色背景分离,即 f( x,y) = 本文以中烟公司某厂的卷烟设备为例,现场装 { 0, f( x,y), f( x,y) 臆T f( x,y) > T (1) 置如图 1 所示,针对原设备加入了所开发的基于图 阈值 T 为 像头 光纤传感器 光电开关 PLC( 可编程逻辑控制 式中:f( x, y) 表示图像的灰度值;T 表示阈值;f 表 T = f + 3 伊 Sf 像识别技术的烟包封条缺陷检测系统,其中包括摄 器) 剔除装置 检测计算机 监控显示器等. (2) 示背景灰度均值;S f 表示背景灰度标准差. 这样比 T 大的灰度保持不变,比 T 小的就变为黑色. 图像 分割后得到背景分离的烟包图像如图 3( a) 所示. 图 1 香烟包装设备 Fig. 1 Cigarette packaging equipment 基于图像识别的烟包封条缺陷检测系统原理 如图 2 所示. 通过采集控制器对流水线上的烟包 产生脉冲信 号,进 而 由 光 纤 传 感 器 将 信 号 输 送 到 图像采集卡,图 像 采 集 卡 在 收 到 脉 冲 信 号 后 立 即 向 CCD 图像传感器发送采集信号并由摄像头完成 图像采集. 采集到的图像以 BMP 格式黑白图像传 送到 PC 机,然后通过图像识别的方法来判断烟包 封条的粘贴是否,最后由 PLC 对 不 合 格 的 产 品给出剔除 信 号,一 旦 发 现 不 合 格 产 品 便 会 由 剔 除装置及时剔除. 图 3 烟包图像 Fig. 3 Cigarette image 2. 2 目标区域定位 在获得单一背景烟包图像后,对目标区域进行 定位. 分别从图像边界的中间位置横向和纵向搜索 连续的非 0 点便可以确定烟包的边界位置和宽度, 搜索方向和位置如图 3 ( b) 中箭头所示. 假设横向 非 0 点坐标为 a 到 b,纵向为 c 到 d,则可得到烟包 宽为 b - a,长为 d - c,以烟盒宽度的 1 / 2 为目标区 域宽度,长度的 1 / 5 为目标区域的高度. 选取矩形 框的行列范围分别为 [ a + b 4- a ~ a + 3( b4- a) ] d -c 行范围 = [ c ~ c + ] 5 列范围 = 图 2 缺陷检测系统原理 Fig. 2 Defect detection system principles (3) (4) 如图 3( b) 所示,白色矩形框即为本方法选定的 封条所在目标区域. 该方法计算量小,在耗时上相 对于计算量较大的模板匹配法有绝对的优势.
988 北 京 工 业 大 学 学 报 2014 年 2. 3 目 标 图 像 处 理 2 郾 3 郾 1 均 值 滤 波 由 于 随 机 噪 声 拍 摄 环 境 等 因 素 的 影 响, 往 往 要 对 图 像 进 行 滤 波 以 去 除 噪 声. 常 用 的 方 法 有 均 值 滤 [4] [5] 波 算 法 和 中 值 滤 波 算 法 等. 均 值 滤 波 对 高 斯 噪 声 的 抑 制 效 果 较 好, 而 且 处 理 后 的 图 像 边 缘 模 糊 较 少. 而 中 值 滤 波 对 椒 盐 冶 噪 声 可 以 起 到 很 好 的 效 果, 但 是 对 高 斯 噪 声 的 抑 制 效 果 不 明 显. 分 别 用 以 上 2 种 滤 波 方 法 对 烟 包 的 封 条 图 像 进 行 滤 波 处 理, 同 样 选 择 3 伊 3 大 小 的 滤 波 窗 口, 经 过 Matlab 的 处 理 效 果 如 图 4 所 示, 通 过 对 比 滤 波 前 后 封 条 图 像 的 灰 度 直 方 图, 统 计 结 果 显 示, 均 值 滤 波 在 抑 制 封 条 图 像 的 随 机 噪 声 中 具 有 更 好 的 效 果. 该 方 法 不 但 滤 波 效 果 好, 而 且 计 算 量 小 滤 波 时 间 短, 更 利 于 香 烟 在 线 生 产 的 快 速 检 测. Fig. 4 图 4 滤 波 前 后 对 比 Before and after filtering 在 均 值 滤 波 方 法 中, 待 处 理 点 的 灰 度 值 由 邻 域 内 点 灰 度 平 均 值 来 代 替, 给 定 一 幅 图 像 f( x, y), 用 领 域 平 均 法 滤 波 后 的 图 像 g(x, y) 表 示 为 g(x,y) = 1 M 移 f(n,m) (5) (n,m) 沂 s 式 中 :s 表 示 在 点 (x, y) 邻 域 内 坐 标 的 集 合 ;M 表 示 集 合 s 内 坐 标 点 的 总 数. 邻 域 选 择 以 点 ( x, y) 为 中 心 的 3 伊 3 区 域, 周 围 8 个 点 就 是 s 内 坐 标 点 总 数. 2 郾 3 郾 2 改 进 的 Sobel 算 子 法 本 方 法 中 最 关 键 的 一 步 是 图 像 的 边 缘 检 测, 检 测 效 果 直 接 决 定 判 别 效 果 的 好 坏. 根 据 封 条 的 自 身 特 点, 选 取 封 条 上 的 2 条 深 色 直 线 作 为 图 像 特 征, 可 以 采 用 边 缘 检 测 获 得 这 2 条 特 征 直 线 的 边 缘 图 像. 灰 度 图 像 的 边 缘 可 以 用 求 导 的 方 法 检 测, 通 过 考 察 像 素 领 域 内 灰 度 的 变 化 规 律 来 检 测 边 缘. 所 开 发 系 统 提 出 了 一 种 改 进 的 Sobel 算 子 边 缘 检 测 法, 假 设 灰 度 图 像 为 f( x, y), 在 位 置 ( x, y) 处 的 梯 度 可 以 表 示 成 一 个 矢 量, 定 义 G x 和 G y 分 别 为 x 和 y 两 个 方 向 的 梯 度 分 量, 则 梯 度 表 示 为 鄣 f(x,y) 鄣 f(x,y) f(x,y) = [G x,g y ] = [, ] (6) 鄣 x 鄣 y 驻 梯 度 的 方 向 是 图 像 灰 度 变 化 最 快 的 方 向, 表 示 为 G 兹 = arctan [ y ] G x 梯 度 的 幅 度 大 小 简 称 梯 度, 表 示 为 f(x,y) = G 2 x + G 2 y = 2 鄣 f(x,y) 鄣 f(x,y) ( ) + ( ) 鄣 x 鄣 y 驻 2 (7) (8) 由 于 灰 度 图 像 是 空 间 的 离 散 的 量 化 矩 阵, 在 3 伊 3 图 像 中 点 位 置 关 系 为 éf(x - 1,y - 1) f(x - 1,y) f(x - 1,y + 1) ù ê ú ê f(x,y - 1) f(x,y) f(x,y + 1) ú ê ëf(x + 1,y - 1) f(x + 1,y) f(x + 1,y + 1) ú û (9) 因 此 梯 度 一 般 用 差 分 代 替 微 分. 水 平 方 向 的 梯 度 分 量 G x 和 垂 直 梯 度 分 量 G y 通 常 近 似 为 G x = [f(i - 1,j - 1) + 2f(i - 1,j) + f(i - 1,j + 1)] - [f(i + 1,j - 1) + 2f(i + 1,j) + f(i + 1,j + 1)] (10) G y = [f(i - 1,j - 1) + 2f(i,j - 1) + f(i + 1,j - 1)] - [f(i - 1,j + 1) + 2f(i,j + 1) + f(i + 1,j + 1)] (11) 为 了 方 便 计 算, 梯 度 分 量 通 常 写 成 卷 积 算 子 的 形 式,Sobel 算 子 如 图 5 ( a) ( b) 所 示. Sobel 算 子 [6] 法 只 针 对 水 平 和 垂 直 方 向 进 行 差 分, 在 图 像 模 糊 的 情 况 下 可 能 会 丢 失 部 分 边 缘 信 息, 有 时 还 存 在 伪 边 缘 现 象. 为 改 进 上 述 方 法, 在 原 有 的 两 个 Sobel 算 子 基 础 上 又 加 入 了 45 毅 和 135 毅 两 个 方 向 的 卷 积 模 板, 如 图 5(c)(d) 所 示, 这 样 可 以 使 边 缘 信 息 更 加 完 整. 图 6 中 是 改 进 后 的 Sobel 算 子 法 与 几 种 常 见 边 [7] 缘 检 测 方 法 的 检 测 结 果 对 比. 在 Matlab 下 检 测 边 缘 图 像 中 最 长 的 4 条 直 线 段, 图 6 中 红 色 线 段 是 对 直 线 标 定 的 结 果. 对 比 可 以 看 出, 改 进 的 Sobel 算 子 法 对 封 条 上 的 特 征 直 线 边 缘 检 测 最 为 准 确, 具 有 较 好 的 检 测 效 果.
第7 期 989 赵 众, 等: 基于图像识别技术的烟包封条缺陷检测 这 4 个极值点分别对应边缘图像中的 4 条直线. 它 们所 对 应 的 ( 籽, 兹, R ) 坐 标 分 别 为 ( - 50, 180毅, 45郾 352 ) ( - 46, 181毅, 43郾 128 ) ( 46, 181毅, 45郾 502) (50,181毅,42郾 996). 4 个极值点位置和角 度信息如表 1 所示. 表 1 中设定 籽 为图像中心点 图 5 卷积算子 到直线的距离,范围为(40 ~ 55) ;以水平方向 Fig. 5 Convolution operator 为 0毅,兹忆表示特征直线与水平方向的夹角,兹忆 = 兹 - 90毅,角度 兹忆的范围为(85毅 ~ 95毅). R 是极值点 的值,阈值设为 35,范围逸35. 表 1 极值点的判断 Table 1 Judgment of extreme points 极值点 1 2 3 图 6 封条边缘检测对比 4 Fig. 6 Edge detection images 2郾 3郾 3 Radon 变换 对直线的检测常用的方法有 Hough 变换 Radon 变换 [9] [8] 和. Hough 变换 计 算 量 复 杂 占 用 内 存 大,不适合快速检测的要求. 而 Radon 变换简单快 籽 兹忆 / ( 毅) 50 90 46 91 46 91 50 91 R 判断 45郾 352 43郾 128 45郾 502 42郾 996 要求而定. 从表 1 的判断结果可以看出,只有当 4 个极值点同时处于范围内时,才能确保烟包封 条粘贴. 2郾 4 图像处理流程 速又准确地判断出特征直线的位置和角度. 可概括为如下步骤( 如图 8 所示) : Radon 变换可以理解为图像在 籽 - 兹 空间的投 角度和距离的范围需要根据实际生产工艺 速,同时也拥有较好的抗噪能力 [10]. 使用 Radon 变 换对封条边缘图像的特征直线进行检测,可以既快 烟包图像封条缺陷识别和判断的具体实现流程 影,这样就可以将对图像中直线的检测转化为对 籽 兹 空间下点的检测. 在 Matlab 中对封条的边缘图像 进行 Radon 变换的结果如图 7 所示. 图 8 检测流程 图 7 Radon 变换 Fig. 7 Radon transform 为了使极值点处于 Radon 变换图的中间位置, 以利于搜索极值点,图 7 中 Radon 变换选择的角度 范围为(90毅 ~ 269毅). 对 Radon 变换进行局部极值 搜索法 [11] 后得出的 4 个极值点如图 7 中标注所示, Fig. 8 Detection flowchart 1) 图像分割 用阈值分割法使图像与背景分 离,再将目标锁定在烟包封条处; 2) 图像滤波 采用均值滤波的方法除去图像 中噪声带来的干扰; 3) 边缘检测 使用图像边缘检测处理滤波后 图像,获得封条边缘的二值图像;
990 2014 年 北 京 工 业 大 学 学 报 4) Radon 变换 对得到的烟包封条边缘二值 图像作 Radon 变换; 5) 判断产品是否 搜索 Radon 变换域内 的局部极值点,根据小标上 2 条直线段的位置和角 度信息来判断封条粘贴是否. 3 工业应用 基于图像识别技术的烟包封条缺陷检测系统已 成功应用于中烟公司某烟厂渡江香烟的生产中,从 现场采集到一些具有代表性的封条粘贴错误图像, 经过图像分割 定位 滤波后处理效果如图 9 所示. 图 9 缺陷封条图像 Fig. 9 Images with seal defect 针对以上常见不封条,用改进的 Sobel 算 子法进行边缘检测,结果如图 10 所示. 图 10 封条边缘图像 Fig. 10 Edge images 最后对边缘检测二值图像进行 Radon 变换,结 果如图 11 所示. 通过在 Radon 变换下搜索极值点坐标,经过变 换得到极值点在( 籽,兹忆) 下的坐标如表 2 所示. 根 据现场香烟生产的工艺要求以及拍摄情况,设定距 离 籽 和角度 兹忆的范围分别为(60 ~ 80)和(82毅 ~ 图 11 Radon 变换图像 Fig. 11 Radon transform 被检测出来. 在中烟公司某烟厂在线生产中,经过长周期运 92毅),就能够轻松的判断上述几种烟包的封条粘贴 行,也验证了该检测系统的安全性和可靠性,验收过 边等问题,通过该图像识别检测算法都能够快速地 率达到了 98%. 在C语言平台上,每幅图像的检测 均属于不合产品. 类似封条的缺失 歪斜 折角 折 程针对 100 个封条不烟包进行剔除实验,剔除
第 7 期 赵 众, 等 : 基 于 图 像 识 别 技 术 的 烟 包 封 条 缺 陷 检 测 991 表 2 极 值 点 的 坐 标 Table 2 Coordinates of extreme points 问 题 情 况 极 值 点 1 极 值 点 2 极 值 点 3 极 值 点 4 歪 斜 (81,68 毅 ) (49,70 毅 ) 无 无 无 标 (36,179 毅 ) (35,176 毅 ) (31,179 毅 ) (5,179 毅 ) 折 角 (75,86 毅 ) (69,86 毅 ) (5,162 毅 ) 无 折 边 (77,85 毅 ) (70,84 毅 ) (8,167 毅 ) (16,172 毅 ) 时 间 在 25 ms 左 右, 每 包 香 烟 从 信 息 采 集 到 剔 除 整 个 过 程 大 概 用 时 45 ms, 其 检 测 速 度 完 全 可 以 满 足 烟 厂 的 生 产 要 求. 4 结 论 1) 以 图 像 处 理 为 基 础, 提 出 了 一 种 烟 包 封 条 的 快 速 检 测 方 法, 并 开 发 了 基 于 图 像 识 别 技 术 的 烟 包 封 条 缺 陷 检 测 系 统. 2) 经 实 践 证 明, 该 方 法 有 效 地 解 决 了 香 烟 在 线 生 产 中 因 烟 包 图 像 模 糊 背 景 复 杂 带 来 的 识 别 困 难 识 别 过 程 慢 等 问 题, 得 到 稳 定 可 靠 的 检 测 效 果. 3) 在 C 语 言 平 台 上 实 现 该 方 法, 每 幅 图 像 处 理 的 时 间 通 常 只 有 25 ms 左 右, 完 全 可 以 达 到 中 烟 公 司 所 属 烟 厂 的 生 产 要 求. 参 考 文 献 : [1] 曲 中 周, 丁 万 山. 香 烟 小 包 装 在 线 检 测 系 统 中 的 关 键 技 术 [J]. 计 算 机 测 量 与 控 制, 2004, 12(7): 619 鄄 622. QU Zhong 鄄 zhou, DING Wan 鄄 shan. Key technologies in small cigarette packaging online detection system [ J ]. Computer Measurement and Control, 2004, 12 (7): 619 鄄 622. (in Chinese) [2] 查 英, 刘 铁 根, 杜 东. 图 像 识 别 技 术 在 零 件 装 配 自 动 识 别 中 的 应 用 [ J]. 计 算 机 工 程, 2006, 32 (10): 178 鄄 185. ZHA Ying, LIU Tie 鄄 gen, DU Dong. Image recognition technology in the automatic identification of the parts assembly[ J]. Computer Engineering, 2006, 32 ( 10 ): 178 鄄 185. (in Chinese) [3] WANG Y, LIU L, ZHANG H. Image segmentation using active contours with normally biased GVF external force [J]. IEEE Signal Process Letters, 2010, 17 (10): 875 鄄 878. [4] KO S J, LEE S J. Center weighted median filters and their applications to image enhancement[ J]. IEEE Transactions on Circuits and Systems, 1991, 38(9): 984 鄄 993. [5] BROX T, KLEINSCHMIDT O, CREMERS D. Efficient nonlocal means for denoising of textural patterns[ J]. IEEE Transactions on Image Processing, 2008, 17 (7): 1083 鄄 1092. [6] FAN X N, XU L Z, ZHANG X W, et al. Vehicle image edge detection using image fusion at pixel level [ C] 椅 Automation and Logistics, 2008, ICAL 2008, IEEE International Conference on. [S. l. ]: IEEE, 2008: 1713 鄄 1716. [7] BELTRAMETTI M C, ROBBIANO L. An algebraic approach to hough transforms [ J]. Journal of Algebra, 2012, 371: 669 鄄 681. [8] ELOUEDI I, FOURNIER R, NAIT 鄄 ALI A, et al. Generalized multi 鄄 directional discrete radon transform[ J]. Signal Processing, 2013, 93(1): 345 鄄 355. [9] EVTUSHENKO Y G, MALKOVA V U, STANEVICHYUS A A. Parallelization of the global extremum searching process[ J]. Automation and Remote Control, 2007, 68 (5): 787 鄄 798. [10] REDDY B S, CHATTERJI B N. An FFT 鄄 based technique for translation, rotation, and scale 鄄 invariant image registration [ J ]. IEEE Transactions on Image Processing, 1996, 5(8): 1266 鄄 1271. [11] TON J, JAIN A K. Registering landsat images by point matching [ J ]. IEEE Transaction on Geoscience and Remote Sensing, 1989, 27(5): 642 鄄 651. ( 责 任 编 辑 刘 潇 )