手 机 玻 璃 缺 陷 检 测 项 目 阶 段 汇 报 2016 年 7 月
汇 报 内 容 1. 解 决 方 案 和 计 划 2. 线 上 检 测 流 程 设 计 3. 线 下 检 测 流 程 设 计 4. 缺 陷 数 据 分 析 管 理 设 计 5. 现 有 算 法 进 展 6. 软 件 开 发 计 划 7. 可 行 性 分 析
解 决 方 案 和 计 划 随 着 科 技 与 工 业 水 平 的 突 飞 猛 进, 液 晶 屏 类 手 机 产 品 逐 渐 成 为 大 众 生 活 中 不 可 或 缺 的 要 素, 现 实 生 产 对 手 机 产 品 的 屏 幕 的 品 质 要 求 也 日 益 提 高 手 机 玻 璃 屏 幕 作 为 人 与 机 器 之 间 的 界 面, 客 户 期 望 的 是 完 美 的 触 感 和 外 观, 对 于 玻 璃 制 造 商 而 言, 这 意 味 着 持 续 确 保 最 高 的 质 量 标 准, 以 满 足 客 户 需 求 并 参 与 全 球 竞 争 然 而 当 前 的 科 技 水 平 仍 无 法 避 免 生 产 加 工 中 造 成 的 各 类 缺 陷, 那 么 如 何 快 速 而 准 确 地 检 测 识 别 玻 璃 屏 幕 缺 陷 将 是 生 产 企 业 首 先 必 须 面 对 和 解 决 的 问 题 同 时, 玻 璃 屏 幕 的 生 产 分 为 若 干 复 杂 步 骤, 生 产 过 程 中 的 每 一 阶 段 都 至 关 重 要 每 当 有 缺 陷 的 玻 璃 屏 幕 被 漏 检 传 递 到 下 一 个 过 程, 后 面 的 生 产 过 程 都 不 能 修 补 这 些 缺 陷, 最 终 仍 旧 产 生 有 缺 陷 的 产 品, 导 致 成 本 的 上 升 因 此, 从 一 开 始 直 到 产 品 链 的 末 端, 均 需 要 具 备 一 致 和 完 整 的 缺 陷 检 测, 这 不 仅 仅 是 对 玻 璃 屏 幕 最 终 产 品 高 质 量 的 需 求, 也 是 出 于 经 济 方 面 的 考 虑
解 决 方 案 和 计 划 计 划 实 施 步 骤 : 第 一 阶 段 : 前 期 调 研 及 训 练 图 像 数 据 采 集 ; 第 二 阶 段 : 设 计 图 像 预 处 理 方 案 ; 第 三 阶 段 : 设 计 线 上 玻 璃 有 无 缺 陷 检 测 方 案 ; 第 四 阶 段 : 设 计 线 下 玻 璃 缺 陷 分 类 统 计 方 案 ; 第 五 阶 段 : 设 计 缺 陷 数 据 管 理 信 息 系 统 ; 第 六 阶 段 : 结 合 实 际 生 产 改 进 已 有 方 案
系 统 框 架 图
线 上 检 测 流 程 设 计 输 入 样 本 图 像 分 割 不 同 类 型 缺 陷 检 测 自 动 定 位 待 判 定 缺 陷 位 置 边 缘 崩 边 等 划 伤 裂 纹 等 凹 凸 点 杂 质 等 阈 值 判 定 结 果 输 出
线 上 检 测 流 程 设 计 1. 边 缘 崩 边 等 :Hough LSD 等 形 状 检 测 算 法 + 图 像 增 强 + 统 计 特 征 2. 划 伤 裂 纹 凹 凸 点 杂 质 等 :Gabor Sobel 非 线 性 滤 波 等 算 法 + 自 适 应 二 值 化 3. 按 键 多 料 等 : 纹 理 统 计 特 征 4. 尺 寸 弧 度 等 : 采 集 系 统 标 定 + 边 缘 回 归 拟 合 5.
崩 边 检 测 Hough 变 换 是 一 种 使 用 表 决 原 理 的 参 数 估 计 技 术 其 原 理 是 利 用 图 像 空 间 和 Hough 参 数 空 间 的 点 - 线 对 偶 性, 把 图 像 空 间 中 的 检 测 问 题 转 换 到 参 数 空 间 通 过 在 参 数 空 间 里 进 行 简 单 的 累 加 统 计, 然 后 在 Hough 参 数 空 间 寻 找 累 加 器 峰 值 的 方 法 检 测 直 线 Hough 变 换 的 实 质 是 将 图 像 空 间 内 具 有 一 定 关 系 的 像 元 进 行 聚 类, 寻 找 能 把 这 些 像 元 用 某 一 解 析 形 式 联 系 起 来 的 参 数 空 间 累 积 对 应 点 在 参 数 空 间 不 超 过 二 维 的 情 况 下, 这 种 变 换 有 着 理 想 的 效 果
崩 边 检 测 SIFT 是 一 种 检 测 局 部 特 征 的 算 法, 该 算 法 通 过 求 一 幅 图 中 的 特 征 点 及 其 有 关 scale 和 orientation 的 描 述 子 得 到 特 征 并 进 行 图 像 特 征 点 匹 配, 获 得 了 良 好 效 果
崩 边 检 测 池 化 特 征 是 一 种 概 要 统 计 特 征 它 不 仅 具 有 低 得 多 的 维 度 ( 相 比 使 用 所 有 提 取 得 到 的 特 征 ), 同 时 还 会 改 善 结 果 ( 不 容 易 过 拟 合 ) 这 种 聚 合 的 操 作 就 叫 做 池 化 (pooling), 有 时 也 称 为 平 均 池 化 或 者 最 大 池 化 ( 取 决 于 计 算 池 化 的 方 法 )
崩 边 检 测 SVM 方 法 是 通 过 一 个 非 线 性 映 射 p, 把 样 本 空 间 映 射 到 一 个 高 维 乃 至 无 穷 维 的 特 征 空 间 中 (Hilbert 空 间 ), 使 得 在 原 来 的 样 本 空 间 中 非 线 性 可 分 的 问 题 转 化 为 在 特 征 空 间 中 的 线 性 可 分 的 问 题 红 色 为 缺 陷 点 蓝 色 为 非 缺 陷 点
划 伤 裂 纹 等 检 测 图 像 的 二 值 化, 就 是 将 图 像 上 的 像 素 点 的 灰 度 值 设 置 为 0 或 255, 也 就 是 将 整 个 图 像 呈 现 出 明 显 的 只 有 黑 和 白 的 视 觉 效 果 最 常 用 的 方 法 就 是 设 定 一 个 全 局 的 阈 值 T, 将 大 于 T 的 像 素 群 的 像 素 值 设 定 为 白 色, 小 于 T 的 像 素 群 的 像 素 值 设 定 为 黑 色 局 部 二 值 化 的 方 法 就 是 按 照 一 定 的 规 则 将 整 幅 图 像 划 分 为 N 个 窗 口, 对 这 N 个 窗 口 中 的 每 一 个 窗 口 再 按 照 一 个 统 一 的 阈 值 T 将 该 窗 口 内 的 像 素 划 分 为 两 部 分, 进 行 二 值 化 处 理
划 伤 裂 纹 等 检 测 在 图 像 中, 最 小 的 单 位 是 像 素, 每 个 像 素 周 围 有 8 个 邻 接 像 素, 常 见 的 邻 接 关 系 有 2 种 :4 邻 接 与 8 邻 接 4 邻 接 一 共 4 个 点, 即 上 下 左 右, 如 下 左 图 所 示 8 邻 接 的 点 一 共 有 8 个, 包 括 了 对 角 线 位 置 的 点, 如 下 右 图 所 示 在 视 觉 上 看 来, 彼 此 连 通 的 点 形 成 了 一 个 区 域, 而 不 连 通 的 点 形 成 了 不 同 的 区 域 这 样 的 一 个 所 有 的 点 彼 此 连 通 点 构 成 的 集 合, 我 们 称 为 一 个 连 通 区 域
划 伤 裂 纹 等 检 测 Gabor 小 波 与 人 类 视 觉 系 统 中 简 单 细 胞 的 视 觉 刺 激 响 应 非 常 相 似 它 在 提 取 目 标 的 局 部 空 间 和 频 率 域 信 息 方 面 具 有 良 好 的 特 性 Gabor 小 波 对 于 图 像 的 边 缘 敏 感, 能 够 提 供 良 好 的 方 向 选 择 和 尺 度 选 择 特 性, 而 且 对 于 光 照 变 化 不 敏 感, 能 够 提 供 对 光 照 变 化 良 好 的 适 应 性 上 述 特 点 使 Gabor 小 波 被 广 泛 应 用 于 视 觉 信 息 理 解
线 下 分 类 流 程 设 计
纹 理 特 征
纹 理 特 征 LBP( 局 部 二 值 模 式 ) 是 一 种 用 来 描 述 图 像 局 部 纹 理 特 征 的 算 子 原 始 的 LBP 算 子 定 义 为 在 3*3 的 窗 口 内, 以 窗 口 中 心 像 素 为 阈 值, 将 相 邻 的 8 个 像 素 的 灰 度 值 与 其 进 行 比 较, 若 周 围 像 素 值 大 于 中 心 像 素 值, 则 该 像 素 点 的 位 置 被 标 记 为 1, 否 则 为 0 这 样,3*3 邻 域 内 的 8 个 点 经 比 较 可 产 生 8 位 二 进 制 数 ( 通 常 转 换 为 十 进 制 数 即 LBP 码, 共 256 种 ), 即 得 到 该 窗 口 中 心 像 素 点 的 LBP 值, 并 用 这 个 值 来 反 映 该 区 域 的 纹 理 信 息
线 下 检 测 流 程 设 计 (a) 基 于 稀 疏 编 码 的 特 征 提 取 (b) 基 于 深 度 学 习 和 稀 疏 编 码 的 图 像 分 类
缺 陷 数 据 分 析 管 理 设 计
现 有 算 法 进 展 玻 璃 崩 边 分 析 截 取 的 原 图 图 像 增 强
红 色 为 缺 陷 点 蓝 色 为 非 缺 陷 点
玻 璃 崩 边 检 测 结 果 示 例
划 伤 HTC 分 析 截 取 的 原 图 滤 波 增 强 二 值 化
苹 果 分 析 截 取 的 原 图 滤 波 增 强 二 值 化
按 键 多 料 多 料 按 键 正 常 按 键 纹 理 特 征
软 件 开 发 计 划 当 前 手 机 玻 璃 屏 幕 缺 陷 判 断 主 要 依 靠 人 工 检 测, 这 种 检 测 手 段 不 但 成 本 较 高, 而 且 不 能 满 足 工 业 生 产 对 玻 璃 屏 幕 缺 陷 检 测 准 确 性 的 要 求, 也 不 能 保 证 检 测 结 果 的 稳 定 性 因 此, 本 公 司 提 供 该 解 决 方 案 及 配 套 软 件, 实 现 精 确 而 灵 活 的 全 自 动 光 学 玻 璃 缺 陷 检 测 该 软 件 安 装 在 手 机 玻 璃 生 产 线 关 键 节 点 上, 通 过 采 集 实 时 手 机 图 像 来 检 测 玻 璃 屏 幕 加 工 工 艺 过 程 中 产 生 的 质 量 缺 陷, 并 根 据 图 像 检 测 结 果 做 出 及 时 判 断, 帮 助 有 效 提 高 玻 璃 屏 幕 生 产 成 品 率
软 件 框 架 结 构 本 系 统 采 用 三 层 架 构 设 计, 三 层 架 构 就 是 将 整 个 业 务 应 用 划 分 为 : 表 现 层 业 务 逻 辑 层 数 据 访 问 层 区 分 层 次 的 目 的 即 为 了 高 内 聚, 低 耦 合 的 思 想 表 现 层 : 通 俗 讲 就 是 展 现 给 用 户 的 界 面, 即 用 户 在 使 用 一 个 软 件 的 时 候 他 的 所 见 所 得 业 务 逻 辑 层 : 针 对 具 体 玻 璃 检 测 问 题 的 操 作, 也 可 以 说 是 对 数 据 层 的 操 作, 对 图 像 数 据 的 逻 辑 处 理 数 据 访 问 层 : 该 层 所 做 任 务 是 直 接 操 作 图 像 数 据 库, 针 对 其 中 数 据 的 增 添 删 除 修 改 更 新 查 找 等
软 件 框 架 结 构 三 个 层 次 中, 软 件 主 要 功 能 和 数 据 处 理 都 在 业 务 逻 辑 层 进 行 处 理 三 层 体 系 将 图 像 数 据 访 问 图 像 数 据 处 理 及 图 像 数 据 缺 陷 判 定 等 工 作 放 在 中 间 层 处 理 客 户 端 不 直 接 与 数 据 库 交 互, 而 是 通 过 组 件 与 业 务 逻 辑 层 建 立 连 接, 再 由 中 间 层 与 数 据 库 交 互 通 过 该 软 件 架 构, 用 户 可 以 轻 松 的 操 作 软 件, 快 速 而 高 效 地 完 成 手 机 玻 璃 屏 幕 的 缺 陷 检 测, 并 得 到 缺 陷 数 据 的 分 析 结 果
软 件 结 构 系 统 的 结 构 主 要 由 两 方 面 构 成, 一 是 系 统 的 软 件 结 构 框 图, 二 是 系 统 的 硬 件 结 构 框 图 软 件 结 构 框 图 中 将 给 出 系 统 所 应 分 层 的 顶 级 模 块 ; 而 硬 件 结 构 框 图 将 给 出 系 统 运 行 的 硬 件 结 构 示 意 图 ; 本 软 件 采 用 传 统 的 软 件 开 发 生 命 周 期 的 方 法, 采 用 自 顶 向 下, 逐 步 求 精 的 结 构 化 的 软 件 设 计 方 法
软 件 结 构 客 户 端 是 检 测 服 务 的 发 出 者 ; 服 务 器 为 用 户 提 供 数 据 处 理 调 用 接 口 ; 数 据 库 则 用 来 存 储 数 据 硬 件 结 构 框 架 图 数 据 流 程 图
软 件 结 构 系 统 网 络 拓 扑 图
软 件 各 系 统 模 块 设 计 说 明 线 上 快 速 检 测 系 统 本 系 统 主 要 负 责 快 速 地 实 现 生 产 线 上 样 本 是 否 合 格 的 初 步 判 定, 其 中 具 体 包 含 三 个 子 模 块, 分 别 为 尺 寸 检 测 模 块 面 板 质 量 检 测 模 块 透 明 区 域 缺 陷 检 测 模 块 线 上 快 速 检 测 系 统 流 程 图
线 上 快 速 检 测 系 统
线 上 快 速 检 测 系 统
线 上 快 速 检 测 系 统
软 件 各 系 统 模 块 设 计 说 明 线 下 缺 陷 分 类 系 统 本 系 统 主 要 负 责 对 线 上 检 测 初 步 判 定 结 果 进 行 更 精 确 的 判 定 分 类 由 于 采 集 图 像 的 分 辨 率 较 大, 并 且 线 上 检 测 对 算 法 实 时 性 要 求 较 高, 非 常 精 确 的 缺 陷 分 类 无 法 在 线 上 完 成 线 上 检 测 只 负 责 对 流 水 线 上 的 产 品 是 否 存 在 缺 陷 进 行 快 速 的 初 步 判 定 因 此 增 加 线 下 缺 陷 分 类 系 统, 利 用 深 度 学 习 神 经 网 络 等 有 监 督 学 习 方 法 完 成 对 缺 陷 类 型 的 准 确 判 定, 消 除 线 上 快 速 检 测 中 出 现 的 少 量 误 判 影 响 由 于 该 系 统 可 在 生 产 线 下 进 行, 从 而 不 影 响 生 产 进 程 线 下 缺 陷 分 类 系 统 流 程
线 下 缺 陷 分 类 系 统
线 下 缺 陷 分 类 系 统
线 下 缺 陷 分 类 系 统
软 件 各 系 统 模 块 设 计 说 明 缺 陷 数 据 分 析 管 理 信 息 系 统 本 系 统 主 要 负 责 对 采 集 到 的 缺 陷 数 据 进 行 统 计 分 析, 以 及 对 数 据 库 的 维 护 管 理, 为 生 产 线 的 维 护 检 修 提 供 数 据 支 持, 推 进 生 产 健 康 管 理 更 好 的 发 展 其 中 具 体 包 含 三 个 子 模 块, 分 别 为 缺 陷 数 据 统 计 模 块 生 产 数 据 可 靠 性 分 析 模 块 数 据 库 更 新 模 块 缺 陷 数 据 分 析 管 理 信 息 系 统 流 程
缺 陷 数 据 分 析 管 理 信 息 系 统
缺 陷 数 据 分 析 管 理 信 息 系 统
缺 陷 数 据 分 析 管 理 信 息 系 统
可 行 性 分 析 技 术 储 备 较 为 充 分 本 团 队 长 期 从 事 超 分 辨 率 成 像 技 术 机 器 视 觉 技 术 数 字 图 像 处 理 领 域 的 研 究, 特 别 是 在 各 种 超 分 辨 率 成 像 系 统 设 计 图 像 配 准 特 征 提 取 与 模 式 识 别 等 方 面 进 行 了 长 期 的 跟 踪 研 究, 取 得 了 一 些 成 果
研 究 目 标 明 确, 研 究 思 路 清 晰 本 项 目 研 究 从 玻 璃 在 线 监 测 的 摄 像 系 统 设 计 着 手, 以 攻 克 玻 璃 缺 陷 检 测 应 用 中 的 图 像 增 强 特 征 提 取 模 式 识 别 和 图 像 分 类 等 关 键 技 术 为 研 究 目 标, 深 入 分 析 特 征 提 取 与 玻 璃 缺 陷 判 定 两 者 之 间 的 内 在 本 质 联 系, 拟 提 出 一 种 玻 璃 缺 陷 检 测 研 究 的 新 思 路, 给 出 了 可 行 的 技 术 方 案 项 目 组 具 有 清 晰 的 研 究 思 路, 研 究 内 容 详 细 具 体, 研 究 难 度 和 工 作 量 适 当, 在 项 目 组 成 员 的 共 同 努 力 下 完 全 有 能 力 完 成 各 项 研 究 任 务, 实 现 本 项 目 的 研 究 目 标
汇 报 结 束, 恳 请 批 评 指 正! 谢 谢!