学士学位毕业论文

Transcription

1 本 科 毕 业 设 计 ( 论 文 ) 说 明 书 交 互 式 男 性 及 女 性 美 丽 人 脸 合 成 及 评 价 数 据 库 学 院 电 子 与 信 息 学 院 专 业 电 子 科 学 与 技 术 ( 微 电 子 技 术 ) 学 生 姓 名 指 导 教 师 提 交 日 期 庞 家 昊 金 连 文 教 授 200 年 6 月 5 日

2 华 南 理 工 大 学 毕 业 设 计 ( 论 文 ) 任 务 书 兹 发 给 2006 级 微 电 子 一 班 学 生 庞 家 昊 毕 业 设 计 ( 论 文 ) 任 务 书, 内 容 如 下 :. 毕 业 设 计 ( 论 文 ) 题 目 : 交 互 式 男 性 及 女 性 美 丽 人 脸 合 成 及 评 价 数 据 库 2. 应 完 成 的 项 目 : () 阅 读 人 脸 分 析 及 图 像 处 理 的 相 关 文 献, 基 于.NET Framework 3.5 基 础 类 库 及 C# 语 言, 编 写 出 用 于 计 算 平 均 脸 的 系 列 图 像 处 理 函 数 ; (2) 应 用 ASP.NET 3.5 HTML CSS AJAX 等 网 页 技 术, 结 合 C# 后 台 代 码, 制 作 一 个 完 善 的 并 可 引 导 用 户 合 成 出 平 均 脸 的 网 站 ; (3) 利 用 Visual Studio 2008 中 的 SQL Server 2005, 搭 建 出 人 脸 肖 像 及 网 站 用 户 信 息 数 据 库, 并 编 写 C# 程 序 运 用 LINQ 技 术 管 理 数 据 库 ; (4) 将 各 部 分 整 合 优 化, 并 构 建 成 一 个 完 整 的 平 均 脸 Web 应 用 程 序 3. 参 考 资 料 以 及 说 明 : ()Donis Marshall,Visual C# 2005 技 术 内 幕, 清 华 大 学 出 版 社 (2) 李 兰 友 等,C# 图 形 程 序 设 计 实 例, 国 防 工 业 出 版 社 (3) 郑 淑 芬 等,ASP.NET 3.5 最 佳 实 践 使 用 Visual C#, 电 子 工 业 出 版 社 (4)Rafael C. Gonzalez 等, 数 字 图 像 处 理 ( 第 二 版 ), 电 子 工 业 出 版 社 (5) 朱 印 宏 等,ASP.NET 3.5+SQL Sever 网 站 模 块 化 开 发, 清 华 大 学 出 版 社 (6) 颜 蒋 国,G-ASM: 一 种 基 于 Gabor Wavelet 和 Active Shape Model 的 人 脸 特 征 点 跟 踪 方 法, 北 京 化 工 大 学 硕 士 研 究 生 学 位 论 文 (6)Tommer Leyvand 等,Data-Driven Enhancement of Facial Attractiveness, ACM Transaction on Graphics, Vol. 27, No. 3, Article 本 毕 业 设 计 ( 论 文 ) 任 务 书 于 200 年 3 月 日 发 出, 应 于 200 年 6 月 5 日 前 完 成, 然 后 提 交 毕 业 考 试 委 员 会 进 行 答 辩 专 业 教 研 组 ( 系 ) 研 究 所 负 责 人 审 核 年 月 日 指 导 教 师 签 发 年 月 日

3 毕 业 设 计 ( 论 文 ) 评 语 : 本 论 文 综 合 运 用 多 项 技 术, 设 计 并 实 现 了 一 个 基 于 Web 的 人 脸 合 成 应 用 论 文 选 题 新 颖, 符 合 专 业 培 养 目 标 其 核 心 算 法 采 用 了 诸 如 Delaunay 三 角 剖 分 凸 包 求 取 形 状 对 准 等 基 本 算 法, 题 目 难 度 较 高, 工 作 量 大 选 题 具 有 较 高 的 研 究 与 参 考 价 值, 且 具 备 良 好 的 应 用 前 景 作 者 在 毕 业 设 计 过 程 中, 阅 读 了 大 量 相 关 中 英 文 资 料, 且 针 对 本 课 题 开 展 了 大 量 工 作, 如 平 均 脸 算 法 的 设 计 及 编 写 平 均 脸 网 站 的 制 作 后 台 数 据 管 理 模 块 的 实 现 等 作 者 专 业 知 识 掌 握 较 好, 具 备 一 定 的 独 立 从 事 科 研 的 能 力, 达 到 了 本 科 生 的 培 养 目 标 论 文 语 言 较 通 顺, 结 构 合 理, 基 本 观 点 正 确, 给 出 的 相 关 分 析 有 一 定 的 参 考 价 值 在 答 辩 过 程 中, 作 者 准 备 充 分, 讲 述 清 楚, 思 路 清 晰 此 论 文 达 到 本 科 毕 业 要 求 毕 业 设 计 ( 论 文 ) 总 评 成 绩 : 毕 业 设 计 ( 论 文 ) 答 辩 负 责 人 签 字 : 年 月 日

4

5 摘 要 摘 要 本 文 详 细 介 绍 了 交 互 式 男 性 及 女 性 美 丽 人 脸 合 成 及 评 价 数 据 库 的 设 计 及 实 现 平 均 脸 ( 或 人 脸 合 成 ) 的 概 念 由 来 已 久, 心 理 学 界 普 遍 认 为, 平 均 脸 一 般 具 有 较 高 的 吸 引 力 本 设 计 结 合 了 数 字 图 像 处 理 网 站 及 数 据 库 等 技 术, 为 用 户 提 供 了 一 个 完 善 的 人 脸 合 成 平 台, 其 除 了 可 用 于 心 理 学 方 面 关 于 平 均 脸 的 研 究 外, 也 可 以 让 用 户 充 分 体 验 人 脸 合 成 的 乐 趣 本 系 统 由 三 大 部 分 构 成, 分 别 是 平 均 脸 计 算 模 块 用 于 与 用 户 交 互 的 网 站 及 后 台 数 据 管 理 模 块 其 中, 平 均 脸 的 计 算 是 整 个 系 统 的 核 心 所 在, 其 性 能 将 影 响 整 个 设 计 的 用 户 体 验 在 该 部 分, 我 们 采 用 了 特 征 点 模 板 的 概 念, 结 合 Delaunay 三 角 剖 分 凸 包 求 取 形 状 对 准 分 段 线 性 仿 射 自 动 对 比 度 提 升 等 常 用 算 法, 基 于 C# 语 言 及.NET Framework 3.5 基 础 类 库 开 发 出 了 一 套 速 度 快 效 果 好 且 便 于 维 护 的 平 均 脸 计 算 方 法, 实 现 了 按 照 用 户 指 定 的 权 值 将 系 列 人 脸 图 片 合 成 为 一 张 平 均 脸 图 片 的 功 能 此 外, 为 充 分 发 挥 平 均 脸 算 法 的 性 能, 增 强 用 户 体 验, 本 设 计 应 用 了 ASP.NET HTML CSS 等 网 站 技 术, 开 发 出 一 个 界 面 友 好 功 能 完 善 的 网 站 其 后 台 数 据 库 采 用 了 SQL Server 搭 建, 并 通 过 LINQ 的 方 式 对 数 据 进 行 管 理 让 用 户 可 以 方 便 地 根 据 图 片 的 评 分 等 分 类 信 息 对 图 片 进 行 查 询 管 理, 并 按 照 指 定 的 方 式 将 系 列 肖 像 图 片 进 行 合 成 关 键 词 : 平 均 脸, 图 像 变 形, 网 站, 数 据 库 I

6 电 子 与 信 息 学 院 学 士 学 位 论 文 Abstract In this thesis, we introduce the design and implementation of the web-based interactive face average system particularly. Defacto, The concept of face average has been proposed for a long time, which fascinates lots of psychologists because of the high attractiveness of composite faces. By combining Digital Image Processing, Web-site, Database and other relevant technologies, our design provides an advance face average platform for the uses. Besides used as a tool for psychology research, our web-based application can also serve as an entertainment for the users. Our face average system consists of three parts: the average face calculation module, a web-site that served as the UI, and the data management module. The essential part of our design is the calculation of average face because its performance would exert a significant impact to the user experience. In purpose of obtaining the average face, we applied the concept of the feature point template and implemented several algorithms in C# language based on the.net Framework 3.5, which includes Delaunay triangulation, calculation of the convex hull of a 2D point set, shape alignment, segmented affine transformation, etc. Our approach to calculate the average face, which is capable of compositing a series of faces into one portrait with specified weights, has proved to be an efficient and effective method that suitable for further maintenance and improvement. Moreover, in order to enhance the user experience and demonstrate the capability of the face average algorithm, we exploited the techniques of ASP.NET, HTML, CSS, etc, and developed a multi-functional website with easy-to-use interface. We used the SQL Server to build our database and manage it with the LINQ mode, thereby enabling the users to query images according to their classifications and average the selected images in the specified manner. Keywords: Average face, Image metamorphosis, Web site, Database II

7 目 录 目 录 摘 要 Abstract Ⅰ Ⅱ 第 一 章 绪 论. 平 均 脸 的 心 理 学 意 义 及 应 用.2 相 关 技 术 简 介.3 国 内 外 研 究 现 状 2.4 方 案 论 证 3.4. 平 均 脸 算 法 的 实 现 方 式 数 据 库 及 平 均 脸 网 站 的 方 案 选 择 4 第 二 章 平 均 脸 算 法 基 础 6 2. 算 法 的 基 本 目 标 及 流 程 平 均 脸 算 法 的 基 本 目 标 平 均 脸 算 法 的 实 现 流 程 人 脸 特 征 点 模 板 特 征 点 模 板 的 意 义 特 征 点 模 板 的 选 择 本 章 小 结 第 三 章 Delaunay 三 角 剖 分 及 凸 包 求 取 3. Delaunay 三 角 剖 分 算 法 及 其 实 现 3.. Delaunay 三 角 剖 分 概 述 3..2 Delaunay 三 角 剖 分 的 逐 点 插 入 算 法 凸 包 求 取 算 法 及 其 实 现 二 维 点 集 或 多 边 形 的 凸 包 求 凸 包 的 增 量 式 算 法 本 章 小 结 5 第 四 章 平 均 脸 的 计 算 6 4. 基 于 广 义 Procrustes 分 析 的 形 状 对 准 6 III

8 电 子 与 信 息 学 院 学 士 学 位 论 文 4.2 人 脸 图 像 变 形 平 均 脸 特 征 点 位 置 的 计 算 人 脸 图 像 的 分 段 线 性 仿 射 平 均 脸 的 合 成 本 章 小 结 22 第 五 章 平 均 脸 图 像 的 后 处 理 背 景 嵌 入 对 比 度 提 升 本 章 小 结 25 第 六 章 数 据 库 及 平 均 脸 网 站 的 实 现 网 站 用 户 及 人 脸 图 像 数 据 库 的 设 计 及 实 现 平 均 脸 网 站 的 设 计 与 实 现 本 章 小 结 3 第 七 章 效 果 分 析 及 展 望 效 果 分 析 及 总 结 下 一 步 的 工 作 34 参 考 文 献 36 致 谢 38 IV

9 第 一 章 绪 论. 平 均 脸 的 心 理 学 意 义 及 应 用 第 一 章 绪 论 近 代 心 理 学 的 研 究 表 明, 若 对 一 组 人 脸 形 状 进 行 合 成, 所 得 到 的 中 值 形 状 ( 平 均 脸 ) 往 往 会 具 有 较 大 的 吸 引 力 [] 实 际 上, 平 均 脸 ( 合 成 脸 ) 的 概 念 由 来 已 久,9 世 纪 末, 实 验 心 理 学 家 Francis Galton 希 望 从 一 个 特 定 群 体 中 找 出 该 群 体 的 人 特 有 的 脸 部 特 征 ( 如 找 出 罪 犯 军 人 等 群 体 的 人 所 共 有 的 外 貌 特 征 ), 他 将 数 张 人 脸 肖 像 采 用 光 学 的 方 法 投 影 到 同 一 张 胶 片 上, 并 由 此 得 到 了 合 成 的 人 脸 图 像 经 过 系 列 的 实 验 后,Galton 惊 喜 地 发 现 得 到 的 合 成 脸 要 比 组 成 它 的 人 脸 都 要 美 观 [2] Galton 的 发 现 在 当 时 引 起 了 许 多 人 的 兴 趣, 包 括 著 名 的 生 物 学 家 Charles Darwin, 然 而, 由 于 技 术 条 件 所 限, 用 Galton 的 光 学 投 影 方 法 所 合 成 的 平 均 脸 往 往 比 较 模 糊 到 了 20 世 纪 末, 得 益 于 计 算 机 技 术 及 数 字 图 像 处 理 技 术 的 蓬 勃 发 展, 大 量 关 于 平 均 脸 的 心 理 学 研 究 又 再 涌 现 相 比 起 用 Galton 的 方 法 合 成 的 平 均 脸, 用 计 算 机 合 成 的 平 均 脸 往 往 更 为 清 晰 美 观 在 很 多 情 况 下, 一 张 平 均 脸 会 比 组 成 它 的 各 人 脸 具 有 更 大 的 吸 引 力, 因 此, 在 20 世 纪 90 年 代 初, 许 多 心 理 学 家 都 得 出 了 美 丽 的 人 脸 就 是 平 均 脸 的 说 法 [3], 他 们 认 为, 一 张 人 脸 的 形 状 是 否 趋 于 平 均, 是 判 断 该 人 脸 是 否 漂 亮 的 关 键, 这 就 是 在 心 理 学 上 的 平 均 脸 假 设 (Averageness Hypothesis) 然 而, 后 续 的 研 究 表 明, 平 均 脸 是 吸 引 人 的, 但 最 吸 引 人 的 脸 并 非 平 均 脸 [4] 994 年,Perrett 等 人 通 过 具 体 的 实 验 证 明 了 最 具 吸 引 力 的 人 脸 很 大 程 度 地 偏 离 了 平 均 脸, 进 一 步 推 翻 了 平 均 脸 假 设 [5] 由 此 可 见, 在 心 理 学 方 面, 平 均 脸 及 由 其 产 生 的 魅 力 一 直 是 一 个 引 人 入 胜 的 话 题 因 此, 我 们 决 定 着 手 于 开 发 一 个 基 于 Web 的 人 脸 合 成 系 统, 让 用 户 可 以 按 照 脸 部 吸 引 力 评 分 性 别 年 龄 段 种 族 等 信 息 方 便 地 查 找 及 管 理 人 脸 图 片, 并 按 照 希 望 的 方 式 求 取 平 均 脸 我 们 的 设 计 适 用 于 心 理 学 上 关 于 人 脸 吸 引 力 方 面 的 研 究, 同 时 也 希 望 为 用 户 提 供 了 一 个 完 善 的 人 脸 合 成 平 台, 让 用 户 可 以 用 多 种 方 式 对 不 同 的 人 脸 图 片 进 行 合 成, 体 验 到 人 脸 合 成 的 乐 趣.2 相 关 技 术 简 介 根 据 一 组 人 脸 照 片 计 算 出 平 均 脸, 其 实 质 是 对 该 组 照 片 按 照 一 定 的 方 式 进 行 图 像 变 形, 然 后 再 将 变 换 后 的 照 片 进 行 加 权 平 均, 以 得 出 一 张 合 成 后 的 照 片 在 此 过 程 中 对 合 成 效 果 起 关 键 作 用 的 步 骤 就 是 图 像 变 形 (image metamorphosis) 实 际 上, 图 像 变 形 是 一 种 在 动 画 及 电 影 中 常 用 的 特 殊 效 果, 其 目 的 是 实 现 从 一 幅 图 片

10 电 子 与 信 息 学 院 学 士 学 位 论 文 到 另 一 幅 图 片 之 间 的 无 缝 过 渡, 图 像 变 形 技 术 经 常 被 用 于 描 述 从 一 个 人 变 化 到 另 一 个 人 的 过 程 [6] 通 过 对 两 幅 图 像 进 行 几 何 变 换, 同 时 对 其 色 彩 进 行 内 插, 就 可 以 得 到 一 幅 具 有 两 幅 图 像 的 几 何 特 征, 同 时 色 彩 上 是 两 者 混 合 的 图 像 早 期 的 图 像 变 形 包 括 交 叉 溶 解 等 方 式, 到 了 上 世 纪 90 年 代 初, 由 于 图 像 处 理 技 术 的 进 一 步 发 展, 各 种 图 像 变 形 算 法 相 继 涌 现, 并 得 到 了 大 规 模 的 应 用 [6] 通 常 地, 为 了 实 现 两 幅 图 像 间 的 图 像 变 形, 需 要 先 为 两 幅 图 像 指 定 对 应 的 特 征 原 语 (feature primitives), 如 点 线 段 曲 线 或 网 格 节 点 每 个 原 语 指 定 了 图 像 上 的 一 个 特 征 位 置, 对 应 的 原 语 确 立 了 两 幅 图 像 之 间 的 对 应 关 系 根 据 每 幅 图 像 上 的 特 征 位 置, 可 以 计 算 出 一 系 列 的 映 射 函 数, 这 些 函 数 定 义 了 两 幅 图 像 上 的 所 有 点 的 映 射 关 系, 我 们 称 其 为 变 形 函 数 (warping functions) 使 用 变 形 函 数, 可 以 内 插 出 在 两 幅 图 像 间 变 形 序 列 上 ( 中 间 图 像 ) 的 特 征 位 置 对 两 幅 图 像 上 的 所 有 点 进 行 映 射, 使 得 到 的 图 像 具 有 与 中 间 图 像 相 同 的 特 征 点 位 置 后, 再 将 它 们 用 交 叉 溶 解 的 方 法 简 单 地 叠 加 在 一 起, 便 可 以 得 到 变 形 后 的 图 像 了 [7] 典 型 的 图 像 变 形 算 法 有 自 由 形 状 变 形 (FFD) [8] 多 层 次 自 由 形 状 变 形 (MFFD) [9] 及 [0] 分 段 线 性 仿 射 等 其 中,FFD 与 MFFD 是 较 为 复 杂 的 算 法, 涉 及 到 多 层 次 B 样 条 内 插 能 量 最 小 化 等 问 题, 由 于 其 变 形 过 程 是 高 度 非 线 性 的, 所 以 具 有 优 秀 的 变 形 效 果 而 分 段 线 性 仿 射 是 一 种 最 简 单 的 变 形 方 式, 尽 管 变 形 效 果 一 般, 但 速 度 快, 实 现 简 单, 适 合 应 用 于 对 变 形 要 求 不 高, 而 速 度 要 求 较 高 的 场 合 在 本 设 计 中, 正 确 地 选 择 及 高 效 地 实 现 图 像 变 形 算 法, 是 平 均 脸 算 法 性 能 好 坏 的 关 键.3 国 内 外 研 究 现 状 在 国 内, 真 正 以 平 均 脸 为 主 题 的 研 究 ( 无 论 是 心 理 学 领 域 还 是 计 算 机 科 学 领 域 ) 基 本 是 一 片 空 白 当 然, 在 很 多 课 题 里 ( 特 别 是 人 脸 识 别 方 面 ), 平 均 脸 都 会 作 为 一 个 中 间 过 程 出 现 而 在 国 外, 平 均 脸 方 面 的 研 究 琳 琅 满 目, 但 是 它 们 绝 大 多 数 都 是 心 理 学 方 面 的 ; 在 计 算 机 科 学 方 面, 与 国 内 的 情 形 一 样, 平 均 脸 的 出 现 都 只 是 整 个 流 程 中 的 一 个 中 间 步 骤 而 已 另 一 方 面, 由 于 图 像 变 形 的 概 念 已 提 出 了 多 年, 与 其 相 关 的 各 种 算 法 也 得 到 了 很 大 的 发 展, 并 在 视 觉 艺 术 等 领 域 得 到 了 广 泛 的 应 用 国 外 关 于 图 像 变 形 的 软 件 多 不 胜 数, 如 Sqirlz Morph Fun Morph Easy Morph 等, 这 些 软 件 都 允 许 用 户 在 给 定 的 两 幅 图 片 上 指 定 对 应 的 特 征 原 语, 然 后 通 过 相 关 的 图 像 变 形 算 法 得 到 图 像 变 形 序 列 因 此, 不 少 有 需 要 的 用 户 都 会 采 用 这 类 图 像 变 形 软 件 来 求 取 平 均 脸 然 而, 采 用 此 类 软 件 的 话, 通 常 每 次 操 作 只 能 够 将 两 张 人 脸 图 片 合 成, 而 且 这 些 软 件 不 能 够 为 用 户 分 类 提 供 大 量 的 人 脸 素 材, 这 些 限 制 都 不 多 不 少 地 影 响 了 用 户 体 验 2

11 第 一 章 绪 论 实 际 上, 只 有 将 平 均 脸 的 计 算 开 发 成 基 于 Web 的 应 用, 结 合 完 善 的 后 台 数 据 管 理, 才 可 以 圆 满 地 解 决 上 述 问 题 然 而, 纵 观 国 内 外, 以 平 均 脸 计 算 为 主 题 的 网 站 却 少 之 又 少 根 据 我 们 的 调 研, 目 前 在 国 内 并 没 有 这 样 的 网 站 ; 而 在 国 外, 可 以 为 用 户 提 供 交 互 式 平 均 脸 计 算 的 网 站 也 为 数 甚 少 其 中, 由 英 国 阿 伯 丁 大 学 所 制 作 的 Face Research 网 站 ( 是 最 有 代 表 性 且 最 为 优 秀 的 一 个 该 网 站 允 许 用 户 用 自 己 上 传 的 照 片 计 算 平 均 脸, 其 主 要 目 的 是 希 望 通 过 互 联 网 更 广 泛 地 进 行 与 人 脸 相 关 的 心 理 学 研 究 该 网 站 进 行 平 均 脸 计 算 的 效 果 比 较 优 秀, 也 为 用 户 提 供 了 大 量 的 人 脸 肖 像 素 材 然 而, 网 站 在 人 机 交 互 上 做 得 不 够 完 善, 且 不 支 持 对 人 脸 图 像 的 分 类 检 索, 在 对 多 张 图 像 进 行 合 成 时, 也 无 法 为 照 片 指 定 相 应 的 权 值, 这 使 得 用 户 不 可 以 方 便 按 照 自 身 的 需 要 计 算 平 均 脸 另 外, 由 于 该 网 站 是 由 英 国 人 开 发 的, 其 数 据 库 中 的 绝 大 多 数 人 脸 肖 像 均 为 欧 美 人 种, 不 适 合 中 国 用 户 的 使 用 基 于 上 述 原 因, 我 们 认 为 以 平 均 脸 的 计 算 为 主 题, 开 发 一 个 基 于 Web 的 交 互 式 男 性 及 女 性 美 丽 人 脸 合 成 及 评 价 数 据 库 系 统, 有 着 深 远 的 意 义 与 开 创 性 的 价 值 相 比 起 Face Research 网 站, 我 们 要 致 力 于 提 升 用 户 体 验, 并 使 我 们 的 人 脸 素 材 满 足 中 国 用 户 的 需 要.4 方 案 论 证.4. 平 均 脸 算 法 的 实 现 方 式 如 前 文 所 述, 平 均 脸 算 法 是 整 个 设 计 的 关 键, 因 此 正 确 地 选 择 其 实 现 方 式 也 是 至 关 紧 要 的 由 于 在 平 均 脸 的 计 算 中, 需 要 进 行 大 量 图 像 处 理 方 面 的 运 算, 因 此 这 里 我 们 提 出 了 两 种 可 行 的 实 施 方 案 第 一 种 方 案 是 采 用 C++ 语 言, 结 合 著 名 的 计 算 机 视 觉 库 OpenCV 对 平 均 脸 算 法 进 行 编 写 OpenCV 内 提 供 了 大 量 常 用 的 图 像 处 理 算 法, 它 是 图 像 处 理 领 域 中 最 常 用 的 函 数 库 然 而, 由 于 我 们 的 应 用 必 须 是 基 于 Web 的, 因 此, 无 论 采 用 的 是 ASP.NET JSP PHP 或 是 其 他 网 站 技 术, 在 服 务 器 端 均 不 支 持 直 接 使 用 C++ 语 言 这 对 调 用 平 均 脸 的 算 法 带 来 了 困 难 尽 管 可 以 将 实 现 平 均 脸 计 算 的 部 分 做 成 控 制 台 应 用 程 序 再 由 服 务 器 端 的 代 码 调 用, 但 是 这 种 方 案 将 导 致 平 均 脸 的 计 算 程 序 与 服 务 器 端 程 序 之 间 的 大 量 通 信, 对 系 统 的 运 作 乃 至 于 开 发 均 会 带 来 非 常 大 的 不 便 因 此 这 种 方 案 并 不 是 一 个 很 好 的 选 择 另 一 种 方 案 是 采 用 ASP.NET 网 站 开 发 技 术, 结 合 C# 语 言 直 接 对 平 均 脸 算 法 进 行 编 写 C# 是 一 门 由 微 软 公 司 开 发, 为.NET Framework 而 设 的 语 言 C# 从 语 法 特 征 上, 继 承 了 C C++ 及 Java 的 各 项 优 点, 且 是 完 全 面 向 对 象 的 它 采 用 了 独 特 的 通 用 类 型 系 统 ( 实 现 了 类 型 安 全 ), 且 由 底 层 的 垃 圾 回 收 机 制 (garbage collector) 自 动 进 行 内 存 管 理 ( 防 止 了 内 存 泄 漏 ), 是 一 门 非 常 强 大 的 现 代 高 级 语 言 [] 采 用 C# 语 言 让 我 们 可 以 调 用. NET Framework 下 丰 富 的 框 架 类 库, 其 中 就 包 含 有 System.Drawing 命 名 空 间 实 际 上,System.Drawing 命 名 3

12 电 子 与 信 息 学 院 学 士 学 位 论 文 空 间 为 用 户 提 供 了 大 量 进 行 GDI+ 图 形 图 像 处 理 的 类 及 函 数, 在 读 写 图 像 画 图 等 方 面 的 操 作 也 相 当 完 善, 这 些 功 能 对 于 我 们 要 实 现 的 平 均 脸 计 算 已 经 是 绰 绰 有 余 了 当 然, 这 种 方 案 也 有 自 身 的 缺 点 由 于 C# 语 言 的 运 行 需 要 通 过.NET Framework 的 解 析, 而 C++ 的 运 行 没 有 这 方 面 的 限 制, 因 此 C# 的 执 行 速 度 通 常 要 比 C++ 低 不 少 特 别 是 在 图 像 处 理 上, 由 于 涉 及 到 大 量 的 像 素 级 操 作, 这 会 使 得 运 行 效 率 成 为 C# 代 码 的 一 个 重 要 问 题 综 合 比 较 两 种 方 案 的 优 缺 点, 我 们 决 定 选 择 第 二 种 方 案, 并 且 将 采 用 Visual Studio 2008 为 开 发 平 台 尽 管 C# 在 执 行 效 率 上 要 比 C++ 低 一 些, 但 是 只 要 在 实 现 平 均 脸 计 算 的 过 程 中, 尽 量 采 用 高 效 的 执 行 方 式 ( 如 不 安 全 指 针 等 ), 这 个 困 难 还 是 可 以 克 服 的 另 一 方 面, 由 C# 所 带 来 的 便 捷, 将 会 大 大 缩 短 开 发 周 期, 且 将 有 效 防 止 程 序 编 写 过 程 中 可 能 会 遇 到 的 许 多 问 题 此 外, 值 得 说 明 的 是, 由 于 我 们 的 应 用 是 基 于 Web 的, 且 希 望 让 用 户 能 够 在 较 短 时 间 ( 几 秒 ) 内 合 成 几 十 幅 甚 至 上 百 幅 人 脸 图 片 因 此, 我 们 决 定 在 图 像 变 形 阶 段 采 用 简 单 而 高 速 的 分 段 线 性 仿 射 法 尽 管 其 变 形 效 果 并 不 是 最 好 的, 但 是 若 能 够 在 变 形 前 后 对 图 片 进 行 恰 当 的 处 理, 该 方 法 同 样 能 够 产 生 让 人 满 意 的 结 果.4.2 平 均 脸 网 站 及 数 据 库 的 方 案 选 择 在 网 站 方 面, 如 前 所 述, 我 们 将 使 用 ASP.NET 3.5 动 态 网 站 技 术 开 发 通 过 使 用 ASP.NET 3.5, 我 们 可 以 将 前 台 网 页 代 码 与 后 台 C# 事 件 代 码 分 离 借 助 强 大 的.NET Framework 类 库, 可 以 高 效 地 实 现 网 站 中 所 需 要 的 各 项 功 能 值 得 说 明 的 是, 我 们 打 算 为 平 均 脸 网 站 建 立 基 于 用 户 账 户 的 机 制 即 某 用 户 可 以 通 过 注 册, 在 平 均 脸 网 站 上 建 立 属 于 自 己 的 账 户 注 册 了 的 用 户 可 以 把 自 己 的 图 片 上 传 到 网 站 上 并 用 其 作 为 人 脸 合 成 的 素 材, 用 户 还 可 以 对 属 于 自 己 的 图 片 进 行 简 单 的 管 理 ( 如 删 除 更 改 分 类 重 新 指 定 特 征 点 等 ) 而 没 有 注 册 的 用 户 可 用 游 客 的 身 份 登 录 网 站, 他 们 也 可 以 正 常 使 用 网 站 上 的 人 脸 图 片 进 行 合 成, 然 而, 这 些 用 户 是 不 可 以 上 传 并 管 理 图 片 的 这 种 账 户 机 制 将 使 平 均 脸 网 站 更 便 于 管 理, 也 便 于 用 户 的 操 作 数 据 库 方 面, 目 前 比 较 著 名 的 数 据 库 管 理 系 统 有 Oracle DB2 SQL Server 及 开 源 的 MySQL 等 几 种 其 中,SQL Server 是 微 软 公 司 开 发 的 大 型 数 据 库 管 理 系 统, 该 系 统 操 作 简 单 界 面 友 好 易 于 学 习 有 鉴 于 此, 采 用 Visual Studio 2008 所 带 有 的 SQL Server 来 创 建 本 系 统 的 后 台 数 据 库 是 比 较 适 合 的 该 数 据 库 主 要 由 两 个 数 据 表 组 成 一 个 用 于 存 储 人 脸 肖 像 的 相 关 信 息, 主 要 有 对 应 肖 像 中 人 物 的 吸 引 力 评 分 年 龄 性 别 人 种 描 述 等 信 息, 以 用 于 进 行 检 索, 此 外 还 存 有 各 肖 像 的 特 征 点 坐 标 及 该 图 片 的 物 理 位 置 第 二 个 表 用 于 存 储 用 户 数 据 信 息, 如 用 户 名 密 码 用 户 权 限 等 在 对 数 据 库 进 行 管 理 方 面, 有 两 种 可 选 方 案, 一 是 采 用 传 统 的 SQL 语 言, 二 是 采 用 微 软 公 司 推 出 的 语 言 集 成 查 询 (Language Integrated Query,LINQ) 技 术 尽 管 传 统 的 SQL 语 言 与 自 然 语 言 相 近, 具 有 简 单 易 懂 等 优 点, 但 相 比 之 下,LINQ 的 查 询 方 式 具 有 更 明 显 的 优 势 实 际 上,LINQ 的 目 标 是 以 一 致 的 4

13 第 一 章 绪 论 方 式, 直 接 利 用 程 序 语 言 本 身 的 语 法 访 问 各 种 不 同 类 型 的 数 据 库 另 一 方 面,LINQ 语 法 是 与 程 序 语 法 整 合 在 一 起 的, 所 以 在 LINQ 中, 可 以 直 接 地 引 用.NET 的 资 源 比 起 SQL 语 法 或 其 他 任 何 一 种 特 定 查 询 语 法,LINQ 具 有 更 大 的 弹 性, 可 使 开 发 的 效 率 大 大 增 加 [2] 因 此, 我 们 决 定 在 后 台 代 码 中, 采 用 LINQ 的 方 式 对 数 据 库 进 行 管 理 5

14 电 子 与 信 息 学 院 学 士 学 位 论 文 第 二 章 平 均 脸 算 法 基 础 2. 算 法 的 基 本 目 标 及 流 程 2.. 平 均 脸 算 法 的 基 本 目 标 我 们 的 平 均 脸 算 法 旨 在 将 多 张 人 脸 图 片 按 照 给 定 的 权 值 合 成 为 一 张 人 脸 图 片, 合 成 的 结 果 应 尽 可 能 标 准 清 晰, 且 能 够 反 映 出 用 于 合 成 的 图 片 集 的 特 征 我 们 的 算 法 采 用 特 征 点 (feature points) 来 描 述 人 脸 图 片 之 间 的 对 应 关 系, 算 法 中 假 定 各 人 脸 图 片 上 的 特 征 点 均 已 知, 且 按 照 一 定 的 顺 序 给 出 此 外, 算 法 致 力 于 实 现 下 列 目 标 : () 为 使 程 序 适 用 性 更 强 结 构 更 为 优 美, 且 便 于 维 护, 算 法 的 实 现 应 与 所 采 用 的 特 征 点 个 数 顺 序 及 点 的 具 体 意 义 ( 如 瞳 孔 嘴 唇 等 ) 无 关 ; (2) 为 配 合 Web 应 用 的 实 时 性, 算 法 应 尽 可 能 采 用 简 单 高 速 的 方 法 实 现 最 好 的 效 果, 以 在 最 短 时 间 内 给 出 大 量 人 脸 图 片 的 合 成 结 果 ; (3) 通 过 后 期 处 理, 使 最 后 得 到 的 平 均 脸 图 片 尽 可 能 真 实 自 然 为 了 实 现 上 述 要 求, 我 们 在 整 个 平 均 脸 计 算 的 框 架 下 采 用 了 多 种 常 用 的 算 法, 并 在 各 个 计 算 阶 段 发 挥 了 其 作 用 实 际 上, 对 于 每 一 幅 人 脸 图 片, 我 们 均 使 用 了 43 个 特 征 点, 这 些 特 征 点 来 源 于 人 脸 上 的 几 个 区 域, 分 别 是 : 双 眼 两 侧 眉 毛 嘴 唇 鼻 子 及 人 脸 外 轮 廓 特 征 点 的 采 样 需 要 人 手 按 序 指 定 2..2 平 均 脸 算 法 的 实 现 流 程 为 便 于 说 明, 我 们 将 执 行 平 均 脸 算 法 的 过 程 划 分 为 多 个 阶 段, 包 括 : 平 均 脸 算 法 初 始 化 形 状 对 准 及 平 均 人 脸 形 状 的 求 取 图 像 变 形 及 平 均 脸 的 计 算 平 均 脸 的 后 期 处 理, 一 共 四 个 阶 段 这 四 个 阶 段 的 流 程 如 图 2- 所 示 值 得 注 意 的 是, 平 均 脸 算 法 初 始 化 阶 段 主 要 执 行 了 Delaunay 三 角 剖 分 及 凸 包 求 取, 它 在 整 个 算 法 的 执 行 周 期 中 只 需 要 运 行 一 次 下 面 对 各 个 阶 段 的 计 算 进 行 简 要 说 明 平 均 脸 算 法 初 始 化 形 状 对 准 及 平 均 人 脸 形 状 的 求 取 图 像 变 形 及 平 均 脸 的 计 算 平 均 脸 的 后 期 处 理 是 否 需 要 继 续 计 算 平 均 脸? 否 程 序 结 束 是 图 2- 平 均 脸 算 法 的 计 算 流 程 6

15 第 二 章 平 均 脸 算 法 基 础 Delaunay 三 角 剖 分 Delaunay 三 角 剖 分 的 结 果 确 定 了 在 图 像 变 形 阶 段 人 脸 图 片 的 映 射 方 式 本 算 法 采 用 的 特 征 点 模 板 被 标 记 出 的 点 为 特 征 点 求 凸 包 通 过 求 凸 包 确 定 了 位 于 人 脸 外 轮 廓 上 的 特 征 点 及 它 们 按 逆 时 针 方 向 排 列 的 方 式 图 2-2 平 均 脸 算 法 初 始 化 () 平 均 脸 算 法 初 始 化 : 该 阶 段 的 操 作 包 括 对 人 脸 特 征 点 模 板 上 的 各 个 特 征 点 进 行 Delaunay 三 角 剖 分 及 求 取 凸 包, 此 阶 段 得 到 的 结 果 将 在 后 续 的 运 算 阶 段 中 不 断 被 重 复 使 用 关 于 特 征 点 模 板 的 使 用 意 义 将 在 2.2 节 进 行 详 细 说 明 这 一 阶 段 所 进 行 的 操 作 如 图 2-2 所 示 形 状 对 准 用 特 征 点 模 板 进 行 形 状 对 准 对 形 状 对 准 后 各 人 脸 的 特 征 点 求 均 值, 得 到 平 均 人 脸 形 状 原 始 人 脸 图 像 形 状 对 准 后 的 人 脸 图 像 图 2-3 形 状 对 准 及 平 均 人 脸 形 状 的 求 取 (2) 形 状 对 准 及 平 均 人 脸 形 状 的 求 取 : 这 一 阶 段 的 操 作 包 括 使 用 特 征 点 模 板 对 所 给 定 的 人 脸 图 片 集 中 的 各 照 片 进 行 形 状 对 准, 以 消 除 不 同 人 脸 图 片 中, 人 脸 形 状 的 大 小 位 置 及 角 度 差 异 值 得 注 意 的 是, 这 一 阶 段 不 会 对 照 片 中 的 人 脸 形 状 进 行 任 何 改 动, 而 仅 仅 是 通 7

16 电 子 与 信 息 学 院 学 士 学 位 论 文 过 对 人 脸 缩 放 平 移 及 旋 转, 使 他 们 都 对 准 ( 归 一 化 ) 到 一 个 标 准 的 形 状 上 接 着, 我 们 将 对 对 准 后 图 片 集 上 的 各 特 征 点 位 置 进 行 加 权 平 均, 并 得 到 平 均 人 脸 形 状, 以 执 行 下 一 步 的 平 均 脸 计 算 操 作 这 一 阶 段 所 进 行 的 操 作 如 图 2-3 所 示 分 段 线 性 仿 射 对 仿 射 后 的 图 像 集 逐 像 素 平 均 值, 并 得 到 平 均 脸 形 状 对 准 后 的 人 脸 图 像 Delaunay 三 角 剖 分 的 结 果 及 平 均 脸 形 状 共 同 确 定 了 分 段 线 性 仿 射 的 映 射 关 系 进 行 分 段 线 性 仿 射 后 的 人 脸 图 像 图 2-4 图 像 变 形 及 平 均 脸 的 计 算 (3) 图 像 变 形 及 平 均 脸 的 计 算 : 在 第 一 阶 段 的 计 算 中, 我 们 得 到 了 特 征 点 模 板 的 Delaunay 三 角 网, 它 与 第 二 阶 段 所 得 到 的 平 均 人 脸 形 状 一 起 确 立 了 一 套 映 射 关 系 于 是, 在 本 阶 段 的 计 算 中, 我 们 将 给 定 的 图 片 集 中 的 各 人 脸 照 片 分 别 进 行 分 段 线 性 仿 射, 实 现 图 像 变 形, 并 使 变 形 后 得 到 的 各 图 像 具 有 与 平 均 人 脸 形 状 一 致 的 特 征 点 位 置 其 后, 我 们 将 按 照 指 定 的 权 值, 对 变 形 后 的 各 图 像 进 行 逐 像 素 加 权 平 均, 并 得 到 平 均 脸 的 图 像 此 阶 段 所 进 行 的 操 作 如 图 2-4 所 示 (4) 平 均 脸 的 后 期 处 理 : 经 过 了 前 三 个 阶 段 的 操 作, 尽 管 已 经 得 到 了 平 均 脸, 但 是 此 时 的 平 均 脸 图 像 在 人 脸 以 外 的 区 域 比 较 模 糊, 而 且 图 片 的 色 彩 暗 淡 对 比 度 比 较 低, 因 此, 在 本 阶 段 我 们 利 用 第 一 阶 段 为 特 征 点 模 板 求 凸 包 的 结 果, 将 平 均 脸 内 的 人 脸 区 域 与 非 人 脸 区 域 区 分 开 来, 再 按 照 用 户 指 定 的 方 式 为 平 均 脸 图 像 添 加 背 景, 这 里, 我 们 让 用 户 从 被 用 于 合 成 的 图 片 集 中 选 择 一 张 图 片 作 为 平 均 脸 图 片 的 背 景 当 然, 用 户 也 可 以 选 择 不 对 图 片 的 背 景 进 行 处 理, 或 者 只 查 看 人 脸 部 分 然 后, 采 用 自 动 对 比 度 提 升 的 方 法, 增 强 平 均 脸 图 像 的 动 态 范 围, 于 是 得 到 了 最 后 的 平 均 脸 图 像 此 阶 段 所 进 行 的 操 作 如 图 2-5 所 示 8

17 第 二 章 平 均 脸 算 法 基 础 背 景 嵌 入 执 行 自 动 对 比 度 提 升 以 进 一 步 增 加 图 像 的 动 态 范 围 背 景 嵌 入 由 求 凸 包 的 结 果 及 指 定 图 片 进 行 背 景 嵌 入 三 种 可 选 的 平 均 脸 输 出 图 2-5 平 均 脸 的 后 期 处 理 2.2 人 脸 特 征 点 模 板 2.2. 特 征 点 模 板 的 意 义 在 前 文 的 表 述 中, 多 次 提 到 了 特 征 点 模 板 的 概 念 就 其 本 质 而 言, 特 征 点 模 板 是 一 套 位 置 较 为 标 准 的 人 脸 特 征 点 坐 标 及 与 之 对 应 的 人 脸 图 片, 我 们 采 用 的 特 征 点 模 板 上 点 的 分 布 如 图 2-6 所 示 实 际 上, 在 我 们 的 实 现 中, 采 用 了 二 维 坐 标 点 数 组 的 方 式 保 存 人 脸 的 特 征 点, 且 对 于 不 用 的 人 脸, 其 特 征 点 数 组 上 具 有 相 同 序 号 的 点 是 有 着 相 同 的 意 义 的 ( 如 号 点 均 对 应 左 侧 瞳 孔,2 号 点 均 对 应 右 侧 瞳 孔 等 ) 有 鉴 于 此, 引 入 特 征 点 模 板, 对 整 套 平 均 脸 算 法 有 着 多 方 面 的 意 义 首 先, 为 了 使 合 成 后 的 人 脸 图 像 具 有 相 对 标 准 的 位 置 与 大 小, 本 算 法 中, 需 要 通 过 形 状 对 准 处 理 待 合 成 的 图 片 集, 以 消 除 各 人 脸 的 大 小 位 置 角 度 差 异, 达 到 归 一 化 效 果 而 在 形 状 对 准 的 过 程 中, 需 要 有 一 个 统 一 的 标 准, 并 将 所 有 人 脸 都 向 这 个 标 准 对 齐, 特 征 点 模 板 在 形 状 对 准 的 过 程 中 就 扮 演 着 标 准 的 角 色 其 次, 在 对 图 像 进 行 分 段 线 性 仿 射 阶 段, 我 们 必 须 要 在 源 图 像 与 目 标 之 间 建 立 一 套 确 定 的 映 射 关 系 为 了 达 到 2.2. 节 所 提 及 的 目 标 (), 我 们 并 没 有 向 算 法 提 供 任 何 关 于 特 征 点 的 具 体 意 义 的 信 息, 所 以 这 种 映 射 关 系 不 能 够 在 程 序 中 预 先 指 定 在 这 种 情 形 下, 我 们 9

18 电 子 与 信 息 学 院 学 士 学 位 论 文 选 择 对 特 征 点 模 板 进 行 Delaunay 三 角 剖 分, 并 将 剖 分 后 得 到 的 三 角 形 顶 点 集 合 的 连 结 关 系 作 为 分 段 线 性 仿 射 时 源 图 像 与 目 标 图 像 的 映 射 关 系 因 此, 对 于 计 算 平 均 脸 阶 段 的 分 段 线 性 仿 射 来 说, 特 征 点 模 板 的 Delaunay 三 角 剖 分 为 其 提 供 了 仿 射 所 必 须 的 映 射 关 系 信 息 另 外, 在 后 处 理 阶 段, 我 们 需 要 将 平 均 脸 结 果 中 的 人 脸 部 分 与 背 景 部 分 区 分 开 来 以 进 行 处 理 这 就 需 要 知 道 在 各 个 特 征 点 中, 哪 些 点 是 人 脸 的 外 轮 廓 点, 哪 些 点 位 于 人 脸 内 部 考 虑 到 特 征 点 模 板 内 的 点 与 平 均 脸 结 果 中 具 有 相 同 序 号 的 点 所 代 表 的 具 体 位 置 是 一 一 对 应 的, 我 们 将 对 特 征 点 模 板 内 的 各 点 求 取 凸 包, 然 后 按 照 得 到 的 凸 包 来 区 分 某 一 特 征 点 是 否 人 脸 的 外 轮 廓 点 因 此, 就 后 处 理 阶 段 来 说, 特 征 点 模 板 的 凸 包 为 其 提 供 了 人 脸 轮 廓 的 信 息 (a) 特 征 点 模 板 的 选 择 由 2.2. 的 叙 述 可 知, 特 征 点 模 板 在 本 算 法 中 扮 演 着 相 当 重 要 的 位 置, 由 其 进 行 的 形 状 对 准 Delaunay 三 角 剖 分 及 求 取 凸 包 所 得 到 的 结 果 将 贯 穿 着 整 套 算 法 的 始 终 因 此, 算 法 中 所 采 用 的 特 征 点 模 板 应 尽 可 能 地 标 准, 其 所 代 表 的 人 脸 应 尽 可 能 美 观 对 称 实 际 上, 图 2-7 所 示 人 脸 是 我 们 最 初 的 实 现 中 所 采 用 的 人 脸 特 征 点 模 板, 该 人 脸 及 其 上 的 特 征 点 数 据 均 来 源 于 前 文 所 提 及 的 Face Research 网 站 然 而, 考 虑 到 版 权 问 题, 在 程 序 开 发 的 后 期, 我 们 利 用 图 2-7 的 特 征 点 模 板, 采 用 了 53 张 外 形 俊 朗 的 人 脸 图 片 (37 张 女 性 图 片 与 6 张 男 性 图 片 ) 等 比 例 地 合 成 了 图 2-6 中 的 人 脸 图 片, 然 后 从 程 序 中 得 到 了 相 关 的 特 征 点 数 据, 并 以 此 作 为 新 的 特 征 点 模 板 (b) 图 2-6 不 带 人 脸 及 带 有 人 脸 的 特 征 点 模 板 2.3 本 章 小 结 图 2-7 原 采 用 的 特 征 点 模 板 本 章 对 平 均 脸 算 法 的 相 关 基 础 知 识 进 行 了 详 细 的 介 绍, 阐 述 了 本 算 法 所 希 望 达 到 的 目 标 算 法 的 具 体 流 程 人 脸 特 征 点 模 板 的 说 明 及 其 选 择 这 几 个 方 面 就 算 法 的 流 程 来 说, 包 括 有 : 平 均 脸 算 法 初 始 化 形 状 对 准 及 平 均 人 脸 形 状 的 求 取 图 像 变 形 及 平 均 脸 的 计 算 平 均 脸 的 后 期 处 理, 一 共 四 个 阶 段 而 人 脸 特 征 点 模 板 及 由 其 产 生 的 结 果, 将 贯 穿 整 套 算 法 的 始 终, 其 在 算 法 内 起 着 相 当 重 要 的 作 用 0

19 第 三 章 Delaunay 三 角 剖 分 及 凸 包 求 取 第 三 章 Delaunay 三 角 剖 分 及 凸 包 求 取 3. Delaunay 三 角 剖 分 算 法 及 其 实 现 3.. Delaunay 三 角 剖 分 概 述 在 平 均 脸 算 法 的 初 始 化 阶 段, 需 要 应 用 到 Delaunay 三 角 剖 分 (Delaunay triangulation) 算 法 [3], 为 后 续 的 分 段 线 性 仿 射 建 立 映 射 关 系 如 何 将 平 面 上 的 离 散 点 剖 分 为 不 同 的 三 角 形 网 格, 这 就 是 散 点 集 的 三 角 剖 分 问 题, 该 问 题 如 图 3- 所 示 散 点 图 3- 三 角 剖 分 示 意 图 集 的 三 角 剖 分, 对 数 值 分 析 以 及 图 形 学 来 说, 都 是 极 为 重 要 的 一 项 处 理 技 术 实 际 上, 运 用 得 最 多 的 三 角 剖 分 是 Delaunay 三 角 剖 分, 作 为 一 种 特 殊 的 三 角 剖 分, 它 有 着 优 越 的 特 性, 下 面 介 绍 其 概 念 设 V 是 二 维 空 间 上 的 一 个 有 限 点 集, 边 e 是 以 点 集 中 的 点 作 为 端 点 构 成 的 线 段,E 是 边 e 的 集 合,T=(V,E) 是 对 该 点 集 的 一 个 三 角 剖 分 则 对 于 E 中 的 一 条 边 e( 以 A B 为 端 点 ), 若 e 满 足 下 列 条 件, 则 e 为 Delaunay 边 : 存 在 一 个 圆 经 过 A B 两 点, 使 圆 内 不 含 点 集 V 内 的 (a) 任 何 其 他 点 在 此 情 况 下, 若 点 集 V 的 一 个 三 角 剖 分 T 只 包 含 Delaunay 边, 则 该 三 角 剖 分 为 Delaunay 三 角 剖 分, 该 剖 分 内 的 三 角 形 为 Delaunay 三 角 形 Delaunay 三 角 剖 分 有 两 个 最 重 要 的 特 性 空 外 接 圆 特 性 : 每 个 Delaunay 三 角 形 的 外 接 圆 内 不 包 含 点 集 V 中 的 任 何 点 ( 如 图 3-2 (a) 所 示 ), 这 个 特 性 将 作 为 创 建 Delaunay 三 角 剖 分 的 一 项 判 别 标 准 ; 最 大 最 小 角 特 性 : 在 散 点 集 T 可 能 形 成 的 所 有 三 角 剖 分 中,Delaunay 三 角 剖 分 所 形 成 的 三 角 形 的 最 小 角 最 大 具 体 地, 是 指 把 两 个 相 邻 的 三 角 形 构 成 的 凸 四 边 形 的 对 角 线 交 换 以 后, 六 个 内 角 的 最 小 角 不 再 增 大 (b) ( 如 图 3-2 (b) 所 示 ) 此 外,Delaunay 三 角 剖 分 还 具 有 唯 一 性 规 则 图 3-2 Delaunay 三 角 剖 分 的 特 性 性 区 域 性 等 特 性 实 际 上, 在 计 算 几 何 中,Delaunay 三 角 剖 分 是 解 决 很 多 问 题 的 有 效 工 具, 除 了 上 述 的 最 大 最 小 角 特 性 外, 其 还 具 有 最 小 最 大 周 长 的 特 性 [4], 即 在 一 个 多 边 形 点 集 的 所 有 三 角 剖 分 中,Delaunay 三 角 剖 分 各 边 的 周 长 之 和 是 最 小 的 另 外,Delaunay 三 角 剖 分 还 具 有 唯 一 性 规 则 性 等 优 异 特 性, 它 在 平 面 分 割 方 面 有 着 重 要 的 地 位 因 此, 在 我 们 的 设 计 中, 采 用 Delaunay 三 角 剖 分 的 结 果 来 建 立 人 脸 间 的 映 射 关 系, 将 有 助 于 最 大 限 度 地 保 持 人 脸 的 形

20 电 子 与 信 息 学 院 学 士 学 位 论 文 状, 使 得 到 的 平 均 脸 美 观 自 然 3..2 Delaunay 三 角 剖 分 的 逐 点 插 入 算 法 为 了 计 算 平 面 上 离 散 点 集 的 Delaunay 三 角 剖 分, 在 这 里 需 要 引 入 关 于 其 的 另 一 个 定 义 : 假 设 T 为 点 集 V 的 任 一 三 角 剖 分, 则 T 是 V 的 一 个 Delaunay 三 角 剖 分, 当 且 仅 当 T 中 的 每 一 个 三 角 形 的 外 接 圆 内 部 都 不 包 含 V 中 的 任 何 点 ( 即 每 一 个 三 角 形 均 满 足 空 外 接 圆 特 性 ) 基 于 此 定 义 所 表 述 的 内 容, 人 们 设 计 了 多 种 计 算 三 角 剖 分 的 算 法, 如 分 治 法 逐 点 插 入 法 等, 其 中 前 者 的 实 现 过 程 较 复 杂, 但 其 时 间 复 杂 度 可 以 达 到 O(N log N), 后 者 是 一 种 迭 代 算 法, 复 杂 度 为 O(N 2 ), 考 虑 到 我 们 的 应 用 里 要 分 割 的 点 数 较 少, 故 采 用 了 较 为 简 单 的 逐 点 插 入 法 逐 点 插 入 法 由 C. L. Lawson 于 977 年 提 出 [5], 该 算 法 中 Lawson 提 出 了 如 下 的 局 部 最 优 化 (Local Optimization Procedure, LOP) 过 程 : 我 们 对 两 个 具 有 一 条 公 共 边 的 三 角 形 ( 这 两 个 三 角 A A 形 构 成 了 一 个 四 边 形 ) 进 行 检 查, 根 据 空 内 接 圆 特 性, 看 第 四 个 顶 点 是 否 位 于 三 角 形 的 外 接 圆 内 如 果 不 在, 我 们 称 这 个 四 边 形 为 局 部 最 优 的 ; 反 之, 对 四 边 形 的 对 角 线 进 行 修 正 ( 即 对 调 对 角 线 的 位 D C B D C B 置 ), 即 完 成 了 LOP 处 理, 其 过 程 如 图 3-3 所 示 图 3-3 LOP 过 程 逐 点 插 入 法 的 思 路 简 单, 其 以 一 个 足 够 大, 且 把 当 前 点 集 中 的 所 有 点 都 包 围 了 的 初 始 三 角 形 开 始, 按 照 随 机 的 顺 序 插 入 点 集 中 的 点, 在 整 个 过 程 中 都 要 维 护 并 更 新 一 个 与 当 前 点 集 相 对 应 的 Delaunay 三 角 剖 分 我 们 考 虑 在 点 集 中 插 入 一 个 点 P 的 情 况 如 图 3-4 (a), 我 们 在 已 经 剖 分 好 的 点 集 中 插 入 一 点 P, 然 后 将 P 点 与 包 含 P 点 的 三 角 形 的 各 顶 点 相 连, 产 生 了 三 条 新 的 边 PA PB 及 PC, 如 图 3-4 (b), 此 时, 我 们 要 对 原 来 的 边 AB BC CA 进 行 LOP 过 程, 于 是 得 到 了 图 3-4 (c), 这 里, 边 AC 及 BC 违 反 了 空 内 接 圆 特 性, 于 是 执 行 对 角 线 反 转 操 作, 边 AC 被 替 换 为 边 PD, 边 BC 被 替 换 为 边 PE, 最 后 得 到 了 图 3-4 (d) 此 时, 边 AD 及 边 BE 需 要 继 续 执 行 LOP 过 程, 并 以 这 样 的 方 式 继 续 下 去, 以 保 证 当 前 点 集 的 剖 分 为 Delaunay 三 角 剖 分, 可 见, 逐 点 插 入 法 实 质 上 是 一 个 递 归 过 程 P A P B P D A P B C (a) (b) (c) (d) C E 图 3-4 在 当 前 剖 分 中 插 入 一 点 在 我 们 的 实 现 中, 对 每 张 人 脸 采 用 了 43 个 特 征 点, 为 了 让 非 人 脸 的 区 域 也 能 在 分 段 线 性 仿 射 阶 段 得 到 处 理, 我 们 在 每 幅 图 片 边 界 处 均 匀 采 样 了 6 个 点, 于 是, 在 Delaunay 2

21 第 三 章 Delaunay 三 角 剖 分 及 凸 包 求 取 三 角 剖 分 阶 段, 需 要 剖 分 的 一 共 有 59 个 点 我 们 先 建 立 一 个 虚 拟 的 大 三 角 形 作 为 初 始 三 角 形, 保 证 大 三 角 形 包 括 了 待 分 割 的 所 有 点, 并 使 其 为 初 始 的 分 割 三 角 形, 然 后 通 过 逐 点 插 入 建 立 Delaunay, 最 后 再 移 除 与 初 始 三 角 形 相 连 的 所 有 边, 最 后 便 得 到 了 这 59 个 点 的 Delaunay 三 角 剖 分 对 特 征 点 模 板 的 剖 分 结 果 如 图 凸 包 求 取 算 法 及 其 实 现 图 3-5 对 特 征 点 模 板 的 Delaunay 三 角 剖 分 3.2. 二 维 点 集 或 多 边 形 的 凸 包 在 平 均 脸 算 法 的 初 始 化 阶 段, 我 们 需 要 对 特 征 点 模 板 上 的 所 有 特 征 点 ( 共 43 个 ) 求 凸 包, 并 认 为 位 于 凸 包 上 的 点 为 人 脸 的 外 轮 廓 点, 同 时 通 过 求 凸 包 获 得 各 人 脸 外 轮 廓 点 按 逆 时 针 排 列 的 分 布 方 式 这 部 分 将 人 脸 的 外 轮 廓 点 与 人 脸 的 内 部 点 区 分 开 来, 为 平 均 脸 算 法 的 最 后 一 步 做 准 备 通 常 地, 凸 包 问 题 可 以 如 下 描 述 : 给 定 一 个 点 集 P, 求 P 的 一 个 最 小 子 集 S, 使 得 S 的 形 状 为 一 个 凸 图 形 且 能 够 完 全 地 包 含 点 集 P 在 计 算 几 何 领 域, 寻 找 二 维 平 面 上 有 限 离 散 点 集 的 凸 包 是 一 个 经 典 问 题 一 般 地, 除 非 点 集 P 上 的 点 均 位 于 同 一 直 线 上, 否 则 所 得 到 的 凸 包 应 为 凸 多 边 形, 且 该 凸 包 能 够 用 点 集 P 的 边 界 上 的 顶 点 来 表 达 为 了 更 好 地 理 解 凸 包, 可 以 想 象 如 下 情 景 : 对 位 于 平 面 上 的 一 个 图 形, 图 3-6 凸 包 问 题 我 们 用 一 个 橡 皮 圈 来 包 围 该 图 形 当 松 开 橡 皮 圈 时, 其 将 不 断 收 缩 直 到 遇 到 了 图 形 的 边 界 为 止, 此 时 橡 皮 圈 的 轮 廓 就 是 该 图 形 的 凸 包 了 ( 图 3-6) 求 凸 包 的 增 量 式 算 法 对 于 实 数 向 量 空 间 V 中 的 点 集 P, 其 凸 包 可 以 用 式 (3.) 简 单 地 表 达, 即 所 有 包 含 P 的 凸 集 K 的 交 集 被 称 为 P 的 凸 包 S 然 而, 为 了 得 到 一 个 平 面 离 散 点 集 的 凸 包, 我 们 需 要 一 定 的 算 法 在 计 算 几 何 上, 关 于 计 算 凸 包 的 算 法 多 不 胜 数, 如 最 简 单 的 增 量 式 算 法 Gift Wrapping 查 询 Graham 扫 描 法 Javis 步 进 法 等 [6,7], 这 些 算 法 的 时 间 复 杂 度 从 O(n 2 ) 到 O(n log n) 不 等, 当 然, 对 于 方 法 简 单 的 算 法, 其 时 间 复 杂 度 也 会 比 较 大 在 这 里, 考 虑 到 需 要 进 行 处 理 的 点 数 只 有 43 点, 若 使 用 时 间 复 杂 度 低 的 算 法, 一 方 面 实 现 上 比 较 复 杂, 另 一 方 面 也 体 现 不 了 速 度 上 的 优 势, 于 是 我 们 采 用 了 实 现 上 最 为 简 单 的 增 量 式 算 法 在 思 想 上, 其 与 3. 节 所 提 及 的 Delaunay 三 角 剖 分 逐 点 插 入 法 类 似, 即 依 K PKV (3.) 3

22 电 子 与 信 息 学 院 学 士 学 位 论 文 次 遍 历 点 集 P 中 的 所 有 点, 同 时 维 护 一 个 点 集 S, 使 得 S 中 的 点 始 终 为 P 的 凸 包 对 于 新 增 加 的 一 个 点 A, 分 析 其 是 否 位 于 当 前 构 成 的 凸 包 内, 如 果 在 则 忽 略 该 点, A 否 则 将 A 与 当 前 的 凸 包 S 整 合, 形 成 一 个 新 的 凸 包, 其 过 程 如 图 3-7 所 示 在 这 里, 问 题 的 关 键 在 于 如 何 判 断 一 个 新 加 入 的 点 是 否 位 于 当 前 的 凸 包 内 考 虑 如 下 情 形 在 图 3-8 (a) 中, 点 序 按 逆 时 针 排 列 的 ΔABC 内 有 一 点 P, 可 以 发 现,ΔABP ΔBCP ΔCAP 的 点 序 均 是 按 逆 时 针 排 列 ; 在 A 图 3-8 (b) 中, 点 P 位 于 ΔABC 之 外, 于 是,ΔBCP ΔCAP 的 点 序 是 逆 时 针 的, 而 ΔABP 则 变 成 了 顺 时 针 的 这 个 现 象 可 以 推 广 到 多 边 形 的 情 形 在 图 3-8 (c) 中, 点 P 位 于 五 边 形 ABCDE 内 部, 于 是 有 ΔABP ΔBCP ΔCDP 图 3-7 用 增 量 式 算 法 计 算 凸 包 ΔDEP ΔEAP 的 顶 点 均 按 逆 时 针 排 列 ; 在 图 3-8 (d) 中, 点 P 位 于 五 边 形 ABCDE 外, 且 在 DE 边 左 侧, 则 有 ΔABP ΔBCP ΔCDP ΔEAP 的 顶 点 均 按 逆 时 针 排 列, 而 ΔDEP 则 按 顺 时 针 排 列 根 据 此 现 象, 我 们 就 可 以 判 定 一 个 点 是 否 位 于 凸 多 边 形 内 部, 同 时 可 以 A 按 照 此 方 式 将 点 逐 点 插 入 到 凸 包 中 A A 于 是, 现 在 的 问 题 就 转 化 为 判 断 三 个 给 定 点 是 否 按 照 逆 时 针 方 式 排 列 了 我 们 假 设 三 个 点 A B C 在 平 面 上 的 坐 标 分 别 为 (x,y ) (x 2,y 2 ) (x 3,y 3 ), 由 这 三 个 点 所 构 成 的 三 角 形 的 面 积 记 为 S ΔABC, 于 是 有 B P C P B C (a) (b) (c) (d) 图 3-8 判 断 一 个 点 是 否 位 于 凸 包 内 S ABC 2 x x x B 2 3 C y y y A 2 3 P D E B C A D E P (3.2) 实 际 上, 式 (3.2) 并 非 单 纯 地 定 义 了 三 角 形 的 面 积,S ΔABC 所 对 应 的 是 ΔABC 的 有 向 面 积, 它 不 仅 反 映 了 ΔABC 的 面 积 大 小, 还 体 现 了 这 三 个 点 的 相 对 方 向 当 S ΔABC >0 时,A B C 三 点 的 走 向 是 逆 时 针 的 ; 当 S ΔABC =0 时,A B C 三 点 共 线 ; 当 S ΔABC <0 时,A B C 三 点 的 走 向 是 顺 时 针 的 因 此, 计 算 有 向 面 积 在 求 凸 包 运 算 中 有 很 大 的 用 途, 可 以 用 于 判 断 哪 些 点 是 位 于 凸 包 上 的 经 过 上 述 的 各 步 骤 后, 用 增 量 式 算 法 来 求 凸 包 的 部 分 就 实 现 了 尽 管 这 种 算 法 在 每 次 插 入 一 个 新 点 时, 都 要 依 赖 已 存 在 图 3-9 对 特 征 点 模 板 的 各 点 求 凸 包 4

23 第 三 章 Delaunay 三 角 剖 分 及 凸 包 求 取 于 凸 包 内 的 各 点 进 行 判 断, 因 此 其 时 间 复 杂 度 达 到 了 O(n 2 ), 然 而, 该 算 法 应 用 于 我 们 的 设 计 中 已 经 是 非 常 足 够 了 按 照 增 量 式 算 法 求 取 凸 包 的 思 想, 我 们 求 得 了 特 征 点 模 板 上 43 个 点 的 凸 包, 并 且 得 到 了 这 些 点 按 照 逆 时 针 方 向 排 列 的 顺 序 图 3-9 是 我 们 对 特 征 点 模 板 内 的 43 个 点 求 取 凸 包 的 结 果, 其 中, 黄 色 的 线 段 依 次 连 接 了 凸 包 上 的 相 邻 点 3.3 本 章 小 结 本 章 介 绍 了 在 平 均 脸 算 法 初 始 化 阶 段 所 需 的 两 个 算 法 :Delaunay 三 角 剖 分 及 求 凸 包, 这 两 个 算 法 都 是 计 算 几 何 中 的 经 典 问 题, 为 了 解 决 这 两 个 问 题, 我 们 均 采 用 了 逐 点 插 入 的 方 法, 且 得 到 了 良 好 的 效 果 值 得 说 明 的 是, 由 于 在 我 们 存 储 特 征 点 时, 在 特 征 点 模 板 以 及 所 有 人 脸 图 片 上, 具 有 相 同 序 号 的 特 征 点 将 始 终 对 应 着 相 同 的 语 义 ( 比 如 一 号 点 将 始 终 对 应 人 脸 的 左 侧 瞳 孔, 二 号 点 将 始 终 对 应 人 脸 的 右 侧 瞳 孔 等 ), 因 此 对 特 征 点 模 板 进 行 一 次 Delaunay 三 角 剖 分 的 结 果 可 以 为 后 续 所 有 分 段 线 性 仿 射 操 作 建 立 一 套 统 一 的 映 射 关 系 比 如 在 Delaunay 三 角 剖 分 完 成 后, 若 号 7 号 及 24 号 三 个 点 围 成 了 一 个 三 角 形 ; 则 在 分 段 线 性 仿 射 阶 段, 原 图 像 上 由 7 24 号 特 征 点 围 成 的 三 角 形 将 始 终 映 射 到 目 标 图 像 上 由 7 24 号 三 点 所 围 成 的 三 角 形 上 同 样 地, 在 对 特 征 点 模 板 求 取 凸 包 后, 假 设 我 们 得 到 5 9 及 38 号 点 都 是 位 于 特 征 点 模 板 的 人 脸 外 轮 廓 上, 则 在 后 续 的 处 理 阶 段 中, 我 们 认 为 对 于 某 一 幅 人 脸 图 像, 其 5 9 及 38 号 点 也 将 位 于 人 脸 的 外 轮 廓 上, 通 过 这 种 方 式, 我 们 将 人 脸 内 部 的 点 与 外 轮 廓 上 的 点 区 分 开 来, 使 得 在 平 均 脸 的 后 处 理 部 分, 可 以 区 分 人 脸 与 非 人 脸 区 域, 然 后 为 平 均 脸 图 片 添 加 指 定 的 背 景 ( 背 景 嵌 入 ) 由 此 可 见, 在 这 个 初 始 化 阶 段, 所 得 到 的 结 果 将 在 整 套 平 均 脸 算 法 的 运 行 周 期 里 不 断 使 用, 因 此 Delaunay 三 角 剖 分 及 凸 包 求 取 均 只 需 要 运 行 一 次 5

24 电 子 与 信 息 学 院 学 士 学 位 论 文 第 四 章 平 均 脸 的 计 算 4. 基 于 广 义 Procrustes 分 析 的 形 状 对 准 当 给 定 了 一 系 列 的 人 脸 图 片 集 及 对 应 的 特 征 点 坐 标, 以 及 指 定 了 图 片 集 中 各 图 片 所 占 的 权 值 后, 便 可 以 对 该 人 脸 图 片 集 求 平 均 脸 了 在 求 平 均 脸 前, 需 要 对 图 片 集 中 的 各 图 片 进 行 预 处 理, 以 消 除 不 同 图 片 中 人 脸 区 域 的 位 置 大 小 方 向 间 的 差 异, 使 得 所 有 的 人 脸 都 归 一 化 到 一 个 统 一 的 标 准 上 来 这 个 将 所 有 人 脸 对 准 的 步 骤 就 是 形 状 对 准 (shape alignment) 在 这 部 分, 我 们 采 用 了 J. C. Gower 所 提 出 的 广 义 Procrustes 分 析 (Generalized Procrustes Analysis, GPA) 来 实 现 形 状 对 准 [8], 在 统 计 学 上, 广 义 Procrustes 分 析 是 一 种 统 计 形 状 分 析 方 法, 通 常 用 于 分 析 一 组 形 状 的 分 布 方 式 当 需 要 对 准 的 形 状 只 有 两 个 时, 广 义 Procrustes 分 析 退 化 为 经 典 的 Procrustes 分 析 Procrustes 分 析 的 基 本 思 想 是 将 形 状 旋 转 再 将 其 大 小 归 一 化, 然 后 将 两 个 形 状 的 重 心 平 移 到 相 同 的 位 置, 使 得 两 个 形 状 的 对 应 点 之 间 距 离 的 平 方 和 最 小 ; 当 有 多 个 形 状 时, 需 要 通 过 迭 代 的 方 式 对 形 状 集 进 行 对 准, 直 到 形 状 集 内 的 各 形 状 均 没 有 明 显 的 调 整 为 止 [9] 我 们 先 考 虑 只 有 两 个 形 状 需 要 对 准 的 情 况, 再 把 两 个 形 状 对 准 的 方 法 推 广 到 对 图 像 集 内 所 有 形 状 进 行 对 准 的 情 形 首 先, 假 设 有 两 个 相 似 的 形 状 x 及 x 2, 通 过 这 两 个 形 状, 我 们 可 以 求 得 一 个 平 移 矢 量 t=(t x,t y ), 一 个 缩 放 因 子 s 及 一 个 旋 转 角 度 θ 然 后 通 过 将 形 状 x 2 按 s 缩 放 旋 转 角 度 θ 再 按 矢 量 t 平 移 后,x 与 x 2 对 应 点 间 的 距 离 的 加 权 平 方 和 最 小 我 们 把 将 形 状 x 2 进 行 旋 转 缩 放 平 移 后 得 到 的 矢 量 记 为 M s, θ (x 2 )+t, 其 中, M ( s cos ) xij ( ssin ) y ( x i ) ( ssin ) xij ( s cos ) y 在 以 上 假 设 下, 我 们 希 望 下 式 的 距 离 值 可 以 取 得 最 小 值, P 2 d s, t t, t, t, t,..., t, t ) ( x y x y x y x M ( x ) t) Wx ( M ( x ) t) (4.) (4.2) (4.3) 这 里,W 是 一 个 对 角 矩 阵, 它 的 元 素 w k 分 别 是 各 个 点 的 权 值 其 计 算 方 法 如 下 : 设 d(k,l) 是 某 形 状 中 第 k 个 点 到 第 l 点 的 距 离,D(k,l) 是 所 有 形 状 的 d(k,l) 的 方 差, 于 是 有, ij ij ( s, 2 s, 2 w k n i D( k, l) (4.4) 可 见, 在 形 状 集 当 中 位 置 相 对 固 定 的 特 征 点, 会 具 有 较 高 的 权 值 然 后 我 们 假 设 6

25 第 四 章 平 均 脸 的 计 算 a x scos, a ssin, 于 是 可 以 得 到 下 面 的 方 程 : 其 中, y X Y2 Z 0 2 X i Y X 0 Z 2 2 n k W 0 X 2 Y w k x 2 ik, 0 W Y 2 X 2 Y i a a t t n k x y x y w X Y C C k y ik 2 (4.5) (4.6) Z n k 2 2 wk ( x2 k y2k ), W n k w k (4.7) C C n wk ( x k x2k y k y2k ) k n 2 wk ( y k x2k x k y2k ) k (4.8) (4.9) 由 式 (4.6) (4.7) (4.8) (4.9) 可 以 计 算 出 X, X 2, Y, Y 2, C, C 2, Z 及 W, 将 各 量 代 入 式 (4.5) 中, 可 解 出 a, a, t, t, 从 而 得 到 s, θ, t, 于 是 就 可 以 将 形 状 x 2 对 准 到 x 了 图 4- 是 将 一 x y x y 对 形 状 对 准 的 效 果 演 示 图 4- (a) 是 需 要 对 准 的 形 状 x 2, 图 4- (b) 是 形 状 对 准 的 目 标 x, 图 4-2(c) 是 将 x 2 向 x 进 行 形 状 对 准 后 的 结 果 (b) (c) (a) 图 4- 将 一 对 形 状 进 行 对 准 上 面 介 绍 了 如 何 将 一 对 形 状 进 行 对 准, 这 个 过 程 实 质 上 应 用 的 是 经 典 的 Procrustes 分 析 方 法, 将 经 典 Procrustes 分 析 推 广 到 将 一 组 形 状 进 行 对 准 的 情 形, 便 是 广 义 Procrustes 分 析 所 要 解 决 的 问 题 实 质 上, 将 一 组 形 状 进 行 对 准 是 一 个 迭 代 过 程, 在 这 里, 我 们 采 用 了 图 4-2 所 示 的 流 程 来 对 一 组 形 状 进 行 对 准 在 最 后 判 断 形 状 是 否 有 明 显 调 整 的 步 骤 中, 我 们 为 平 移 矢 量 t 缩 放 因 子 s 及 旋 转 角 度 θ 设 定 了 相 应 的 阈 值, 分 别 为 t th =3px, s th =0.0 及 θ th =0.0, 若 在 某 次 调 整 中, 所 有 图 片 的 7

26 电 子 与 信 息 学 院 学 士 学 位 论 文 调 整 值 均 小 于 设 定 的 阈 值, 则 认 为 形 状 对 准 已 经 完 成, 反 之 则 需 要 继 续 进 行 对 准 在 将 一 组 形 状 进 行 对 准 时, 人 脸 特 征 点 模 板 被 用 来 对 中 值 形 状 进 行 调 整, 而 所 有 的 形 状 又 将 与 中 值 形 状 对 准 因 此, 特 征 点 模 板 在 这 里 就 起 到 了 一 个 标 准 的 作 用 在 对 准 完 成 后, 所 有 的 人 脸 都 将 与 特 征 点 模 板 具 有 类 似 的 大 小 与 方 向 关 于 将 一 组 形 状 进 行 对 准 的 效 果, 请 参 看 图 2-3 值 得 注 意 的 是, 为 了 便 于 后 续 步 骤 的 进 行, 在 形 状 对 准 的 过 程 完 成 后, 我 们 将 图 像 集 中 所 有 图 像 的 尺 寸 全 部 统 一 为 相 同 的 大 小, 并 取 其 宽 度 为 400px, 高 度 为 430px 并 且 在 后 续 的 各 个 处 理 步 骤 中, 得 到 的 所 有 图 片 ( 包 括 最 终 的 平 均 脸 结 果 ) 都 将 有 着 同 样 的 尺 寸 将 所 有 形 状 与 形 状 集 合 中 的 第 一 个 形 状 对 准 计 算 对 准 后 的 中 值 形 状 将 中 值 形 状 与 特 征 点 模 板 的 形 状 进 行 对 准 将 图 片 集 的 所 有 形 状 与 中 值 形 状 对 准 所 有 形 状 都 没 有 明 显 的 调 整? 否 是 4.2 人 脸 图 像 变 形 4.2. 平 均 脸 特 征 点 位 置 的 计 算 在 对 图 像 集 中 的 各 人 脸 图 像 进 行 图 像 变 形 前, 我 们 先 要 求 得 平 均 脸 特 征 点 的 位 置 由 平 均 脸 特 征 点 位 置 所 组 成 的 人 脸 形 状, 将 成 为 分 段 线 性 仿 射 阶 段 对 人 脸 图 像 进 行 变 形 的 目 标 这 一 步 骤 比 较 简 单, 只 要 将 进 行 形 状 对 准 后 的 各 图 像 的 特 征 点 位 置 按 照 给 定 的 权 值 进 行 加 权 平 均 即 可 设 图 像 集 中 共 有 m 幅 图 片 ( 这 些 图 片 均 经 过 了 形 状 对 准 ), 每 张 图 片 上 有 n 个 已 知 的 特 征 点 ( 在 本 设 计 中 共 使 用 了 43 个 特 征 点 ), 各 图 片 在 最 终 的 合 成 结 果 中 所 占 的 权 值 为 w j (j=,2,,m) 另 外, 设 最 后 所 得 的 平 均 脸 上 的 各 特 征 点 为 f avg, i (x avg, i, y avg, i ) (i=,2,...,n); 对 于 图 片 集 中 的 第 j 幅 图 片, 其 上 的 第 i 个 特 征 点 为 f j, i (x j, i, y j, i ), 其 中,i=,2,,n 且 j=,2,,m 于 是 有 下 式 : 由 上 式 便 可 以 求 得 平 均 脸 上 的 各 特 征 点 位 置 人 脸 图 像 的 分 段 线 性 仿 射 f avg, i m j w i 对 准 完 成 图 4-2 将 一 组 形 状 进 行 对 准 i=,2,,n (4.0) 对 人 脸 图 像 进 行 图 像 变 形, 是 整 套 平 均 脸 算 法 的 关 键 所 在, 其 实 现 效 果 的 好 坏 将 直 接 m j w i f j, i 8

27 第 四 章 平 均 脸 的 计 算 影 响 到 最 终 所 求 得 的 平 均 脸 效 果 在 此 步 骤 中, 我 们 需 要 根 据 在 3. 节 中 求 得 的 Delaunay 三 角 网 所 建 立 的 映 射 关 系, 对 给 定 图 像 集 中 的 每 一 张 图 片 ( 这 些 图 片 均 已 进 行 过 形 状 对 准 ) 进 行 分 段 线 性 仿 射, 使 得 在 仿 射 结 束 后, 每 一 张 人 脸 图 片 上 的 特 征 点 位 置 均 与 4.2. 节 中 求 得 的 平 均 脸 特 征 点 位 置 相 同 比 如, 在 图 4-3 中,(a) (b) 及 (c) 是 经 过 对 准 后 的 输 入 人 脸 图 像, 上 面 绿 色 的 点 为 其 对 应 的 特 征 点 位 置,(d) 上 标 示 了 (a) (b) (c) 三 幅 图 像 的 平 均 脸 特 征 点 位 置 ( 其 求 法 如 4.2. 中 所 述 ), 在 分 段 线 性 仿 射 这 一 步 中, 我 们 需 要 对 (a) (b) (c) 进 行 图 像 变 形, 使 得 变 形 后, 他 们 具 有 与 (d) 一 致 的 特 征 点 位 置, 图 (e) (f) (g) 分 别 是 图 (a) (b) (c) 经 过 仿 射 后 的 结 果 在 这 里,(e) (f) (g) 具 有 与 (d) 图 相 同 的 特 征 点 位 置 (a) (b) (c) (d) (e) (f) (g) 图 4-3 对 给 定 的 所 有 图 片 进 行 分 段 线 性 仿 射 现 在 我 们 需 要 解 决 的 问 题 是, 如 何 将 一 幅 经 过 对 准 的 人 脸 图 像 进 行 分 段 线 性 仿 射, 使 变 换 后 其 特 征 点 与 平 均 脸 的 特 征 点 一 致 此 时 我 们 便 需 要 利 用 在 初 始 化 阶 段 求 得 的 Delaunay 三 角 网 来 建 立 映 射 关 系 了 在 我 们 的 设 计 中, 将 人 脸 上 的 43 个 特 征 点, 以 及 图 像 边 缘 上 的 6 个 等 分 点, 共 59 个 点 进 行 Delaunay 三 角 剖 分 后, 整 个 平 面 恰 好 被 分 成 了 00 个 三 角 形 原 图 像 上 的 00 个 三 角 形 与 平 均 脸 图 像 上 的 00 个 三 角 形 之 间 有 着 一 一 对 应 的 关 系, 于 是 我 们 只 需 要 将 原 图 像 上 的 00 个 三 角 形 分 别 进 行 仿 射 变 换, 使 之 投 影 到 目 标 图 像 的 对 应 三 角 形 上, 即 可 得 到 仿 射 后 的 人 脸 图 像 例 如, 图 4-4 反 映 了 一 对 映 射 关 系,(a) 中 标 示 了 对 准 后 的 人 脸 上 的 特 征 点 及 对 应 的 Delaunay 三 角 网,(b) 中 标 示 了 待 求 的 平 均 脸 上 的 特 征 点 及 其 Delaunay 三 角 网,(a) 与 (b) 中, 被 蓝 色 边 所 包 围 的 两 个 三 角 形 之 间 有 着 对 应 关 系, 于 是, 我 们 需 要 将 (a) 中 的 蓝 色 三 角 形 部 分 进 行 仿 射 变 换 (affine transformation), 以 映 射 到 (b) 的 蓝 色 三 角 形 区 域 中, 这 样 对 应 的 三 角 形 一 共 有 00 个, 因 此, 要 完 成 一 幅 图 片 的 变 换, 需 要 分 别 进 行 00 次 仿 射 变 换, 这 也 9

28 电 子 与 信 息 学 院 学 士 学 位 论 文 是 这 种 变 换 被 称 为 分 段 线 性 仿 射 的 原 因 接 下 来, 我 们 考 虑 如 何 将 图 片 上 的 一 个 三 角 形 区 域 线 性 地 映 射 到 另 一 个 三 角 形 中 去, 这 个 问 题 就 是 经 典 的 仿 射 变 换 仿 射 变 换 时 空 间 直 角 坐 标 变 换 的 一 种, 它 可 以 实 现 从 一 个 二 维 坐 标 系 到 另 一 个 二 维 坐 标 系 之 间 的 线 性 变 换, 同 时 保 持 变 换 后 图 像 的 平 行 性, 仿 射 变 换 可 以 通 过 平 移 缩 放 旋 转 及 剪 切 复 合 而 得 到 一 般 地, 若 不 考 虑 剪 切 的 情 形, 一 个 [20] 仿 射 变 换 可 以 通 过 如 下 三 阶 Helmert 变 换 矩 阵 描 述 : (4.) 其 中,(x,y) 是 原 坐 标 系 中 的 一 点,(x,y ) 是 变 换 后 的 坐 标 系 中 的 点, 式 (4.) 定 义 了 原 坐 标 系 与 将 其 旋 转 角 度 θ 在 水 平 方 向 上 缩 放 s x 在 竖 直 方 向 上 缩 放 s y 然 后 再 平 移 t=(t x,t y ) 后 得 到 的 另 一 个 坐 标 系 之 间 的 点 的 对 应 关 系 若 我 们 明 确 地 知 道 θ s x s y 及 t 这 些 量 的 数 值 的 话, 采 用 式 (4.) 的 仿 射 矩 阵 来 求 解 我 们 的 问 题 是 一 个 不 错 的 选 择 然 而, 在 我 们 的 情 况 下, 明 确 地 知 道 的 就 只 有 两 个 对 应 的 三 角 形 顶 点 上 的 坐 标 因 此, 在 这 里 采 用 向 量 的 方 式 对 问 题 进 行 描 述 将 更 为 方 便 如 图 4-5, 设 P (x,y ) P 2 (x 2,y 2 ) 与 P 3 (x 3,y 3 ) 是 原 图 像 中 某 Delaunay 三 角 网 格 的 三 个 顶 点 ( 将 这 三 个 顶 点 理 解 为 以 坐 标 原 点 为 起 点 的 向 量 ), 那 么 位 于 三 角 网 格 内 的 一 点 P(x,y) 就 可 以 用 下 式 表 达 : (a) 图 4-4 对 一 幅 图 片 进 行 分 段 线 性 仿 射 x sx cos y sy sin 0 s ( sin) x s cos 其 中, 0,, 且, (4.2) 设 仿 射 后 目 标 三 角 网 格 上 的 三 个 顶 点 为 P P 2 及 P 3, 于 是, 对 于 仿 射 后 的 点 P, 有 y 0 t t x y (b) x y P P ( P2 P ) ( P3 P ) P P2 P3, P 2 P P P 3 P P P 2 P 3 图 4-5 对 一 个 三 角 网 格 进 行 分 段 线 性 仿 射 20

29 第 四 章 平 均 脸 的 计 算 P' P' P' 2 P' 3 这 样 的 话, 我 们 只 需 求 出 α β 与 γ, 就 可 以 使 用 P P 2 及 P 3 求 得 仿 射 后 的 结 果 P, 于 是 有 下 列 各 式 : 可 进 一 步 求 得, x3 y x y x3 y xy3 x y x2 y3 x2 y x y3 x3 y2 x xy 2 xy x y2 x2 y x2 y x2 y3 x2 y x y3 x3 y2 x (4.3) (4.4) 通 过 这 样 的 方 式 对 三 角 网 格 内 的 所 有 点 进 行 仿 射, 便 可 完 成 对 一 个 三 角 网 格 的 仿 射 接 着, 分 段 完 成 对 00 个 三 角 网 格 的 仿 射 变 换, 就 可 得 到 对 一 幅 图 片 进 行 分 段 线 性 仿 射 的 结 果 在 对 给 定 图 像 集 中 的 所 有 图 像 都 进 行 分 段 线 性 仿 射 之 后, 图 像 变 形 的 步 骤 就 完 成 了 如 图 4-3, 在 经 过 这 个 步 骤 之 后, 我 们 得 到 的 是 一 系 列 变 形 后 的 人 脸 图 像, 这 些 图 像 的 特 征 点 位 置 与 平 均 脸 的 特 征 点 位 置 是 一 致 的 x x2 x y y2 y 3 3 x y xy y x y x y y x y 平 均 脸 的 合 成 完 成 对 各 人 脸 图 像 的 分 段 线 性 仿 射 后, 合 成 出 初 步 的 平 均 脸 将 是 一 个 简 单 的 步 骤 在 这 里, 我 们 只 需 要 将 仿 射 后 的 人 脸 图 像 集 的 各 对 应 像 素 点 按 照 给 定 的 权 值 进 行 加 权 平 均, 即 可 以 得 到 初 步 的 平 均 脸 图 像 由 于 仿 射 后 的 人 脸 图 像 集 具 有 相 同 的 尺 寸 ( 如 4. 所 述, 所 有 图 像 的 宽 度 为 400px, 高 度 为 430px) 及 相 同 的 特 征 点 位 置, 因 此 得 出 的 平 均 脸 图 像 将 是 一 幅 清 晰 的 人 脸 图 像 设 图 像 集 中 共 有 m 幅 人 脸 图 片, 每 幅 人 脸 图 片 的 宽 度 为 W, 高 度 为 H, 其 中 第 i 幅 图 片 上 第 r 行 第 c 列 的 像 素 点 为 p i, rc, 平 均 脸 图 像 上 第 r 行 第 c 列 的 像 素 点 为 p avg, rc, 每 幅 图 片 所 占 有 的 权 值 为 w i ( 这 里 i=,2,...,m,r=,2,,h 且 c=,2,,w) 于 是 有, p avg, rc m i w (4.5) 根 据 式 (4.5) 方 可 得 出 初 步 的 平 均 脸 结 果, 在 这 里, 对 于 每 个 像 素 p, 我 们 应 该 将 其 理 解 为 一 个 向 量 ( 灰 度 图 像 除 外 ) 以 图 4-3 中 的 (e) (f) 与 (g) 三 幅 人 脸 图 片 为 例, 按 照 式 (4.5) 处 理 后 ( 三 幅 图 像 比 例 相 同 ), 可 以 得 到 如 图 (4-6) 的 结 果 其 中,(a) (b) 及 (c) 为 进 行 分 段 线 性 仿 射 后 的 人 脸 图 片,(d) 为 根 据 式 (4.5) 计 算 所 得 的 平 均 脸 m i i w p i i, rc 2

30 电 子 与 信 息 学 院 学 士 学 位 论 文 (a) (b) (c) 图 4-6 平 均 脸 的 合 成 (d) 图 4-7 演 示 了 当 前 平 均 脸 算 法 的 效 果 (a) (b) (c) 及 (d) 均 是 由 女 性 人 脸 肖 像 合 成 所 得, 其 中,(a) 由 7 张 吸 引 力 评 分 为 4 的 图 片 合 成 而 来,(b) 由 3 张 吸 引 力 评 分 为 3 的 图 片 合 成, (c) 由 2 张 吸 引 力 评 分 为 2 的 图 片 合 成 所 得, 而 (d) 则 由 8 张 吸 引 力 为 的 图 片 合 成 ( 我 们 的 人 脸 吸 引 力 评 价 体 系 共 分 为 5 级, 其 中 5 分 为 吸 引 力 最 高, 分 为 吸 引 力 最 低 ) (a) (b) (c) (d) 图 4-7 初 步 的 平 均 脸 效 果 4.4 本 章 小 结 本 章 详 细 地 介 绍 了 平 均 脸 计 算 的 过 程, 简 单 地 说, 计 算 平 均 脸 包 括 下 面 几 步 : 形 状 对 准 计 算 平 均 脸 的 特 征 点 分 段 线 性 仿 射 及 平 均 脸 合 成 在 实 现 了 上 述 各 个 步 骤 后, 初 步 的 平 均 脸 就 可 以 计 算 出 来 了 当 前 的 平 均 脸 结 果 还 稍 显 粗 糙, 下 一 章 我 们 将 介 绍 对 平 均 脸 图 像 进 行 后 期 处 理 22

31 第 五 章 平 均 脸 的 后 处 理 第 五 章 平 均 脸 图 像 的 后 处 理 5. 背 景 嵌 入 经 过 前 三 章 的 介 绍, 一 套 初 步 的 平 均 脸 计 算 方 法 已 经 被 建 立 起 来 然 而, 若 仔 细 观 察 得 到 的 平 均 脸 结 果 ( 图 4-7), 则 可 以 发 现 还 有 一 些 地 方 是 需 要 改 进 的 其 中, 在 得 到 的 平 均 脸 上, 除 了 人 脸 以 外 的 部 分 比 较 均 模 糊, 致 使 合 成 的 结 果 不 够 真 实, 而 且 这 个 问 题 会 随 着 被 用 于 合 成 的 图 片 数 量 的 增 加 而 变 得 更 为 严 重 图 5- 是 由 38 张 吸 引 力 评 分 为 5 的 女 性 人 脸 照 片 合 成 所 得, 在 此 平 均 脸 图 像 中, 背 景 显 得 十 分 模 糊, 这 样 的 结 果 并 不 自 然 因 此, 在 本 节 中 我 们 将 考 虑 如 何 为 平 均 脸 图 像 嵌 入 图 5- 背 景 模 糊 背 景 的 平 均 脸 图 片 为 了 嵌 入 背 景, 我 们 必 须 知 道 在 平 均 脸 图 像 中, 哪 些 点 是 位 于 人 脸 上 的, 哪 些 点 是 位 于 人 脸 以 外 的, 根 据 这 些 信 息, 才 可 以 将 人 脸 区 域 与 非 人 脸 区 域 有 区 别 地 处 理 此 时, 就 需 要 用 到 在 3.2 节 中 所 求 得 的 特 征 点 模 板 凸 包 了, 我 们 称 由 凸 包 上 的 点 依 次 连 接 得 到 的 封 闭 路 径 为 人 脸 外 轮 廓 路 径 虽 然 在 特 征 点 模 板 上, 这 条 外 轮 廓 路 径 所 包 围 的 形 状 是 凸 图 形, 但 是 具 体 到 某 一 张 人 脸 照 片, 外 轮 廓 路 径 包 围 的 形 状 不 一 定 是 凸 的 对 特 征 点 模 板 求 凸 包, 其 目 的 仅 仅 是 为 了 确 定 人 脸 的 外 轮 廓 路 径 上 的 特 征 点 按 逆 时 针 方 向 依 次 排 列 的 序 号 这 里, 我 们 希 望 用 一 封 闭 的 基 数 样 条 曲 线 (cardinal spline) 对 人 脸 外 轮 廓 路 径 进 行 拟 合, 并 以 此 得 到 一 条 包 围 人 脸 部 分 的 平 滑 曲 线 实 际 上, 基 数 样 条 是 一 连 串 单 独 的 曲 线, 这 些 曲 线 连 接 起 来 构 成 一 条 较 大 的 曲 线 样 条 由 点 的 位 置 和 张 力 参 数 唯 一 确 定 基 数 样 条 平 滑 地 经 过 每 个 点, 曲 线 的 陡 度 上 没 有 突 然 的 变 化 在 我 们 的 实 现 中, 得 益 于.NET Framework 下 的 System.Drawing 命 名 空 间, 关 于 基 数 样 条 曲 线 的 生 成 可 以 直 接 调 用 相 关 的 函 数 : GraphicsPath curvepath = new GraphicsPath(); // 创 建 一 条 新 的 路 径 curvepath.addclosedcurve(convexhullpoints); // 按 凸 包 上 的 点 添 加 封 闭 曲 线 路 径 上 述 两 行 C# 代 码 描 述 了 根 据 凸 包 上 的 点 序 创 建 封 闭 样 条 曲 线 的 过 程 另 外, 在 判 断 一 个 点 是 否 位 于 基 数 样 条 曲 线 之 内 时, 可 以 利 用 下 面 的 代 码 : Region curveregion = new Region(curvePath); // 按 照 闭 合 曲 线 创 建 Region 对 象 if curveregion.isvisible(pnt) { // 点 pnt 位 于 封 闭 的 基 数 样 条 曲 线 内 } 按 照 这 样 的 方 式, 我 们 便 可 以 建 立 与 人 脸 外 轮 廓 对 应 的 平 滑 曲 线, 并 可 以 判 断 给 定 的 一 点 是 否 位 于 人 脸 内 部 了 图 5-2 是 对 图 4-6 (d) 的 平 均 脸 的 外 轮 廓 进 行 拟 合 的 效 果 23

32 电 子 与 信 息 学 院 学 士 学 位 论 文 接 下 来 考 虑 如 何 恰 当 地 为 平 均 脸 图 像 添 加 背 景 这 里, 我 们 让 用 户 从 选 定 的 图 片 集 中 再 选 择 一 幅 图 片, 该 图 片 ( 下 文 称 之 为 背 景 源 ) 中 除 了 人 脸 以 外 的 部 分, 将 用 作 最 终 的 平 均 脸 结 果 的 背 景 现 结 合 具 体 例 子 说 明 背 景 嵌 入 的 过 程 考 察 为 图 4-7 (a) 的 平 均 脸 图 像 ( 由 7 幅 吸 引 力 评 分 为 4 的 女 性 人 脸 图 像 等 比 例 合 成 ) 添 加 背 景 如 图 5-3, 设 (a) 是 用 户 从 被 用 于 合 成 的 2 幅 图 像 中 选 择 的 背 景 源 于 是, 一 个 简 单 的 想 法 是 直 接 将 平 均 脸 图 像 的 人 脸 部 分 叠 加 到 经 过 图 5-2 人 脸 外 轮 廓 的 拟 合 了 图 像 变 形 的 背 景 源 上, 由 于 背 景 源 ( 图 5-3 (a)) 经 过 图 像 变 形 后, 具 有 与 平 均 脸 相 同 的 特 征 点, 因 此 平 均 脸 的 人 脸 部 分 是 可 以 恰 好 覆 盖 背 景 源 的 人 脸 区 域 的, 按 照 这 种 思 想, 可 以 得 到 图 5-3 (b) 的 结 果 在 图 5-4 (b) 中, 虽 然 图 片 已 经 有 着 清 晰 的 背 景, 但 是 效 果 并 不 自 然, 主 要 有 两 方 面 原 因 : 首 先 是 在 人 脸 边 缘 处 的 过 渡 非 常 生 硬 ; 二 是 人 脸 部 分 来 源 于 多 幅 图 片, 而 背 景 只 来 自 一 幅 图 片, 有 着 较 高 的 清 晰 度 为 解 决 这 两 个 问 题, 我 们 采 用 了 两 个 简 单 的 处 理 办 法 首 先 是 将 人 脸 叠 加 到 背 景 源 上 时, 在 (a) (b) 人 脸 轮 廓 处 采 用 的 是 α 混 合 而 不 是 简 单 的 叠 加, 这 样 有 助 于 让 人 脸 逐 渐 地 过 渡 到 背 景 上 这 里 我 们 将 人 脸 内 距 离 轮 廓 边 缘 处 4 像 素 范 围 内 的 区 域 采 用 了 线 性 的 α 混 合, 让 人 脸 均 匀 地 过 渡 到 背 景 区 域 进 行 了 这 样 的 处 理 后, 将 得 到 图 5-4 (c) 的 结 果, 可 见 此 时 人 脸 轮 廓 的 过 渡 部 分 已 经 有 (c) (d) 图 5-3 背 景 嵌 入 了 一 定 的 平 滑 效 果 此 外, 考 虑 到 若 直 接 将 图 5-4 (a) 形 状 变 形 后 的 图 像 作 为 平 均 脸 背 景, 人 脸 区 域 的 模 糊 与 背 景 区 域 的 清 晰 将 使 结 果 比 较 不 自 然 于 是, 我 们 重 新 设 置 背 景 源, 使 其 由 被 用 于 合 成 的 图 片 集 按 加 权 平 均 的 方 式 得 到, 只 是 被 指 定 了 的 背 景 源 图 片 在 平 均 的 过 程 中 占 有 较 大 的 权 值 ( 在 我 们 的 例 子 中, 被 选 中 的 图 片 在 背 景 中 占 有 70% 的 比 例 ), 其 余 图 像 将 等 分 余 下 的 比 例 合 成 背 景 源 的 方 法 与 4.3 节 中 合 成 平 均 脸 的 方 法 一 样, 只 是 所 使 用 的 权 值 有 所 不 同 改 变 了 背 景 源 后, 将 得 到 图 5-4 (d) 的 结 果 到 了 这 里, 背 景 嵌 入 的 步 骤 完 成, 所 得 到 的 平 均 脸 图 像 已 经 较 为 自 然 24

33 第 五 章 平 均 脸 的 后 处 理 5.2 对 比 度 提 升 观 察 图 4-6 (d) 图 4-7 及 图 5- 中 的 各 图 像, 不 难 发 现, 各 平 均 脸 图 像 的 色 泽 均 较 为 黯 淡, 动 态 范 围 比 较 窄 因 此 在 本 节, 我 们 考 虑 对 得 到 的 图 像 进 行 对 比 度 提 升, 以 增 强 其 动 态 范 围 在 这 里, 我 们 采 用 了 一 种 较 为 简 单 的 自 动 对 比 度 提 升 方 法 进 行 图 像 增 强 [2], 首 先 遍 历 平 均 脸 图 像 中 的 每 一 个 点, 寻 找 出 整 幅 图 像 中 最 大 的 灰 度 值 r max 及 最 小 灰 度 值 r min ( 对 于 RGB 图 像, 每 个 像 素 对 应 的 灰 度 值 为 各 个 通 道 数 值 的 平 均 值 ) 设 图 像 上 某 像 素 p 的 灰 度 为 I p, 在 图 像 增 强 过 程 中, 我 们 使 其 灰 度 值 变 为 : 图 5-4 自 动 对 比 度 提 升 I p ( I p r min ) r max S r min (5.) 其 中 S 为 图 像 中 像 素 各 通 道 的 最 大 值 ( 对 24 位 RGB 像 素 来 说,S 的 值 为 255), 在 处 理 一 个 像 素 时, 我 们 需 要 对 该 像 素 的 各 个 通 道 都 按 照 式 (5.) 进 行 设 置 ( 灰 度 图 像 除 外 ) 经 过 此 步 骤, 我 们 便 使 所 得 到 的 平 均 脸 图 片 上 的 灰 度 值 扩 展 到 0 到 S- 的 整 个 有 效 范 围 了 图 5-4 由 图 5-3 (d) 经 过 自 动 对 比 度 提 升 处 理 而 得 至 此, 平 均 脸 的 计 算 就 完 成 了, 也 得 到 了 较 为 真 实 自 然 的 平 均 脸 图 像 5.3 本 章 小 结 本 章 介 绍 了 在 得 到 初 步 的 平 均 脸 结 果 后, 如 何 对 其 进 行 后 期 处 理, 以 使 其 更 为 美 观 自 然 对 平 均 脸 图 像 的 后 期 处 理 包 括 有 背 景 嵌 入 及 自 动 对 比 度 提 升 两 步 在 背 景 嵌 入 中, 又 包 括 了 对 人 脸 轮 廓 的 拟 合 背 景 源 的 计 算 人 脸 区 域 与 背 景 源 叠 加 这 几 步, 而 自 动 对 比 度 提 升 则 比 较 简 单 如 图 2-5 所 示, 在 我 们 的 实 现 中, 用 户 既 可 以 从 选 定 的 图 像 集 中 再 选 择 一 幅 图 片 作 为 平 均 脸 结 果 的 主 要 背 景 源, 也 可 以 选 择 在 平 均 脸 结 果 中 只 查 看 人 脸 区 域, 或 者 直 接 将 没 有 经 过 背 景 嵌 入 处 理 的 图 像 呈 现 给 用 户, 因 此 背 景 嵌 入 这 个 步 骤 是 可 选 的 25

34 电 子 与 信 息 学 院 学 士 学 位 论 文 第 六 章 数 据 库 及 平 均 脸 网 站 的 实 现 6. 网 站 用 户 及 人 脸 图 像 数 据 库 的 设 计 及 实 现 经 过 了 前 几 章 的 介 绍, 一 套 较 为 完 整 的 平 均 脸 计 算 框 架 已 经 被 建 立 起 来 了, 然 而, 为 了 让 平 均 脸 算 法 能 够 运 行 起 来 并 最 大 限 度 地 发 挥 其 性 能, 我 们 必 须 为 其 设 计 友 好 的 人 机 界 面, 还 要 为 其 提 供 大 量 人 脸 图 片 作 为 素 材 因 此, 在 本 章 我 们 考 虑 如 何 制 作 一 个 界 面 友 好 易 用 的 平 均 脸 网 站, 并 建 立 相 应 的 后 台 数 据 库 供 网 站 及 平 均 脸 程 序 调 用 实 际 上, 在 我 们 实 现 本 设 计 时, 最 先 制 作 出 来 的 是 平 均 脸 网 站 及 相 应 的 数 据 库 而 非 平 均 脸 的 计 算 程 序, 因 为 只 有 先 把 人 机 界 面 及 数 据 库 建 立 好 了, 才 能 够 方 便 地 对 平 均 脸 程 序 进 行 开 发 及 调 试 然 而, 考 虑 到 平 均 脸 算 法 是 本 设 计 的 核 心 内 容, 因 此 本 文 把 关 于 计 算 平 均 脸 的 介 绍 安 排 在 前 几 章, 并 对 其 进 行 了 非 常 详 尽 的 说 明 ; 相 对 地, 关 于 网 站 及 数 据 库 的 介 绍, 则 安 排 在 本 章 内 进 行 简 要 的 说 明 本 节 将 介 绍 如 何 实 现 用 于 管 理 人 脸 图 像 及 网 站 用 户 信 息 的 数 据 库 根 据 本 项 目 的 需 要, 我 们 在 SQL Server 2005 中 建 立 了 一 个 数 据 库 FASDatabase (FAS 指 的 是 Face Average System, 人 脸 合 成 系 统 ) 在 该 图 6- 本 设 计 的 数 据 库 关 系 图 数 据 库 中 有 两 个 数 据 表, 一 个 表 用 于 存 储 网 站 的 用 户 信 息, 另 一 个 表 存 储 了 人 脸 图 像 的 相 关 信 息 如.4.2 节 所 述, 由 于 平 均 脸 网 站 将 是 基 于 用 户 账 户 的 机 制 的, 因 此 需 要 一 个 数 据 表 对 各 用 户 的 信 息 进 行 存 储 这 里 我 们 创 建 了 一 个 名 为 users 的 表 格, 其 中 有 四 个 字 段 : user_name password register_date 及 level, 分 别 用 于 存 储 用 户 名 密 码 注 册 日 期 及 用 户 权 限,user_name 是 该 表 格 的 主 键 另 一 方 面, 网 站 也 需 要 一 个 表 格 来 存 储 人 脸 图 像 的 属 性 及 特 征 点 信 息, 于 是 我 们 建 立 了 表 格 images, 有 下 列 字 段 :id owner attribute feature_points_x feature_points_y 及 description, 分 别 存 储 了 图 像 的 id( 主 键 ) 拥 有 者 的 id 图 像 属 性 ( 包 括 了 吸 引 力 年 龄 性 别 种 族 的 信 息 ) 各 特 征 点 的 x 坐 标 各 特 征 点 的 y 坐 标, 以 及 对 图 像 的 简 短 描 述 为 了 避 免 在 删 除 某 一 用 户 后 images 表 中 还 存 有 被 删 用 户 的 图 片 信 息, 我 们 在 表 images 的 owner 字 段 与 表 users 的 user_name 字 段 之 间 建 立 了 关 联 图 6- 为 这 两 个 表 格 的 数 据 库 关 系 图 实 际 上, 我 们 希 望 在 网 站 的 实 现 中, 能 够 根 据 某 一 用 户 的 权 限 确 定 其 可 以 进 行 的 操 作 ( 如 超 级 用 户 可 以 对 其 余 所 有 用 户 及 图 片 进 行 管 理, 游 客 则 不 可 以 上 传 图 片 等 ), 尽 管 此 部 26

35 第 六 章 数 据 库 及 平 均 脸 网 站 的 实 现 分 的 功 能 还 没 有 被 完 全 实 现, 但 是 users 表 的 level 字 段 为 日 后 完 全 地 实 现 权 限 机 制 提 供 了 一 个 接 口 在 images 表 中, 我 们 存 储 特 征 点 信 息 时, 并 没 有 采 用 按 点 进 行 存 储 的 方 式, 而 是 将 所 有 特 征 点 的 x 坐 标 及 y 坐 标 分 开 成 两 个 字 段 ( 这 两 个 字 段 为 varchar(80) 类 型, 使 用 三 位 字 符 保 存 一 个 坐 标 值, 因 此 最 多 可 以 存 储 60 个 特 征 点 ) 进 行 存 储, 这 样 做 是 为 了 方 便 程 序 的 维 护, 使 得 在 后 续 的 改 动 中 增 删 特 征 点 数 量 时 不 需 要 对 数 据 表 重 新 进 行 定 义 此 外, 在 存 储 人 脸 图 像 的 年 龄 吸 引 力 评 分 性 别 及 种 族 信 息 时, 我 们 并 没 有 为 这 些 属 性 单 独 地 设 立 一 个 字 段 ; 相 反 地, 我 们 把 这 些 图 像 信 息 都 集 中 到 一 个 varchar(50) 字 符 串 字 段 attribute 中, 同 样 地, 这 种 做 法 将 使 数 据 表 的 定 义 更 为 灵 活, 有 助 于 后 续 的 更 改 及 维 护 如.4.2 节 所 述, 在 对 数 据 库 进 行 查 询 时, 设 计 采 用 了 LINQ 的 方 式 而 非 传 统 的 SQL 查 询 方 式 为 了 将 所 有 对 数 据 库 进 行 操 作 的 方 法 集 中 到 一 起, 使 设 计 的 结 构 更 为 清 晰, 这 里 实 现 了 一 个 静 态 类 FASDatabaseHandler, 这 个 类 包 含 了 大 量 的 公 有 方 法 ( 如 图 6-2), 这 些 方 法 有 对 users 表 格 进 行 操 作 ( 如 创 建 用 户 用 户 登 录 检 查 等 ) 及 对 images 表 进 行 操 作 ( 如 添 加 删 除 修 改 及 获 取 图 片 信 息 等 ) 两 大 类 采 用 LINQ 的 方 式 对 数 据 库 进 行 查 询, 可 以 有 效 地 结 合.NET Framework 的 优 势, 使 得 开 发 的 过 程 更 为 快 速 高 效 例 如, 下 面 三 行 代 码 来 自 方 法 IsUserExist(), 其 用 于 在 用 户 进 行 注 册 时 判 断 给 定 的 用 户 名 字 符 串 图 6-2 对 数 据 库 进 行 的 操 作 stringusername 是 否 已 经 被 占 用 : var result = from user in database.users where (user.user_name == stringusername) select user; 通 过 这 三 行 C# 代 码, 就 可 以 找 出 所 有 以 stringusername 为 名 字 的 用 户, 再 调 用 方 法 result.count(), 便 可 得 到 其 用 户 数 量, 这 样 就 可 以 判 断 出 指 定 的 用 户 名 是 否 已 被 占 用 了 可 见 LINQ 的 查 询 方 式 使 用 简 单 有 着 其 独 特 的 优 势 值 得 说 明 的 是, 数 据 库 中 的 images 表 格 仅 仅 保 存 了 各 图 片 的 相 关 信 息, 而 没 有 图 片 本 身 为 了 存 放 人 脸 图 片, 我 们 在 网 站 的 根 目 录 下 建 了 一 个 专 门 的 图 像 文 件 夹, 并 将 所 有 上 传 的 图 片 都 放 在 此 文 件 夹 中 各 图 片 均 以 其 在 数 据 库 中 的 id 命 名, 且 存 为 Jpeg 格 式 因 此, 只 需 要 将 图 片 的 id 及 的 相 对 路 径 的 字 符 串 相 加 便 可 以 得 到 图 片 的 物 理 路 径, 从 而 读 取 图 片 的 内 容 27

36 电 子 与 信 息 学 院 学 士 学 位 论 文 6.2 平 均 脸 网 站 的 设 计 与 实 现 在 对 数 据 库 部 分 的 实 现 进 行 了 简 要 的 介 绍 后, 本 节 将 对 平 均 脸 网 站 的 实 现 进 行 说 明 平 均 脸 网 站 的 实 现 是 基 于 ASP.NET 3.5 的, 其 中 使 用 了 大 量 ASP.NET 服 务 器 控 件, 网 站 的 运 行 依 赖 于 微 软 的 IIS 另 外, 网 站 中 还 用 到 了 HTML CSS JavaScript 等 语 言, 以 充 分 实 现 需 要 的 功 能 我 们 的 平 均 脸 网 站 希 望 实 现 如 下 效 果 : 每 个 用 户 都 可 以 在 网 站 上 注 册 自 己 的 账 户, 在 注 册 并 登 陆 后, 用 户 可 以 上 传 自 己 喜 欢 的 图 片 为 了 让 上 传 的 图 片 可 以 用 于 计 算 平 均 脸, 用 户 必 须 输 入 图 片 的 分 类 信 息 ( 吸 引 力 评 分 年 龄 等 ), 之 后 用 户 要 为 图 片 指 定 特 征 点 ( 共 43 个 ) 此 后, 图 片 的 分 类 信 息 及 特 征 点 坐 标 将 会 保 存 在 数 据 库 中, 供 计 算 平 均 脸 使 用 另 外, 在 计 算 平 均 脸 时, 用 户 可 以 根 据 图 片 的 分 类 信 息 筛 选 出 需 要 的 图 片 类 别, 并 选 择 需 要 的 图 片 计 算 平 均 脸 ( 每 次 合 成 最 多 可 以 选 择 00 张 图 片 ) 当 选 择 的 图 片 数 量 仅 为 两 张 时, 用 户 可 以 单 独 地 为 每 张 图 片 指 定 权 值 ; 当 选 择 的 图 片 数 量 多 于 两 张 时, 用 户 可 以 从 选 择 的 图 片 集 中 再 选 择 一 张, 并 为 此 图 片 指 定 权 值, 而 其 余 图 片 将 等 分 余 下 的 百 分 比 当 然, 用 户 也 可 以 选 择 将 所 有 图 片 等 比 例 地 合 成 在 为 图 片 指 定 了 权 值 后, 便 跳 转 至 结 果 页 面, 计 算 平 均 脸 并 将 结 果 呈 现 给 用 户 在 结 果 页 面 上, 还 可 以 让 用 户 从 选 定 的 图 片 集 中 再 选 择 一 张, 并 根 据 选 择 的 图 片 计 算 背 景 源 嵌 入 到 平 均 脸 中 ( 如 5. 节 所 述 ) 在 对 图 片 进 行 管 理 时, 用 户 可 以 查 看 图 片 的 详 情 重 新 指 定 其 特 征 点 重 新 录 入 图 片 分 类 信 息, 甚 至 删 除 图 片 因 此, 本 网 站 中, 需 要 制 作 出 多 个 页 面 并 实 现 多 项 功 能, 如 用 户 登 录 注 册 选 择 人 脸 图 片 指 定 图 片 权 值 上 传 图 片 特 征 点 指 定 等, 为 便 于 管 理, 我 们 把 众 多 的 页 面 分 成 了 五 类, 并 存 放 在 5 个 文 件 夹 中 如 图 6-3, 从 上 到 下 分 别 存 放 了 与 平 均 脸 计 算 相 关 的 页 面 ( 图 片 选 择 权 值 指 定 查 看 结 果 等 ) 网 站 的 母 版 页 与 图 片 的 图 6-3 网 站 的 组 织 结 构 上 传 操 作 相 关 的 页 面 用 户 图 片 管 理 页 面, 及 验 证 ( 注 册 登 录 ) 页 面 通 常 地, 一 个 完 整 的 页 面 包 含 了 三 个 文 件 : 网 页 文 件 (*.asp) 后 台 代 码 文 件 (*.cs) 及 叠 层 样 式 表 文 件 (*.css), 个 别 页 面 还 会 有 JavaScript 代 码 文 件 (*.js) 由 于 本 网 站 页 面 较 多, 下 面 主 要 介 绍 较 有 代 表 性 的 图 片 选 择 页 面 特 征 点 指 定 页 面 及 结 果 查 看 页 面, 其 余 页 面 可 采 用 类 似 的 思 路 及 方 式 实 现 在 人 脸 图 片 选 择 页 面 中, 我 们 希 望 让 用 户 可 以 按 照 人 脸 图 片 的 类 别 进 行 筛 选, 并 从 中 选 择 需 要 的 图 片 图 6-4 是 我 们 实 现 的 网 页 效 果, 其 中 左 上 侧 是 图 片 筛 选 面 板, 可 以 通 过 选 择 当 中 的 分 类 信 息 ( 年 龄 吸 引 力 性 别 及 人 种 ) 筛 选 图 片, 左 下 侧 是 操 作 面 板, 用 户 可 以 全 选 本 页 的 图 片 ( 共 40 张 ) 清 除 已 选 图 片 或 计 算 平 均 脸, 也 可 以 选 择 图 片 是 源 于 自 己 的 账 户 还 是 所 有 图 片, 这 样 用 户 就 可 以 方 便 地 从 自 己 的 账 户 中 选 择 想 要 的 人 脸 图 片 了 28

37 第 六 章 数 据 库 及 平 均 脸 网 站 的 实 现 页 面 右 侧 是 图 片 选 择 面 板, 单 击 图 片 就 可 以 对 其 进 行 选 择, 再 次 单 击 就 可 以 取 消 选 择 点 击 图 片 右 上 角 的 查 看 详 情 标 签, 用 户 可 以 进 一 步 查 看 该 图 片 的 分 来 信 息 特 征 点 分 布 等 细 节 在 当 前 的 实 现 中, 我 们 对 图 片 进 行 的 分 类 方 式 如 下 : 年 龄 段 我 们 分 为 儿 童 少 年 青 年 中 年 及 老 年 5 类 ; 吸 引 力 我 们 按 从 分 到 5 分 共 5 个 等 级 评 价, 其 中 分 数 越 高 吸 引 力 也 越 高 人 种 按 照 黄 种 人 白 种 人 黑 种 人 及 混 血 儿 分 类 ; 最 后 还 有 按 性 别 进 行 分 类 在 实 现 此 网 页 时, 右 侧 的 图 片 选 择 面 图 6-4 图 片 选 择 页 面 板 采 用 的 是 ASP.NET 的 DataList 控 件, 左 侧 的 筛 选 面 板 中, 正 是 采 用 了 6. 节 介 绍 的 LINQ 查 询 方 式 对 图 片 进 行 筛 选, 筛 选 面 板 及 操 作 面 板 中 采 用 了 大 量 LinkButton 控 件 页 面 用 CSS 叠 层 样 式 表 进 行 布 局, 并 以 不 同 的 素 材 作 为 网 页 元 素 的 背 景, 使 其 呈 现 出 一 种 简 约 而 具 有 时 代 感 的 风 格 实 际 上, 为 了 便 于 开 发 且 统 一 网 站 的 风 格, 我 们 为 平 均 脸 网 站 的 所 有 页 面 制 作 了 一 个 母 版 页, 它 为 网 站 的 页 面 提 供 了 美 观 的 页 眉 页 脚 ; 我 们 也 在 其 CSS 文 件 中 实 现 了 一 种 类 似 于 窗 口 风 格 的 块 状 元 素 呈 现 方 式, 每 个 窗 口 均 拥 有 独 立 的 标 题 元 素 及 窗 口 内 容 元 素 ( 如 图 6-4 的 各 个 面 板 ) 由 于 该 CSS 文 件 是 属 于 母 版 页 的, 因 此 这 种 窗 口 风 格 的 CSS 类 可 以 供 各 个 页 面 调 用, 使 得 每 个 页 面 的 内 容 都 以 窗 口 的 方 式 呈 现 至 于 特 征 点 指 定 方 面, 由 于 要 求 各 特 征 点 必 须 由 用 户 按 照 一 定 的 顺 序 录 入, 因 此 这 里 我 们 再 次 利 用 到 前 文 所 提 及 的 人 脸 特 征 点 模 板, 如 图 6-5 所 示 我 们 将 需 要 指 定 的 特 征 点 在 右 侧 的 特 征 点 模 板 上 按 顺 序 地 显 示 出 来, 通 过 这 样 的 方 式 引 导 用 户 逐 个 地 在 左 侧 上 传 的 图 片 中 指 定 特 征 点 位 置 我 们 将 已 经 指 定 了 的 特 征 点 标 记 为 绿 色, 对 当 前 指 定 的 点 标 记 为 黄 色 此 外, 网 页 上 还 为 用 户 提 供 了 取 消 一 点 重 新 指 定 返 回 这 些 常 用 功 能 当 用 户 把 所 有 特 征 点 都 指 定 完 毕 后, 网 站 将 把 特 征 图 6-5 特 征 点 指 定 页 面 点 数 据 存 进 数 据 库 中, 供 计 算 平 均 脸 使 用 在 这 里, 为 了 实 现 逐 点 指 定 特 征 点, 在 页 面 的 左 侧 我 们 使 用 了 ImageButton 控 件, 右 29