第 36 卷 第 5 期 2016 年 5 月 北 京 理 工 大 学 学 报 TransactionsofBeijingInstituteofTechnology Vol.36 No.5 May2016 基 于 自 动 提 取 特 征 点 的 三 维 人 脸 表 情 识 别 岳 雷, 沈 庭 芝 ( 北 京 理 工 大 学 信 息 与 电 子 学 院, 北 京 100081) 摘 要 : 为 实 现 完 全 自 动 的 人 脸 表 情 识 别, 提 出 一 种 基 于 自 动 提 取 三 维 及 二 维 特 征 点 的 三 维 人 脸 表 情 识 别 算 法. 该 算 法 采 用 在 三 维 点 云 深 度 图 像 以 及 三 维 点 云 对 应 的 二 维 特 征 图 像 上 分 别 自 动 获 得 特 定 特 征 点, 并 将 非 点 云 上 获 得 的 特 征 点 映 射 回 三 维 点 云 以 获 得 全 部 需 用 特 征 点 的 方 法. 基 于 这 些 自 动 获 取 的 特 征 点 得 到 三 维 欧 氏 距 离 组 成 25 维 特 征 向 量 以 待 分 类. 通 过 运 用 支 持 向 量 机 作 为 分 类 器, 取 得 了 平 均 87.1% 的 6 种 基 本 表 情 的 分 类 结 果, 其 中 惊 讶 开 心 表 情 的 分 类 结 果 分 别 达 到 了 92.3% 和 91.7%. 关 键 词 : 三 维 表 情 识 别 ; 三 维 特 征 点 ; 三 维 欧 氏 距 离 ; 支 持 向 量 机 中 图 分 类 号 :TP37 文 献 标 志 码 :A 文 章 编 号 :1001-0645(2016)05-0508-06 DOI:10.15918/j.tbit1001-0645.2016.05.013 3DExpressionRecognitionBasedonAutomaticaly DetectedFacialPoints YUELei, SHEN Tingẕhi (SchoolofInformationandElectronics,BeijingInstituteofTechnology,Beijing100081,China) Abstract:Inordertodealwithautomaticfacialexpressionrecognitiontask,a3Dfacialexpression recognitionalgorithm wasproposedbasedonautomaticalydetectedfiducialpointsfrom3d mesh models,rangeimagesandthecorresponding2dfeatureimages.first,thefiducialpointswere automaticalydetectedonthe3d mesh models,rangeimagesandthecorresponding2dfeature images.andsomefiducialpointsgotfrom noṉmesh models were mappedbackto3d mesh modelstogetfulfiducialpoints.then,euclidiandistancesbetweenthesefiducialpointswere extractedasfeaturetofeedthesvm classifier.comparedwithtwostate-ofṯhe-artalgorithms, theclassificationresultsshowthatthefulyautomaticalgorithmcanachievehighlycompetitive classificationrate.theaveragerecognitionratewas87.1%,especialytherecognitionratefor surpriseandhappinessexpressionwere92.3% and91.7% respectively. Key words:3d expression recognition;3d fiducial point;3d Euclidian distance;support vectormachine 人 脸 表 情 所 传 递 的 信 息 在 人 与 人 的 日 常 交 流 中 占 据 着 异 常 重 要 的 地 位.Mehrabian [1] 提 到, 表 情 在 人 们 的 日 常 沟 通 中 扮 演 着 最 重 要 的 角 色 : 大 约 55% 有 效 的 沟 通 需 要 借 助 于 表 情,38% 通 过 语 调 表 达, 而 只 有 7% 才 是 所 说 的 语 言. 同 时, 人 脸 表 情 识 别 亦 是 人 工 智 能 的 一 个 重 要 分 支 和 应 用, 是 实 现 很 多 应 用 的 基 础, 例 如 人 机 交 互 和 对 于 人 类 行 为 的 社 会 学 分 析. 对 于 人 类 表 情 的 研 究 可 以 追 溯 到 1872 年 达 尔 [2] 文 发 表 的 文 章 : 人 类 和 动 物 情 感 的 表 达. 在 该 文 中 达 尔 文 指 出 任 何 国 籍 和 种 族 的 人 类 都 使 用 相 同 的 表 情 来 表 达 同 样 的 情 感. 基 于 此,PaulEkman [3] 提 收 稿 日 期 :2014 03 05 基 金 项 目 : 国 家 自 然 科 学 基 金 资 助 项 目 (60772066) 作 者 简 介 : 岳 雷 (1983 ), 男, 博 士,E-mail:napoylei@163.com.
第 5 期 岳 雷 等 : 基 于 自 动 提 取 特 征 点 的 三 维 人 脸 表 情 识 别 509 出 了 6 种 基 本 表 情, 即 : 气 愤 厌 恶 恐 惧 高 兴 沮 丧 和 吃 惊. 此 后,Ekman 又 和 Friesen [4] 共 同 提 出 了 被 广 泛 运 用 的 人 脸 运 动 单 元 编 码 系 统 (facialaction unitcodingsystem,facs). 现 今,FACS 已 经 成 为 了 系 统 的 分 析 和 表 征 人 脸 表 情 的 标 准, 并 广 泛 运 用 于 心 理 学 分 析 和 动 画 制 作 领 域.FACS 共 定 义 了 46 个 不 同 的 运 动 单 元 (AU). 通 过 运 用 不 同 运 动 单 元 (AU) 的 组 合, 编 码 员 可 以 手 动 编 辑 几 乎 所 有 人 类 可 以 做 出 的 表 情. 虽 然 FACS 在 表 征 人 类 表 情 上 非 常 有 效, 但 是 在 视 频 或 者 连 续 三 维 点 云 序 列 中 逐 帧 手 动 标 注 AU 组 合 却 是 既 费 时 又 费 力 的 工 作, 而 且 无 法 做 到 自 动 的 对 于 表 情 的 识 别. 从 20 世 纪 80 年 代 开 始, 很 多 学 者 发 表 文 章 致 力 于 自 动 人 脸 表 情 识 别 的 研 究. 但 是 绝 大 部 分 的 工 作 都 是 基 于 二 维 图 像 或 者 图 像 序 列 ( 视 频 ) 的 研 究, 直 到 3D-BUFE [5] 数 据 库 的 公 开 发 布. 基 于 此 数 据 库, 学 者 们 已 经 发 表 了 大 量 的 文 章, 其 中 一 些 也 取 得 [6] 了 十 分 理 想 的 表 情 分 类 结 果, 例 如 HaoTang 等 在 文 章 中 提 到 的 结 果. 但 是,Tang 等 使 用 了 数 据 库 中 手 动 标 注 的 83 个 特 征 点 中 的 23 个 来 提 取 特 征, 无 法 做 到 自 动 的 表 情 分 类. 故 本 文 提 出 了 基 于 自 动 提 取 人 脸 特 征 点 的 表 情 分 类 识 别 算 法, 其 中 12 个 特 征 点 从 三 维 点 云 及 其 对 应 的 深 度 图 像 上 自 动 获 得 ; 由 于 数 据 库 点 云 分 辨 率 和 特 征 提 取 难 度 等 原 因, 另 外 8 个 特 征 点 由 数 据 库 中 对 应 于 点 云 的 二 维 特 征 图 像 获 得 并 映 射 回 三 维 点 云. 1 特 征 点 自 动 提 取 人 脸 表 情 识 别 是 人 工 智 能 的 一 个 重 要 分 支 和 应 用, 需 实 现 完 全 自 动 识 别. 而 目 前 一 些 用 于 表 情 识 别 的 特 征 点 却 难 于 在 三 维 点 云 上 自 动 获 取. 故 采 用 在 三 维 点 云 深 度 图 像 以 及 三 维 点 云 对 应 的 二 维 特 征 图 像 上 分 别 自 动 获 得 20 个 特 征 点, 并 将 非 点 云 上 获 得 的 特 征 点 映 射 回 三 维 点 云 以 获 得 全 部 需 用 特 征 点 的 方 法, 并 基 于 这 些 自 动 获 取 的 特 征 点 得 到 25 维 欧 氏 距 离 作 为 特 征 向 量 使 用 支 持 向 量 机 (SVM) 进 行 分 类. 算 法 流 程 图 如 图 1 所 示. 需 要 提 取 的 20 个 特 征 点 如 图 2 所 示, 其 中 鼻 尖 鼻 翼 端 点 嘴 角 上 下 嘴 唇 下 巴 左 右 眼 角 等 12 个 特 征 点 由 三 维 点 云 及 其 对 应 的 深 度 图 像 获 得 ; 眉 毛 端 点 和 上 下 眼 皮 中 点 等 8 个 点 由 二 维 特 征 图 像 中 获 得. 图 1 算 法 流 程 图 Fig.1 Algorithmflowchart 图 2 20 个 自 动 提 取 的 特 征 点 Fig.2 20fiducialpoints 1.1 三 维 特 征 点 的 提 取 1.1.1 鼻 尖 点 通 过 一 个 连 续 的 过 程 来 获 得 三 维 点 云 上 的 12 个 特 征 点. 首 先 是 鼻 尖, 由 于 3D-BUFE 数 据 库 中 的 人 脸 三 维 点 云 都 有 严 格 的 坐 标 限 定, 即 采 集 实 验 者 人 脸 点 云 时 人 脸 与 正 对 的 三 维 摄 像 机 连 线 并 指 向 摄 像 机 方 向 为 Z 轴 正 方 向, 与 其 垂 直 平 面 为 X 轴 Y 轴 所 在 二 维 平 面, 并 且 水 平 方 向 为 X 轴, 向 右 为 X 轴 正 方 向, 竖 直 向 上 为 Y 轴 正 方 向. 坐 标 轴 定 义 如 图 3 所 示 ( 点 云 上 的 坐 标 原 点 并 不 一 定 在 图 示 图 3 三 维 点 云 坐 标 轴 定 义 Fig.3 Coordinationsystemofthe3D meshmodel
510 北 京 理 工 大 学 学 报 第 36 卷 处 ). 故 由 人 脸 解 剖 学 可 知, 人 脸 正 面 最 高 点, 即 Z 轴 数 值 最 大 点 即 为 大 体 鼻 尖 坐 标. 出 于 准 确 性 考 虑, 提 取 Z 轴 坐 标 最 大 点 及 其 邻 接 各 点 的 三 维 坐 标, 取 平 均 以 获 取 更 加 准 确 的 鼻 尖 三 维 坐 标. 1.1.2 鼻 翼 端 点 提 取 鼻 翼 两 侧 定 义 鼻 子 宽 度 的 两 个 点. 这 两 个 点 是 在 一 个 以 鼻 尖 为 中 心 的 42mm 50mm 的 矩 形 内 搜 索 得 来. 选 择 这 个 大 小 的 搜 索 区 域 是 基 于 Farkas [7] 在 著 作 中 提 到 的 关 于 成 年 男 性 鼻 子 高 度 和 宽 度 的 均 值 和 标 准 差 而 确 定 的. 成 年 男 性 的 鼻 子 宽 度 ( μ =35mm,σ=2.5mm) 和 高 度 ( μ =53mm,σ= 3.4mm) 比 成 年 女 性 都 要 大, 故 选 取 了 以 上 数 值 为 搜 索 区 域. 在 这 个 搜 索 区 域 中 使 用 Laplacianof Gaussian 边 缘 检 测 算 法 在 点 云 对 应 的 深 度 图 像 (rangeimage) 上 提 取 鼻 子 边 缘. 由 于 鼻 子 相 对 人 脸 曲 面 比 较 突 兀, 故 可 以 非 常 准 确 地 在 深 度 上 提 取 鼻 子 边 缘. 并 由 鼻 尖 点 坐 标 向 左 右 水 平 方 向 搜 索 鼻 子 边 缘 最 远 点 即 为 左 右 鼻 翼 点, 如 图 4 所 示. 个 内 眼 角 的 水 平 搜 索 边 界 分 别 是 鼻 尖 X 轴 坐 标 prnx 以 及 (a lx,left +0.5 a lx,left -a lx,right ) 和 (a lx,left - 0.5 a lx,left-a lx,right ), 其 中 a lx,left 为 左 鼻 翼 点 X 轴 坐 标,a lx,right 为 右 鼻 翼 点 X 轴 坐 标. 两 内 眼 角 点 的 搜 索 区 域 及 GaussianCurvature 幅 度 如 图 5(a)5(b) 所 示. 在 此 区 域 内 的 PeakofGaussianCurvature 点 坐 标 即 为 内 眼 角 点 坐 标. 外 眼 角 点 的 提 取 类 似 于 内 眼 角 点, 搜 索 区 域 上 下 边 界 与 内 眼 角 点 相 同, 左 外 眼 角 点 搜 索 右 边 界 与 左 内 眼 角 点 搜 索 左 边 界 相 同, 左 边 界 为 左 内 眼 角 点 搜 索 左 边 界 左 移 两 内 眼 角 点 之 间 水 平 距 离. 右 外 眼 角 点 搜 索 边 界 与 左 外 眼 角 点 搜 索 边 界 类 似, 此 处 不 再 赘 述. 图 5 搜 索 区 域 及 高 斯 曲 率 幅 度 Fig.5 Innereyecornerpointsandsearchregion 图 4 鼻 尖 点 及 鼻 翼 点 Fig.4 Nosetipandtwoalanasitippoints 1.1.3 内 眼 角 点 和 外 眼 角 点 对 于 内 眼 角 点 和 外 眼 角 点, 通 过 定 位 Peakof GaussianCurvature 来 确 定. 首 先 确 定 内 眼 角 点 的 搜 索 区 域. 使 用 已 经 取 得 的 鼻 尖 鼻 翼 点 以 及 头 部 最 高 点 ( 此 点 即 为 每 个 人 脸 三 维 点 云 Y 值 最 大 点, 也 是 直 立 人 脸 最 上 方 点 ), 借 助 这 些 特 征 点 以 及 Farkas [8] 关 于 普 通 成 年 人 面 部 比 例 的 理 论 : 对 于 一 个 普 通 成 年 人, 其 内 眼 角 到 鼻 尖 的 竖 直 距 离 大 约 是 头 顶 到 鼻 尖 竖 直 距 离 的 0.3803 倍, 而 两 个 内 眼 角 之 间 的 距 离 与 两 个 鼻 翼 点 之 间 的 距 离 大 约 相 同. 基 于 以 上 特 征 点 和 理 论 确 定 搜 索 区 域 如 下 : 搜 索 区 域 上 边 界 为 (prny+0.3803 1.5 prny-v y ), 下 边 界 为 (prny+0.3803 0.33 prny-v y ), 其 中 prny 为 鼻 尖 的 Y 坐 标,v y 为 三 维 点 云 最 高 点 的 Y 坐 标. 两 1.1.4 上 下 嘴 唇 边 缘 中 点 及 下 巴 点 由 3D-BUFE 数 据 库 中 各 三 维 点 云 坐 标 系 定 义 及 人 体 解 剖 学 可 知, 自 鼻 尖 以 下 人 脸 侧 面 轮 廓 线 坐 标 的 Z 轴 高 度 将 先 降 低, 后 升 高 至 最 高 区 域 极 值 点, 即 上 嘴 唇 中 心 点 ; 再 降 低 后 升 高 至 区 域 极 值 点, 即 下 嘴 唇 中 心 点 ; 之 后 第 3 次 下 降 并 第 3 次 升 高 至 区 域 极 值 点, 即 为 下 巴 点. 故 经 过 数 据 库 中 每 个 点 云 上 自 动 获 取 的 鼻 尖 点 做 平 行 于 (y,z) 平 面 的 面, 并 取 其 与 人 脸 曲 面 相 交 线 鼻 尖 点 下 面 一 段 作 为 搜 索 曲 线. 首 先 对 此 曲 线 进 行 平 滑 处 理, 去 除 小 范 围 内 曲 线 升 降 所 引 起 的 噪 声 污 染, 并 依 上 文 提 到 的 选 取 3 个 Z 轴 坐 标 区 域 极 值 点 作 为 上 下 唇 边 缘 中 点 以 及 下 巴 点, 如 图 6 所 示. 图 6 上 下 唇 及 下 巴 点 Fig.6 Middletipsofupperandlowerlipsandtipofchin
第 5 期 岳 雷 等 : 基 于 自 动 提 取 特 征 点 的 三 维 人 脸 表 情 识 别 511 1.1.5 嘴 角 点 通 过 对 鼻 子 以 下 人 脸 Curvature( 曲 率 ) 的 测 量, 嘴 角 点 具 有 高 幅 度 的 正 MeanCurvature( 平 均 曲 率 ), 如 图 7 所 示, 故 选 取 此 区 域 平 均 曲 率 的 正 极 值 点 作 为 嘴 角 点. 左 右 嘴 角 点 的 搜 索 区 域 如 下 : 搜 索 区 域 上 边 界 为 鼻 尖 点 与 上 唇 中 点 连 线 中 点 坐 标, 下 边 界 为 下 唇 中 点 与 下 巴 点 连 线 中 点 坐 标. 左 嘴 角 点 搜 索 区 域 为 左 鼻 翼 点 横 坐 标 a lx,left 与 (a lx,left+0.7 a lx,left-a lx,right ) 之 间, 右 嘴 角 点 搜 索 区 域 为 右 鼻 翼 点 横 坐 标 a lx,right 与 (a lx,left -0.7 a lx,left -a lx,right ) 之 间. 点 云 映 射 过 来 的 右 眼 外 眼 角 点 为 起 始 点, 右 眼 内 眼 角 点 为 终 点 ; 使 用 文 献 [7] 中 所 提 出 的 链 表 的 方 法 从 起 始 点 开 始 搜 索 上 眼 皮 边 缘 并 终 止 与 右 眼 外 眼 角 点, 选 取 曲 线 上 横 坐 标 为 起 始 点 与 终 点 横 轴 坐 标 中 点 处 的 点 作 为 上 眼 皮 点, 如 图 8 所 示. 其 余 右 眼 下 眼 皮 点 与 左 眼 上 下 眼 皮 点 以 相 似 方 法 取 得. 图 8 右 眼 内 眼 角 点 外 眼 角 点 以 及 上 眼 皮 点 ( 中 间 点 ) Fig.8 Innerandoutercornersoftherighteyeand middlepoint ofuppereyelid 图 7 鼻 子 下 部 人 脸 区 域 平 均 曲 率 Fig.7 Meancurvatureoflowerface 1.2 二 维 特 征 图 像 上 特 征 点 的 提 取 由 于 3D-BUFE 数 据 库 中 点 云 的 分 辨 率 以 及 特 征 点 提 取 难 度 等 问 题, 选 择 在 每 个 人 脸 点 云 所 对 应 的 二 维 特 征 图 像 (2Dfeatureimage) 上 自 动 检 测 左 右 眼 上 下 眼 皮 中 心 点 以 及 左 右 眉 毛 内 外 边 界 点 等 8 个 特 征 点. 由 于 三 维 点 云 及 其 对 应 的 二 维 特 征 图 像 是 由 同 一 套 立 体 摄 影 系 统 同 时 采 集, 有 非 常 精 确 的 坐 标 对 应 关 系, 故 可 以 将 二 维 图 像 上 自 动 获 取 的 特 征 点 映 射 回 三 维 点 云, 并 将 其 与 上 一 节 提 到 的 自 动 获 取 的 其 他 12 个 特 征 点 一 起 提 取 三 维 欧 氏 距 离 向 量 作 为 特 征 进 行 分 类. 1.2.1 左 右 眼 上 下 眼 皮 中 心 点 [9] 运 用 严 超 等 提 到 的 水 平 和 竖 直 方 向 投 影 直 方 图 以 确 定 眼 睛 区 域 以 及 使 用 链 表 来 定 位 眼 皮 曲 线 的 方 法, 首 先 确 定 出 眼 睛 在 二 维 图 像 上 的 大 体 方 位 即 眼 睛 区 域. 然 后, 使 用 二 次 微 分 算 子 计 算 眼 睛 区 域 的 灰 度 梯 度, 此 过 程 中 包 括 平 滑 去 噪 计 算 梯 度 以 及 二 值 化 再 次 去 噪, 如 此 得 到 眼 睛 区 域 的 二 值 图 像. 之 后 由 二 次 微 分 后 的 图 像 搜 索 出 上 眼 皮 曲 线. 步 骤 如 下 : 确 定 起 始 点 与 终 点, 以 右 眼 为 例, 选 取 由 三 维 1.2.2 左 右 眉 毛 内 外 边 界 点 最 后 是 左 右 眉 毛 的 内 边 缘 点 以 及 外 边 缘 点 的 检 测. 首 先 确 定 搜 索 区 域, 左 右 眉 毛 的 搜 索 下 边 界 分 别 为 上 一 步 中 检 测 到 的 左 右 上 眼 皮 点 的 纵 坐 标 上 移 10 像 素 ; 上 边 界 为 下 边 界 向 上 搜 索 1.5 倍 眼 睛 内 角 点 和 眼 睛 外 角 点 横 坐 标 差 值 (1.5( e xx-e nx ), 其 中 e xx 为 外 眼 角 点 横 坐 标 ;e nx 为 内 眼 角 点 横 坐 标 ), 即 眼 睛 宽 度. 左 边 眉 毛 的 右 边 界 点 为 左 右 两 眼 内 角 点 横 坐 标 的 中 点, 此 边 界 亦 为 右 边 眉 毛 的 左 边 界 点. 而 左 边 眉 毛 的 左 边 界 点 为 其 右 边 界 点 向 左 搜 索 2 倍 的 眼 睛 宽 度 (2( e xx-e nx )); 同 理, 右 边 眉 毛 的 右 边 界 点 为 其 左 边 界 点 向 右 搜 索 2 倍 的 眼 睛 宽 度 (2( e xx-e nx )). 确 定 搜 索 区 域 后, 分 别 对 左 右 眉 毛 区 域 进 行 边 缘 检 测, 并 取 检 测 到 的 眉 毛 边 缘 的 左 右 边 界 点 为 所 需 眉 毛 内 外 边 界 点, 如 图 9 所 示. 图 9 右 边 眉 毛 边 缘 检 测 图 像 以 及 边 缘 点 Fig.9 Edgeofrighteyebrow,innerandouter 2 特 征 向 量 由 上 一 节 自 动 获 取 的 20 个 特 征 点, 选 取 25 个 点 与 点 之 间 的 三 维 欧 氏 距 离 组 成 25 维 向 量 作 为 特
512 北 京 理 工 大 学 学 报 第 36 卷 征, 如 表 1 所 示. 表 1 25 个 三 维 欧 氏 特 征 距 离 Tab.1 253DEuclidiandistancefeatures 特 征 特 征 描 述 ( 两 点 间 距 离 ) 1 右 眼 眉 毛 外 边 界 点 右 眼 眉 毛 内 边 界 点 2 左 眼 眉 毛 外 边 界 点 左 眼 眉 毛 内 边 界 点 3 右 眼 眉 毛 内 边 界 点 左 眼 眉 毛 内 边 界 点 4 右 眼 内 眼 角 点 左 眼 内 眼 角 点 5 右 眼 眉 毛 内 边 界 点 右 眼 内 眼 角 点 6 左 眼 眉 毛 内 边 界 点 左 眼 内 眼 角 点 7 右 眼 眉 毛 外 边 界 点 右 眼 外 眼 角 点 8 左 眼 眉 毛 外 边 界 点 左 眼 外 眼 角 点 9 右 眼 内 眼 角 点 右 眼 外 眼 角 点 10 左 眼 内 眼 角 点 左 眼 外 眼 角 点 11 右 上 眼 皮 中 点 右 下 眼 皮 中 点 12 左 上 眼 皮 中 点 左 下 眼 皮 中 点 13 右 眼 内 眼 角 点 右 鼻 翼 点 14 左 眼 内 眼 角 点 左 鼻 翼 点 13 右 眼 内 眼 角 点 右 鼻 翼 点 14 左 眼 内 眼 角 点 左 鼻 翼 点 15 右 眼 外 眼 角 点 右 嘴 角 点 16 左 眼 外 眼 角 点 左 嘴 角 点 17 右 鼻 翼 点 右 嘴 角 点 18 左 鼻 翼 点 左 嘴 角 点 19 鼻 尖 点 上 嘴 唇 中 点 20 上 嘴 唇 中 点 下 嘴 唇 中 点 21 下 嘴 唇 中 点 下 巴 点 22 右 嘴 角 点 下 巴 点 23 左 嘴 角 点 下 巴 点 24 鼻 尖 点 右 眼 内 眼 角 点 25 鼻 尖 点 左 眼 内 眼 角 点 之 所 以 选 择 距 离 向 量 作 为 特 征, 是 因 其 具 有 FACS 的 类 似 特 性, 如 FACS 中 的 一 号 ActionUnit (AU):InnerBrow Raiser, 就 可 以 表 征 为 眉 毛 内 边 界 点 和 内 眼 角 点 之 间 距 离 的 变 化 ( 表 1 中 特 征 5, 6); 第 12 号 AU LipCornerPuler, 可 以 表 征 为 嘴 角 点 与 鼻 翼 点 和 外 眼 角 点 之 间 距 离 的 变 化 ( 表 1 中 特 征 17,18 等 ). 类 似 做 不 同 表 情 时, 上 下 嘴 唇 终 点 之 间 距 离, 嘴 唇 中 点 以 及 鼻 尖 下 巴 点 之 间 的 距 离 也 会 做 出 相 应 改 变. 此 外, 为 了 精 确 起 见, 把 从 每 个 不 同 实 验 对 象 的 6 个 不 同 表 情 点 云 上 所 提 取 的 特 征 向 量 对 该 实 验 对 象 中 性 表 情 所 提 取 特 征 向 量 做 归 一 化, 得 到 最 终 用 于 分 类 的 25 维 特 征 向 量. 3 实 验 结 果 及 对 比 使 用 纽 约 州 立 大 学 宾 汉 姆 顿 分 校 的 3D-BUFE [5] 数 据 库 进 行 实 验. 该 数 据 库 涵 盖 了 100 个 实 验 对 象 的 脸 部 扫 描 点 云, 包 括 宾 汉 姆 顿 大 学 和 美 国 州 立 大 学 各 院 系 的 本 科 生 研 究 生 和 教 职 员 工 ( 比 如 心 理 学 艺 术 专 业 计 算 机 科 学 电 子 工 程 和 机 械 工 程 ), 但 大 部 分 的 实 验 对 象 是 心 理 学 专 业 的 本 科 生. 此 数 据 库 中 包 含 了 60% 的 女 性 和 40% 的 男 性, 他 们 分 别 来 自 不 同 的 人 种, 包 括 白 种 人 非 洲 裔 东 亚 裔 中 东 裔 和 南 美 拉 丁 裔 等. 每 个 实 验 对 象 都 在 三 维 扫 描 系 统 前 表 现 出 7 种 不 同 表 情 : 气 愤 厌 恶 恐 惧 高 兴 沮 丧 吃 惊 以 及 中 性 表 情 ( 即 什 么 表 情 都 不 做 ), 如 图 10 所 示. 除 了 中 性 表 情, 其 他 表 情 都 有 4 个 三 维 扫 描, 依 次 表 征 表 情 从 起 始 到 最 高 点. 因 此, 每 个 实 验 对 象 对 应 着 25 个 三 维 点 云, 该 数 据 库 一 共 包 括 2500 个 三 维 表 情 扫 描 数 据 和 各 个 点 云 对 应 的 二 维 特 征 图 像. 随 机 选 取 80 个 实 验 对 象 作 为 训 练 集, 另 外 的 20 个 对 象 作 为 验 证 集, 如 此 重 复 10 次, 以 10 次 结 果 的 平 均 值 为 最 终 的 分 类 实 验 结 果. 图 10 7 个 表 情 Fig.10 Sevenuniversalexpressions 获 得 数 据 库 中 每 个 三 维 点 云 所 对 应 的 25 维 特 征 向 量 后, 使 用 支 持 向 量 机 (SVM) [10] 作 为 分 类 器, 并 使 用 台 湾 大 学 林 智 仁 对 支 持 向 量 机 的 实 现 LIBSVM [11] 进 行 实 验. 实 验 结 果 及 与 HaoTang [6] [12] 和 Jun Wang 等 的 实 验 结 果 对 比 如 表 2 所 示. HaoTang 等 在 文 章 中 使 用 了 数 据 库 提 供 的 83 个 手 动 标 注 特 征 点 中 的 23 个 特 征 点 提 取 24 个 三 维 欧 氏 距 离 作 为 特 征 向 量, 并 使 用 了 NearestNeighbor, NaïveBayes 与 LDA 等 3 个 分 类 器 分 别 进 行 分 类, 其 中 NaïveBayes 的 平 均 分 类 结 果 最 优, 也 选 择 這
第 5 期 岳 雷 等 : 基 于 自 动 提 取 特 征 点 的 三 维 人 脸 表 情 识 别 513 个 分 类 器 的 分 类 结 果 作 为 比 较.Jun Wang 等 使 用 了 基 于 基 础 曲 率 (peak,ridge,saddle,hil,flat, ravine,pit) 为 特 征 的 特 征 提 取 算 法.hil 可 以 进 一 步 被 分 为 convexhil,concavehil,saddlehil 和 slopehil;saddle hil 又 可 以 进 一 步 被 分 解 为 concavesaddlehil 和 convexsaddlehil; 而 saddle 可 被 分 解 为 ridgesaddle 和 ravinesaddle, 因 此 一 共 12 种 基 础 曲 率. 他 们 根 据 人 脸 不 同 区 域 这 些 基 础 曲 率 的 分 布 规 律 作 为 特 征 实 行 分 类. 这 两 篇 文 章 中,HaoTang 等 的 文 章 需 要 手 动 标 注 的 特 征 点, 故 不 是 完 全 自 动 的 识 别 算 法, 而 Jun Wang 等 文 章 中 使 用 的 基 础 曲 率 是 自 动 计 算 得 来. 由 表 2 的 对 比 结 果 可 看 出 自 动 人 脸 表 情 识 别 算 法 几 乎 在 每 一 种 表 情 的 分 类 结 果 上 都 比 Jun Wang 等 的 自 动 分 类 结 果 优 异 ; 而 对 比 HaoTang 等 的 非 自 动 分 类 结 果, 实 验 结 果 也 在 厌 恶 恐 惧 高 兴 以 及 沮 丧 等 表 情 的 分 类 结 果 占 优. 表 2 Tab.2 识 别 率 对 比 本 文 实 验 结 果 与 HaoTang 等 和 JunWang 等 实 验 结 果 的 比 较 Ourexperimentsresultsandcomparison withjun WangandHaoTang sproposal 识 别 率 /% 生 气 厌 恶 恐 惧 高 兴 沮 丧 吃 惊 本 文 88.7 90.1 78.6 91.7 81.4 92.3 Jun Wang 80.0 80.4 75.0 95.0 80.4 90.8 HaoTang 91.7 90.0 75.8 90.8 80.0 97.5 4 结 论 提 出 了 一 种 自 动 检 测 3D+2D 特 征 点, 并 根 据 这 些 特 征 点 获 得 三 维 欧 氏 距 离 向 量 作 为 特 征 向 量 的 人 脸 表 情 识 别 算 法, 并 获 得 了 优 异 的 表 情 分 类 识 别 结 果. 但 是 仍 有 不 尽 如 人 意 的 地 方, 比 如 由 于 表 情 点 云 分 辨 率 以 及 相 关 的 技 术 限 制, 尚 无 法 在 点 云 中 自 动 获 取 全 部 特 征 点, 而 需 要 借 助 于 每 个 点 云 所 对 应 的 深 度 图 像 及 二 维 特 征 图 像. 下 一 步 将 尝 试 其 他 不 同 算 法 以 求 在 三 维 点 云 上 获 得 所 有 需 要 特 征 点, 以 摆 脱 二 维 图 像 的 束 缚. 其 次,FACS 的 AU 组 合 是 现 今 普 遍 认 为 最 准 确 的 表 情 描 述, 但 是 由 于 AU 数 量 众 多, 重 要 的 就 有 46 个 之 多. 而 各 个 表 情 又 是 由 这 些 AU 中 的 某 个 或 某 几 个 组 合 而 来, 所 以 检 测 难 度 巨 大. 一 个 受 过 专 业 训 练 的 人 员 需 要 花 费 大 量 的 时 间 才 能 人 工 标 注 各 个 表 情 的 AU 组 合. 故 计 算 机 自 动 识 别 各 个 AU 组 合 的 难 度 可 想 而 知. 虽 然 有 难 度, 但 由 于 此 6 种 表 情 所 需 要 的 AU 数 量 不 多, 并 且 可 以 由 一 些 自 动 检 测 特 征 点 的 移 动 向 量 来 表 征, 所 以 下 一 步 的 工 作 将 集 中 在 AU 检 测 上, 希 望 得 到 更 加 精 确 的 自 动 表 情 分 类 结 果. 参 考 文 献 : [1]Mehrabian A. Communication without words [J]. PsychologyToday,1968,2(4):53 56. [2]DarwinC.Theexpressionoftheemotionsin manand animals[m].new York:PhilosophicalLibrary,1872. [3]EkmanP.Universalsandculturaldiferencesinfacial expressionsofemotion[j].nebraska Symposium on Motivation,1971,19:207 282. [4]EkmanP,Friesen W.Facialactioncodingsystem:a techniqueforthemeasurementoffacialmovement[m]. PaloAlto:ConsultingPsychologistsPress,1978. [5]YinL,WeiX,Sun Y,etal.A 3Dfacialexpression databaseforfacialbehaviorresearch[c] Proceedingsof InternationalConferenceonAutomaticFaceandGesture Recognition. Southampton, UK: [s.n.], 2006: 211 216. [6]Hao T, Huang T.3D facialexpression recognition based on automaticaly selected features [C ] ProceedingsofIEEE Conferenceon Computer Vision and Patern Recognition.Anchorage, Alaska, USA: [s.n.],2008:1 8. [7]Farkas L.Anthropometryoftheheadandface[M]. New York:RavenPress,1994. [8]FarkasL.Anthropometricfacialproportionsinmedicine [M].[S.l.]:ThomasBooks,1987. [9] 严 超, 苏 广 大. 人 脸 特 征 的 定 位 与 提 取 [J]. 中 国 图 像 图 形 学 报,1998,3(5):375 380. Yan Chao,Su Guangda.Facialfeaturelocation and extractionfromfronṯviewimages[j].journalofimage andgraphics,1998,3(5):375 380.(inChinese) [10]CortesC,Vapnik V.Supporṯvectornetworks[J]. MachineLearning,1995,20:273 297. [11]ChangC,LinC.LIBSVM:alibraryforsupportvector machines [J]. ACM Transactions on Inteligent SystemsandTechnology,2011,27(2):1 27. [12]Wang J, Yin L, Wei X. 3D facial expression recognition based on primitive surface feature distribution[c] ProceedingsofIEEE Conferenceon ComputerVisionandPaternRecognition.New York: [s.n.],2006:1399 1406. ( 责 任 编 辑 : 刘 芳 )