摘 要 動 態 形 狀 模 型 (Active Shape Model, ASM) 已 經 成 功 的 被 應 用 在 臉 部 特 徵 點 定 位 上, 然 而 當 人 們 臉 部 有 著 誇 張 的 臉 部 表 情 變 化 時, 如 : 驚 訝 大 笑 和 挑 眉 等, 其 特 徵 點 定 位 的

中 華 大 學 碩 士 論 文 基 於 物 件 偵 測 和 動 態 模 型 之 串 接 式 臉 部 特 徵 點 定 位 方 法 Cascaded Facial Landmark Localization Based on Object Detection and Active Models 系 所 別 : 資 訊 工 程 學 系 碩 士 班 學 號 姓 名 :M09602035 許 廷 嘉 指 導 教 授 : 黃 雅 軒 博 士 中 華 民 國 九 十 九 年 八 月

摘 要 動 態 形 狀 模 型 (Active Shape Model, ASM) 已 經 成 功 的 被 應 用 在 臉 部 特 徵 點 定 位 上, 然 而 當 人 們 臉 部 有 著 誇 張 的 臉 部 表 情 變 化 時, 如 : 驚 訝 大 笑 和 挑 眉 等, 其 特 徵 點 定 位 的 結 果 仍 有 明 顯 的 誤 差 率 為 了 克 服 這 個 問 題, 我 們 提 出 串 接 式 多 階 段 的 臉 部 特 徵 點 定 位 方 法 第 一 階 段, 我 們 使 用 Adaboosting 學 習 演 算 法 來 定 位 臉 部 特 徵 點 中 較 有 明 顯 鑑 別 度 之 特 徵 點, 而 這 些 有 明 顯 鑑 別 度 的 特 徵 點 都 是 角 點 類 型 的 地 標 點, 如 左 右 內 眼 角 左 右 外 眼 角 左 右 內 眉 角 左 右 外 眉 角 和 左 右 嘴 角 等 共 10 個 點 並 於 第 一 階 段 做 此 10 個 角 點 的 動 態 形 狀 模 型 之 重 建 與 定 位, 來 獲 得 較 符 合 臉 部 幾 何 架 構 之 臉 部 特 徵 點 位 置 第 二 階 段, 我 們 根 據 第 一 階 段 所 定 位 的 臉 部 角 點 位 置, 重 新 初 始 化 臉 部 五 官 模 型 位 置, 再 根 據 地 標 點 變 動 的 分 布 情 形, 制 定 出 每 個 地 標 點 的 搜 尋 範 圍, 然 後 進 行 第 二 次 的 動 態 形 狀 模 型 的 重 建 與 定 位 經 由 實 驗 的 結 果 證 明, 我 們 所 提 出 的 臉 部 特 徵 點 定 位 方 法, 的 確 可 以 達 到 較 好 的 臉 部 特 徵 點 定 位 效 果 關 鍵 字 : 動 態 形 狀 模 型 臉 部 地 標 點 定 位 臉 部 特 徵 點 定 位 I

Abstract The active shape model (ASM) has been successfully applied to locate facial landmarks. However, in some exaggerated facial expressions, such as surprise, laugh and provoked eyebrows, it is prone to make mistaken detection. To overcome this difficulty, we propose a two-stage facial landmark detection algorithm. In the first stage, we focus on detecting the individual salient facial landmarks by applying a commonly-used Adaboosting-based algorithm, and then further apply a global ASM to refine the positions of these landmarks iteratively. All the salient facial landmarks are corner-type points, they are left/right eye inner and outer corners, left/right eyebrow inner and outer corners, and left/right mouth corners. From the 10 salient landmarks, a global active shape model of facial landmarks is constructed. In the second stage, the individual detection results of facial landmarks serve as the initial positions of active shape model. According to the distribution of facial landmark, different search ranges will be used. Experimental results demonstrate that the proposed method can achieve very good performance in locating facial landmarks and it consistently and considerably outperforms the traditional ASM method. Keywords: Active Shape Model, Facial Landmark Localization, Facial Feature Localization. II

致 謝 感 謝 指 導 教 授 黃 雅 軒 教 授, 在 我 研 究 所 的 學 習 生 涯 中, 對 我 耐 心 的 指 導 與 教 誨 不 論 是 從 觀 念 的 啟 迪 理 論 架 構 的 建 立 疑 問 的 解 析, 甚 至 論 文 的 竣 稿, 均 不 辭 辛 勞 的 指 正 與 不 厭 其 煩 地 逐 字 校 正 僅 此 致 上 最 誠 摯 的 敬 意 與 謝 忱 感 謝 鄭 芳 炫 教 授 於 專 業 知 識 上 的 指 導 與 建 議, 也 感 謝 賴 尙 宏 教 授 和 謝 君 偉 教 授 對 我 論 文 的 指 教, 並 提 供 寶 貴 的 意 見 讓 這 篇 論 文 更 加 完 善 僅 此 至 上 由 衷 的 謝 意 感 謝 實 驗 室 的 同 學 莊 順 旭 王 勻 駿 黃 偉 峰 郭 竹 宴 與 許 世 宗, 在 一 同 研 究 時 互 相 幫 助 和 砥 礪, 並 從 旁 提 供 了 我 寶 貴 的 建 議, 給 予 我 在 研 究 過 程 中 很 多 幫 助 還 有 感 謝 學 弟 李 允 善 陳 禹 仲 彭 國 達 周 炫 廷 與 廖 辛 隆, 在 許 多 方 面 的 協 助, 讓 我 能 更 快 速 的 完 成 研 究 最 後 感 謝 我 最 愛 的 家 人 與 親 戚 朋 友, 感 謝 他 們 給 我 的 關 心 支 持 與 鼓 勵 特 別 感 謝 我 的 父 母, 讓 我 在 就 學 期 間 不 用 擔 憂 生 活, 能 專 心 致 力 於 研 究 工 作 僅 以 此 文 獻 給 我 摯 愛 的 親 人 朋 友 III

目 錄 摘 要... I Abstract... II 致 謝... III 目 錄... IV 表 目 錄... VI 圖 目 錄... VII 第 一 章 緒 論... 1 1.1 研 究 背 景 與 動 機... 1 1.2 論 文 架 構... 3 第 二 章 相 關 研 究... 4 第 三 章 動 態 形 狀 模 型 (Active Shape Model) 介 紹... 8 3.1 基 本 定 義... 8 3.2 形 狀 對 齊... 9 3.3 形 狀 模 型 建 立... 11 3.4 特 徵 模 型 建 立... 12 3.5 ASM 地 標 點 搜 尋 演 算 法... 15 第 四 章 臉 部 特 徵 點 定 位 方 法... 16 4.1 臉 部 正 規 化... 18 4.2 臉 部 特 徵 點 定 位 第 一 階 段... 19 4.2.1 角 點 偵 測... 19 4.2.2 角 點 搜 尋 範 圍... 26 4.2.3 候 選 點 選 擇... 27 4.2.4 嘴 巴 二 值 化... 34 IV

4.3 臉 部 特 徵 點 定 位 第 二 階 段... 36 4.3.1 五 官 位 置 初 始 化... 36 4.3.2 候 選 點 搜 尋 範 圍... 39 4.4 系 統 整 合... 40 第 五 章 實 驗 結 果... 41 5.1. 系 統 實 驗 環 境... 41 5.2. 人 臉 資 料 庫... 41 5.3. 實 驗 設 計... 42 5.4. 分 析 與 討 論... 50 第 六 章 結 論 與 未 來 研 究 方 向... 53 參 考 文 獻... 54 V

表 目 錄 表 5-1 系 統 實 驗 環 境... 41 表 5-2 資 料 庫 使 用 狀 態,X 表 示 此 資 料 庫 未 在 本 實 驗 中 使 用... 42 表 5-3 各 角 點 類 型 地 標 點 偵 測 定 位 誤 差 率... 43 表 5-4 不 同 眉 角 候 選 點 選 擇 方 式... 45 表 5-5 不 同 嘴 角 選 擇 方 式... 45 表 5-6 帄 均 誤 差 比 較 表... 46 表 5-7 不 同 表 情 之 定 位 誤 差... 48 表 5-8 不 同 光 源 之 誤 差 率... 49 VI

圖 目 錄 圖 1-1 完 整 的 人 臉 影 像 辨 識 與 區 域 性 的 人 臉 五 官 辨 識 示 意 圖... 1 圖 1-2 動 作 單 元 示 意 圖... 2 圖 1-3 傳 統 ASM 作 法, 只 根 據 法 線 方 向 上 尋 找 最 佳 位 置... 3 圖 2-1 虛 擬 人 物... 6 圖 2-2 臉 部 配 件... 6 圖 2-3 視 頻 罩... 7 圖 3-1 臉 部 地 標 點 示 意 圖... 8 圖 3-2 樣 本 未 做 對 齊 動 作 之 地 標 點 分 布... 10 圖 3-3 樣 本 做 完 對 齊 動 作 之 地 標 點 分 布... 10 圖 3-4 人 臉 輪 廓 變 化 圖 當 調 整 參 數 時 會 有 其 相 對 應 的 形 狀 變 化... 12 圖 3-5 灰 階 測 影 選 取 示 意 圖... 13 圖 3-6 地 標 點 對 應 之 法 線 及 切 線... 14 圖 4-1 系 統 架 構 圖... 16 圖 4-2 角 點 與 邊 緣 型 態 地 標 點 示 意 圖... 17 圖 4-3 (A) 角 點 型 態 地 標 點 特 性 ;(B) 邊 緣 型 態 地 標 點 特 性... 17 圖 4-4 (A) 第 一 階 段 ASM 形 狀 模 型 地 標 點 ;(B) 第 二 階 段 ASM 形 狀 模 型 地 標 點. 18 圖 4-5 人 臉 影 像 正 規 化... 19 圖 4-6 海 爾 特 徵 示 意 圖... 20 圖 4-7 不 同 特 徵 示 意 圖... 21 圖 4-8 積 分 圖 像 示 意 圖... 22 圖 4-9 角 點 訓 練 之 正 向 樣 本... 23 圖 4-10 弱 分 類 器 之 閥 值 示 意 圖... 23 圖 4-11 ADABOOST 挑 選 弱 分 類 器 和 更 新 權 重 示 意 圖... 24 VII

圖 4-12 ADABOOST 演 算 法... 25 圖 4-13 串 聯 階 層 式 (CASCADE) 架 構 圖... 25 圖 4-14 各 角 點 搜 尋 範 圍 示 意 圖... 27 圖 4-15 SOBEL 遮 罩... 28 圖 4-16 梯 度 直 方 圖... 29 圖 4-17 眼 角 候 選 點 選 擇 示 意 圖... 30 圖 4-18 抿 嘴 示 意 圖... 31 圖 4-19 嘴 巴 歪 斜 示 意 圖... 32 圖 4-20 嘴 角 更 新 示 意 圖... 33 圖 4-21 候 選 點 區 域 示 意 圖... 34 圖 4-22 二 值 化 處 理 步 驟 圖... 36 圖 4-23 眉 毛 眼 睛 和 嘴 巴 重 新 初 始 化... 37 圖 4-24 鼻 子 重 新 初 始 化 示 意 圖... 38 圖 4-25 鼻 子 重 新 初 始 化... 38 圖 4-26 地 標 點 分 群 示 意 圖... 39 圖 5-1 人 臉 資 料 庫 (A)BIOID DATABASE;(B)COHN KANADE DATABASE... 42 圖 5-2 部 分 角 點 類 型 地 標 點 正 確 定 位 結 果... 44 圖 5-3 部 分 角 點 類 型 地 標 點 錯 誤 定 位 結 果... 44 圖 5-4 各 地 標 點 錯 誤 評 估 圖... 46 圖 5-5 地 標 點 誤 差 分 布 圖... 47 圖 5-6 實 驗 結 果 比 較 圖... 47 圖 5-7 使 用 眼 睛 偵 測 之 誤 差 評 估 圖... 48 圖 5-8 模 擬 不 同 光 源 之 測 詴 資 料... 49 圖 5-9 實 際 執 行 結 果... 50 VIII

第 一 章 緒 論 1.1 研 究 背 景 與 動 機 臉 部 特 徵 點 偵 測, 近 年 來 在 人 臉 分 析 研 究 上, 其 重 要 性 越 來 越 重 要 除 了 人 臉 偵 測 外, 臉 部 特 徵 點 定 位 可 視 為 其 它 人 臉 相 關 技 術 的 前 處 理 步 驟, 如 人 臉 辨 識 人 臉 表 情 辨 識 以 及 人 臉 動 畫 製 作 等 一 般 在 做 人 臉 臉 部 辨 識 時, 都 必 頇 要 將 臉 部 正 規 化 到 相 同 的 範 圍 內, 以 減 少 不 必 要 的 誤 差, 現 階 段 最 常 使 用 的 方 式 就 是 根 據 兩 眼 位 置, 以 眼 睛 位 置 為 參 考, 正 規 化 人 臉 影 像 然 而 當 我 們 有 精 確 的 臉 部 特 徵 點 定 位 時, 其 臉 部 辨 識 又 可 從 完 整 的 人 臉 影 像 辨 識 進 化 成 區 域 性 的 人 臉 五 官 辨 識, 如 圖 1-1 所 示 當 我 們 有 區 域 性 的 概 念 時, 每 個 區 域 都 可 以 根 據 其 區 域 重 要 性 給 予 不 同 的 權 重, 以 增 加 人 臉 辨 識 的 準 確 率 圖 1-1 完 整 的 人 臉 影 像 辨 識 與 區 域 性 的 人 臉 五 官 辨 識 示 意 圖 在 人 臉 表 情 辨 識 上 也 面 臨 相 同 的 情 況, 因 此 也 可 使 用 兩 眼 位 置 來 做 人 臉 正 規 化 在 人 臉 表 情 辨 識 上, 除 了 兩 眼 位 置 的 資 訊 可 用 外, 眉 毛 和 嘴 巴 等 特 徵 點 位 置 也 可 加 以 分 析 利 用 如 Ekman 和 Friesen [4] 於 1978 年 所 提 出 用 於 人 臉 表 情 描 述 的 編 碼 系 統, 在 這 套 系 統 中, 依 據 人 臉 肌 肉 的 分 佈, 以 及 一 些 肌 肉 群 的 運 動 狀 況, 定 義 出 44 種 動 作 單 元 (Action Units), 每 個 動 作 單 元 表 示 臉 部 上 特 定 區 域 的 移 動 狀 況, 如 眉 毛 上 揚 和 嘴 角 上 揚 等 因 此 我 們 可 以 根 據 臉 部 特 徵 點 的 移 動 方 式 來 進 行 人 臉 表 情 辨 識, 圖 1-2 為 部 分 動 作 單 元 示 意 圖 1

圖 1-2 動 作 單 元 示 意 圖 動 態 形 狀 模 型 (Active Shape Model, ASM)[5][6][7] 為 當 今 最 常 被 使 用 的 臉 部 特 徵 點 定 位 技 術 之 一 它 是 由 兩 個 統 計 模 型 所 組 合 而 成, 一 個 是 形 狀 模 型, 而 另 一 個 則 是 特 徵 模 型 但 傳 統 的 動 態 形 狀 模 型 有 三 項 缺 點, 第 一 項 是 地 標 點 的 搜 尋 範 圍 不 易 決 定 : 由 於 搜 尋 範 圍 的 長 短 會 影 響 定 位 的 準 確 度, 搜 尋 範 圍 小 容 易 產 生 局 部 最 佳 解, 搜 尋 範 圍 大 則 會 增 加 誤 判 的 機 率 ; 第 二 項 是 地 標 點 搜 尋 方 向 的 限 制 : 傳 統 的 方 式, 地 標 點 的 選 擇 僅 沿 著 輪 廓 的 法 線 方 向 尋 找, 因 此 當 正 確 的 地 標 點 不 在 搜 尋 的 法 線 方 向 上 就 會 造 成 定 位 上 的 偏 差, 尤 其 是 在 眉 角 眼 角 和 嘴 角 等 地 標 點 最 為 明 顯, 如 圖 1-3 所 示, P1 為 最 佳 地 標 點 位 置,P2 為 沿 著 帄 均 形 狀 模 型 的 輪 廓 法 線 方 向 所 找 到 的 地 標 點, 因 此 所 定 位 出 來 的 角 點 位 置 並 不 是 最 理 想 的 第 三 項 是 形 狀 模 型 的 初 始 位 置 限 制 : 由 於 不 同 的 人 臉 甚 至 不 同 的 臉 部 表 情 都 使 用 相 同 的 帄 均 形 狀 模 型, 因 此 當 正 確 的 地 標 點 位 置 與 初 始 位 置 的 距 離 大 於 地 標 點 的 搜 尋 範 圍 時, 也 會 使 臉 部 特 徵 點 定 位 的 精 確 度 下 降 因 此, 本 論 文 將 針 對 上 述 傳 統 動 態 形 狀 模 型 的 缺 點, 提 出 一 個 新 的 臉 部 特 徵 點 定 位 架 構, 以 提 高 臉 部 特 徵 點 定 位 的 準 確 性 2

圖 1-3 傳 統 ASM 作 法, 只 根 據 法 線 方 向 上 尋 找 最 佳 位 置 1.2 論 文 架 構 本 論 文 共 分 為 六 章, 各 章 節 內 容 安 排 如 下 : 第 一 章 為 緒 論, 說 明 本 論 文 的 研 究 動 機 以 及 論 文 架 構 第 二 章 為 相 關 研 究, 介 紹 國 內 外 臉 部 特 徵 點 定 位 的 相 關 研 究 以 及 動 態 形 狀 模 型 的 相 關 改 善 方 法 第 三 章 介 紹 動 態 形 狀 模 型 的 基 本 架 構, 主 要 分 成 五 小 節 來 介 紹 在 3.1 節 中 介 紹 動 態 形 狀 模 型 的 基 本 概 念 ; 在 3.2 節 中 將 介 紹 如 何 做 樣 本 的 對 齊, 以 產 生 可 用 的 形 狀 變 化 ; 在 3.3 節 將 介 紹 如 何 從 訓 練 樣 本 中, 經 由 統 計 的 方 式 獲 得 可 變 的 形 狀 模 板 ; 在 3.4 節 將 介 紹 各 地 標 點 特 徵 模 型 的 建 立 ; 而 在 3.5 節 將 介 紹 如 何 使 用 疊 代 的 方 式 做 最 佳 地 標 點 的 搜 尋 第 四 章 為 本 論 文 所 提 出 的 兩 階 段 臉 部 特 徵 點 定 位 方 式, 在 4.1 節 將 介 紹 如 何 使 用 Adaboost 學 習 演 算 法 [8][9] 做 五 官 角 點 的 定 位 以 及 各 種 角 點 候 選 點 的 選 擇, 並 且 使 用 ASM 演 算 法 對 10 個 角 點 做 一 次 的 形 狀 重 建 ; 在 4.2 節 中, 我 們 將 說 明 如 何 重 新 初 始 化 五 官 形 狀 位 置 並 定 義 地 標 點 的 搜 尋 範 圍, 以 此 方 式 進 行 ASM 的 疊 代 搜 尋 演 算 法 第 五 章 為 實 驗 結 果, 介 紹 系 統 環 境 及 所 使 用 的 訓 練 資 料 和 測 詴 資 料 以 及 測 詴 效 能 而 第 六 章 為 結 論 與 未 來 研 究 方 向 3

第 二 章 相 關 研 究 近 年 來, 由 於 影 像 處 理 技 術 的 蓬 勃 發 展, 臉 部 特 徵 點 定 位 的 重 要 性 也 日 增 月 益 這 是 因 為 大 多 數 的 人 臉 影 像 相 關 技 術, 都 需 要 臉 部 特 徵 點 的 資 訊 加 以 輔 助, 如 瞳 孔 位 置 和 嘴 巴 位 置 等, 以 加 強 其 技 術 的 穩 定 性 現 階 段 臉 部 特 徵 點 定 位 可 分 成 兩 大 類 第 一 類 局 部 定 位 方 法 (Local Localization Method), 它 只 個 別 偵 測 特 定 的 臉 部 五 官, 並 加 以 定 位, 如 眼 睛 鼻 子 和 嘴 巴 等 第 二 類 整 體 性 定 位 方 法 (Global Localization Method), 它 考 慮 了 整 體 五 官 的 相 對 應 位 置, 以 加 強 地 標 點 定 位 的 準 確 性 局 部 偵 測 方 法 目 前 最 常 使 用 的 方 式 是 樣 板 比 對 [10](Template Match), 但 這 一 類 的 方 式 容 易 受 到 頭 髮 和 眼 鏡 等 雜 訊 的 影 響, 再 加 上 沒 有 特 徵 點 相 對 關 係 的 資 訊, 容 易 有 較 大 的 定 位 誤 差 在 整 體 性 偵 測 方 法 中, 目 前 最 常 被 使 用 的 是 T.F.Coots 和 C.Taylor 等 人 於 1995 年 所 提 出 的 動 態 形 狀 模 型 (Active Shape Model, ASM)[5][6][7] 以 及 1998 年 所 提 出 的 動 態 外 觀 模 型 (Active Appearance Model, AAM)[11][12][13] 動 態 形 狀 模 型 使 用 了 統 計 的 方 式, 建 立 出 一 個 可 變 形 的 臉 部 形 狀 模 板, 而 此 模 板 會 反 應 各 地 標 點 的 相 對 位 置, 以 至 於 所 定 位 出 來 的 人 臉 特 徵 點 位 置, 經 由 重 建 後 可 符 合 正 常 的 臉 部 結 構 動 態 外 觀 模 型 為 動 態 形 狀 模 型 的 延 伸 方 法, 它 除 了 建 立 可 變 形 的 臉 部 形 狀 模 板 以 外, 另 外 還 加 入 了 可 變 形 的 人 臉 紋 理 模 板, 以 加 強 定 位 的 準 確 性 然 而 動 態 外 觀 模 型 相 對 於 動 態 形 狀 模 型 多 了 可 變 紋 理 模 板, 因 此 在 時 間 的 消 耗 上 會 相 對 的 增 加 於 1999 年,T.F.Coots 和 C.Taylor 等 人 針 對 這 兩 種 動 態 模 型 做 了 時 間 與 效 能 的 評 估 [14], 得 到 動 態 形 狀 模 型 的 時 間 消 耗 較 少 而 動 態 外 觀 模 型 能 較 為 準 確 的 定 位 地 標 點 的 結 論 因 此 基 於 時 間 即 時 性 處 理 的 考 量, 我 們 採 用 ASM 來 做 臉 部 特 徵 點 定 位, 並 針 對 ASM 的 缺 點 做 進 一 步 的 改 善 近 年 來, 以 ASM 為 基 礎 的 臉 部 特 徵 點 定 位, 紛 紛 的 被 提 出 來 在 國 外, 如 4

Zhonglong Zheng 等 人 [15] 提 出 使 用 二 維 地 標 點 特 徵 取 代 傳 統 地 標 點 的 一 維 特 徵, 並 使 用 矩 形 的 搜 尋 範 圍 取 代 傳 統 只 沿 著 輪 廓 的 法 線 方 向 尋 找 最 佳 地 標 點 ;Kwok-Wai Wan [16] 提 出 使 用 基 因 演 算 法 的 方 式, 找 到 最 佳 地 標 點 位 置 由 於 臉 部 輪 廓 與 臉 部 五 官 的 變 化 程 度 不 同, 此 論 文 進 一 步 地 把 可 變 模 板 拆 成 兩 種 模 型, 一 種 為 臉 部 輪 廓 模 型 和 另 一 種 為 臉 部 五 官 模 型, 以 加 強 地 標 點 偵 測 的 強 健 性 ;Chunhua Du 等 人 [17] 提 出 以 SVM 為 基 礎 的 ASM 特 徵 模 型 ;Feng Jiao 等 人 [18] 提 出 以 葛 伯 小 波 特 徵 (Gabor Wavelet Feature) 為 基 礎 的 ASM 特 徵 模 型, 以 加 強 地 標 點 特 徵 的 穩 定 度 ;Deng Lin [19] 提 出 使 用 ICA 搭 配 PCA 的 混 和 方 式, 可 以 建 立 出 較 為 強 健 的 臉 部 形 狀 可 變 模 板 ; Shengjun Xin 等 人 [20] 提 出 兩 階 段 的 ASM 模 型, 第 一 階 段 使 用 整 體 性 的 臉 部 地 標 點 特 徵 模 型 做 地 標 點 的 搜 尋, 但 由 於 嘴 巴 的 變 化 性 相 對 於 眼 睛 鼻 子 有 著 較 顯 著 的 變 化, 因 此 第 二 階 段 針 對 嘴 巴 特 徵 點 再 做 一 次 嘴 巴 地 標 點 搜 尋, 可 達 到 較 佳 的 嘴 巴 地 標 點 定 位 ;Dianle Zhou 等 人 [21] 提 出 以 SIFT 描 述 子 為 基 礎 之 臉 部 特 徵 點 定 位, 並 且 依 據 地 標 點 變 化 程 度 的 不 同, 把 形 狀 模 型 分 臉 部 輪 廓 以 及 臉 部 五 官 兩 部 分, 以 加 強 臉 部 輪 廓 的 穩 定 性 在 國 內, 中 央 大 學 曾 定 章 教 授 [1] 提 出 使 用 十 字 形 特 徵 輪 廓 (Crisscross Profile) 來 決 定 更 好 的 地 標 點 位 置, 並 搭 配 適 應 性 仿 射 變 換 函 數 (Adaptive Affine Transform) 來 得 到 較 好 的 結 果 ; 東 華 大 學 楊 茂 村 教 授 [2] 提 出 使 用 膚 色 資 訊, 加 強 嘴 巴 的 定 位 ; 海 洋 大 學 白 敦 文 教 授 [3] 提 出 根 據 不 同 胖 瘦 之 臉 型, 建 立 不 同 的 可 變 模 型, 以 得 到 較 佳 的 定 位 結 果 現 今 ASM 模 型 除 了 應 用 在 臉 部 特 徵 點 定 位 外, 也 被 大 量 的 應 用 在 醫 學 影 像 分 析 人 形 特 徵 定 位 和 手 部 輪 廓 定 位 等 而 臉 部 特 徵 點 定 位 目 前 也 被 羅 技 電 子 (Logitech) 大 量 的 應 用 在 網 路 攝 影 機 上, 目 前 羅 技 電 子 有 三 項 臉 部 特 徵 點 定 位 之 應 用, 如 虛 擬 人 物 臉 部 配 件 和 視 頻 罩 虛 擬 人 物 的 功 能 為 使 用 者 可 選 擇 其 中 一 個 所 提 供 的 虛 擬 人 物, 如 沙 魚 和 外 星 人 等 當 使 用 者 做 不 同 表 情 時, 如 微 笑 張 嘴 和 瞇 眼 等, 沙 魚 也 會 跟 著 做 相 對 應 的 表 情, 如 圖 2-1 所 示 ; 臉 部 配 件 的 功 能 為 使 用 者 可 以 挑 選 不 同 的 臉 部 配 件, 5

如 帽 子, 面 具 和 鬍 子 等, 因 此 可 從 影 像 畫 面 上 看 到 所 選 擇 的 配 件 出 現 在 臉 部 相 對 應 的 位 置 上, 如 圖 2-2 所 示 ; 視 頻 罩 的 功 能 為 擷 取 使 用 者 的 眼 睛 和 嘴 巴 影 像, 並 把 所 擷 取 的 影 像 置 入 於 預 先 建 好 的 樣 板 中, 如 圖 2-3 所 示, 月 亮 上 出 現 了 使 用 者 的 眼 睛 及 嘴 巴 這 三 項 技 術 就 是 應 用 臉 部 特 徵 點 定 位 所 達 到 的 效 果, 讓 使 用 者 在 與 他 人 在 做 視 訊 交 談 時, 有 著 不 同 以 往 的 趣 味 性 市 面 上 出 售 的 數 位 相 機, 現 階 段 大 都 有 提 供 一 個 名 為 微 笑 快 門 的 拍 照 設 計, 此 技 術 也 需 仰 賴 正 確 的 嘴 巴 定 位, 才 能 反 映 出 被 拍 攝 者 是 否 在 微 笑 圖 2-1 虛 擬 人 物 圖 2-2 臉 部 配 件 6

圖 2-3 視 頻 罩 7

第 三 章 動 態 形 狀 模 型 (Active Shape Model) 介 紹 在 本 章 節 中 動 態 形 狀 模 型 將 分 成 五 大 部 份 來 說 明, 第 一 部 分, 基 本 定 義 ; 第 二 部 分, 形 狀 對 齊 ; 第 三 部 分, 形 狀 模 型 建 立 ; 第 四 部 分, 特 徵 模 型 建 立 ; 第 五 部 分, ASM 的 地 標 點 搜 尋 演 算 法 3.1 基 本 定 義 一 般 在 實 作 ASM 時, 是 從 訓 練 樣 本 中 把 預 先 想 要 偵 測 的 五 官 輪 廓 形 狀 用 一 些 點 來 描 述, 這 些 點 稱 為 地 標 點 (Landmarks) 一 般 來 說, 我 們 會 把 地 標 點 標 示 於 形 狀 的 周 邊 輪 廓 (Boundary) 上, 如 圖 3-1 所 示, 我 們 一 供 標 示 了 50 個 地 標 點, 並 且 給 每 一 個 地 標 點 相 對 應 的 編 號, 而 這 些 地 標 點 所 形 成 的 集 合, 我 們 稱 之 為 點 分 佈 模 型 (Point Distribution Model, PDM) 我 們 可 以 用 一 個 符 號 來 表 示 n 個 地 標 點 的 位 置 座 標 如 果 我 們 有 張 影 像, 我 們 可 以 用 來 表 示 這 些 地 標 點, 圖 3-1 臉 部 地 標 點 示 意 圖 8

3.2 形 狀 對 齊 在 建 立 形 狀 模 板 之 前, 我 們 要 先 把 訓 練 樣 本 做 對 齊 的 動 作 這 是 因 為 我 們 想 要 從 訓 練 影 像 中, 獲 得 每 張 影 像 的 形 狀 變 化, 而 不 是 它 的 位 置 變 化 如 果 不 做 對 齊 的 動 作, 其 影 像 位 置 變 化 會 大 於 形 狀 變 化, 導 致 所 建 立 的 形 狀 模 板 可 靠 度 下 降 圖 3-2 顯 示 地 標 點 沒 有 經 過 對 齊 的 樣 本 分 布 情 況, 而 圖 3-3 顯 示 有 經 過 對 齊 後 的 地 標 點 樣 本 分 布, 由 此 可 清 楚 知 道, 當 樣 本 沒 有 預 先 做 對 齊 的 動 作, 其 樣 本 的 分 布 是 很 雜 亂 無 章 的, 因 此 無 法 從 中 獲 取 正 確 的 形 狀 變 化 為 了 達 到 形 狀 對 齊 的 目 的, 一 般 使 用 仿 射 變 換 (Affine Transformation) 來 做 形 狀 的 對 齊 仿 射 變 換 的 定 義 如 下 : (3-1) 此 方 程 式 是 將 座 標 P 作 旋 轉 (Rotation) 縮 放 (Scaling) 和 帄 移 (Translation) 假 設 我 們 有 兩 個 形 狀 和 要 做 對 齊, 也 就 是 要 找 到 一 組 參 數 使 得 與 越 相 似 越 好, 即 是 最 小 化 我 們 可 以 使 用 最 小 帄 方 法 (Least Square algorithm) 來 求 得 這 四 個 參 數 值 方 式 如 下 : (3-2) 9

當 有 N 個 形 狀 要 做 對 齊 時, 其 演 算 法 如 下 : 第 一 個 訓 練 樣 本, 根 據 兩 眼 位 置 做 轉 正 的 動 作, 並 給 予 兩 眼 固 定 的 距 離 做 相 對 應 的 形 狀 大 小 調 整 ; 以 第 一 個 訓 練 樣 本 為 基 準, 對 齊 所 有 形 狀 ; 重 複 根 據 仿 射 變 換 及 最 小 帄 方 法, 求 得 所 有 訓 練 樣 本 對 齊 後 的 帄 均 形 狀 ; 正 規 化 帄 均 形 狀, 及 根 據 眼 睛 位 置 調 整 形 狀 大 小 ; 以 新 的 帄 均 形 狀 為 基 準, 再 對 齊 所 有 形 狀 ; 直 到 直 到 帄 均 形 狀 沒 有 太 大 的 改 變, 即 達 到 收 斂 圖 3-2 樣 本 未 做 對 齊 動 作 之 地 標 點 分 布 圖 3-3 樣 本 做 完 對 齊 動 作 之 地 標 點 分 布 10

3.3 形 狀 模 型 建 立 為 了 要 獲 得 訓 練 樣 本 形 狀 的 分 布 情 形, 我 們 使 用 主 成 份 分 析 法 (Principal Component Analysis, PCA) 來 擷 取 訓 練 樣 本 的 形 狀 變 化, 最 後 可 以 得 到 一 組 可 變 形 狀 模 板, 其 中 為 訓 練 樣 本 的 帄 均 形 狀 模 型, 為 經 PCA 計 算 後, 由 較 大 特 徵 值 (Eigenvalue) 之 對 應 的 特 徵 向 量 (Eigenvector) 所 形 成 的 矩 陣, 則 是 用 來 調 整 形 狀 變 化 的 參 數, 如 圖 3-4 所 示, 不 同 的 參 數, 可 調 整 不 同 的 形 狀 變 化, 其 中 i 為 所 選 取 的 特 徵 向 量 編 號 為 了 避 免 所 重 建 出 來 的 形 狀 變 化 太 大, 導 致 所 重 建 出 來 的 形 狀 不 像 人 臉, 一 般 會 把 值 設 定 在 之 內, 以 確 保 重 建 後 的 形 狀 是 有 效 的, 其 中 為 第 i 個 特 徵 值 主 成 份 分 析 法 的 運 作 如 下 : 假 設 X 是 一 組 向 量, 即 單 一 人 臉 地 標 點 所 形 成 的 集 合, 如 果 我 們 有 N 組 這 樣 的 向 量, 我 們 可 以 計 算 其 帄 均 向 量 (Mean Vector), (3-3) 以 及 其 共 變 異 數 矩 陣 (Covariance Matrix), (3-4) 接 著 可 以 根 據 共 變 異 數 矩 陣, 計 算 其 相 對 應 的 特 徵 向 量 (Eigenvector) 及 特 徵 值 (Eigenvalue), 其 中 特 徵 值 是 由 大 排 到 小 由 於 主 要 的 形 狀 變 化 都 位 於 特 徵 值 較 大 的 部 分, 因 此 我 們 根 據 特 徵 值 來 取 其 總 合 的 前 百 分 之 95 的 特 徵 向 量, 當 作 重 建 的 基 底, 這 就 是 11

(3-5) 其 中 T 為 特 徵 值 總 個 數, 即 為 2n, 而 t 為 所 選 取 的 特 徵 向 量 個 數 因 此 我 們 可 以 定 義 矩 陣 圖 3-4 人 臉 輪 廓 變 化 圖 當 調 整 參 數 時 會 有 其 相 對 應 的 形 狀 變 化 3.4 特 徵 模 型 建 立 一 般 來 說, 我 們 會 假 設 地 標 點 位 在 一 個 有 強 烈 灰 階 值 變 化 的 位 置 上, 即 在 邊 緣 位 置 (Edge) 所 以 我 們 可 以 根 據 訓 練 樣 本, 依 其 地 標 點 的 法 線 方 向, 從 兩 端 各 取 m 個 點, 如 圖 3-5 所 示, 實 心 圓 為 地 標 點, 空 心 圓 為 依 其 法 線 方 向 上 所 取 的 灰 階 像 素 點 因 此 12

從 每 一 個 地 標 點, 我 們 可 以 獲 得 2m+1 個 灰 度 值, 以 表 示 則 為,,, (3-6) 其 中,i 表 示 第 i 張 訓 練 樣 本,j 表 示 第 j 個 地 標 點 接 著 我 們 以 來 表 示 的 一 階 導 數, 即,,, (3-7) 可 知 的 維 度 為 2m 為 了 減 少 影 像 亮 度 變 化 的 影 響, 一 般 會 再 把 特 徵 向 量 經 過 正 規 化 處 理, 成 為 (3-8) 而 此 特 徵 向 量 稱 之 為 灰 階 側 影 (Grayscale Profile) 之 後 再 根 據 訓 練 樣 本 來 計 算 每 個 地 標 點 相 對 應 的 灰 階 側 影 帄 均 值, 當 作 此 地 標 點 的 特 徵 向 量 圖 3-5 灰 階 測 影 選 取 示 意 圖 至 於 如 何 獲 得 每 個 地 標 點 的 法 線 方 向, 我 們 可 以 根 據 相 鄰 的 兩 點 來 獲 得, 如 圖 3-6 所 示, 其 中 Tangent 為 此 地 標 點 的 切 線, 因 此 可 以 由 前 後 兩 點 來 獲 得 切 線 方 向 的 單 位 13

向 量, 即 (3-9) 而 由 已 知 的 切 線 單 位 向 量, 可 透 過 轉 換 公 式 求 得 法 線 單 位 向 量, 即 (3-10) 圖 3-6 地 標 點 對 應 之 法 線 及 切 線 最 後 在 尋 找 最 佳 特 徵 點 位 置 時, 沿 著 地 標 點 的 法 線 方 向 選 取 候 選 點, 再 依 據 莫 氏 距 離 (Mahalanobis Distance), 找 到 對 應 最 小 灰 階 側 影 差 值 的 位 置, 即 為 最 佳 地 標 點 位 置 莫 氏 距 離 定 義 如 下 : (3-11) 其 中 y 為 輸 入 向 量, 為 第 j 個 地 標 點 的 帄 均 特 徵 向 量, 為 第 j 個 地 標 點 的 共 變 異 數 矩 陣 14

3.5 ASM 地 標 點 搜 尋 演 算 法 ASM 的 地 標 點 搜 尋 演 算 是 使 用 疊 代 (Iterative) 的 程 序, 並 根 據 一 個 能 量 函 數 來 判 斷 是 否 已 達 收 斂, 其 搜 尋 演 算 法 步 驟 如 下 : 步 驟 1: 初 始 化 形 狀 參 數 b 為 元 素 均 為 0 的 向 量 ( 表 示 帄 均 形 狀 ); 步 驟 2: 由 產 生 重 建 的 形 狀 樣 板 ; 步 驟 3: 根 據 特 徵 模 型, 尋 找 最 佳 地 標 點 位 置 z; 步 驟 4: 由 求 出 新 的 形 狀 參 數 ; 步 驟 5: 限 制 的 範 圍 在, 其 中 為 第 i 個 特 徵 值 ; 步 驟 6: 當 沒 有 太 大 的 差 距, 即 達 到 收 斂, 完 成 最 佳 位 置 搜 尋 ; 否 則, 回 到 步 驟 2 15

第 四 章 臉 部 特 徵 點 定 位 方 法 此 章 節 我 們 將 以 傳 統 的 動 態 形 狀 模 型 為 基 礎, 提 出 兩 階 段 的 臉 部 特 徵 點 定 位 方 法 首 先 我 們 經 由 人 臉 偵 測 及 眼 睛 定 位 找 到 正 確 的 人 臉 眼 睛 位 置, 再 依 據 兩 眼 位 置 把 歪 斜 人 臉 影 像 轉 為 正 面 人 臉 影 像, 接 著 就 可 根 據 所 提 出 的 方 法 進 行 地 標 點 定 位, 其 系 統 架 構 如 圖 4-1 所 示 圖 4-1 系 統 架 構 圖 16

一 般 來 說, 臉 部 地 標 點 大 致 可 以 區 分 成 兩 種 類 型, 一 類 是 角 點 型 態 的 地 標 點, 如 眼 角 眉 角 和 嘴 角 ; 另 一 類 是 邊 緣 型 態 的 地 標 點, 如 眉 毛 輪 廓 和 嘴 巴 輪 廓 等 圖 4-2 分 別 標 示 這 兩 類 地 標 點 於 一 張 人 臉 影 像 上, 其 中 為 角 點 型 態 的 地 標 點, 而 為 邊 緣 型 態 的 地 標 點 圖 4-2 角 點 與 邊 緣 型 態 地 標 點 示 意 圖 角 點 型 態 的 地 標 點 有 著 特 殊 的 紋 理 特 性, 一 般 是 由 兩 條 邊 緣 (Edge) 交 集 而 成, 如 圖 4-3(a) 所 示, 眉 毛 的 角 點 是 眉 毛 上 緣 與 眉 毛 下 緣 的 交 點, 因 此 會 形 成 此 種 型 態 的 地 標 點 只 會 有 一 個, 所 以 使 用 二 維 的 特 徵 模 式 較 容 易 清 楚 的 描 述 角 點 型 態 的 地 標 點 ; 而 邊 緣 型 態 的 地 標 點 一 般 擁 有 線 段 的 特 性, 因 此 正 確 的 地 標 點 不 只 一 個, 如 圖 4-3(b) 所 示 (a) (b) 圖 4-3 (a) 角 點 型 態 地 標 點 特 性 ;(b) 邊 緣 型 態 地 標 點 特 性 由 上 述 可 知, 角 點 型 態 的 地 標 點 相 對 於 邊 緣 型 態 的 地 標 點, 應 較 容 易 且 穩 定 的 被 正 確 定 位 因 此 我 們 提 出 兩 階 段 的 臉 部 特 徵 點 定 位 架 構, 第 一 階 段 只 針 對 臉 部 地 標 點 17

中 較 為 穩 定 的 角 點 型 態 地 標 點 來 定 位, 如 圖 4-4(a) 所 示, 進 行 10 個 角 點 型 態 的 地 標 點 定 位 ; 第 二 階 段, 則 根 據 第 一 階 段 角 點 型 態 地 標 點 的 定 位 結 果, 重 新 初 始 化 人 臉 五 官 的 相 對 位 置, 並 使 用 所 定 義 的 地 標 點 搜 尋 範 圍 尋 找 最 佳 的 地 標 點 位 置, 如 圖 4-4(b) 所 示, 進 行 全 部 50 個 點 的 地 標 點 定 位 以 下 我 們 將 對 所 提 出 的 兩 階 段 特 徵 點 定 位 方 法 做 詳 細 的 介 紹 (a) (b) 圖 4-4 (a) 第 一 階 段 ASM 形 狀 模 型 地 標 點 ;(b) 第 二 階 段 ASM 形 狀 模 型 地 標 點 4.1 臉 部 正 規 化 由 於 輸 入 的 人 臉 影 像 存 在 著 不 同 的 臉 部 大 小 及 不 同 的 傾 斜 角 度, 因 此 在 執 行 臉 部 特 徵 點 定 位 前, 需 先 將 傾 斜 的 人 臉 影 像 轉 正 與 進 行 影 像 大 小 正 規 化 處 理 在 影 像 傾 斜 較 正 上, 我 們 根 據 雙 眼 瞳 孔 之 連 線 與 水 帄 軸 之 夾 角, 即 可 得 知 傾 斜 之 人 臉 轉 正 所 需 要 的 旋 轉 角 度, 並 依 據 雙 眼 瞳 孔 間 的 距 離 把 影 像 正 規 化 至 瞳 孔 間 距 離 為 70 個 像 素 點, 如 圖 4-5 人 臉 影 像 正 規 化 示 意 圖 18

圖 4-5 人 臉 影 像 正 規 化 4.2 臉 部 特 徵 點 定 位 第 一 階 段 本 小 節 將 介 紹 於 第 一 階 段 中 如 何 尋 找 最 佳 地 標 點, 這 裡 我 們 提 出 使 用 Adaboosting 演 算 法 來 建 立 每 個 角 點 型 態 地 標 點 的 偵 測 器, 以 此 取 代 傳 統 使 用 灰 階 測 影 尋 找 地 標 點 的 方 法 另 外, 也 介 紹 各 地 標 點 的 搜 尋 範 圍 以 及 相 對 候 選 點 的 選 擇 方 式 4.2.1 角 點 偵 測 在 角 點 的 偵 測 方 面, 我 們 採 用 了 海 爾 特 徵, 並 且 以 積 分 圖 像 (Integral Image) 的 轉 換 來 加 速 特 徵 的 計 算, 然 後 再 以 Adaboost 演 算 法 來 訓 練 各 個 角 點 型 態 地 標 點 的 偵 測 器 此 偵 測 器 採 用 了 串 聯 階 層 式 (Cascade) 的 判 斷 架 構, 每 一 階 層 只 需 取 用 少 數 的 海 爾 特 徵, 就 可 以 判 斷 被 偵 測 的 區 域 是 否 為 欲 偵 測 的 角 點 區 域, 若 在 其 中 任 一 階 層 判 斷 為 非 角 點 時, 此 區 域 即 被 當 做 非 角 點 區 域 而 不 需 要 再 用 其 它 階 層 來 判 斷 ; 只 有 當 所 有 階 層 都 接 受 此 區 域 為 角 點 區 域 時, 此 區 域 才 會 被 當 作 是 一 個 角 點 的 候 選 區 域 這 種 串 連 19

階 層 式 的 判 斷 方 式 使 得 角 點 偵 測 能 被 快 速 的 執 行, 達 到 具 有 即 時 處 理 的 速 度 要 求 4.2.1.1 海 爾 (Haar) 特 徵 Adaboost 是 一 種 特 徵 挑 選 的 方 法, 在 訓 練 前 必 頇 先 決 定 採 用 哪 些 特 徵 來 給 予 挑 選, 而 被 採 用 的 特 徵 通 常 有 兩 種 特 性 : 大 量 和 運 算 速 度 快 這 是 因 為 Adaboost 是 由 許 多 特 徵 所 建 構 而 成, 因 此 在 訓 練 時, 必 頇 有 足 夠 數 量 的 特 徵 來 給 予 Adaboost 挑 選, 而 在 偵 測 時, 也 因 影 像 中 的 各 個 區 域 必 頇 經 過 複 數 個 特 徵 的 計 算 和 判 斷, 所 以 具 有 很 大 的 運 算 數 量, 因 此 每 個 特 徵 的 計 算 速 度 必 頇 很 快, 否 則 就 無 法 達 到 即 時 物 件 偵 測 的 速 度 要 求 海 爾 特 徵 滿 足 了 這 兩 個 特 性, 它 的 概 念 在 於 計 算 區 域 影 像 值 總 和 的 差 異, 如 圖 4-6 所 示, 共 有 七 種 計 算 黑 色 和 白 色 區 域 影 像 值 總 和 差 異 的 方 式, 它 們 可 以 區 分 成 三 類 特 徵 : 邊 緣 型 特 徵 ( 圖 4-6(a) 和 (b)) 線 段 型 特 徵 ( 圖 4-6(c) (d) (e) 和 (f)) 和 圍 繞 型 特 徵 ( 圖 4-6(g)) 圖 4-6 海 爾 特 徵 示 意 圖 在 本 論 文 中, 我 們 將 在 樣 本 中 的 某 一 位 置 所 對 應 某 大 小 矩 形 區 塊 之 某 種 海 爾 特 徵 視 為 一 個 特 徵, 而 不 同 位 置 大 小 的 矩 形 區 塊 和 海 爾 特 徵 即 構 成 複 數 個 不 同 特 徵 圖 4-7 即 顯 示 了 四 個 不 同 的 海 爾 特 徵, 其 中 (a) 和 (b) 為 座 落 於 不 同 位 置 但 具 同 樣 大 小 和 種 類 的 海 爾 特 徵,(a) 和 (c) 為 相 同 位 置 和 種 類 的 不 同 區 塊 大 小 的 海 爾 特 徵, 而 (a) 和 (d) 為 20

具 相 同 位 置 和 大 小 的 不 同 種 類 的 海 爾 特 徵 圖 4-7 不 同 特 徵 示 意 圖 4.2.1.2 積 分 圖 像 (Integral Image) 在 偵 測 角 點 時, 由 於 角 點 可 能 會 出 現 在 候 選 區 域 中 任 何 區 塊 的 位 置, 造 成 必 頇 計 算 相 當 龐 大 數 目 的 海 爾 特 徵 如 此 一 來, 如 何 提 升 特 徵 的 計 算 速 度, 就 變 成 了 重 要 的 議 題 為 了 解 決 計 算 量 的 問 題,Viola 和 Jones [22] 提 出 了 積 分 圖 像 的 計 算 方 式 如 下 : (4-1) 其 中, i ( x, y) 為 原 始 影 像 中 座 標 ( x, y) 的 影 像 點 灰 階 值, 而 ii ( x, y) 為 積 分 圖 像 中 座 標 ( x, y) 的 影 像 點 值, 代 表 從 座 標 ( 0,0) 到 座 標 ( x, y) 所 對 應 矩 形 區 域 的 原 始 影 像 之 影 像 灰 階 值 總 和 圖 4-8 為 一 張 積 分 圖 像, 而 區 域 D 的 影 像 值 總 和 的 計 算 方 式 為 4-2-3+1, 所 以 在 積 分 圖 像 中 任 何 矩 形 區 域 的 影 像 灰 階 值 總 和, 只 需 用 一 次 四 則 運 算 即 可 求 得 21

圖 4-8 積 分 圖 像 示 意 圖 4.2.1.3 Adaboost 一 般 而 言, 物 件 偵 測 器 的 建 立 需 要 先 收 集 大 量 的 目 標 物 件 之 正 向 樣 本 (Positive Samples) 和 非 目 標 物 件 之 負 向 樣 本 (Negative Samples), 如 圖 4-9 所 示, 其 中 黑 點 為 手 動 點 選 的 角 點 位 置 再 將 所 有 的 樣 本 去 計 算 它 們 的 特 徵, 然 後 利 用 這 些 特 徵 去 訓 練 物 件 偵 測 器 偵 測 時 只 需 要 將 輸 入 影 像 計 算 其 特 徵, 再 利 用 偵 測 器 去 判 斷 這 些 特 徵 是 不 是 屬 於 目 標 物 件 即 可 偵 測 器 常 見 的 訓 練 方 式 有 : 類 神 經 網 路 支 持 向 量 機 Adaboost 等 目 前 主 流 的 方 式 是 Adaboost, 它 是 由 Boost 改 良 而 來,Boost 的 想 法 是 利 用 後 面 的 分 類 器 來 補 足 前 面 分 類 器 辨 識 錯 誤 的 樣 本, 其 缺 點 是 需 要 相 當 大 量 的 樣 本 來 做 訓 練, 而 Adaboost 利 用 給 予 樣 本 權 重 更 新 的 方 式 來 改 善 了 這 樣 的 缺 點 在 訓 練 時 必 頇 先 提 供 大 量 的 訓 練 樣 本 和 弱 分 類 器 (Weak Classifier) h t (x) 給 Adaboost, 所 謂 的 弱 分 類 器 是 只 選 用 一 個 特 徵 和 閥 值 (Threshold) 所 構 成 的 分 類 機 制, 它 依 據 閥 值 來 判 斷 物 件 的 類 別 ( 正 向 或 負 向 ), 在 訓 練 的 時 候, 其 辨 識 率 需 要 達 到 當 下 訓 練 樣 本 權 重 分 佈 的 50% 以 上 在 本 論 文 中 的 特 徵 即 是 在 樣 本 的 某 一 位 置 的 某 一 大 小 矩 形 區 塊 的 某 種 海 爾 特 徵, 第 j 個 弱 分 類 器 h j (x) 的 定 義 如 下 : 22 (4-2)

其 中 x 表 示 某 一 樣 本, f j (x) 為 某 一 位 置 的 某 一 大 小 矩 形 區 塊 的 某 種 海 爾 特 徵, p j 為 相 對 極 值, 它 是 根 據 正 向 與 負 向 樣 本 的 分 佈 位 置 來 決 定, 即 當 正 向 樣 本 的 特 徵 分 佈 是 在 負 向 樣 本 特 徵 分 佈 的 左 邊 時, p 為 1, 而 當 正 向 樣 本 的 特 徵 分 佈 是 在 負 向 樣 本 特 徵 j 分 佈 的 右 邊 時, p 為 -1( 如 圖 4-10 所 示 ), 而 為 一 閥 值 當 p f j j j j ( x) p 成 立 時, 弱 分 類 器 h j (x) 值 為 1, 也 就 是 樣 本 x 依 據 第 j 個 海 爾 特 徵 被 判 斷 為 正 向 ( 即 角 點 ) 樣 本 ; j j 反 之 當 h j (x) 值 為 0 時 則 判 定 x 為 負 向 ( 即 非 角 點 ) 樣 本 圖 4-9 角 點 訓 練 之 正 向 樣 本 圖 4-10 弱 分 類 器 之 閥 值 示 意 圖 在 確 定 了 樣 本 和 弱 分 類 器 以 後, 首 先 給 予 每 個 樣 本 權 重,Adaboost 會 挑 選 錯 誤 樣 本 之 權 重 總 和 為 最 小 的 弱 分 類 器, 然 後 加 大 被 此 弱 分 類 器 分 類 錯 誤 的 樣 本 權 重, 被 加 大 權 重 的 錯 誤 樣 本 在 挑 選 下 一 個 弱 分 類 器 時, 會 比 較 容 易 挑 到 能 把 當 前 錯 誤 樣 本 分 對 的 弱 分 類 器, 如 圖 4-11 所 示 23

圖 4-11 Adaboost 挑 選 弱 分 類 器 和 更 新 權 重 示 意 圖 挑 選 出 來 的 每 個 弱 分 類 器 h t (x) 都 有 個 對 應 的 權 重, 其 權 重 是 由 此 弱 分 類 器 的 錯 誤 樣 本 之 權 重 總 和 來 設 定, 而 多 個 弱 分 類 器 h t (x) 及 它 們 的 對 應 權 重 則 可 構 成 一 個 強 分 類 器 (Strong Classifier) h f (x), 圖 4-12 為 Adaboost 演 算 法 的 處 理 步 驟 24

Input : sequence of N labeled examples (x,y ),,(x,y Initializethe weight vector : w Dofor t 1, 2,,T 1.Set 4.Set distribution D over the N examples weak learning algorithm WeakLearn integer T specifyingnumber of iterations p ε i 1 get back a hypothesish :X 3.Calculate the error of β w w /( 1 ε ). h :ε D(i) for i 1,,N. [0,1]. i 1 5.Set the new weights vector tobe w 1 i 2.Call WeakLearn, providing it with the distribution p t t t N t t i t t t t N t 1 i 1 1 t p h(x ) y. i i t w β i i N 1 h t(xi ) y i t N t ) ; Output the hypothesis 1 h f (x) 0,if T 1 )h t(x) 2 t 1 t t 1,otherwise. ( log 1/β 圖 4-12 Adaboost 演 算 法 T log 1/β t 4.2.1.4 串 聯 階 層 式 (Cascade) 判 斷 架 構 Viola 和 Jones 提 出 了 一 種 著 名 的 串 聯 階 層 式 (Cascade) 判 斷 架 構 ( 如 圖 4-13 所 示 ), 其 中 每 一 階 層 是 由 一 個 強 分 類 器 來 構 成, 利 用 這 樣 的 階 層 式 架 構 可 達 到 多 分 類 器 的 結 合 圖 4-13 串 聯 階 層 式 (Cascade) 架 構 圖 25

在 訓 練 階 段, 每 一 個 強 分 類 器 的 目 的 是 要 除 去 部 分 的 錯 誤 樣 本, 且 盡 量 保 留 全 部 的 正 確 樣 本 第 n 個 強 分 類 器 是 由 通 過 前 面 n-1 個 強 分 類 器 的 正 向 和 負 向 之 訓 練 樣 本 所 訓 練 而 成, 此 時 的 正 向 樣 本 是 經 由 n-1 個 強 分 類 器 的 分 類 結 果 均 為 1 的 訓 練 樣 本 在 偵 測 階 段, 由 於 角 點 可 能 會 出 現 在 影 像 中 任 何 區 塊 的 位 置, 勢 必 有 大 量 的 區 塊 需 要 經 過 物 件 偵 測 器 去 判 斷 是 否 為 角 點, 由 於 物 件 偵 測 器 為 階 層 式 架 構, 大 部 份 的 區 塊 會 在 前 面 少 數 幾 個 強 分 類 器 就 被 去 除, 不 會 再 需 要 後 面 的 強 分 類 做 判 斷 所 以 雖 然 整 個 物 件 偵 測 器 是 由 很 多 個 分 類 器 所 構 成, 但 由 於 階 層 式 架 構 的 特 性, 所 以 在 速 度 上, 並 不 會 因 需 要 耗 費 太 多 運 算 時 間 而 減 慢 4.2.2 角 點 搜 尋 範 圍 由 於 每 個 角 點 的 位 置 變 化 程 度 不 同, 如 不 同 的 人 臉, 某 些 人 的 臉 屬 於 長 臉, 某 些 人 的 臉 屬 於 短 臉, 因 此 嘴 角 位 置 會 有 明 顯 的 不 同 ; 而 不 同 的 臉 部 表 情 也 會 造 成 眉 角 及 嘴 角 有 一 定 程 度 的 位 置 變 化 因 此 我 們 根 據 訓 練 樣 本 各 角 點 的 位 置 分 佈, 給 予 每 個 角 點 不 同 的 搜 尋 範 圍, 如 圖 4-14 所 示, 嘴 角 的 變 化 程 度 最 大, 而 眼 角 的 變 化 程 度 最 小 角 點 j 的 搜 尋 範 圍 SRC j 定 義 如 下 : 角 點 型 態 地 標 點 (4-3) 其 中 表 示 第 j 個 地 標 點 的 帄 均 位 置, 表 示 第 j 個 地 標 點 之 位 置 的 標 準 差, 而 i 為 學 習 樣 本 的 編 號, 為 角 點 訓 練 樣 本 的 寬 度 26

圖 4-14 各 角 點 搜 尋 範 圍 示 意 圖 4.2.3 候 選 點 選 擇 由 於 使 用 Adaboost 為 基 本 的 角 點 偵 測 器, 因 此 在 所 定 義 的 搜 尋 範 圍 內, 可 能 會 找 到 一 個 以 上 的 角 點 候 選 點 儘 管 所 偵 測 出 來 的 角 點 有 各 自 的 Adaboost 偵 測 分 數, 其 中 為 角 點 候 選 點 位 置, 但 因 訓 練 樣 本 的 限 制, 分 數 最 高 的 候 選 點 不 一 定 是 最 正 確 的 角 點 候 選 點, 所 以 不 能 只 依 賴 Adaboost 偵 測 器 的 偵 測 分 數 因 此, 如 何 從 這 些 角 點 候 選 點 當 中, 找 到 一 個 最 正 確 的 角 點, 將 會 是 一 個 重 要 的 課 題 由 於 不 同 的 角 點 型 態 地 標 點 座 落 於 不 同 的 臉 部 幾 何 結 構 位 置 上, 如 眉 毛 眼 睛 和 嘴 巴 所 以 候 選 點 的 選 擇 方 式, 也 會 根 據 其 不 同 的 外 在 因 素 影 響 ( 如 頭 髮 和 眼 鏡 等 ), 有 著 不 同 的 設 計 基 於 這 樣 的 概 念, 我 們 把 這 10 個 角 點 型 態 的 地 標 點, 根 據 其 幾 何 結 構 位 置 上 的 不 同 來 分 成 三 類, 眼 角 眉 角 和 嘴 角, 而 每 一 類 都 有 其 獨 特 的 候 選 點 選 擇 方 式, 以 下 將 分 成 四 小 節 一 一 介 紹 4.2.3.1 眉 角 候 選 點 選 擇 概 念 上, 正 確 的 眉 角 地 標 點 應 該 擁 有 較 強 的 邊 緣 能 量 強 度, 並 且 其 水 帄 27

能 量 要 相 對 地 大 於 垂 直 能 量 但 是 在 眉 角 候 選 點 的 搜 尋 範 圍 中, 頭 髮 將 是 一 個 擁 有 與 眉 毛 具 有 相 同 特 性 的 雜 訊, 所 以 只 憑 藉 邊 緣 能 量 強 度 是 不 夠 的, 因 此 梯 度 直 方 圖 (Histogram of Oriented Gradients, HOG) [23] 將 是 另 一 個 判 斷 的 依 據 因 為 梯 度 直 方 圖 包 含 了 邊 緣 方 向 和 邊 緣 強 度 的 資 訊, 若 和 其 他 的 區 域 性 特 徵 來 比 較, 梯 度 直 方 圖 具 有 較 豐 富 的 資 訊, 可 用 來 進 行 角 點 的 分 辨 邊 緣 能 量 的 計 算 方 式 如 下, 我 們 使 用 3 3 的 垂 直 方 向 和 水 帄 方 向 的 Sobel 遮 罩 ( 如 圖 4-15 所 示 ), 來 計 算 出 影 像 中 在 位 置 的 影 像 點 於 水 帄 方 向 的 影 像 差 異 值 和 於 垂 直 方 向 的 影 像 差 異 值 影 像 中 在 位 置 的 影 像 點 之 邊 緣 強 度 計 算 式 如 下 : (4-4) (a) 水 帄 方 向 遮 罩 (b) 垂 直 方 向 遮 罩 圖 4-15 Sobel 遮 罩 梯 度 直 方 圖 的 計 算 方 式 如 下, 我 們 需 要 計 算 邊 緣 強 度 (Magnitude) 及 邊 緣 方 向 (Orientation), 計 算 影 像 位 置 之 水 帄 方 向 的 影 像 值 差 異 與 垂 直 方 向 的 影 像 值 差 異 的 方 式 如 下 : 28

(4-5) 其 中 為 影 像 位 置 的 灰 度 值 邊 緣 方 向 (Orientation) 的 計 算 方 式 如 下 : (4-6) 梯 度 直 方 圖 將 角 度 區 分 成 N 個 區 段, 接 著 根 據 對 應 角 度 判 斷 出 影 像 點 落 在 哪 個 區 段 以 後, 再 將 影 像 點 所 在 區 段 之 數 值 加 上 所 對 應 的 邊 緣 強 度, 因 此 可 以 得 到 一 個 陣 列 的 特 徵 向 量, 如 圖 4-16 所 示 圖 4-16 梯 度 直 方 圖 最 後, 正 確 的 眼 角 候 選 點 選 擇 依 據 如 下 (4-7) 其 中, 和 為 權 重 參 數, 是 Adaboost 偵 測 器 所 得 到 的 分 數, 是 眉 角 區 域 能 量 的 強 度, 而 為 候 選 地 標 點 梯 度 直 方 圖 特 徵 與 訓 練 樣 本 梯 度 直 方 圖 特 徵 的 莫 氏 距 離 所 以 當 某 一 候 選 點 所 反 映 出 的 為 最 大 時, 它 就 會 被 選 取 為 眉 角 候 選 點 29

4.2.3.2 眼 角 候 選 點 選 擇 因 為 鏡 框 有 著 非 常 強 烈 的 邊 緣 能 量 強 度, 所 以 眼 角 候 選 點 的 選 擇, 容 易 受 到 鏡 框 能 量 強 度 影 響, 而 導 致 判 斷 錯 誤 由 於 眼 角 在 瞳 孔 位 置 附 近, 它 們 之 間 有 著 相 當 穩 定 的 距 離, 因 此 這 項 特 性 可 以 被 使 用 在 眼 角 候 選 點 的 選 擇 上 我 們 的 人 臉 偵 測 系 統 除 了 可 以 正 確 的 找 到 人 臉 外, 同 時 也 定 位 了 雙 眼 瞳 孔 的 位 置, 再 加 上 本 系 統 是 根 據 瞳 孔 位 置 來 初 始 化 形 狀 模 板 的 位 置, 換 句 話 說, 初 始 的 眼 角 位 置 也 應 位 於 正 確 的 眼 角 附 近, 如 圖 4-17 所 示, 其 中 表 示 眼 角 候 選 點, 表 示 初 始 眼 角 位 置 因 此 我 們 可 以 從 所 有 的 眼 角 候 選 點 當 中, 選 擇 距 離 初 始 眼 角 位 置 最 近 的 候 選 點, 則 此 候 選 點 極 為 可 能 是 最 正 確 的 眼 角 地 標 點, 可 以 用 表 示 : (4-8) 其 中 為 眼 角 候 選 點 位 置, 為 初 始 眼 角 位 置 圖 4-17 眼 角 候 選 點 選 擇 示 意 圖 4.2.3.3 嘴 角 候 選 點 選 擇 由 於 嘴 角 候 選 點 通 常 座 落 於 正 確 的 嘴 角 位 置 或 者 位 於 有 明 顯 皺 紋 的 臉 部 位 置 上, 30

因 此 使 用 邊 緣 能 量 強 度 來 決 定 候 選 點 的 選 擇 是 不 穩 定 的 不 過 這 兩 類 的 候 選 點 所 形 成 的 灰 度 值 變 化 卻 有 明 顯 的 不 同 一 般 來 說, 在 相 同 的 區 域 大 小 中, 正 確 的 嘴 角 候 選 點 所 形 成 之 灰 度 值 變 異 數 角 候 選 點 的 選 擇 方 式 可 以 用 應 大 於 皺 紋 所 形 成 之 灰 度 值 變 異 數 基 於 以 上 概 念, 嘴 來 表 示 (4-9) 其 中, 和 為 權 重 參 數, 為 某 一 區 塊 的 帄 均 灰 度 值, 為 以 座 標 點 為 中 心, 取 一 個 區 塊 大 小 所 形 成 之 灰 度 值 變 異 數 因 此, 當 所 計 算 得 到 的 越 大 時, 則 越 有 可 能 是 我 們 想 求 得 的 正 確 嘴 角 位 置 然 而, 當 人 們 用 力 張 嘴 或 抿 嘴 時, 最 大 的 有 可 能 會 對 應 到 錯 誤 的 候 選 點 事 實 上, 當 用 力 張 嘴 時, 由 於 嘴 巴 的 外 貌 已 經 大 幅 改 變, 因 此 基 於 Adaboost 偵 測 器 所 找 到 的 嘴 角 候 選 點 可 能 不 包 含 正 確 的 嘴 角 位 置 ; 同 樣 的, 當 人 們 抿 嘴 時, 皺 紋 部 分 的 灰 階 值 變 異 數 有 可 能 遠 大 於 嘴 角 的 灰 階 值 變 異 數, 如 圖 4-18 所 示, 其 左 嘴 角 因 為 抿 嘴 而 造 成 錯 誤 的 定 位, 所 以 會 造 成 嘴 角 候 選 點 的 選 擇 錯 誤, 因 此 我 們 將 針 對 此 問 題 在 下 一 節 作 更 進 一 步 的 探 討 錯 誤 的 定 位 圖 4-18 抿 嘴 示 意 圖 31

4.2.3.4 更 進 一 步 的 嘴 角 候 選 點 選 擇 一 般 來 說, 大 多 數 的 人 臉 五 官 都 呈 對 稱 關 係, 當 然 嘴 角 也 不 例 外, 因 此 我 們 可 以 根 據 這 個 概 念 來 辨 別 嘴 角 的 穩 定 性 因 為 兩 眼 瞳 孔 位 置 較 嘴 角 位 置 穩 定 且 容 易 偵 測, 因 此 當 兩 瞳 孔 與 兩 嘴 角 所 形 成 之 夾 角 大 於 某 一 門 檻 值, 則 表 示 所 找 到 的 嘴 角 地 標 點 的 其 中 之 一 可 能 是 錯 誤 的, 因 為 所 形 成 之 嘴 巴 外 貌 會 過 於 歪 斜 而 形 成 異 常 的 臉 部 結 構, 如 圖 4-19 所 示 因 此, 這 將 是 一 個 可 用 來 判 斷 嘴 角 定 位 是 否 可 靠 的 依 據 當 發 生 此 類 情 況 時, 可 以 嘗 詴 以 其 中 正 確 的 嘴 角 角 點 位 置 來 校 正 錯 誤 的 嘴 角 角 點 位 置 圖 4-19 嘴 巴 歪 斜 示 意 圖 在 我 們 的 實 驗 結 果 顯 示, 當 形 成 一 個 異 常 的 臉 部 結 構 時, 有 可 能 是 一 個 嘴 角 候 選 點 ( 嘴 角 A) 被 正 確 的 選 擇, 而 另 一 個 ( 嘴 角 B) 則 是 不 正 確 的 選 擇 因 此 我 們 嘗 詴 使 用 正 確 的 嘴 角 位 置 ( 嘴 角 A) 來 重 新 預 測 另 一 嘴 角 位 置 ( 嘴 角 B) 在 此, 我 們 需 先 決 定 哪 一 個 角 點 是 被 正 確 選 擇, 而 哪 一 個 是 錯 誤 的 選 擇 為 了 解 決 這 個 問 題, 我 們 簡 單 的 使 用 角 點 Adaboost 偵 測 器 所 得 到 的 分 數 來 做 判 斷 當 角 點 有 較 大 的 偵 測 分 數, 我 們 則 認 定 此 角 點 為 正 確 的 嘴 角, 而 所 選 擇 的 正 確 嘴 角 我 們 把 它 稱 之 為 基 準 點 Base Point 32

接 下 來, 我 們 以 兩 瞳 孔 的 中 心 位 置 為 中 心 點, 並 以 此 中 心 點 制 定 出 一 條 垂 直 軸, 再 以 此 軸 為 基 準, 找 出 相 對 基 準 點 的 映 射 點, 我 們 稱 之 為 Mapping Point, 之 後 就 可 以 從 Mapping Point 找 出 可 能 的 嘴 角 修 正 位 置 我 們 以 Mapping Point 為 基 準, 帄 行 於 雙 眼 方 向, 取 兩 瞳 孔 距 離 的 三 分 之 一 範 圍 來 搜 尋 新 的 嘴 角 候 選 點, 如 圖 4-20 所 示 黃 色 圓 點 為 正 確 角 點, 即 基 準 點 ; 黃 色 矩 形 為 錯 誤 角 點, 白 色 三 角 形 為 Mapping Point, 黑 色 虛 線 為 搜 尋 範 圍 圖 4-20 嘴 角 更 新 示 意 圖 在 所 定 義 的 搜 尋 範 圍 中, 新 的 嘴 角 候 選 點 的 選 擇 依 據 如 下 : 每 一 個 候 選 點 可 以 定 義 兩 個 子 區 塊, 一 個 是 位 於 候 選 點 左 邊 所 形 成 的 區 塊 ; 另 一 個 是 位 於 候 選 點 右 邊 所 形 成 的 區 塊, 如 圖 4-21 所 示 對 真 實 的 嘴 角 候 選 點 而 言, 其 中 一 個 子 區 塊 包 含 較 多 的 嘴 唇 資 訊, 我 們 稱 之 為 嘴 唇 屬 性 子 區 塊 Lip-Attributed Sub-Block (LASB); 另 一 個 子 區 塊 包 含 較 多 的 皮 膚 資 訊, 我 們 稱 之 為 膚 色 屬 性 子 區 塊 Skin-Attributed Sub-Block (SASB) 基 本 上, 大 部 份 的 嘴 角 候 選 點 都 滿 足 以 下 兩 個 條 件, 第 一 LASB 所 對 應 的 帄 均 灰 度 值 應 小 於 SASB; 第 二 LASB 所 對 應 的 灰 度 值 變 異 數 應 大 於 SASB 因 此, 嘴 角 的 選 擇 可 以 簡 單 定 義 如 下 : 33

> < (4-10) 其 中 和 分 別 表 示 子 區 塊 的 灰 度 值 變 異 數 以 及 灰 度 值 帄 均 值 然 而, 對 於 每 一 個 嘴 角 候 選 點, 我 們 不 需 要 明 確 決 定 哪 一 個 子 區 塊 是 LASB, 而 哪 一 個 子 區 塊 是 SASB 因 為 單 純 低 根 據 目 前 候 選 點 的 物 理 結 構 即 可 以 決 定 如 果 候 選 點 對 應 的 是 左 嘴 角, 左 邊 子 區 塊 就 是 SASB, 右 邊 子 區 塊 就 是 LASB; 同 樣 的, 如 果 候 選 點 對 應 的 是 右 嘴 角, 左 邊 子 區 塊 就 是 LASB, 右 邊 子 區 塊 就 是 SASB 圖 4-21 候 選 點 區 域 示 意 圖 如 果 有 超 過 一 個 以 上 的 候 選 點 符 合 上 述 條 件, 我 們 可 以 根 據 SASB 及 LASB 兩 區 塊 整 體 的 灰 度 值 變 異 數 來 判 斷, 擁 有 較 大 整 體 變 異 數 的 候 選 點 即 為 最 終 嘴 角 選 擇 的 位 置 4.2.4 嘴 巴 二 值 化 34

在 實 驗 中 我 們 發 現 張 嘴 時, 嘴 角 定 位 的 準 確 性 較 低, 這 是 因 為 訓 練 樣 本 中, 張 嘴 影 像 較 少, 因 此 使 用 adaboost 偵 測 器 去 偵 測 這 一 類 型 的 角 點, 其 候 選 點 可 能 不 包 含 正 確 嘴 角 點 因 此, 我 們 在 此 做 了 一 個 簡 單 的 設 計, 因 為 當 張 嘴 時, 嘴 巴 的 影 像 會 有 較 深 成 的 反 應, 所 以 當 嘴 巴 的 二 值 化 影 像, 其 嘴 巴 物 件 高 大 於 30 個 像 素 點, 則 使 用 二 值 化 的 方 式 來 定 位 角 點, 否 則 就 使 用 adaboost 偵 測 器 搭 配 角 點 候 選 點 的 選 擇 方 式 其 做 法 如 下 : 步 驟 1: 初 始 10 個 角 點 型 態 地 標 點 的 角 點 位 置 ; 步 驟 2: 根 據 初 始 嘴 角 位 置 擷 取 出 可 能 為 嘴 巴 的 區 域 ; 步 驟 3: 對 所 擷 取 出 來 的 區 塊 做 直 方 圖 均 衡 化 (Histogram equalization); 步 驟 4: 使 用 Otsu 演 算 法 進 行 二 值 化, 由 於 我 們 想 要 找 到 較 為 深 沉 的 部 分, 因 此 使 用 Otsu 演 算 法 找 出 的 門 檻 值, 我 們 將 減 去 一 個 定 值, 使 其 只 保 留 較 為 深 沉 的 部 分, 因 此 二 值 化 門 檻 值 為 ; 步 驟 5: 使 用 連 同 元 件 方 式 (connected component) 找 出 可 能 的 物 件, 在 此 當 物 件 與 影 像 邊 緣 相 鄰 時, 則 捨 棄 此 物 件 ; 步 驟 6: 嘴 巴 物 件 選 擇 條 件 : 物 件 的 黑 色 點 個 數 大 於 個 像 素 點 物 件 的 起 始 位 置, 即 左 上 角 高 度 位 置 頇 小 於 一 半 的 二 值 化 影 像 高 度 物 件 高 度 需 大 於 個 像 素 點 步 驟 7: 嘴 角 定 位, 當 找 到 嘴 巴 物 件 時, 其 物 件 的 最 左 及 最 右 點 及 為 嘴 角 點, 即 圖 4-22 角 點 輸 出 之 紅 點 詳 細 的 二 值 化 運 作 處 理 步 驟 圖 如 下 圖 4-22: 35

圖 4-22 二 值 化 處 理 步 驟 圖 4.3 臉 部 特 徵 點 定 位 第 二 階 段 在 第 二 階 段, 我 們 將 定 位 完 整 的 五 官 地 標 點 位 置, 以 下 將 分 成 兩 部 分 來 介 紹, 第 一 部 分, 重 新 初 始 化 五 官 位 置 ; 第 二 部 分, 候 選 點 搜 尋 範 圍 定 義 4.3.1 五 官 位 置 初 始 化 在 第 一 階 段, 我 們 已 經 成 功 的 定 位 10 個 重 要 的 角 點 地 標 點 位 置, 因 此 我 們 把 角 點 兩 兩 配 對, 則 可 分 成 五 組 ; 然 後, 每 一 組 各 自 根 據 兩 角 點 位 置 並 利 用 最 小 帄 方 法 求 出 相 對 應 的 旋 轉 縮 放 和 帄 移 參 數, 最 後 再 經 由 仿 射 變 換 重 新 調 整 地 標 點 初 始 位 置, 如 圖 4-23 所 示 經 過 重 新 初 始 化 後 的 眉 毛 眼 睛 和 嘴 巴 的 地 標 點 位 置, 不 難 發 現 已 36

經 相 當 近 似 於 正 確 的 地 標 點 位 置 因 此 當 人 們 有 著 不 同 的 臉 部 結 構, 如 長 臉 短 臉 和 不 同 的 臉 部 表 情, 採 用 此 方 法 可 以 獲 得 更 佳 的 五 官 初 始 位 置 圖 4-23 眉 毛 眼 睛 和 嘴 巴 重 新 初 始 化 但 在 鼻 子 部 分, 由 於 沒 有 角 點 可 以 重 新 評 估 初 始 化 位 置, 因 此 我 們 利 用 兩 內 眼 角 及 兩 嘴 角 位 置 來 做 評 估 新 的 鼻 子 初 始 位 置 可 以 根 據 以 下 四 個 步 驟 來 重 新 設 置 : 步 驟 1: 從 臉 部 帄 均 形 狀 模 板 中 計 算 左 右 內 眼 角 及 左 右 嘴 角 的 帄 均 位 置, 並 以 此 位 置 為 參 考 點 ; 內 眼 角 座 標 右 眼 角 座 標 左 嘴 角 座 標 右 嘴 角 座 標 (4-11) 步 驟 2: 根 據 第 一 階 段 的 角 點 定 位 結 果, 計 算 輸 入 人 臉 影 像 之 左 右 內 眼 角 及 左 右 嘴 角 新 的 帄 均 位 置, 並 以 此 位 置 為 新 的 參 考 點 ; 步 驟 3: 計 算 兩 參 考 點 的 位 移, 即 (4-12) 步 驟 4: 以 為 移 動 量, 將 帄 均 形 狀 模 板 之 鼻 子 地 標 點 移 動 至 新 的 鼻 子 地 標 點, 即 37

; (4-13) 圖 4-24 為 鼻 子 重 新 初 始 化 示 意 圖, 其 中 黑 色 三 角 形 為 帄 均 模 板 之 鼻 子 形 狀 示 意 圖, 紅 色 三 角 形 則 為 經 過 眼 角 及 嘴 角 評 估 後 的 鼻 子 形 狀 示 意 圖, 藍 色 實 心 點 為 原 始 參 考 點, 藍 色 空 心 點 為 新 的 參 考 點 圖 4-25 為 鼻 子 重 新 初 始 化 之 實 際 範 例, 可 以 發 現 鼻 子 部 分 經 重 新 初 始 化 後, 其 地 標 點 位 置 已 較 為 正 確 圖 4-24 鼻 子 重 新 初 始 化 示 意 圖 圖 4-25 鼻 子 重 新 初 始 化 38

4.3.2 候 選 點 搜 尋 範 圍 由 於 不 同 的 臉 部 邊 緣 型 態 地 標 點 有 著 不 同 程 度 的 分 佈 範 圍, 因 此 我 們 根 據 地 標 點 的 標 準 差 來 決 定 地 標 點 的 搜 尋 範 圍 但 在 同 一 五 官 內 的 地 標 點, 我 們 不 希 望 因 搜 尋 範 圍 的 不 同, 造 成 形 狀 過 度 變 形, 所 以 希 望 能 有 相 同 的 搜 尋 範 圍 基 於 上 述 概 念, 我 們 把 地 標 點 分 成 6 群, 如 圖 4-26 所 示, 第 一 群 是 與 眉 毛 相 關 的 邊 緣 地 標 點 ; 第 二 群 是 與 眼 睛 相 關 的 邊 緣 地 標 點 ; 第 三 群 是 與 鼻 子 兩 側 相 關 的 邊 緣 地 標 點 ; 第 四 群 是 與 鼻 子 底 部 相 關 的 邊 緣 地 標 點 ; 第 五 群 是 與 上 嘴 唇 相 關 的 邊 緣 地 標 點 ; 而 第 六 群 是 與 下 嘴 唇 相 關 的 邊 緣 地 標 點 不 同 群 集 的 地 標 點 之 搜 尋 範 圍 則 定 義 如 下 : (4-14) 其 中 k 表 示 第 幾 群,j 表 示 第 幾 個 地 標 點, 表 示 第 j 個 地 標 點 的 帄 均 位 置, 表 示 第 j 個 地 標 點 之 位 置 的 標 準 差, 而 i 為 第 幾 個 學 習 樣 本 圖 4-26 地 標 點 分 群 示 意 圖 39

4.4 系 統 整 合 由 於 ASM 使 用 疊 代 搜 尋 演 算 法 尋 找 最 佳 的 地 標 點 位 置, 然 而 本 論 文 在 第 一 階 段 方 法 中 使 用 adaboost 偵 測 器 在 所 定 義 的 區 塊 內 尋 找 最 佳 解, 取 代 傳 統 ASM 使 用 灰 階 側 影 特 徵 尋 找 最 佳 地 標 點 的 方 式, 一 般 來 說, 正 確 的 角 點 會 存 在 於 此 定 義 區 塊 內, 因 此 在 第 一 次 的 疊 代 中, 正 確 的 角 點 位 置 就 可 以 被 決 定 出 來, 所 以 在 第 一 階 段 10 個 地 標 點 的 ASM 定 位 中, 不 需 重 複 做 疊 代 的 動 作, 只 需 做 一 次 搜 尋 及 模 型 重 建 即 可 但 在 第 二 階 段 中, 由 於 在 第 一 階 段 我 們 已 有 精 確 的 角 點 地 標 點 定 位, 因 此 在 此 階 段 我 們 只 搜 尋 邊 緣 型 態 地 標 點 的 位 置, 角 點 形 態 地 標 點 位 置 會 保 留 第 一 階 段 的 結 果 而 不 再 變 更, 並 搭 配 使 用 50 點 的 ASM 疊 代 搜 尋 演 算 法, 來 找 到 最 佳 的 地 標 點 位 置 40

5.1. 系 統 實 驗 環 境 第 五 章 實 驗 結 果 本 實 驗 的 硬 體 設 備 及 系 統 開 發 環 境 如 表 5-1 所 示 系 統 的 實 驗 硬 體 設 備 CPU RAM Intel Q9400 2.66GHz 4.0GB 系 統 開 發 環 境 作 業 系 統 Microsoft Windows 7 開 發 環 境 Visual Studio.NET 2008 使 用 函 式 庫 OpenCV library 表 5-1 系 統 實 驗 環 境 5.2. 人 臉 資 料 庫 本 實 驗 一 共 使 用 兩 套 人 臉 資 料 庫, 一 套 是 BIOID 人 臉 資 料 庫, 包 含 23 人, 共 有 1508 張 正 面 人 臉 影 像 ; 另 一 套 是 Cohn Kanade 人 臉 表 情 資 料 庫, 包 含 97 人, 共 有 9005 張 正 面 人 臉 表 情 影 像 圖 5-1 顯 示 一 些 人 臉 影 像 範 例, 詳 細 的 影 像 資 料 使 用 狀 況 如 表 5-2 所 示, 其 中 BIOID 人 臉 資 料 庫 的 鏡 射 影 像 (Mirrored Image) 也 被 使 用, 而 Cohn Kanade 資 料 庫 的 訓 練 集 中, 有 6588 張 做 角 點 訓 練, 並 取 其 影 像 序 列 中 有 明 顯 變 化 之 影 像 共 760 張 做 形 狀 模 型 和 邊 緣 地 標 點 的 訓 練 41

(a) (b) 圖 5-1 人 臉 資 料 庫 (a)bioid database;(b)cohn Kanade database 項 目 形 狀 模 型 & 邊 緣 地 角 點 地 標 點 測 詴 總 張 數 資 料 庫 標 點 訓 練 訓 練 BIOID 1508*2 X 3016 Cohn Kanade 760/6588 6588/6588 2417 9005 總 張 數 3776 9604 2417 12620 表 5-2 資 料 庫 使 用 狀 態,X 表 示 此 資 料 庫 未 在 本 實 驗 中 使 用 5.3. 實 驗 設 計 本 實 驗 設 計 分 成 兩 部 分, 第 一 部 分 為 10 點 的 角 點 類 型 地 標 點 定 位 ; 第 二 部 分 為 50 點 的 地 標 點 定 位, 其 中 包 含 角 點 類 型 與 邊 緣 點 類 型 的 地 標 點 而 每 個 地 標 點 誤 差 定 義 如 下 : (5-1) 其 中 pt ij 表 示 程 式 所 偵 測 到 第 i 張 影 像 的 第 j 個 地 標 點 的 位 置,ans_pt ij 表 示 手 動 定 位 的 第 i 張 影 像 的 第 j 個 地 標 點 的 位 置, 而 dist i 表 示 第 i 張 影 像 手 動 點 選 的 兩 眼 間 距 離 42

在 第 一 階 段 10 個 角 點 的 定 位 誤 差 率 如 表 5-3 所 示, 其 中 index1 表 示 左 外 眉 角 index2 表 示 左 內 眉 角 index3 表 示 右 外 眉 角 index4 表 示 右 內 眉 角 index5 表 示 右 外 眼 角 index6 表 示 右 內 眼 角 index7 表 示 左 外 眼 角 index8 表 示 左 內 眉 角 index9 表 示 右 嘴 角 index10 表 示 左 嘴 角 index 1 2 3 4 5 6 7 8 9 10 (%) 5.698 6.474 6.309 5.829 3.240 3.950 3.129 3.140 3.940 4.039 表 5-3 各 角 點 類 型 地 標 點 偵 測 定 位 誤 差 率 由 表 5-3 可 以 發 現, 眉 角 的 部 分 相 對 於 眼 角 以 及 嘴 角 有 較 大 的 誤 差 率, 這 是 因 為 眉 毛 有 比 較 明 顯 的 深 淺 問 題, 因 此 較 難 正 確 的 定 位 下 圖 5-2 為 部 分 角 點 類 型 地 標 點 正 確 的 定 位 結 果, 可 以 發 現 使 用 Adaboost 偵 測 器 的 確 可 以 正 確 且 精 準 的 找 到 角 點 類 型 的 地 標 點 位 置 圖 5-3 為 部 分 角 點 錯 誤 定 位 的 結 果, 第 一 欄 是 明 顯 眉 毛 定 位 錯 誤, 第 二 欄 是 明 顯 眼 睛 定 位 錯 誤, 第 三 欄 是 明 顯 嘴 巴 定 位 錯 誤 43

圖 5-2 部 分 角 點 類 型 地 標 點 正 確 定 位 結 果 圖 5-3 部 分 角 點 類 型 地 標 點 錯 誤 定 位 結 果 為 了 證 明 角 點 型 態 地 標 點 選 擇 方 式 的 有 效 性, 我 們 將 實 驗 不 同 的 角 點 選 擇 方 式 表 5-4 為 不 同 的 眉 角 候 選 點 選 擇 方 式 所 產 生 的 結 果, 可 以 發 現 當 結 合 三 種 不 同 的 眉 角 44

候 選 點 選 擇 方 式 可 以 達 到 較 好 的 定 位 效 果 同 樣 的, 我 們 也 針 對 不 同 嘴 角 候 選 點 的 選 擇 方 式 做 相 同 的 實 驗, 如 表 5-5 所 示, 也 可 發 現 使 用 結 合 的 方 式 可 以 得 到 較 好 的 定 位 效 果 方 法 誤 差 率 (%) 法 法 一 ( 使 用 adaboost 偵 測 分 數 ) 5.945 方 法 二 ( 使 用 能 量 強 度 ) 6.0165 方 法 三 ( 使 用 HOG) 6.062 方 法 一 & 方 法 二 5.9275 方 法 一 & 方 法 三 5.9485 方 法 二 & 方 法 三 5.9425 方 法 一 & 方 法 二 & 方 法 三 5.926 表 5-4 不 同 眉 角 候 選 點 選 擇 方 式 方 法 有 無 做 二 值 化 方 法 誤 差 率 (%) 方 法 一 ( 使 用 adaboost 偵 測 分 數 ) 3.834 方 法 二 ( 灰 度 值 變 異 ) 無 5.627 方 法 一 & 方 法 二 3.759 方 法 一 ( 使 用 adaboost 偵 測 分 數 ) 3.605 方 法 二 ( 灰 度 值 變 異 ) 有 5.625 方 法 一 & 方 法 二 3.594 表 5-5 不 同 嘴 角 選 擇 方 式 為 了 驗 證 所 提 出 改 善 方 法 的 有 效 性, 我 們 將 所 提 出 的 方 法 分 成 三 階 段 來 測 詴 M1 表 示 使 用 第 一 階 段 的 角 點 地 標 點 定 位, 並 使 用 角 點 位 置 重 新 初 始 化 五 官 位 置, 但 45

不 包 含 鼻 子 初 始 化 的 方 式 ;M2 表 示 使 用 第 一 階 段 的 角 點 地 標 點 定 位, 並 使 用 角 點 位 置 重 新 初 始 化 五 官 位 置, 且 包 含 使 用 鼻 子 初 始 化 的 方 式 ; 而 M3 為 本 系 統 的 完 整 方 法 第 一 個 實 驗 使 用 手 動 點 選 的 眼 睛 位 置 做 為 形 狀 樣 版 的 初 始 位 置, 並 與 傳 統 的 ASM 演 算 法 做 比 較, 如 圖 5-4 所 示, 其 中 橫 軸 為 地 標 點 編 號, 縱 軸 為 誤 差 率, 其 帄 均 誤 差 如 表 5-6 所 示 圖 5-5 為 地 標 點 誤 差 分 布 圖, 其 中 橫 軸 為 誤 差 率, 縱 軸 為 出 現 頻 率 百 分 比, 而 我 們 也 和 AAM 做 比 較 部 分 實 驗 結 果 如 圖 5-6 所 示, 上 列 為 傳 統 ASM 的 處 理 結 果, 下 列 為 本 研 究 提 出 的 串 皆 式 ASM(M3) 的 處 理 結 果 (%) 16 14 12 10 8 6 4 2 0 圖 5-4 各 地 標 點 錯 誤 評 估 圖 traditional ASM M1 M2 M3 眉 毛 眼 睛 鼻 子 嘴 巴 1 5 10 15 20 25 30 35 40 45 50 方 法 帄 均 誤 差 率 (%) 傳 統 ASM 7.93 M1 6.233 M2 5.88 M3 4.972 表 5-6 帄 均 誤 差 比 較 表 46

(%) 18 16 14 12 10 8 6 4 2 0 ASM AAM M3 Zhonglong Zheng et al.[15] 0 1 5 10 15 20 25 30 35 39 (%) 圖 5-5 地 標 點 誤 差 分 布 圖 圖 5-6 實 驗 結 果 比 較 圖 本 論 文 也 實 做 了 一 套 自 動 尋 找 眼 睛 的 演 算 法, 輸 入 影 像 先 使 用 AdaBoost 進 行 人 臉 偵 測 來 找 出 臉 部 區 域 位 置, 再 以 輻 射 型 對 稱 性 轉 換 (Radial Symmetry Transform) [24] 產 生 眼 睛 瞳 孔 候 選 點, 最 後 從 候 選 點 當 中, 使 用 SVM (Support Vector Machine) 來 過 濾 出 可 能 的 眼 睛 位 置 圖 5-7 為 使 用 自 動 尋 找 眼 睛 演 算 法 之 臉 部 特 徵 點 定 位 誤 差 比 較 圖 47

(%) 20 15 10 5 traditional ASM M3 0 眉 毛 眼 睛 鼻 子 嘴 巴 1 5 10 15 20 25 30 35 40 45 50 圖 5-7 使 用 眼 睛 偵 測 之 誤 差 評 估 圖 為 了 檢 測 所 提 出 的 方 法 在 不 同 表 情 上 的 差 異, 我 們 也 根 據 不 同 的 表 情 來 做 實 驗, 如 表 5-7 所 示 anger disgust fear happiness sadness surprise other 10 點 (%) 4.57992 4.61901 4.54648 4.54584 4.62461 5.08955 4.28077 50 點 (%) 4.83726 4.55582 4.50977 4.80946 4.97821 6.88294 4.42251 表 5-7 不 同 表 情 之 定 位 誤 差 為 了 檢 測 所 提 出 的 方 法 對 於 不 同 光 源 的 影 響, 我 們 使 用 影 像 處 理 軟 體 模 擬 不 同 光 源 的 測 詴 資 料, 如 圖 5-8 所 示, 我 們 增 加 了 左 邊 光 源 及 右 上 方 光 源, 表 5-8 為 不 同 光 源 之 實 驗 結 果 圖 5-9 為 實 際 執 行 結 果 48

原 始 測 詴 影 像 加 入 左 光 源 加 入 右 上 方 光 源 圖 5-8 模 擬 不 同 光 源 之 測 詴 資 料 光 源 帄 均 誤 差 率 (%) 正 常 光 源 4.972 左 打 光 4.949 右 上 打 光 4.995 表 5-8 不 同 光 源 之 誤 差 率 49

圖 5-9 實 際 執 行 結 果 5.4. 分 析 與 討 論 從 圖 5-4 上 觀 察, 不 難 發 現 我 們 所 提 出 的 方 法 的 確 優 於 傳 統 的 ASM, 這 主 要 是 歸 功 於 使 用 角 點 型 態 地 標 點 來 重 新 初 始 化 形 狀 模 型 位 置 的 方 式, 可 以 大 幅 減 少 地 標 點 的 定 位 誤 差 但 在 M1 的 方 法 中, 鼻 子 部 分 的 誤 差 明 顯 的 變 大, 這 是 因 為 我 們 雖 然 重 新 調 整 了 眼 睛 眉 毛 和 嘴 巴 的 樣 板 位 置, 但 鼻 子 的 樣 版 卻 沒 跟 著 改 變, 因 此 造 成 臉 部 結 構 產 生 變 形, 所 以 與 鼻 子 相 關 的 地 標 點 會 得 到 較 大 的 誤 差 值 然 而 在 M2 部 分, 鼻 子 的 樣 板 位 置 也 重 新 初 始 化, 因 此 與 鼻 子 相 關 地 標 點 部 分 的 誤 差 會 隨 之 減 少 ; 而 在 M3 的 部 分, 我 們 針 對 不 同 的 地 標 點 使 用 不 同 的 搜 尋 範 圍, 可 以 減 少 因 搜 尋 範 圍 太 短 50

所 造 成 的 局 部 最 佳 解 及 減 少 和 因 搜 尋 範 圍 太 長 所 產 生 錯 誤 定 位 的 情 況 發 生 從 圖 5-4 並 參 考 圖 3-1 可 以 發 現 角 點 形 態 地 標 點 的 誤 差 大 幅 下 降, 如 編 號 1( 左 外 眉 角 ) 4( 左 內 眉 角 ) 7( 右 外 眉 角 ) 10( 右 內 眉 角 ) 13( 右 外 眼 角 ) 16( 右 內 眼 角 ) 20( 左 外 眼 角 ) 23( 左 內 眼 角 ) 37( 右 嘴 角 ) 和 41( 左 嘴 角 ) 這 10 個 角 點 地 標 點 這 是 因 為 使 用 Adaboost 偵 測 器 在 有 效 區 域 內 能 成 功 的 偵 測 到 物 件, 並 且 有 效 的 選 擇 最 適 當 的 候 選 點, 因 此 可 以 減 少 因 不 同 的 臉 部 結 構 所 造 成 的 定 位 誤 差 從 圖 5-5 中, 可 以 發 現 本 論 問 題 出 的 方 法 M3 明 顯 優 於 傳 統 的 ASM 方 法, 甚 至 還 優 於 AAM 方 法 從 圖 5-7 中, 可 以 發 現 我 們 的 方 法 仍 優 於 傳 統 的 ASM, 而 且 在 眉 毛 及 嘴 巴 部 分 的 地 標 點, 並 沒 有 因 眼 睛 初 始 位 置 的 不 同 而 產 生 較 大 的 誤 差, 這 主 要 是 因 為 經 由 adaboost 角 點 偵 測, 我 們 仍 可 以 準 確 定 位 到 眉 角 及 嘴 角 位 置 所 致 在 眼 睛 的 部 分, 由 於 眼 角 候 選 點 的 選 擇 是 依 據 候 選 點 與 初 始 眼 角 地 標 點 間 的 距 離 來 判 斷, 因 此 當 無 法 精 確 的 定 位 眼 睛 位 置 時, 其 眼 角 的 誤 差 率 會 變 大 相 對 的, 鼻 子 因 為 重 新 初 始 化 需 要 眼 角 的 資 訊, 因 此 其 誤 差 率 也 會 隨 著 變 大 從 表 5-7 中 可 以 發 現, 驚 訝 表 情 不 論 是 在 10 點 角 點 定 位 或 者 50 點 的 地 標 點 定 位 中, 其 定 位 效 果 並 不 理 想, 這 是 因 為 驚 訝 表 情 所 呈 現 的 臉 部 地 標 點 的 變 化 程 度 最 大, 因 此 當 10 點 定 位 不 理 想 時, 其 50 點 的 地 標 點 定 位 準 確 度 也 會 隨 之 下 降 在 表 5-8 中, 我 們 使 用 影 像 處 理 軟 體 模 擬 的 方 式 來 模 擬 不 同 的 光 源, 從 實 驗 結 果 可 以 發 現, 並 沒 有 明 顯 的 誤 差 變 化, 這 可 能 是 因 為 使 用 帄 滑 的 光 源 遮 罩, 因 此 還 無 法 明 確 的 反 應 不 同 光 源 的 定 位 結 果, 因 為 正 常 的 光 源 會 有 陰 影 產 生 但 在 此 實 驗 中, 還 是 可 以 反 應 在 簡 單 光 源 下 的 穩 定 性 51

從 圖 5-9 中 可 以 發 現 當 臉 部 呈 獻 驚 訝 表 情 時, 並 沒 有 辦 法 很 精 確 的 定 位 到 嘴 巴 邊 緣 地 標 點, 這 是 因 為 嘴 唇 上 的 地 標 點 已 不 在 候 選 點 的 搜 尋 範 圍 內, 因 此 難 以 正 確 的 定 位 所 致 綜 觀 以 上 實 驗 結 果, 我 們 的 方 法 有 下 列 四 項 優 點 : 第 一 項 地 標 點 分 類 : 把 地 標 點 分 成 角 點 形 態 地 標 點 與 邊 緣 形 態 地 標 點 並 且 使 用 不 同 的 地 標 點 搜 尋 方 式 角 點 形 態 地 標 點, 使 用 矩 形 的 搜 尋 範 圍, 可 以 避 免 因 正 確 地 標 點 不 在 法 線 上 所 造 成 的 誤 差 第 二 項 使 用 adaboost 偵 測 器 來 偵 測 角 點 型 態 地 標 點 : Adaboost 偵 測 器 對 於 有 特 殊 紋 理 結 構 的 物 件 能 夠 有 效 的 偵 測, 再 搭 配 所 提 出 的 候 選 點 選 擇 方 式, 可 以 成 功 的 定 位 角 點 位 置 第 三 項 使 用 角 點 位 置 重 新 初 始 化 五 官 形 狀 位 置 : 此 方 式 可 以 大 幅 減 少 不 同 的 臉 部 結 構 及 臉 部 表 情 使 用 同 一 個 帄 均 形 狀 樣 板 所 造 成 的 初 始 位 置 誤 差, 因 此 可 以 大 幅 提 升 定 位 的 準 確 度 第 四 項 不 同 的 五 官 地 標 點 使 用 不 同 的 搜 尋 長 度 : 因 為 各 地 標 點 的 分 散 程 度 不 同, 所 以 根 據 各 五 官 地 標 點 的 分 佈 情 形 給 予 相 對 應 的 搜 尋 範 圍, 可 以 減 少 因 搜 尋 範 圍 短 產 生 的 局 部 最 佳 解 及 搜 尋 範 圍 長 所 增 加 的 誤 判 機 率 52

第 六 章 結 論 與 未 來 研 究 方 向 本 論 文 基 於 物 件 偵 測 和 動 態 形 狀 模 型 的 概 念, 提 出 一 種 串 階 式 的 動 態 形 狀 模 型 定 位, 可 以 改 善 傳 統 動 態 形 狀 模 型 中 使 用 帄 均 模 板 而 造 成 臉 部 特 徵 點 定 位 不 準 的 缺 點 在 第 一 階 段 我 們 使 用 Adadoost 演 算 法 來 定 位 10 個 角 點 型 態 的 地 標 點, 並 搭 配 各 自 的 候 選 點 選 擇 方 式 來 定 位 最 佳 地 標 點 的 位 置 在 第 二 階 段 中, 使 用 第 一 階 段 角 點 形 態 地 標 點 所 定 位 出 來 的 結 果 重 新 初 使 化 各 五 官 樣 版 的 位 置, 已 達 成 較 佳 的 定 位 結 果 而 從 實 驗 結 果 也 可 以 發 現 我 們 所 提 出 的 方 法 的 確 優 於 傳 統 的 ASM 做 法 儘 管 所 提 出 的 方 法 已 經 改 善 了 不 同 人 使 用 相 同 帄 均 模 版 的 問 題, 但 在 人 臉 表 情 的 變 化 上 仍 有 改 善 的 空 間, 尤 其 是 驚 訝 表 情, 仍 是 會 造 成 嘴 巴 地 標 點 無 法 正 確 定 位 在 未 來 我 們 可 以 從 邊 緣 地 標 點 的 特 徵 著 手, 期 望 能 加 強 地 標 點 特 徵 的 鑑 別 度, 並 搭 配 地 標 點 追 蹤, 以 強 化 在 連 續 影 像 上 臉 部 特 徵 點 定 位 的 穩 定 性 53

參 考 文 獻 [1] 呂 正 偉 曾 定 章, 以 適 應 性 的 主 動 外 形 模 式 定 位 臉 部 特 徵, 國 立 中 央 大 學 資 訊 工 程 研 究 所 碩 士 論 文 [2] 黃 琤 婷 楊 茂 村, 利 用 邊 緣 顏 色 與 形 狀 特 徵 改 進 主 動 式 形 狀 模 型 之 唇 型 追 蹤 系 統, 國 立 東 華 大 學 資 訊 工 程 學 系 碩 士 論 文 [3] 徐 肇 陽 白 敦 文, 具 多 重 樣 板 偵 測 機 制 之 人 臉 特 徵 自 動 擷 取 系 統, 國 立 海 洋 大 學 資 訊 工 程 學 系 碩 士 論 文 [4] P. Ekman and W.V Freisen, The facial action coding system: a technique for the measurement of facial movement, San Francisco: Consulting Psychologists Press, 1978. [5] T. F. Coots, C. Taylor, D. Cooper, and J. Graham, Active shape models - their training and application, Computer Vision and Image Understanding, 61(1):38-59, January 1995. [6] S. Milborrow and F. Nicolls, Locating Facial Features with an Extended Active Shape Model, ECCV, 2008. [7] Bo Pu, Shuang Liang, Yongming Xie, Zhang Yi, Pheng-Ann Heng, Video Facial Feature Tracking with Enhanced ASM and Predicted Meanshift, Second International Conference on Computer Modeling and Simulation, 2010. [8] Sin-Yu Chen; Jun-Wei Hsieh, Boosted road sign detection and recognition, IEEE International Conference on Machine Learning and Cybernetics, pp.3823-3826, 2008. [9] P. Viola and M. Jones, Rapid Object Detection using a Boosted Cascade of Simple Features, IEEE Computer Society Conference on Computer Vision and Pattern Recognition,vol.1, pp.511-518, 2001. [10] ZHANG Baizhen and RUAN Qiuqi, Facial feature extraction using improved 54

deformable templates, The 8th International Conference on Signal Process Volumn4, 2006. [11] T. F. Cootes and C. J. Taylor, Statistical models of appearance for computer vision, Tech. Report, Oct 2001, University of Manchester, http://www.isbe.man.ac.uk/~bim/, Oct 2001. [12] T. F. Cootes, G. J. Edwards, and C. J. Taylor, Active Appearance Models, In Proc. European Conference on Computer Vision 1998. [13] T.F. Cootes, G.J. Edwards, C.J. Taylor, Active appearance models, IEEE Transactions on Pattern Analysis and Machine Intelligence 23,pp. 681 685,2001. [14] T. F. Cootes, G. J. Edwards, and C. J. Taylor, Comparing Active Shape Models with Active Appearance Models, volume 1. Proc. British Machine Vision Conference (ed T.Pridmore, D.Elliman), 1999. [15] Zhonglong Zheng, Jia Jiong, Duanmu Chunjiang, XinHong Liu, Jie Yang, Facial feature localization based on an improved active shape model, International Journal Information Sciences, Volume 178, Issue 9, pp. 2215-2223, 2008. [16] Kwok-Wai Wan, Kin-Man Lam, Kit-Chong Ng, An accurate active shape model for facial feature extraction, Pattern Recognition Letters, Volume 26, Issue 15, November 2005. [17] Chunhua Du, Qianq Wu, Jie Yang, Zhenq Wu, SVM based ASM for facial landmarks location, 8th IEEE international Conference on Computer and Information Technology, 2008. [18] Feng Jiao, Stan Li, Heung-Yeung Shum, Dale Schuurmans, Face Alignment Using Statistical Models and Wavelet Features, IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003. [19] DENG Lin, RAO Ni-ni, WANG Gang, Active Shape Model of Combining Pca and 55

Ica: Application to Facial Feature Extraction, Journal of Electronic Science and Technology of China, Vol.4 No.2, Jun. 2006. [20] Shengjun Xin and Haizhou Ai, Face Alignment Under Various Poses and Expressions, Affective Computing and Intelligent Interaction, pp.40-47, 2005. [21] Dianle Zhou, Dijana Petrovska-Delacr etaz and Bernadette Dorizzi, Automatic Landmark Location with a Combined Active Shape Model, IEEE 3rd International Conference on Biometrics: Theory, Applications, and Systems, 2009. [22] Schapire, R.E, The Strength of Weak Learnability, Machine Learning 5:197-227, 1990. [23] 10. Navneet Dalal and Bill Triggs, Histograms of Oriented Gradients for Human Detection, IEEE Computer Society Conference on Computer Vision and Pattern Recognition ( CVPR 05), 2005. [24] Gareth Loy and Alexander Zelinsky, Fast Radial Symmetry for Detecting Points of Interest, IEEE. Transaction on Pattern Analysis and Machine Intelligence, vol.25, no.8, 2003. 56