<4D6963726F736F667420576F7264202D20A4E2B6D5BFEBC3D1C2B2B3F8BCBDA9F1A874B2CE2E646F63>

致 理 技 術 學 院 資 訊 網 路 技 術 系 實 務 專 題 報 告 致 理 技 術 學 院 資 訊 網 路 技 術 系 實 務 專 題 報 告 手 勢 辨 識 簡 報 播 放 系 統 手 勢 辨 識 簡 報 播 放 系 統 指 導 教 師 : 高 楊 達 老 師 學 生 : 蔡 孟 純 (19634111) 邱 佩 盈 (19634118) 鄭 惠 馨 (19634125) 九 十 九 年 十 二 月 許 鋇 佳 (19634127) 陳 韋 廷 (19634136) 中 華 民 國 99 年 12 月

致 理 技 術 學 院 資 訊 網 路 技 術 系 實 務 專 題 報 告 手 勢 辨 識 簡 報 播 放 系 統 學 生 : 蔡 孟 純 (19634111) 邱 佩 盈 (19634118) 鄭 惠 馨 (19634125) 許 鋇 佳 (19634127) 陳 韋 廷 (19634136) 本 成 果 報 告 書 經 審 查 及 口 試 合 格 特 此 證 明 指 導 老 師 : 中 華 民 國 99 年 12 月

專 題 研 究 授 權 書 本 授 權 書 所 授 權 之 專 題 研 究 為 共 人, 在 致 理 技 術 學 院 資 訊 網 路 技 術 系 學 年 度 第 學 期 完 成 資 網 實 務 專 題 專 題 名 稱 : 同 意 不 同 意 本 組 同 學 共 人, 皆 同 意 著 作 財 產 權 之 論 文 全 文 資 料, 授 予 教 育 部 指 定 送 繳 之 圖 書 館 及 本 人 畢 業 學 校 圖 書 館, 為 學 術 研 究 之 目 的 以 各 種 方 法 重 製, 或 為 上 述 目 的 再 授 權 他 人 以 各 種 方 法 重 製, 不 限 地 域 與 時 間, 惟 每 人 以 一 份 為 限 上 述 授 權 內 容 均 無 須 訂 立 讓 與 及 授 權 契 約 書 依 本 授 權 之 發 行 權 為 非 專 屬 性 發 行 權 利 依 本 授 權 所 為 之 收 錄 重 製 發 行 及 學 術 研 發 利 用 均 為 無 償 上 述 同 意 與 不 同 意 之 欄 位 若 未 勾 選, 該 組 同 學 皆 同 意 視 同 授 權 指 導 教 師 姓 名 : 專 題 學 生 簽 名 : 學 號 : ( 親 筆 正 楷 ) ( 務 必 填 寫 ) 中 華 民 國 年 月 日 i

致 謝 大 學 四 年 裡, 最 重 要 的, 莫 過 於 三 下 到 四 上 這 最 重 要 的 專 題 研 究, 轉 眼 間, 這 半 年 即 將 邁 入 尾 聲, 憶 起 這 段 時 間 的 點 點 滴 滴, 心 中 感 慨 不 已, 感 謝 讓 我 們 有 所 成 長 的 一 切 首 先 誠 摰 的 感 謝 指 導 老 師 高 楊 達 老 師, 老 師 教 學 嚴 謹, 為 人 務 實 認 真, 在 老 師 的 諄 諄 教 誨 下, 使 我 們 得 以 一 探 影 像 處 理 領 域 的 驚 奇 之 旅, 在 我 們 遇 到 瓶 頸 時, 也 適 時 地 提 供 建 議 及 思 考 方 向, 讓 我 們 在 求 學 的 路 上 可 以 循 著 正 確 的 方 向 邁 進 在 此 特 別 感 謝 本 系 系 主 任 系 上 師 長 及 助 理, 感 謝 他 們 這 些 日 子 以 來 的 陪 伴, 並 給 予 每 位 專 題 組 員 適 時 的 指 導, 對 學 生 於 專 題 研 究 室, 甚 至 是 各 項 實 驗 的 儀 器 也 能 給 予 很 大 的 協 助, 讓 學 生 能 無 後 顧 之 憂 地 使 用 專 題 研 究 室 感 謝 本 組 組 員 們 彼 此 之 間 的 包 容 與 體 諒, 且 能 將 自 身 的 知 識 與 經 驗, 在 遭 遇 困 難 時 能 以 冷 靜 的 態 度 與 努 力 不 懈 的 精 神 面 對, 在 困 難 時 彼 此 激 勵 與 幫 助, 由 於 大 家 互 助 合 作, 努 力 耕 耘 及 孜 孜 不 倦 的 學 習 精 神, 才 使 得 專 題 研 究 順 利 完 成 最 後 還 要 感 謝 家 人 同 學 與 學 弟 妹 們, 在 這 段 期 間 內 所 給 予 的 支 持 與 鼓 勵 在 此, 僅 以 此 論 文 獻 給 所 有 幫 助 過, 指 導 過 我 們 的 人 ii

摘 要 隨 著 科 技 的 發 展, 電 腦 為 人 們 帶 來 極 多 便 利 的 生 活, 然 而 科 技 始 終 來 自 於 人 性 也 一 直 是 所 有 科 技 人 員 不 斷 研 發 新 技 術 的 動 力 為 此, 發 展 出 多 種 方 便 人 機 互 動 的 介 面, 其 中 尤 以 手 勢 最 為 容 易 與 機 器 互 動 本 論 文 提 出 一 套 以 影 像 為 基 礎 之 手 勢 辨 識 系 統, 用 於 簡 報 時 透 過 手 勢 的 辨 識 即 可 自 由 的 播 放 投 影 片, 本 系 統 處 理 了 投 影 片 播 放 時 常 用 到 的 幾 項 功 能 : 下 一 頁 上 一 頁 重 頭 開 始 播 放 以 及 停 止 播 放 等 四 項 論 文 的 架 構 分 為 手 勢 資 料 庫 建 立 及 即 時 手 勢 辨 識 兩 大 模 組, 透 過 攝 影 機 對 手 勢 進 行 取 像, 並 經 由 偵 測 影 像 中 特 定 顏 色 定 位 出 手 部 座 標, 加 以 使 用 型 態 影 像 學 技 巧 處 理 影 像 破 碎 現 象 最 後 將 二 維 平 面 座 標 轉 為 極 座 標, 並 以 極 座 標 之 角 度 及 距 離 當 作 手 勢 的 特 徵 由 於 手 勢 與 攝 影 機 的 距 離 與 拍 攝 角 度 等 因 素, 造 成 偵 測 到 的 手 勢 大 小 及 方 向 略 有 不 同, 無 法 進 行 的 有 效 辨 識, 因 此, 本 論 文 利 用 爬 山 式 序 列 表 示 法 (Mountain Climbing Sequence(MCS)) 及 大 小 正 規 化 兩 種 技 術, 順 利 的 解 決 了 旋 轉 及 放 大 及 縮 小 等 問 題, 最 後, 再 使 用 歐 式 距 離 (Euclidean Distance) 進 行 影 像 的 比 對 動 作 未 來, 本 論 文 所 實 作 之 系 統 除 了 使 用 在 簡 報 撥 放 功 能 外, 亦 可 應 用 在 其 他 人 機 互 動 的 介 面 上, 以 期 減 少 人 類 與 機 器 間 的 溝 通 問 題 關 鍵 字 : 手 部 偵 測 型 態 影 像 學 極 座 標 爬 山 式 序 列 法 歐 式 距 離 iii

目 錄 專 題 研 究 授 權 書... i 致 目 謝... ii 錄... iv 圖 目 錄... vii 表 目 錄... xi 第 壹 章 緒 論... 1 1.1 研 究 背 景... 1 1.2 研 究 動 機... 3 1.3 研 究 目 的... 5 1.4 研 究 重 點... 7 第 貳 章 影 像 辨 識 之 理 論 及 技 術 探 討... 10 2.1 研 究 理 論 及 應 用... 10 2.1.1 手 勢 辨 識 方 式... 11 2.1.2 手 勢 辨 識 設 備... 15 2.2 技 術 1 探 討 手 勢 辨 識 系 統 [9]... 18 2.3 技 術 2 探 討 電 腦 互 動 技 術 實 驗 課 程 設 計 與 教 學 手 冊 [13] 23 2.4 技 術 3 探 討 虛 擬 滑 鼠 : 以 視 覺 為 基 礎 之 手 勢 辨 識 [14]. 27 2.4.1 手 勢 辨 識 的 規 則... 27 iv

2.4.2 影 像 分 割 的 規 則... 28 2.4.3 特 徵 擷 取... 28 2.4.4 手 勢 分 析 與 結 果... 28 2.5 技 術 4 探 討 手 勢 辨 識 應 用 於 遙 控 音 樂 播 放 系 統 [15]... 32 第 參 章 手 勢 辨 識 簡 報 播 放 系 統... 39 3.1 取 得 影 像 [16]... 40 3.2 影 像 前 處 理... 41 3.2.1 手 部 偵 測... 41 3.2.2 影 像 二 值 化 [18]... 43 3.2.3 中 間 值 濾 波 [Median Filter]... 45 3.2.4 形 態 學 處 理... 48 3.2.5 相 連 區 域 法 [Connected Component]... 50 3.3 特 徵 抽 取... 52 3.3.1 Sobel 邊 緣 偵 測 法... 52 3.3.2 特 徵 抽 取 --- 極 座 標 [27]... 53 3.3.3 特 徵 正 規 化... 56 3.4 手 勢 辨 識... 59 3.5 播 放 簡 報 [30]... 60 第 肆 章 系 統 流 程... 61 v

4.1 環 境 設 定... 61 4.2 系 統 流 程... 62 第 伍 章 結 論... 69 參 考 文 獻... 71 vi

圖 目 錄 圖 1 專 題 研 究 架 構 圖... 9 圖 2 RGB 的 混 色 結 果... 12 圖 3 RGB 的 座 標 系 統... 13 圖 4 HSI 的 座 標 系 統... 13 圖 5 學 習 紅 外 線 機 制... 17 圖 6 膚 色 以 色 調 與 飽 和 度 表 示 之 分 佈 區 域... 19 圖 7 之 膚 色 偵 測 流 程 圖 [9]... 20 圖 8 運 用 最 小 平 方 線 到 手 掌 影 像 範 例 圖... 21 圖 9 手 部 外 圍 輪 廓 波 形 掃 描 示 意 圖... 21 圖 10 手 勢 辨 識 系 統 的 七 種 手 勢 範 例 圖... 22 圖 11 經 由 平 均 結 果 所 得 之 背 景... 23 圖 12 物 件 進 入 畫 面 中... 24 圖 13 白 色 部 分 是 系 統 偵 測 到 的 物 件 變 化... 24 圖 14 Connected Component 演 算 法 使 用 的 model... 25 圖 15 偵 測 最 大 物 件 的 範 例... 26 圖 16 光 線 劇 烈 變 化 導 致 程 式 誤 判 的 範 例... 27 圖 17 攝 取 影 像 序 列 之 取 像 軟 體... 29 圖 18 取 像 環 境... 30 vii

圖 19 為 校 正 之 紅 色 十 字 記 號... 30 圖 20 攝 影 機 位 置 校 正 之 情 況... 31 圖 21 背 景 相 減 法... 33 圖 22 擴 張 運 算... 34 圖 23 侵 蝕 運 算... 35 圖 24 封 閉 算 子... 35 圖 25 開 放 算 子... 35 圖 26 小 雜 訊 濾 除... 36 圖 27 左 手 臂 影 像 擷 取 :... 36 圖 28 邊 緣 化... 37 圖 29 系 統 流 程 圖... 39 圖 30 本 系 統 所 使 用 的 四 種 手 勢... 40 圖 31 (a) 擷 取 到 的 原 圖 (b) 系 統 保 留 綠 色 像 素 結 果... 43 圖 32 圖 影 像 二 值 化 函 數 轉 換... 44 圖 33 二 值 化 前 的 圖... 45 圖 34 二 值 化 後 的 圖... 45 圖 35 以 數 值 33 為 中 心 點 的 矩 陣... 46 圖 36 使 用 中 間 值 濾 波 後 的 範 例 圖... 47 圖 37 手 勢 影 像 的 原 圖... 48 viii

圖 38 二 值 化 後 經 中 間 值 濾 波 之 結 果... 48 圖 39 8 鄰 居 範 例 圖... 49 圖 40 一 個 紅 色 框 標 示 出 一 個 區 域... 51 圖 41 條 件 判 斷 後, 紅 框 為 我 們 要 的 手 部 區 域... 51 圖 42 Sobel 運 算 子... 53 圖 43 Sobel 邊 緣 偵 測 的 結 果... 53 圖 44 極 座 標... 54 圖 45 已 取 得 手 勢 各 維 度 的 極 座 標... 56 圖 46 數 值 的 正 規 化 之 後 的 結 果... 58 圖 47 為 圖 46 移 位 後 的 結 果... 58 圖 48 系 統 介 面... 62 圖 49 系 統 使 用 的 手 勢 圖... 63 圖 50 開 啟 簡 報 後 出 現 畫 面... 64 圖 51 此 為 開 啟 簡 報 檔 後 出 現 的 畫 面... 64 圖 52 此 為 拳 頭 手 勢... 65 圖 53 此 為 辨 識 完 手 勢 所 在 的 頁 面... 65 圖 54 此 為 一 級 棒 的 手 勢... 66 圖 55 此 為 辨 識 後 成 功 之 畫 面... 66 圖 56 此 為 五 的 手 勢... 67 ix

圖 57 此 為 回 到 第 一 頁 的 畫 面... 67 圖 58 此 為 結 束 手 勢... 68 圖 59 此 為 結 束 後 的 原 始 畫 面... 68 x

表 目 錄 表 1 系 統 開 發 環 境 表... 61 xi

第 壹 章 緒 論 1.1 研 究 背 景 隨 著 科 技 的 發 展, 電 腦 與 機 器 為 人 們 帶 來 極 多 便 利 的 生 活, 然 而 科 技 始 終 來 自 於 人 性 也 一 直 是 所 有 科 技 人 員 不 斷 研 發 新 技 術 的 驅 動 力 為 此, 甚 至 有 研 發 出 可 以 讓 人 機 互 動 (Human-Computer Interaction,HCI)[1] 的 語 言, 也 就 是 使 用 程 式 語 言 如 Visual Basic C# C++ Java 等 來 與 電 腦 溝 通, 再 透 過 電 腦 來 控 制 機 器 的 動 作 而 現 代 的 溝 通 方 式 擁 有 上 百 種 的 語 言, 但 在 人 類 尚 未 發 展 出 語 言 文 字 之 前, 人 與 人 之 間 的 互 動 方 式 便 是 使 用 身 體 語 言 (Body Language) 來 進 行 溝 通, 這 種 通 用 的 溝 通 方 式 如 果 應 用 在 科 技 方 面, 這 樣 大 多 數 的 人 都 能 夠 接 受 其 操 作 隨 著 多 媒 體 資 訊 科 技 的 進 步, 如 數 位 相 機 數 位 攝 影 機 掃 描 器 照 相 手 機 等 科 技 產 品 以 及 網 際 網 路 的 普 及, 使 得 數 位 影 像 隨 手 可 得, 也 研 發 出 更 多 相 關 於 影 像 處 理 的 技 術, 而 影 像 辨 識 就 是 其 中 的 應 用 手 部 正 是 人 們 用 來 進 行 肢 體 溝 通 上 最 重 要 也 是 最 容 易 清 楚 辨 識 的 部 分, 因 此 手 勢 辨 識 系 統 因 應 而 出, 相 關 應 用 在 於 人 機 介 面 設 計 醫 療 復 健 虛 擬 實 境 數 位 藝 術 創 作 與 遊 戲 設 計 等 方 面 都 有 所 發 展 在 現 實 中, 許 多 年 長 的 人 不 會 使 用 電 腦 科 技 產 物, 那 有 什 麼 方 式 可 1

以 幫 助 他 們 快 速 學 習 呢? 用 人 類 與 生 俱 來 的 才 能 或 許 是 最 適 當 的, 對 於 手 勢 辨 識 這 方 面 的 技 術, 我 們 認 為 值 得 去 做 深 入 的 研 究 ; 但 要 如 何 達 到 科 技 始 終 來 自 於 人 性 的 願 景, 便 是 近 代 人 機 互 動 介 面 發 展 的 重 要 關 鍵 近 年 來 的 科 技 發 展 不 斷 地 朝 人 機 介 面 的 目 標 前 進, 而 影 像 辨 識 成 了 重 要 的 研 究 區 域 我 們 所 談 到 的 影 像 處 理 系 統 其 實 就 是 一 種 以 影 像 資 料 為 基 礎 加 以 發 展, 其 主 要 目 的 是 要 讓 人 的 生 活 或 工 作 更 加 便 利, 如 : 人 臉 辨 識 (Face Recognition) 系 統 保 全 監 控 系 統 看 護 系 統 等 人 臉 辨 識 系 統 是 使 用 影 像 擷 取 器, 如 數 位 相 機 等 得 到 影 像 後 再 取 出 特 徵 向 量, 並 使 用 人 工 智 慧 或 圖 形 辨 識 讓 系 統 進 行 表 情 分 析, 可 以 廣 泛 應 用 到 簽 到 或 者 是 人 與 電 腦 互 動 式 的 教 學 ; 而 保 全 系 統 則 是 結 合 人 體 動 作 特 徵 及 人 臉 偵 測 (Face Detection), 以 便 於 如 果 有 犯 罪 情 形 發 生 的 時 候, 可 以 快 速 的 從 影 像 當 中 找 到 嫌 疑 犯 並 加 以 逮 捕 ; 另 外 看 護 系 統 是 一 種 應 用 到 醫 療 方 面 的 影 像 處 理 系 統, 其 可 以 藉 由 病 人 房 內 所 拍 攝 到 的 影 像 判 斷 病 人 目 前 的 狀 況, 如 果 當 病 人 處 於 危 險 的 情 況 之 下, 系 統 便 可 即 時 通 知 值 班 的 醫 護 人 員 讓 病 人 可 以 得 到 妥 善 的 照 顧 以 往 的 影 像 系 統 的 發 展, 通 常 都 侷 限 於 影 像 擷 取 器 所 得 到 的 資 訊 不 夠 清 晰 導 致 系 統 的 效 能 受 到 限 制, 然 而 現 今 隨 著 數 位 相 機 數 位 攝 影 機 效 能 的 提 升, 這 項 缺 點 已 經 漸 漸 被 2

克 服 這 些 系 統 不 僅 能 按 照 使 用 者 的 需 求, 精 確 地 接 收 資 訊 並 執 行 動 作, 這 都 是 人 機 互 動 介 面 技 術 的 一 大 躍 進 在 目 前 的 人 機 互 動 系 統 中, 人 雖 然 被 稱 為 使 用 者, 但 卻 沒 有 主 控 系 統 的 反 應 能 力 因 此 在 研 究 未 來 的 系 統 時, 人 將 會 是 主 動 的 參 與 者, 電 腦 將 會 針 對 人 的 各 種 動 作 而 做 出 反 應 人 機 介 面 的 發 展 趨 勢, 終 將 會 從 以 電 腦 主 控 為 中 心 進 而 轉 變 成 以 人 為 中 心 [2] 1.2 研 究 動 機 在 許 多 操 作 機 器 家 電 遊 戲 等 介 面, 使 用 者 除 了 傳 統 上 使 用 按 鍵 或 紅 外 線 遙 控 來 控 制 系 統 的 方 式 之 外, 也 另 外 提 供 了 一 種 使 人 與 機 器 更 加 自 然 的 溝 通 方 式, 使 得 使 用 者 在 操 作 上 更 加 具 有 便 利 性 及 真 實 感 [3] 我 們 希 望 可 以 研 究 出 讓 使 用 者 能 直 接 以 人 體 的 手 勢 及 姿 態 來 控 制 機 器 介 面, 進 而 簡 化 操 作 流 程 因 此 必 須 透 過 手 勢 辨 識 之 影 像 處 理 來 記 錄 手 部 動 作, 比 對 資 料 庫 已 有 的 手 勢, 再 辨 識 出 使 用 者 所 要 求 的 指 令, 傳 達 到 所 連 接 的 硬 體 並 作 回 應, 以 達 到 人 機 介 面 互 動 的 效 果 我 們 觀 察 到 不 論 是 在 課 堂 上 的 教 學 或 是 正 式 的 演 講 當 中, 主 講 人 在 台 上 演 說 時 必 須 一 邊 操 控 滑 鼠 切 換 頁 次, 才 能 使 整 個 演 講 流 暢 地 進 行, 3

但 有 時 這 樣 的 舉 動 會 造 成 主 講 人 不 經 意 的 分 神, 而 無 法 達 成 完 美 的 演 講, 因 此 也 有 些 人 會 請 旁 人 操 控 滑 鼠 來 輔 助 演 講, 但 其 效 果 通 常 不 彰 ; 因 為 協 助 者 與 主 講 人 若 沒 有 十 足 的 默 契, 便 很 難 得 知 主 講 人 的 進 度 為 何, 時 而 過 快 或 時 而 過 慢, 所 以 切 換 頁 次 的 時 機 便 要 拿 捏 得 當 方 能 順 利 進 行, 卻 也 要 花 些 許 練 習 時 間 以 培 養 彼 此 的 默 契, 這 對 主 講 人 也 是 相 當 的 不 便, 而 無 法 暢 所 欲 言 但 若 能 以 手 勢 來 取 代 點 滑 鼠 以 達 到 切 換 頁 次 的 動 作, 且 亦 能 透 過 手 勢 自 然 地 擺 動, 除 了 能 展 現 出 演 講 時 的 自 信, 還 能 成 功 的 吸 引 住 聽 眾 的 目 光, 這 樣 對 整 場 演 講 而 言 會 有 加 分 的 效 果 藉 由 影 像 辨 識 的 輔 助 之 下, 我 們 希 望 能 發 展 出 一 套 手 勢 辨 識 簡 報 播 放 系 統 來 針 對 在 教 學 或 演 講 時, 以 手 勢 取 代 滑 鼠 控 制 的 方 式 來 改 善 傳 統 控 制 方 式 的 不 便 而 手 勢 辨 識 (Hand Gesture Recognition) 是 目 前 熱 門 研 究 的 主 題, 應 用 的 範 圍 非 常 廣, 包 括 機 器 人 操 控, 遊 戲, 或 是 家 電 的 控 制 等 [4] 因 此, 除 了 能 偵 測 到 手 勢 的 位 置 型 態 進 而 加 以 辨 識 之 外, 要 如 何 正 確 地 讀 取 手 部 資 訊, 以 及 考 量 到 時 間 及 空 間 的 變 化, 也 是 我 們 影 像 處 理 中 要 解 決 的 重 要 議 題 在 辨 識 之 前 有 一 個 重 要 的 步 驟 就 是 在 於 影 像 前 處 理 的 部 分, 傳 統 上 4

用 來 處 理 色 彩 長 條 圖 的 方 式 大 多 採 用 均 等 量 化 法 或 查 表 量 化 法, 這 些 方 法 的 缺 點 就 是 在 於 量 化 的 誤 差 過 大, 會 使 得 影 像 比 對 時 容 易 產 生 錯 誤 而 且 若 採 用 RGB 的 色 彩 模 型 來 處 理 顏 色, 則 是 易 受 到 亮 度 的 變 化 (lighting intensity changes) 干 擾 而 誤 判 另 外, 若 只 考 慮 顏 色 上 的 比 對, 有 可 能 會 使 顏 色 的 分 佈 區 域 相 近, 但 就 會 有 影 像 內 含 的 物 件 卻 是 不 相 同 的 情 形 發 生 還 有 一 個 要 考 慮 的 要 點 是 在 於 如 何 將 圖 像 中 的 物 件 或 是 其 組 成 的 特 徵 分 割 出 來, 就 是 指 在 影 像 切 割 的 部 分 如 何 能 準 確 的 正 確 的 切 割 出 所 需 要 的 資 訊, 是 在 許 多 影 像 分 析 應 用 上 一 項 非 常 重 要 的 影 像 處 理 技 術, 因 為 切 割 出 來 的 物 件 及 特 徵 可 以 當 成 描 述 和 辨 識 物 件 特 徵 的 功 能 但 絕 大 多 數 的 情 況 下, 並 非 所 有 資 訊 都 是 我 們 所 要 處 理 分 析 的 利 用 分 割 的 概 念 將 影 像 中 具 有 意 義 的 資 料 取 出 並 做 有 效 的 處 理, 這 一 動 作 決 定 了 影 像 分 析 最 後 的 結 果 所 以 本 專 題 研 究 希 望 除 了 能 實 現 以 手 勢 播 放 簡 報 的 功 能 外, 更 能 夠 找 出 最 合 適 影 像 辨 識 的 處 理 技 術 1.3 研 究 目 的 由 於 電 腦 與 人 類 的 日 常 生 活 愈 來 愈 密 不 可 分, 能 夠 擁 有 更 方 便 且 更 具 人 性 化 的 新 型 人 機 介 面, 取 代 現 有 鍵 盤 及 滑 鼠 等 輸 入 裝 置, 是 多 數 人 5

心 中 之 期 盼 希 望 這 次 的 研 究, 使 後 續 有 愈 來 愈 多 研 究 者 能 投 入 新 型 人 機 介 面 的 研 發 工 作, 提 出 更 新 穎 的 構 想, 讓 大 眾 能 早 日 享 受 到 更 直 覺 更 方 便 以 及 更 具 人 性 化 的 新 型 人 機 介 面 裝 置 所 帶 來 的 便 利 此 項 研 究, 是 基 於 除 了 用 手 去 控 制 滑 鼠 外, 還 可 以 用 手 勢 去 操 作 簡 報 播 放 的 一 種 技 術 為 了 避 免 環 境 因 素 如 光 線 背 景 相 機 等 的 影 響 造 成 膚 色 手 部 偵 測 錯 誤, 或 高 計 算 量 的 需 求 限 制, 因 此 我 們 的 主 題 研 究 需 要 一 個 平 價 且 列 為 標 準 配 備 的 攝 影 機, 以 及 低 計 算 量 的 人 機 介 面 在 選 擇 人 機 介 面 的 部 分, 我 們 認 為 簡 報 的 環 境 較 為 單 純, 因 其 多 半 以 螢 幕 輸 出 為 主, 在 背 景 相 減 的 部 分 較 無 與 膚 色 相 近 的 問 題 而 我 們 最 終 的 目 的, 便 是 設 計 出 一 套 以 虛 擬 滑 鼠 為 主 的 非 觸 碰 式 操 作 系 統, 讓 使 用 者 能 夠 自 在 地 運 用 手 勢 操 作, 以 改 良 教 學 或 演 講 品 質 本 專 題 目 的 就 是 要 能 設 計 出 一 整 套 人 性 化 的 人 機 控 制 介 面, 並 不 是 僅 限 制 於 在 使 用 者 在 操 控 簡 報 系 統 而 已 只 要 舉 起 手 或 比 個 手 勢, 就 可 在 不 需 拿 取 任 何 控 制 器 來 遠 端 遙 控 機 器, 舉 凡 家 庭 電 器 娛 樂 設 備 室 內 控 制 等, 這 可 將 此 技 術 運 用 到 極 致 以 單 一 攝 影 機 達 成 擷 取 當 前 的 手 部 動 作, 操 作 方 式 既 簡 單, 在 此 將 性 質 相 近 的 操 作 又 可 以 以 同 樣 的 動 作 來 代 表 不 論 是 大 人 小 孩 各 種 身 材 各 種 年 齡 層 的 使 用 者 皆 可 順 利 使 6

用 最 終 我 們 希 望 能 讓 系 統 有 相 當 的 強 健 性, 屏 除 背 景 雜 訊, 而 不 受 到 背 景 的 影 響 1.4 研 究 重 點 我 們 的 研 究 重 點 是 在 於 如 何 成 功 地 將 使 用 者 與 內 建 資 料 庫 定 義 出 的 手 勢 進 行 辨 識 後, 比 對 出 相 對 應 的 指 令, 再 透 過 電 腦 程 式, 利 用 游 標 的 (X,Y) 坐 標, 傳 達 到 電 腦 系 統 負 責 控 制 滑 鼠 的 位 置, 並 模 擬 滑 鼠 的 動 作 以 操 控 電 腦 螢 幕 上 的 簡 報 畫 面 例 如 : 指 定 滑 鼠 至 特 定 的 位 置 切 換 上 / 下 頁 顯 示 右 鍵 的 功 能 並 選 取 等 並 且, 我 們 為 了 使 用 上 的 便 利 性, 程 式 將 在 背 景 執 行 為 了 增 加 辨 識 的 成 功 機 率, 在 研 究 過 程 中 有 以 下 重 點 為 需 考 量 到 的 必 要 條 件, 因 為 人 體 的 膚 色 在 色 調 裡 屬 於 暖 色 系, 與 背 景 色 彩 的 差 異 性 並 不 大, 所 以 在 一 般 的 場 合 中 較 難 辨 識 因 此 我 們 必 須 以 戴 手 套 的 方 式 來 遮 住 手 腕 以 上 的 部 位 在 試 用 過 白 色 橘 色 及 草 綠 色 的 手 套 進 行 影 像 辨 識 之 後, 發 現 綠 色 的 效 果 最 好 因 為 屬 於 白 色 的 物 體 太 多, 反 而 會 在 取 特 徵 的 過 程 中 發 生 誤 判, 而 橘 色 則 是 仍 太 接 近 人 體 的 膚 色 因 此 我 們 最 後 是 採 用 較 適 合 成 為 對 比 色 的 草 綠 色 手 套, 以 增 強 手 勢 影 像 在 背 景 中 的 顯 著 性, 使 之 差 異 性 更 大, 更 容 易 進 行 影 像 的 辨 識 7

我 們 採 用 最 基 本 的 影 像 擷 取 方 式, 便 是 只 需 架 設 一 台 普 通 功 能 相 機, 透 過 影 像 傳 輸 至 電 腦 立 即 作 影 像 處 理 1.5 研 究 範 圍 與 報 告 書 架 構 本 次 專 題 研 究 的 範 圍 是 以 影 像 辨 識 為 主, 從 影 像 的 前 處 理 到 偵 測 手 勢, 經 辨 識 結 果 後 判 讀 出 該 使 用 者 欲 執 行 的 指 令 並 傳 達 至 電 腦 中, 藉 此 以 手 勢 取 代 滑 鼠 的 動 作 來 操 作 簡 報 系 統 本 篇 論 文 主 要 分 為 五 大 章 節 貫 穿 全 文, 以 下 為 各 章 節 概 述 : A. 第 1 章 為 緒 論, 主 要 在 於 簡 述 影 像 辨 識 的 背 景 及 研 究 的 目 的 與 動 機, 並 列 出 幾 點 條 件 為 此 研 究 當 中 的 要 點, 以 利 作 出 較 為 精 準 的 辨 識 結 果 B. 第 2 章 則 為 影 像 辨 識 的 文 獻 回 顧 及 相 關 研 究 技 術 的 理 論 與 探 討, 也 包 含 了 本 研 究 當 中 會 使 用 到 的 技 術 C. 第 3 章 為 手 形 偵 測 的 方 法, 包 含 著 型 態 影 像 學 各 種 原 理 與 技 術 D. 第 4 章 為 本 專 題 技 術 成 果, 以 C++ Builder 6.0 開 發 操 作 介 面 來 呈 現 E. 第 5 章 為 結 論, 對 本 研 究 做 個 最 後 的 總 結, 並 期 許 未 來 能 有 更 進 一 步 的 研 究 重 點 及 方 向 圖 一 為 本 系 統 之 流 程 圖 8

訓 練 開 始 開 始 辨 識 載 入 資 料 庫 拍 攝 圖 像 拍 攝 圖 像 手 部 偵 側 顏 色 大 於 閥 值 簡 報 結 束 前 處 理 特 徵 抽 取 正 規 化 比 對 資 料 庫 存 檔 簡 報 反 應 圖 1 專 題 研 究 架 構 圖 9

第 貳 章 影 像 辨 識 之 理 論 及 技 術 探 討 2.1 研 究 理 論 及 應 用 近 年 來 關 於 人 體 動 作 辨 識 的 研 究 相 當 多, 尤 其 以 手 勢 辨 識 居 多, 此 類 研 究 可 應 用 在 機 器 人 操 作 介 面 家 電 操 作 介 面 及 遙 控 系 統 等 方 面, 未 來 能 讓 使 用 者 隨 時 隨 地 輕 鬆 用 手 勢 控 制 家 電 設 備, 是 新 一 代 數 位 住 宅 的 構 想 而 手 勢 辨 識 的 技 術 在 娛 樂 方 面 已 經 有 很 大 的 突 破, 透 過 手 持 裝 置 結 合 在 虛 擬 實 境 的 操 作, 最 令 人 耳 目 一 新 的 代 表 應 用 就 是 日 本 電 玩 業 者 於 2006 年 所 推 出 的 家 用 遊 樂 器 主 機 Wii Wii 是 以 手 持 式 遊 戲 搖 桿 Remote 內 建 的 CMOS 晶 片, 在 主 機 前 方 5 公 尺 的 活 動 區 內 感 應 到 Wii 主 機 上 的 Sensor Bar 所 發 出 的 紅 外 線 訊 號, 並 將 所 感 應 到 與 主 機 的 距 離 Remote 的 姿 勢 等 訊 息, 藉 由 藍 牙 通 訊 傳 回 Wii 的 主 機 [[4], 使 用 者 僅 須 揮 動 手 勢 便 可 模 擬 畫 面 中 的 動 作 如 此 便 利 的 遊 戲 設 計, 不 只 大 受 玩 家 的 歡 迎, 就 連 不 曾 接 觸 電 玩 遊 戲 的 人 或 小 孩 或 女 人, 甚 至 是 老 人, 都 願 意 開 始 嘗 試 這 種 簡 單 的 操 作 介 面 此 辨 識 功 能 雖 非 以 影 像 為 主, 但 是 以 透 過 紅 外 線 感 應 手 部 的 動 作 及 位 置 來 操 作 電 腦, 仍 屬 手 勢 辨 識 的 範 疇 Wii 遊 戲 機 改 變 了 舊 有 的 按 鈕 式 或 鍵 盤 式 操 作 介 面, 直 覺 性 的 操 作 介 面 大 幅 增 加 了 使 用 者 的 接 受 度, 這 10

也 更 確 立 了 使 用 手 勢 來 控 制 介 面 是 未 來 趨 勢 除 了 在 娛 樂 方 面 已 出 現 影 像 辨 識 的 應 用, 在 治 安 門 禁 或 看 護 系 統 也 有 以 人 臉 偵 測 之 影 像 辨 識 為 主 而 在 人 機 介 面 上 也 出 現 以 手 勢 控 制 家 電 設 備, 甚 至 還 可 以 遠 端 操 作, 而 這 些 都 是 生 活 上 俯 拾 皆 是 的 相 關 應 用 手 勢 辨 識 方 式 可 分 成 兩 種, 一 種 是 以 建 立 規 則 (Rule Based) 為 主, 透 過 設 計 者 事 先 定 義 好 的 特 徵 規 則 輸 入 至 資 料 庫 以 供 影 像 辨 識, 常 應 用 在 人 工 智 慧 的 研 究 上 另 一 種 則 是 以 學 習 (Learning Based) 為 主 的 辨 識 方 式, 將 蒐 集 到 的 資 料 樣 本 輸 入 至 分 類 器 (Classifier), 如 SVM, 好 讓 分 類 器 訓 練 參 數 並 加 以 儲 存 為 辨 識 之 時 可 以 用 以 下 便 來 探 討 目 前 用 來 研 究 手 勢 辨 識 的 相 關 技 術 : 2.1.1 手 勢 辨 識 方 式 手 勢 辨 識 可 以 分 成 靜 態 手 勢 辨 識 (Static Hand Gesture Recognition) 與 動 態 手 勢 辨 識 (Gesture Recognition) 兩 種 類 型, 靜 態 是 以 單 一 影 像 的 手 形 來 代 表 手 勢, 而 動 態 則 是 以 連 續 影 像 的 手 部 位 置 移 動 來 代 表 手 勢 因 靜 態 辨 識 屬 於 單 一 影 像 處 理 的 關 係, 所 以 在 研 究 技 術 及 所 需 的 設 備 較 為 簡 單, 以 下 列 出 較 常 使 用 的 技 術, 並 作 簡 單 的 介 紹 2.1.1.1 HSI 色 彩 模 型 RGB 為 彩 色 顯 示 器 所 使 用 之 色 彩 空 間, 由 於 相 當 易 於 瞭 解, 因 此 在 繪 11

圖 或 呈 現 上 多 以 此 空 間 為 基 礎 如 圖 2 為 用 來 表 示 色 彩 組 成 的 元 素 : 圖 2 RGB 的 混 色 結 果 然 而 RGB 在 表 達 現 實 世 界 中 的 光 影 變 化 並 非 為 線 性 關 係, 亮 度 變 化 也 會 使 同 一 種 顏 色 在 RGB 色 彩 空 間 中 呈 現 不 同 值, 因 此 當 環 境 的 亮 度 改 變 時 極 易 產 生 誤 差 而 且 以 RGB 色 彩 空 間 做 影 像 處 理 也 較 沒 有 效 率 [5], 這 將 會 對 影 像 造 成 辨 識 上 的 困 難 度 因 此, 在 數 位 影 像 處 理 的 過 程 中, 像 是 在 作 影 像 辨 識 前 置 處 理 的 部 份, 通 常 就 會 先 將 RGB 的 色 彩 模 型 轉 換 成 HSI 或 者 是 YCbCr 模 型, 再 去 作 形 態 學 的 處 理 而 HSI 分 別 表 示 色 相 (Hue) 飽 和 度 (Saturation) 強 度 (Intensity) 色 相 是 純 色 彩 ( 純 紅 純 綠 ) 的 區 分, 是 色 彩 由 物 體 反 射 或 透 射 出 來 的 顏 色, 表 示 的 方 式 為 色 彩 在 標 準 色 環 上 的 位 置, 以 介 於 0 到 360 的 角 度 表 示 飽 和 度 則 是 表 示 顏 色 的 強 度 或 純 度, 也 是 灰 色 和 色 相 的 12

相 對 比 率 量, 表 示 的 方 式 是 從 0% 到 100% 強 度 則 是 指 顏 色 的 相 對 亮 度 或 明 暗 度, 一 樣 是 從 0% 到 100% 來 表 示 [6] RGB 的 座 標 系 統 的 模 型 為 正 方 體, 如 圖 3 所 示 而 圖 4 為 HSI 色 彩 空 間 的 座 標 系 統, 是 呈 錐 狀 體 : 圖 3 RGB 的 座 標 系 統 圖 4 HSI 的 座 標 系 統 13

此 色 彩 轉 換 可 以 將 亮 度 (luminance) 和 色 度 (chrominance) 做 良 好 的 分 離 [7] 先 將 RGB 轉 換 後, 再 來 統 計 人 各 人 種 膚 色 的 區 間, 統 計 出 膚 色 會 落 在 該 色 彩 空 間 的 那 個 區 域 內, 以 此 區 間 來 判 斷 出 是 否 為 膚 色 而 兩 者 轉 換 [8] 的 公 式 (1)~(4): H = COS 1 ( R, G, B) Min( Max( R, G, B) (1) (2) Max R, G, B) S = (3) ( R, G, B) Max I = (4) 255 因 為 此 模 型 較 易 於 區 別 各 種 不 同 顏 色 的 區 域, 並 有 利 於 我 們 之 後 取 影 像 的 邊 緣 特 徵, 所 以 本 系 統 採 用 的 是 HSI 色 彩 模 型 2.1.1.2 邊 緣 偵 測 1 2 (( R G) + ( R B) ) 2 ( R G) + ( R B)( G B) 影 像 的 邊 緣 乃 是 兩 個 不 同 區 域 之 間 的 連 接 像 素 的 集 合, 也 是 不 同 的 幾 何 物 件 最 明 顯 的 區 隔, 因 此 邊 緣 就 成 為 影 像 當 中 各 幾 何 物 件 重 要 的 特 徵 之 一 邊 緣 偵 測 其 實 就 是 求 某 一 個 方 向 的 一 階 導 數, 即 影 像 f(x,y) 在 x,y 方 向 的 梯 度 變 化 量 如 公 式 (5) 所 示 : 1 H 1 H = 360 H if B G B > if G 1 f Gx x f = = (5) Gy f y 14

在 眾 多 方 法 中,Sobel 邊 緣 偵 測 法 與 Canny 邊 緣 偵 測 法 (Canny Edge Detection) 最 常 被 應 用 [9] 先 將 原 始 影 像 先 經 過 長 條 圖 等 化 處 理, 然 後 以 Sobel 演 算 法 或 Canny 來 進 行 邊 界 偵 測 經 過 長 條 圖 等 化 處 理 後 可 以 強 化 影 像 的 對 比, 改 善 亮 度 不 佳 的 問 題 然 後 再 透 過 邊 緣 偵 測, 並 且 只 要 適 當 調 整 偵 測 臨 界 值, 便 可 得 到 理 想 的 結 果, 即 完 成 了 前 處 理 的 作 業 流 程 Canny 為 Sobel 改 良 後 的 演 算 法, 是 Canny 於 1986 年 所 發 表 的 一 種 萃 取 目 標 物 特 徵 的 方 法, 對 於 一 個 對 影 像 高 頻 部 分 具 有 很 高 敏 感 度, 適 合 處 理 較 精 密 的 影 像 主 要 是 利 用 影 像 當 中 邊 緣 位 置 的 梯 度 值 通 常 較 週 遭 來 的 大 的 特 性 來 偵 測 [10] Canny 的 目 標 是 找 到 一 個 最 優 的 邊 緣 檢 測 演 算 法, 故 採 canny 邊 緣 檢 測 時 是 使 用 高 斯 模 糊 消 除 雜 訊, 並 估 計 圖 像 的 背 景, 並 創 建 結 構 元 素, 再 用 該 結 構 對 原 圖 像 進 行 數 學 型 態 的 操 作, 估 計 背 景 亮 度, 並 使 用 閥 值 操 作 將 圖 像 轉 換 為 二 值 化 圖 像 此 偵 測 法 需 用 到 較 複 雜 的 演 算 法, 在 計 算 的 過 程 上 也 花 費 較 多 的 計 算 時 間, 通 常 適 用 於 處 理 較 多 細 部 雜 訊 的 人 臉 偵 測 系 統 上 再 加 上 Sobel 本 身 就 有 不 錯 的 偵 測 邊 緣 效 果, 故 本 系 統 便 不 使 用 Sobel 改 良 後 的 Canny 2.1.2 手 勢 辨 識 設 備 15

手 勢 辨 識 的 系 統 依 輸 入 裝 置 可 分 為 以 影 像 為 基 礎 的 辨 識 ( vision-based approach ) 及 以 手 套 為 基 礎 的 辨 識 ( glove-based approach) 兩 類 以 影 像 為 基 礎 的 辨 識 使 用 攝 影 機 擷 取 手 部 影 像, 再 將 影 像 手 勢 特 徵 化 再 進 行 辨 識, 其 優 點 在 於 使 用 者 不 需 在 身 上 穿 戴 任 何 的 額 外 裝 置, 因 此 使 用 者 接 受 度 較 高 ; 而 相 較 於 以 手 套 為 基 礎 的 辨 識 則 是 使 用 資 料 手 套 來 取 得 手 指 彎 曲 度 資 訊, 再 由 彎 曲 度 資 訊 進 行 辨 識 然 而, 以 影 像 為 基 礎 來 辨 識 手 勢 其 運 算 量 較 大, 由 於 必 須 先 進 行 影 像 的 前 處 理 以 取 得 手 部 特 徵, 因 此 辨 識 步 驟 較 為 繁 雜 另 外, 使 用 單 一 攝 影 機 拍 攝 手 部 時, 可 能 會 有 影 像 死 角, 無 法 取 得 完 整 手 部 資 訊, 因 此 能 處 理 的 手 勢 較 少 如 果 加 設 攝 影 機 數 量, 可 取 得 較 完 整 資 訊, 但 相 對 運 算 量 會 大 得 多, 對 一 般 系 統 而 言 負 擔 很 大, 成 本 也 會 大 為 增 高 如 使 用 資 料 手 套 做 為 輸 入 元 件, 雖 然 使 用 者 必 須 額 外 穿 戴 手 套 較 為 不 便 然 而, 資 料 手 套 可 取 得 的 資 訊 卻 較 為 完 整, 運 算 量 也 較 低, 適 用 於 即 時 辨 識 系 統, 也 可 以 處 理 較 多 種 手 勢, 多 半 應 用 於 動 態 辨 識 系 統 上 以 下 便 是 要 介 紹 手 勢 辨 識 系 統 常 會 使 用 到 的 硬 體 設 備 : 2.1.3.1 紅 外 線 發 射 器 [11] 16

紅 外 線 常 被 應 用 於 控 制 家 中 硬 體 設 備, 傳 送 指 令 至 特 定 紅 外 線 發 射 端, 再 藉 由 無 線 網 路 經 紅 外 線 訊 號 控 制 盒 操 控 特 定 家 電 當 加 入 新 家 電 的 新 功 能 時, 家 電 遙 控 器 對 準 主 控 端 的 紅 外 線 接 收 器 發 送 訊 號, 系 統 會 將 訊 號 格 式 編 碼 複 製 往 後 選 定 功 能, 系 統 發 送 出 一 模 一 樣 的 紅 外 線 訊 號 來 控 制 家 電, 如 圖 5 圖 5 學 習 紅 外 線 機 制 [11] 另 一 個 應 用 則 是 在 於 娛 樂 方 面 的 家 用 遊 樂 器 主 機 Wii 在 可 偵 測 到 的 活 動 區 內 感 應 到 紅 外 線 的 訊 號, 藉 由 藍 牙 通 訊 傳 回 Wii 的 主 機, 便 可 模 擬 畫 面 中 的 動 作 2.1.3.2 攝 影 機 (Video Camera)[12] 利 用 攝 影 機 擷 取 手 部 或 配 戴 於 手 部 的 感 測 器 在 空 間 中 影 像, 還 可 以 連 續 拍 攝 影 像 方 式 提 供 電 腦 計 算 出 平 均 值 的 影 像, 對 使 用 者 而 言 是 較 為 直 覺 的 方 式, 也 是 目 前 最 常 見 且 花 費 成 本 較 低 的 一 種 設 備, 常 應 用 於 靜 態 辨 識 系 統 然 而 若 要 獲 得 較 完 整 的 資 訊, 所 需 付 出 的 代 價 為 運 算 量 的 增 加 及 辨 識 速 度 的 降 低, 這 些 需 要 硬 體 的 支 援 及 良 好 的 演 算 法 配 合 17

2.1.3.3 資 料 手 套 主 要 是 為 了 偵 測 使 用 者 手 部 方 位 (X 軸 與 Z 軸 兩 自 由 度 ) 及 手 指 彎 曲 度 的 功 能 資 料 手 套 上 鑲 有 兩 軸 (X 軸 與 Z 軸 ) 方 位 感 測 器, 其 功 能 為 感 測 手 部 方 位 的 改 變, 測 量 角 度 在 +/-60 度 時 呈 線 性 變 化 在 資 料 手 套 內 則 貼 附 著 光 纖 並 在 每 隻 手 指 安 裝 一 個 感 測 器, 測 量 手 指 的 平 均 彎 曲 量, 將 測 量 值 傳 回 電 腦 做 運 算 並 反 應 成 相 對 的 動 作 因 為 能 夠 精 準 抓 住 手 部 動 作, 所 以 適 用 於 動 態 的 手 勢 辨 識 系 統, 但 因 考 量 到 成 本 及 使 用 不 便 的 因 素, 故 在 本 專 題 的 硬 體 設 備 需 求 上 並 不 適 用 2.2 技 術 1 探 討 手 勢 辨 識 系 統 [[9] 技 術 中 採 用 RGB 色 彩 模 型 轉 換 成 HSI 的 模 型, 原 因 為 數 位 影 像 的 膚 色 像 素 值 投 影 在 HSI 色 彩 模 型 時, 會 在 HSI 座 標 軸 上 形 成 一 個 近 乎 橢 圓 的 幾 何 形 狀, 如 圖 6, 利 用 這 個 橢 圓 可 以 明 確 且 輕 易 地 區 隔 出 膚 色 部 分 與 非 膚 色 部 份 18

圖 6 膚 色 以 色 調 與 飽 和 度 表 示 之 分 佈 區 域 [9] 輸 入 之 影 像 經 過 HSI 轉 換 後, 經 過 統 計 可 發 現 膚 色 分 部 都 集 中 在 H_Range[0,56] S_Range[15,83] 這 組 範 圍 內, 可 利 用 此 一 範 圍 多 次 分 析 測 試 後 找 出 一 組 可 靠 門 檻 值, 往 後 將 以 此 門 檻 值 為 基 礎 作 為 偵 測 手 勢 之 依 據 由 於 RGB 轉 換 HSI 公 式 將 像 素 用 HSI 表 示, 初 期 所 得 到 的 膚 色 像 素 點 會 有 因 為 膚 色 誤 判 而 被 保 留 或 缺 少, 為 了 彌 補 這 些 像 素 點, 研 究 中 在 膚 色 偵 測 之 後 再 經 由 型 態 學 當 中 的 斷 開 和 閉 合 技 術, 讓 多 餘 的 點 消 失, 缺 少 點 補 回 一 些 圖 7 為 膚 色 偵 測 流 程 圖 19

圖 7 之 膚 色 偵 測 流 程 圖 [[9] 在 特 徵 擷 取 這 方 面, 此 技 術 是 利 用 手 部 大 小 正 規 化 來 處 理, 為 了 要 準 確 的 尋 找 相 對 位 置, 必 須 先 將 手 勢 做 轉 正 的 處 理, 而 為 了 轉 正 則 需 要 用 到 最 小 平 方 線 的 技 術, 最 小 平 方 線 是 一 種 在 數 值 方 法 中 用 來 計 算 出 座 20

標 軸 當 中 各 數 值 最 接 近 的 直 線 的 方 法, 在 系 統 當 中 用 來 計 算 出 手 部 物 件 的 代 表 直 線, 接 著 利 用 這 條 直 線 所 代 表 的 角 度 算 出 物 件 的 角 度, 再 根 據 這 個 角 度 將 影 像 加 以 旋 轉 以 期 手 掌 影 像 可 以 旋 轉 到 接 近 垂 直 的 位 置, 如 圖 8 所 示, 將 手 勢 轉 正 之 後, 利 用 手 部 外 圍 輪 廓 波 形 掃 描 手 勢 的 輪 廓 幾 何 物 件 的 外 圍 輪 廓 波 形 掃 描 是 利 用 幾 何 物 件 的 中 心 點, 掃 描 360 求 出 各 角 度 物 件 輪 廓 點 與 中 心 點 距 離 所 形 成 的 波 形 構 成, 如 圖 9 所 示 (a) 原 圖 (b) 結 果 圖 圖 8 運 用 最 小 平 方 線 到 手 掌 影 像 範 例 圖 [9] 圖 9 手 部 外 圍 輪 廓 波 形 掃 描 示 意 圖 [9] 21

此 技 術 之 缺 點 有 三 : A. 由 於 系 統 只 定 義 七 種 手 勢, 故 所 取 得 的 影 像 必 須 在 七 種 手 勢 當 中, 如 圖 10, 如 果 測 試 影 像 是 在 已 經 經 過 訓 練 的 資 料 群 組 當 中, 整 體 辨 識 正 確 率 可 以 達 到 95%, 而 如 果 測 試 影 像 不 在 訓 練 資 料 群 組 當 中 整 體 辨 識 正 確 率 為 87% (a) (b) (c) (d) (e) (f) (g) 圖 10 手 勢 辨 識 系 統 的 七 種 手 勢 範 例 圖 [9] B. 輸 入 的 影 像 其 拍 攝 時 的 環 境 照 明 必 須 要 充 足 C. 手 掌 必 須 是 右 手 影 像, 且 拍 攝 的 時 候 手 部 中 心 軸 允 許 些 微 的 傾 斜 22

2.3 技 術 2 探 討 電 腦 互 動 技 術 實 驗 課 程 設 計 與 教 學 手 冊 [[13] 此 技 術 主 要 是 希 望 能 藉 由 一 個 觀 念 簡 單 的 實 驗, 以 及 一 些 簡 單 的 影 像 處 理, 以 協 助 各 位 了 解 電 腦 如 何 藉 由 攝 影 機 與 環 境 產 生 互 動 技 術 中 是 以 根 據 影 像 資 料 建 立 一 組 背 景, 再 藉 由 比 對 擷 取 的 影 像 與 建 立 的 背 景 之 間 的 差 異, 來 判 斷 影 像 中 是 否 有 物 件 正 在 進 行 移 動 在 手 勢 偵 測 時, 因 為 影 像 中 包 含 許 多 複 雜 的 訊 息, 所 以 將 影 像 大 致 區 分 為 手 勢 區 域 與 背 景 區 域 此 論 文 技 術 是 利 用 實 驗 的 內 容, 是 在 一 秒 內 連 取 十 張 影 像, 並 取 這 十 張 影 像 的 像 素 值 平 均 值 作 背 景, 如 圖 11 圖 11 經 由 平 均 結 果 所 得 之 背 景 [13] 有 了 背 景 之 後, 便 可 持 續 的 將 目 前 擷 取 裝 置 擷 取 到 的 影 像 跟 背 景 相 減, 當 目 前 擷 取 到 的 影 像 如 圖 12, 不 同 於 目 前 的 背 景 時, 則 畫 面 中 新 進 入 的 物 件, 其 相 對 位 置 上 的 像 素 值 與 背 景 的 像 素 值 之 間 的 差 異 便 會 相 當 的 大, 當 此 差 異 值 大 過 一 個 門 檻 值 後, 我 們 便 能 認 為 此 位 置 的 像 素 與 背 23

景 不 同, 並 且 將 此 點 設 為 白 色, 顯 示 在 程 式 的 右 邊 畫 面 中, 如 圖 13 所 示 圖 12 物 件 進 入 畫 面 中 [13] 圖 13 白 色 部 分 是 系 統 偵 測 到 的 物 件 變 化 [13] 雖 然 可 以 藉 由 上 述 的 方 法 偵 測 到 物 件 的 移 動, 但 是 在 通 常 的 情 況 下, 物 件 的 擷 取 成 果 並 不 會 如 圖 12 所 示 的 那 麼 漂 亮, 經 常 會 有 一 些 雜 訊 散 落 在 各 處 為 了 要 能 準 確 的 判 斷 物 件 的 所 在 位 置,[[13] 的 方 法 將 再 計 算 圖 13 中 的 Connected Components, 並 將 較 小 的 Connected Components 視 為 雜 訊 濾 除 掉 此 演 算 法 的 步 驟 如 下 : 24

A. 自 左 上 至 右 下 逐 一 判 斷 每 個 像 素, 如 圖 14 所 示,X 所 在 處 代 表 目 前 位 置,A B C D 分 別 代 表 X 之 位 置 的 左 上, 正 上, 右 上, 以 及 正 左 四 個 位 置 的 像 素 值 B. 若 X 位 置 的 像 素 值 為 1( 即 圖 4 中 的 白 色 處 ), 則 判 斷 A B C D 四 個 點 是 否 屬 於 某 個 Connected Component, 若 均 不 屬 於 任 何 一 個 Connected Component, 則 將 此 點 標 示 為 一 個 新 的 Connected Component 若 此 A B C D 中 只 有 一 點 屬 於 某 個 Connected Component, 則 X 亦 屬 於 該 Connected Component C. 若 A B C D 中,A C 分 別 屬 於 不 同 的 Connected Component, 則 X A C 均 應 視 為 相 同 的 Connected Component 同 理, 若 C D 分 別 屬 於 不 同 的 Connected Component, 則 X C D 也 均 視 為 相 同 的 Connected Component 圖 14 Connected Component 演 算 法 使 用 的 model[13] 完 成 了 Connected Components 的 演 算 法 之 後, 即 可 計 算 每 一 個 25

Connected component 的 大 小, 除 了 前 述 所 說, 我 們 可 以 將 較 小 的 Connected component 視 為 雜 訊 濾 除 掉 之 外, 完 成 了 Connected Components 的 演 算 法 之 後, 也 可 以 做 許 多 其 他 的 應 用, 例 如, 假 設 我 們 主 要 是 偵 測 目 前 畫 面 中, 體 積 最 大 的 移 動 物 件, 我 們 擁 有 了 每 個 Connected Components 的 大 小 資 訊, 便 可 以 很 容 易 的 將 目 前 最 大 的 移 動 物 件 顯 示 出 來, 如 圖 15 所 示 (a) 物 件 進 入 畫 面 中 (b) 白 色 部 分 是 最 大 的 移 動 物 件 圖 15 偵 測 最 大 物 件 的 範 例 [13] 但 此 技 術 的 缺 點 是 由 於 一 開 始 只 有 建 立 一 次 背 景, 當 環 境 產 生 某 些 變 化 ( 如 光 線 的 變 化 ) 之 後, 雖 然 景 物 本 身 並 沒 有 改 變, 但 由 於 光 線 的 劇 烈 變 化, 就 可 能 導 致 程 式 的 誤 判, 如 圖 16 所 示 26

(a) 正 常 的 光 線 (b) 全 黑 表 示 為 正 常 的 狀 態 (c) 光 線 改 變 但 景 物 不 變 (d) 白 色 部 分 是 系 統 偵 測 到 的 物 件 變 化 圖 16 光 線 劇 烈 變 化 導 致 程 式 誤 判 的 範 例 [13] 2.4 技 術 3 探 討 虛 擬 滑 鼠 : 以 視 覺 為 基 礎 之 手 勢 辨 識 [14] 這 項 技 術 是 以 視 覺 為 基 礎 之 手 勢 辨 識, 所 採 用 的 手 勢 較 為 簡 單, 因 為 眾 所 皆 知, 滑 鼠, 只 有 三 個 鍵, 左 鍵 右 鍵 以 及 中 間 的 捲 軸 鍵 此 虛 擬 滑 鼠 的 構 想 是 以 左 鍵 及 右 鍵 做 為 研 究, 要 二 種 手 勢 取 代 這 二 個 按 鍵, 且 讓 軟 體 能 夠 辨 識 出 使 用 者 的 手 勢 並 操 作 滑 鼠 2.4.1 手 勢 辨 識 的 規 則 手 勢 開 始 時 先 以 一 個 較 慢 的 速 度 從 起 始 位 置 出 發, 繼 續 以 一 個 較 快 的 運 動, 最 後 結 束 回 到 手 勢 開 始 時 的 起 始 位 置 當 手 在 運 動 中, 假 設 其 27

處 於 某 個 特 定 狀 態 當 手 靜 止 時, 個 別 手 指 的 運 動 有 他 的 意 義 在, 當 然 手 勢 必 需 被 限 制 在 一 個 固 定 的 活 動 範 圍 內 2.4.2 影 像 分 割 的 規 則 影 像 分 割 後 的 區 域 應 具 有 單 一 性, 每 一 區 域 應 代 表 相 同 之 性 質, 且 所 有 的 單 一 區 域 之 聯 集 組 成 原 影 像 分 割 的 區 域 結 構 應 儘 量 簡 單 化, 且 要 避 免 區 域 內 部 有 太 多 小 洞 出 現, 分 割 後, 相 鄰 之 兩 個 區 域 彼 此 間 應 有 明 確 之 差 異 性 性 質 存 在, 區 域 之 邊 界 和 邊 緣 應 簡 單 清 楚, 可 供 辨 識 2.4.3 特 徵 擷 取 簡 單 來 說, 就 是 要 從 影 像 中 辨 識 出 手 勢 的 動 作, 就 必 須 先 從 影 像 中 擷 取 及 追 蹤 某 些 特 徵 資 訊, 如 手 掌 中 心 位 置 手 掌 中 心 位 置 之 水 平 與 垂 直 移 動 量 指 尖 位 置 以 及 指 尖 位 置 之 水 平 與 垂 直 移 動 量 等 特 徵 資 訊, 大 部 份 以 特 徵 為 基 礎 的 影 像 比 對 技 術, 多 半 是 用 邊 點 區 塊 等 特 徵, 與 其 周 遭 鄰 近 像 素 進 行 比 對 2.4.4 手 勢 分 析 與 結 果 常 用 的 手 勢 分 析 為 馬 可 夫 模 型 以 及 隱 藏 式 馬 可 夫 模 型 在 過 去 的 研 究 中, 隱 藏 式 馬 可 夫 模 型 已 被 成 功 應 用 於 語 音 辨 識 上 近 年 來, 它 也 逐 漸 被 應 用 於 影 像 辨 識 和 電 腦 視 覺 之 研 究 中, 如 手 寫 字 辨 識 人 體 動 作 辨 識 手 語 辨 識 以 及 表 情 辨 別 等 方 面 28

以 視 覺 為 基 礎 之 方 法 進 行 手 勢 辨 識 的 研 究, 實 作 方 法 及 操 作 步 驟 大 致 分 為 以 下 五 個 部 份 進 行 : A. 透 過 CCD 取 像 系 統 擷 取 連 續 手 勢 影 像 B. 將 手 勢 從 影 像 中 分 離 出 來 C. 擷 取 特 徵 資 訊 辨 識 手 勢 動 作 D. 決 定 手 勢 動 作 所 代 表 之 滑 鼠 事 件 E. 傳 送 訊 息 控 制 系 統 滑 鼠 動 作 有 好 的 手 勢 影 像, 當 然 就 要 有 好 的 取 像 環 境, 這 裡 是 使 用 一 張 安 裝 於 電 腦 上 的 數 位 影 像 擷 取 卡, 連 接 一 台 彩 色 CCD 攝 影 機, 透 過 安 裝 於 電 腦 上 的 取 像 軟 體, 如 圖 17 所 示, 進 行 影 像 序 列 攝 取 工 作, 此 系 統 每 秒 最 高 可 擷 取 12 張 彩 色 影 像 整 套 設 備 設 置 於 一 隔 絕 外 界 光 源 之 暗 房 內, 如 圖 18 所 示 圖 17 攝 取 影 像 序 列 之 取 像 軟 體 [14] 29

圖 18 取 像 環 境 [14] 有 好 的 取 像 環 境, 如 果 沒 有 再 三 確 認 所 拍 攝 的 影 像 是 否 正 確, 那 再 好 的 環 境 及 設 備 也 是 沒 有 用 的, 所 以 之 後 必 需 要 針 對 拍 攝 出 來 的 影 像 做 校 正 的 工 作, 方 法 是 在 一 張 白 色 硬 紙 板 中 央 畫 上 紅 色 十 字 記 號, 並 將 這 個 標 有 十 字 記 號 的 紙 板 平 放 於 拍 攝 序 列 的 桌 面 上, 其 中 垂 直 交 叉 之 水 平 線 與 垂 直 線 之 長 度 皆 為 20 公 分, 如 圖 19 所 示 圖 19 為 校 正 之 紅 色 十 字 記 號 [14] 以 下 的 六 張 圖, 為 圖 20 的 測 試 情 形 30

(a) 無 十 字 記 號 (b) 水 平 位 置 偏 左 (c) 垂 直 位 置 過 近 (d) 垂 直 位 置 過 遠 (e) 多 種 位 置 偏 移 情 形 同 時 發 生 (f) 設 定 正 確 圖 20 攝 影 機 位 置 校 正 之 情 況 [14] 在 影 像 分 割 方 面, 由 於 使 用 者 的 桌 面 環 境 中 可 能 包 含 鍵 盤, 而 鍵 盤 也 是 電 腦 的 輸 入 裝 置, 因 此 此 項 研 究 限 定, 當 人 手 移 動 至 鍵 盤 區 域 時 所 做 的 動 作 皆 視 為 無 效 且 不 做 處 理 所 以 在 進 行 影 像 分 割 時, 還 要 辨 識 影 像 中 是 否 存 在 鍵 盤, 若 存 在 鍵 盤 則 需 將 其 分 離 出 來, 並 計 算 其 所 涵 蓋 之 範 圍 這 裡 採 用 的 手 勢 為 平 常 控 制 滑 鼠 的 動 作 做 為 輸 入 手 勢 : 部 分 研 究 為 了 能 夠 清 楚 和 快 速 地 辨 識 出 手 勢 指 令 動 作, 因 而 定 義 外 觀 差 異 較 大 的 手 勢 做 為 系 統 輸 入 的 手 勢 如 定 義 剪 刀 石 頭 布 三 種 手 勢 做 為 輸 入 手 勢 ; 31

定 義 伸 展 不 同 手 指 隻 數 做 為 輸 入 手 勢 ; 定 義 數 字 1 至 5 之 手 勢 做 為 輸 入 手 勢 此 項 研 究 考 量 到 多 數 人 已 習 慣 於 平 時 操 控 滑 鼠 之 動 作, 因 此 採 用 大 家 熟 悉 的 滑 鼠 控 制 動 作 做 為 輸 入 手 勢, 讓 使 用 者 不 需 花 費 時 間 學 習 和 習 慣 一 套 新 的 輸 入 動 作, 以 提 高 使 用 者 於 操 作 上 的 便 利 性 和 使 用 上 的 接 受 度 優 點 : 此 項 研 究 只 使 用 單 一 CCD 攝 影 機 做 為 取 像 設 備 缺 點 : 由 於 CCD 架 設 之 位 置 與 拍 攝 之 角 度 等 因 素 影 響, 造 成 系 統 無 法 從 攝 取 之 影 像 中, 完 整 獲 得 欲 觀 察 物 體 之 所 有 特 徵 資 訊, 此 即 為 遮 蔽 問 題 2.5 技 術 4 探 討 手 勢 辨 識 應 用 於 遙 控 音 樂 播 放 系 統 [15] 此 技 術 主 要 的 目 標 就 是 能 夠 透 過 手 勢 可 以 輕 易 控 制 家 電 音 響 設 備 的 運 作 目 標 在 於 能 夠 發 展 一 套 可 藉 由 手 勢 遙 控 的 音 樂 播 放 系 統, 此 系 統 分 為 二 部 份 : A. 影 像 輸 入 在 硬 體 方 面 使 用 一 台 個 人 電 腦 與 一 台 數 位 攝 影 機 讀 取 輸 入 影 像, 軟 體 方 面 使 用 Borland C++ Builder 6.0 當 做 此 研 究 的 視 窗 介 面 研 發 軟 體 B. 影 像 辨 識 32

又 分 為 影 像 前 置 處 理 及 手 勢 辨 識 兩 個 單 元, 在 影 像 前 置 處 理 這 個 單 元 裡, 我 們 首 先 要 做 的 是 背 景 相 減 法 1. 背 景 相 減 法 主 要 是 將 背 景 影 像 與 輸 入 影 像 在 相 同 的 影 像 平 面 空 間 中 相 減 來 取 得 差 異 影 像 當 系 統 一 開 始 操 作, 我 們 就 取 第 一 張 影 像 做 為 我 們 的 背 景 影 像, 與 隨 後 影 像 相 減 後, 影 像 相 同 部 分 會 被 消 除 掉, 差 異 部 份 會 被 保 留 圖 21 為 背 景 相 減 法 的 結 果 (a) 背 景 影 像 (b) 輸 入 影 像 (c) 背 景 相 減 後 影 像 圖 21 背 景 相 減 法 [15] 33

2. 小 雜 訊 濾 除 與 平 滑 化 處 理 及 區 域 填 充 擴 張 算 子 能 將 區 域 鄰 近 的 小 雜 訊 合 併 在 一 起, 遠 端 的 雜 訊 仍 會 處 於 孤 立 狀 態 ; 侵 蝕 算 子 則 區 域 旁 鄰 近 雜 訊 仍 會 保 留, 但 遠 端 的 會 被 去 除 在 此 研 究 裡, 做 者 先 執 行 開 放 算 子 將 目 標 物 體 外 的 細 小 雜 訊 去 除, 然 後 執 行 封 閉 算 子 修 補 目 標 物 體 中 的 微 小 碎 塊 平 滑 整 個 影 像 但 擴 張 與 侵 蝕 運 算 若 疊 代 太 多 次, 可 能 會 造 成 原 輸 入 影 像 的 失 真, 所 以 若 物 體 中 存 在 較 大 的 碎 塊 雜 訊, 則 擴 張 與 侵 蝕 運 算 將 無 能 為 力 圖 22 為 擴 張 運 算 結 果, 圖 23 為 侵 蝕 運 算 結 果, 圖 24 為 封 閉 運 算 結 果, 圖 25 為 開 放 運 算 結 果, 圖 26 為 雜 訊 瀘 除 過 程 (a) 待 測 的 影 像 (b)3 3 的 遮 罩 (c) 被 膨 脹 後 的 影 像 圖 22 擴 張 運 算 [15] 34

(a) 待 測 的 影 像 (b)3 3 的 遮 罩 (c) 被 侵 蝕 後 的 影 像 圖 23 侵 蝕 運 算 [15] (a) 待 測 的 影 像 (b) 封 閉 算 子 執 行 後 圖 24 封 閉 算 子 [15] (a) 待 測 的 影 像 (b) 開 放 封 閉 算 子 執 行 後 圖 25 開 放 算 子 [15] (a) 待 處 理 影 像 (b) 開 放 算 子 處 理 後 的 結 果 35

(c) 封 閉 算 子 處 理 後 的 結 果 圖 26 小 雜 訊 濾 除 [15] 因 上 述 提 到 物 體 中 存 在 較 大 的 碎 塊 雜 訊 問 題, 所 以 我 們 這 裡 用 的 是 八 鄰 點 的 連 通 法 來 做 處 理 在 此 研 究 中 將 會 擷 取 左 手 臂 的 影 像, 手 臂 寬 度 限 定 在 50 像 素 以 下, 長 度 在 60 像 素 以 上 圖 27 為 擷 取 左 手 臂 影 像 的 情 形 (a) 待 處 理 影 像 (b) 濾 除 身 軀 部 位 影 像 (c) 取 出 手 臂 部 位 影 像 (d) 留 下 左 手 臂 部 位 影 像 圖 27 左 手 臂 影 像 擷 取 [15] 36

順 利 擷 取 左 手 臂 影 像 後, 我 們 要 對 擷 取 到 的 影 像 做 邊 緣 化 圖 28 為 邊 緣 化 的 情 況 (a) 欲 邊 緣 化 影 像 (b) 側 邊 運 算 後 (c) 取 出 的 手 臂 特 徵 影 像 圖 28 邊 緣 化 [15] 接 著, 是 影 像 辨 識 中 的 另 一 個 單 元, 手 勢 辨 識 手 臂 的 特 徵 影 像 可 用 兩 條 的 直 線 來 描 述 它, 依 據 手 臂 的 特 徵 影 像 呈 現 的 位 置 與 角 度 的 相 對 關 係 來 判 定 手 臂 姿 態 在 這 裡 我 們 使 用 的 演 算 法 是 Hough Transform Hough Transform 是 一 種 直 線 偵 測 的 演 算 法, 主 要 是 偵 測 影 像 中 的 直 線 線 段, 主 要 用 途 是 在 二 值 化 影 像 中 的 輪 廓 形 狀 偵 測 且 越 接 近 直 線 的 位 置 與 角 度, 亮 點 就 越 多, 密 度 越 大 亮 度 也 就 越 高 37

當 在 此 項 研 究 中 能 找 出 一 組 可 靠 的 動 態 門 檻 值 的 來 判 斷 直 線 是 否 存 在, 往 後 將 以 此 門 檻 值 為 基 礎 作 為 偵 測 直 線 的 依 據 在 做 完 上 述 步 驟 後 即 可 將 處 理 過 後 的 影 像 顯 示 在 畫 面 中 了 38

第 參 章 手 勢 辨 識 簡 報 播 放 系 統 本 專 題 系 統 流 程 圖 如 下 所 示 其 中 共 同 的 部 份 為 : 前 處 理 特 徵 抽 取 正 規 化, 以 下 章 節 將 詳 細 介 紹 系 統 流 程 中 的 各 個 處 理 步 驟 訓 練 開 始 拍 攝 圖 像 開 始 載 入 資 料 庫 辨 識 二 值 化 拍 攝 圖 像 中 間 值 濾 波 閉 合 運 算 前 處 理 手 部 偵 測 顏 色 大 於 綠 色 紅 色 簡 報 結 束 區 域 相 連 法 二 值 化 Sobel 邊 緣 化 求 極 座 標 特 徵 正 規 化 特 徵 抽 取 中 間 值 濾 波 閉 合 運 算 區 域 相 連 法 前 處 理 儲 存 資 料 庫 Sobel 邊 緣 化 求 極 座 標 特 徵 抽 特 徵 正 規 化 取 比 對 資 料 庫 簡 報 反 應 圖 29 系 統 流 程 圖 39

3.1 取 得 影 像 [16] 由 於 希 望 使 用 者 播 放 簡 報 時, 不 必 為 了 切 換 頁 面, 而 影 響 演 講 的 流 暢 度, 所 以 用 即 時 拍 攝 的 方 式, 讓 使 用 者 只 需 比 一 個 手 勢 就 能 達 到 切 換 頁 面 的 目 的 想 要 取 得 系 統 所 需 影 像, 要 先 做 以 下 兩 個 步 驟 : A. 取 得 訓 練 圖 庫 : 我 們 的 系 統 是 利 用 特 定 的 手 勢 變 化 去 操 作 簡 報 (PowerPoint), 致 使 達 到 簡 報 播 放 的 成 果, 因 此 在 使 用 這 套 系 統 之 前, 必 須 先 設 定 四 個 手 勢 因 為 每 個 人 手 的 大 小 及 擺 放 的 距 離 都 不 太 一 樣, 故 先 以 三 個 人 的 手 去 做 拍 攝, 一 個 綠 色 手 勢 拍 攝 三 張 圖, 共 九 張 圖 留 作 資 料 庫 建 立, 且 這 套 系 統 需 要 戴 上 我 們 自 製 的 紅 綠 手 套 圖 30 為 本 系 統 所 使 用 的 四 種 手 勢 圖 30 本 系 統 所 使 用 的 四 種 手 勢 首 先 要 先 對 影 像 做 拍 攝, 戴 上 手 套, 三 個 手 勢 三 個 人 共 拍 攝 九 張 圖, 以 供 手 勢 建 檔, 在 按 下 開 始 拍 攝 後, 系 統 會 自 動 間 隔 0.5 秒 後 拍 攝 一 張 圖, 然 後 給 予 影 像 名 稱, 而 所 拍 攝 的 這 些 影 像, 則 用 做 辨 識 的 40

部 分 B. 資 料 庫 建 立 : 這 個 部 分, 是 後 端 的 一 個 操 作 流 程, 主 要 是 針 對 第 一 個 步 驟 所 取 得 的 九 張 圖 去 做 一 個 建 檔 的 動 作 我 們 會 先 對 這 些 圖 做 特 徵 抽 取, 把 所 拍 攝 到 的 三 個 手 勢 九 張 圖 的 特 徵 值 算 出 每 個 手 勢 的 特 徵 值 的 平 均 儲 存 於 記 事 本 內 [17], 建 完 檔 後 的 記 事 本 內 會 有 三 筆 手 勢 的 特 徵 值 資 料, 這 樣 就 完 成 了 手 勢 建 檔 的 部 分, 而 這 三 筆 資 料 就 是 辨 識 影 像 的 關 鍵 要 素 3.2 影 像 前 處 理 在 這 個 部 分, 我 們 要 先 將 影 像 做 一 些 基 本 的 處 理, 使 影 像 在 辨 識 的 時 候 能 夠 快 速 且 正 確 的 取 得 我 們 所 要 的 部 分 而 在 這 一 節 當 中, 我 們 會 講 到 影 像 的 二 值 化 是 如 何 去 做 處 理 的, 還 有 中 間 值 濾 波 的 部 分, 以 及 在 影 像 辨 識 中 幾 乎 都 會 用 到 的 型 態 學, 而 我 們 是 如 何 將 影 像 做 膨 脹 侵 蝕 的 動 作, 都 將 會 在 以 下 小 節 中 呈 現 3.2.1 手 部 偵 測 在 進 行 手 部 偵 測 時, 由 於 要 偵 測 的 目 標 的 顏 色 是 紅 色 與 綠 色, 所 以 在 攝 影 的 畫 面 中, 限 制 不 能 出 現 綠 色 與 紅 色, 否 則 會 影 響 系 統 的 判 斷 在 拍 攝 的 畫 面 中, 我 們 經 由 手 套 顏 色 的 偵 測, 來 判 斷 是 哪 一 種 手 勢, 41

若 是 紅 色 的 像 素 點 大 於 綠 色 且 紅 色 的 像 數 大 於 閥 值, 則 結 束 放 映 簡 報, 本 統 設 定 閥 值 為 1500 個 像 素 點 ; 若 是 綠 色 的 像 素 點 大 於 紅 色 且 超 過 閥 值, 則 進 行 下 一 階 段 的 處 理 現 今 數 位 彩 色 影 像 絕 大 多 數 是 利 用 RGB 色 彩 模 型 描 述 影 像 中 像 素 的 色 彩 像 素 值, 在 偵 測 手 套 顏 色 時, 若 使 用 RGB 色 彩 空 間 來 表 示 的 話, 由 於 在 拍 攝 圖 像 時, 光 源 受 到 放 投 影 片 時 而 有 環 境 上 的 限 制, 使 得 光 源 穩 定 度 極 差, 在 RGB 色 彩 空 間 便 會 出 現 明 顯 的 差 異, 因 此 RGB 並 無 法 有 效 的 分 離 出 不 同 顏 色 區 域, 所 以 本 專 題 將 利 用 色 彩 空 間 轉 換 至 其 他 色 彩 模 式 下 以 期 達 到 較 好 的 顏 色 分 離 效 果 色 彩 空 間 的 模 式 有 很 多 種, 其 中 HSI 為 色 相 H(Hue) 飽 和 度 S(Saturation) 亮 度 I(Intensity) 是 根 據 人 類 對 顏 色 的 認 知 所 建 立 的 顏 色 模 型, 由 於 人 的 視 覺 對 亮 度 的 敏 感 程 度 遠 強 於 對 顏 色 濃 淡 的 敏 感 程 度, 此 外 HSI 有 另 一 個 優 點, 可 以 降 低 影 像 中 色 彩 灰 階 度 訊 息 的 相 關 性 為 了 便 於 色 彩 處 理 和 識 別, 因 此 我 們 選 擇 以 HSI 來 進 行 色 彩 轉 換 以 下 先 定 義 出 手 部 偵 測 所 用 到 的 四 個 物 理 量 : 綠 色 色 調 範 圍 值 (H_GRange) 綠 色 飽 和 度 範 圍 值 (S_GRange) 紅 色 色 調 範 圍 值 (H_RRange) 以 及 紅 色 飽 和 度 範 圍 值 (S_RRange) 320 H 90 < S _ < 360 or H _ RRange < 10 _ RRange RRange (6) 42

50 < H _ GRange < 95 100 < S _ GRange (7) 影 像 經 過 2.1 研 究 理 論 及 應 用 中 RGB 轉 換 HSI 公 式 將 影 像 像 素 值 以 HSI 表 示, 並 由 上 列 的 公 式 色 調 與 飽 和 度 的 範 圍 得 到 影 像 當 中 的 手 部 像 素 點, 若 是 綠 色 的 像 素 點 大 於 紅 色 且 超 過 閥 值, 則 將 手 部 保 留 下 來, 其 餘 非 手 部 的 部 分 將 以 白 色 表 示 ; 但 是 此 時 所 得 到 的 手 部 像 素 點 大 多 都 會 有 因 為 誤 判 而 缺 少, 如 圖 31(a) 為 取 得 的 原 影 像,31(b) 是 經 由 顏 色 保 留 後 的 結 果, 或 是 被 系 統 判 斷 成 手 部 像 素 點 而 被 保 留 下 來, 我 們 可 在 下 面 章 節 的 處 理 步 驟 進 行 修 正 (a) (b) 圖 31 (a) 擷 取 到 的 原 圖 (b) 系 統 保 留 綠 色 像 素 結 果 3.2.2 影 像 二 值 化 [18] 二 值 化 又 稱 為 灰 度 分 劃 (Threshold), 此 動 作 將 一 般 影 像 的 灰 度 分 劃 成 只 有 兩 種 灰 度 值, 凡 是 影 像 本 身 灰 度 大 於 某 一 閥 值 便 令 其 為 亮 點 ( 白 43

色 ); 而 灰 度 值 低 於 閥 值 的, 便 令 其 為 暗 點 ( 黑 色 ), 如 此 可 得 到 一 個 二 元 影 像, 將 影 像 分 為 黑 與 白, 使 影 像 資 料 簡 化 以 利 往 後 系 統 運 作 單 一 臨 界 值 法 是 目 前 最 常 用 來 處 理 影 像 二 值 化 的 轉 換 方 式, 假 設 一 個 二 維 灰 階 值 影 像 的 函 數 為 f ( x, y), 是 以 0( 黑 色 ) 到 255( 白 色 ) 為 其 值,x 與 y 則 是 影 像 座 標, 經 過 二 值 化 後 影 像 的 函 數 為 g ( x, y), 其 函 數 轉 換 表 示 如 圖 32 所 示, 則 二 值 化 的 單 一 臨 界 值 法 的 轉 換 公 式 (8) 如 下 所 示 g 255 x, y) = 0 if if f ( x, y) T ( (8) f ( x, y) < T 圖 32 圖 影 像 二 值 化 函 數 轉 換 其 中 T 便 是 代 表 臨 界 值, 尋 找 臨 界 值 的 方 法 便 是 計 算 出 整 個 欲 轉 換 區 域 的 灰 階 值 後 再 取 平 均 值, 此 平 均 值 便 當 作 是 臨 界 值, 與 N 分 別 代 表 影 像 的 寬 度 與 長 度 灰 階 值 為 0~255 共 256 組 色 階,0~T 畫 分 為 0,T~255 劃 分 為 255 本 論 文 的 影 像 經 上 一 節 手 部 偵 測 後, 非 綠 色 區 域 值 已 劃 分 為 255( 白 色 ), 保 留 下 來 的 綠 色 區 域 值 不 為 255( 白 色 ) 即 T 劃 分 為 0( 黑 色 ), 44

影 像 二 值 化 結 果 如 圖 33 和 圖 34 圖 33 二 值 化 前 的 圖 圖 34 二 值 化 後 的 圖 3.2.3 中 間 值 濾 波 [Median Filter] 在 經 過 二 值 化 處 理 之 後, 我 們 可 得 到 一 個 二 值 化 後 的 影 像 影 像 是 由 像 素 點 較 多 面 積 較 大 的 區 域 所 構 成, 而 雜 訊 往 往 是 以 孤 立 的 點 的 形 式 出 現, 雖 然 這 些 點 對 應 的 像 點 數 很 少, 但 在 我 們 訓 練 及 辨 識 的 過 程 中 會 被 視 為 影 像 的 有 效 像 素 點 進 而 影 響 到 辨 識 的 準 確 率 及 資 料 庫 建 檔 的 正 確 性 因 此, 在 數 位 影 像 處 理 中, 常 會 藉 由 濾 波 器 來 去 除 雜 訊, 其 中 間 45

值 濾 波 技 術 可 以 很 平 均 的 把 影 像 重 點 部 份 表 現 出 來 [19] 中 間 值 濾 波 是 以 局 部 處 理 方 式 用 來 去 除 影 像 中 的 孤 立 點, 並 能 保 持 原 影 像 的 銳 利 度 [20] 中 間 值 濾 波 能 抑 制 影 像 中 的 雜 訊, 是 一 種 很 好 用 的 工 具 主 要 是 用 來 除 去 影 像 中 的 雜 點, 雜 點 是 以 亮 點 的 方 式 雜 亂 地 分 佈 在 影 像 中, 因 其 灰 度 與 周 圍 像 素 的 灰 度 比 通 常 是 排 在 最 亮 的 位 置, 所 以 取 中 間 值 可 降 低 雜 點 的 亮 度 而 它 對 影 像 最 大 的 損 害 是 使 影 像 喪 失 原 有 的 高 頻 特 性, 產 生 失 真 的 情 形 但 對 佈 滿 雜 點 的 影 像 卻 是 值 得 的, 因 為 它 可 獲 得 沒 有 雜 點 的 影 像 其 原 理 是 在 每 個 像 素 上 放 置 一 個 大 小 的 框 架, 並 利 用 該 像 素 鄰 域 上 灰 階 的 中 間 值 來 代 替, 而 不 是 以 它 的 平 均 值 來 代 替 [21] 以 下 為 處 理 流 程 及 舉 例 說 明 首 先 我 們 將 以 中 心 點 劃 分 為 3 3 的 矩 陣, 其 區 域 內 的 像 素 值 為 (21,23,22,32,33,11,110,31,22), 並 假 設 其 中 有 一 個 雜 訊, 像 素 值 為 110 如 圖 35 所 示 : 圖 35 以 數 值 33 為 中 心 點 的 矩 陣 46

再 經 由 小 而 大 排 序 後 為 11,21,22,22,31,33,33,110, 然 後 用 順 位 第 5 的 灰 階 值, 來 取 代 中 心 點 的 像 素 值 依 此 類 推, 原 始 影 像 的 每 一 點 均 進 行 中 通 濾 波 處 理, 可 得 一 新 影 像, 其 中 可 發 現 雜 訊 已 被 消 除 如 圖 36 所 示 : 圖 36 使 用 中 間 值 濾 波 後 的 範 例 圖 中 值 濾 波 器 在 影 像 處 理 上 有 其 統 計 意 義, 當 所 取 出 的 9 個 點 有 較 多 偏 暗 的 點 時, 也 就 是 灰 階 值 偏 低 時, 則 排 序 後 的 中 間 值 亦 會 是 偏 暗 的 點 ; 反 之, 若 9 個 點 有 較 多 偏 亮 的 點, 也 就 是 灰 階 值 偏 高 時, 則 排 序 後 的 輸 出 結 果 也 會 是 較 為 偏 亮 的 點, 因 此 中 值 濾 波 器 可 以 強 迫 影 像 中 各 個 點 之 灰 階 值 與 其 鄰 點 更 為 相 近, 達 到 抑 制 雜 訊 使 影 像 平 滑 的 效 果 [22] 因 此, 中 值 濾 波 器 的 功 能 是 強 迫 有 不 同 灰 階 度 的 點 更 接 近 其 鄰 近 點 消 除 雜 訊 後 的 結 果 可 得 到 較 完 整 的 手 部 區 域, 如 圖 37 和 圖 38 所 示 47

圖 37 手 勢 影 像 的 原 圖 圖 38 二 值 化 後 經 中 間 值 濾 波 之 結 果 3.2.4 形 態 學 處 理 在 型 態 影 像 學 中, 所 有 的 應 用 都 是 以 膨 脹 侵 蝕 兩 種 運 算 混 合 使 用, 如 此 便 可 達 到 欲 達 成 之 理 想 效 果 在 偵 測 手 勢 時, 有 時 會 遇 到 待 測 區 域 之 像 素 點 不 完 整, 可 能 是 區 域 中 像 素 太 多, 或 是 區 域 中 像 素 破 碎 凌 亂 不 堪, 此 時 為 了 讓 我 們 可 以 更 準 確 的 偵 測 出 手 勢, 我 們 可 利 用 膨 脹 (dilation) 與 侵 蝕 (erosion) 來 增 減 區 域 之 像 素 點 膨 脹 運 算 會 以 一 點 為 原 點, 往 它 的 八 鄰 居 向 外 擴 張, 讓 原 本 的 像 素 48

點 往 外 擴 張 長 出 一 層 邊, 將 外 型 均 勻 的 加 粗, 稱 為 膨 脹 ; 相 反 的, 侵 蝕 運 算 會 讓 原 本 的 像 素 點 往 內 慢 慢 減 少, 將 外 型 均 勻 的 縮 小 變 細, 稱 為 侵 蝕 如 圖 39 所 示, 假 設 E 為 中 心 點,A~I 為 其 8 鄰 居, 膨 脹 與 侵 蝕 的 定 義 互 為 相 反, 膨 脹 是 只 要 E 之 周 圍 有 一 鄰 居 是 1, 則 輸 出 為 1, 而 侵 蝕 是 只 要 E 之 周 圍 有 一 鄰 居 是 0, 則 刪 除 此 點 [23] 其 膨 脹 與 侵 蝕 公 式 (9)(10) 分 別 如 下 所 示, Ι 代 表 AND 運 算, Υ 代 表 OR 運 算 圖 39 8 鄰 居 範 例 圖 g(i,j) = E (A B C D F G H I) (9) g(i,j) = E (A B C D F G H I) (10) 影 像 之 開 閉 運 算 即 是 使 用 膨 脹 與 侵 蝕 兩 種 方 法 的 運 算 組 合, 開 運 算 (opening) 是 將 影 像 先 侵 蝕 運 算 再 經 過 膨 脹 運 算 來 處 理, 可 清 除 影 像 之 雜 訊, 使 物 體 輪 廓 平 滑 ; 閉 運 算 (closing) 則 是 先 使 用 膨 脹 運 算 再 經 由 侵 蝕 運 算 來 處 理, 可 用 來 填 補 影 像 內 之 輪 廓 上 的 破 洞 或 將 一 些 狹 窄 的 中 斷 部 分 和 長 細 缺 口 連 接 起 來 本 系 統 之 型 態 影 像 使 用 方 式, 因 之 前 步 驟 做 過 49

影 像 相 減 後 再 經 由 手 部 偵 測 的 處 理, 造 成 了 影 像 較 為 殘 缺 不 堪, 為 了 配 合 後 續 之 條 件 判 斷, 我 們 將 先 做 一 次 閉 運 算 來 處 理 3.2.5 相 連 區 域 法 [Connected Component] 在 前 面 的 處 理 步 驟 已 去 除 大 部 分 雜 訊, 但 仍 無 法 留 下 主 要 手 部 位 置, 所 以 本 節 將 以 相 連 區 域 法 取 出 更 正 確 手 部 位 置 [24], 此 方 法 主 要 是 利 用 8 鄰 居 鄰 接 的 方 式, 利 用 堆 疊 的 原 理 將 二 值 化 影 像 中 的 相 同 區 域 連 接 起 來, 便 可 以 清 楚 的 區 分 出 每 個 像 素 分 別 在 哪 個 區 域, 並 可 獲 得 各 區 域 的 長 寬 大 小, 以 利 於 後 續 的 條 件 判 斷 [25] 在 影 像 中 白 點 為 背 景, 黑 點 為 有 效 的 影 像, 下 面 將 介 紹 相 連 區 域 法 之 步 驟 [26] A. 以 影 像 左 上 角 為 起 點, 從 左 至 右 由 上 至 下 掃 描 影 像, 找 出 第 一 個 黑 點, 並 將 此 點 標 示 為 已 完 成, 以 此 點 為 中 心, 搜 尋 8 鄰 居, 將 8 鄰 居 中 未 標 示 為 已 完 成 的 黑 點 位 置, 存 入 堆 疊 中 B. 從 堆 疊 中 取 出 另 一 個 黑 點 的 位 置, 並 標 示 為 已 完 成, 同 樣 以 此 點 為 中 心, 搜 尋 8 鄰 居, 將 8 鄰 居 中 未 標 示 為 已 完 成 的 黑 點 位 置, 存 入 堆 疊 中, 如 此 一 直 循 環 C. 直 到 堆 疊 清 空, 即 可 完 成 一 次 的 相 連 區 城 法 D. 重 覆 的 執 行 1~3 步 驟, 直 到 影 像 中 所 有 黑 點 都 標 示 為 已 完 成, 即 可 找 出 所 有 的 相 連 區 域, 如 圖 40 所 示 50

圖 40 一 個 紅 色 框 標 示 出 一 個 區 域 在 找 出 所 有 的 相 連 區 域 後, 針 對 每 一 個 區 城 執 行 條 件 判 斷, 條 件 如 下 : A. 第 一 個 黑 點 座 標 在 (5,5) 以 上 雜 訊 通 常 會 出 現 在 整 張 圖 四 邊 上, 可 以 藉 由 此 條 件 過 濾 掉 一 部 分 的 雜 訊 B. 符 合 長 X 寬 大 於 5500 像 素 手 部 是 一 個 連 續 區 域, 範 圍 大 小 會 有 一 個 最 小 的 門 檻 值 符 合 上 述 的 條 件, 便 是 我 們 要 的 手 部 位 置, 如 圖 41 所 示 圖 41 條 件 判 斷 後, 紅 框 為 我 們 要 的 手 部 區 域 51

在 確 認 手 部 位 置 之 後, 即 可 進 一 步 找 出 手 部 位 置 的 重 心 座 標, 此 重 心 為 3.3.2 特 徵 抽 取 - 極 座 標 時 所 需 要 計 算 重 心 如 公 式 (11): G(x tp x i i = 1 p, y p) = G(, tp tp i = 1 tp y i ) (11) G(xp, y p) 為 重 心 座 標, x i 為 紅 框 內 所 有 黑 點 的 x 座 標, 所 有 黑 點 的 y 座 標,tp 為 紅 框 內 黑 點 的 總 數 y i 為 紅 框 內 3.3 特 徵 抽 取 想 要 從 影 像 中 辨 識 出 手 勢 的 動 作, 就 必 須 先 從 影 像 中 擷 取 及 追 蹤 某 些 特 徵 資 訊, 如 手 部 的 中 心 位 置 下 面 小 節 將 說 明 在 手 勢 辨 識 中 所 用 到 的 特 徵 擷 取 理 論 及 技 術 3.3.1 Sobel 邊 緣 偵 測 法 在 本 小 節, 我 們 使 用 Sobel 邊 緣 偵 測 法, 主 要 是 擷 取 手 勢 影 像 中 最 外 緣 的 邊 緣 點 Sobel 邊 緣 偵 測 法 是 使 用 微 分 的 概 念 設 計 出 一 組 Sobel 運 算 子, 使 用 邊 緣 化 主 要 的 原 因 是 因 為 手 勢 外 緣 部 份 的 影 像 擷 取 比 較 簡 易 輪 廓 較 明 顯 且 較 細 線 化 法 更 能 清 楚 的 表 達 整 個 手 勢 的 姿 態, 而 取 得 邊 緣 影 像 的 做 法 就 是 由 左 至 右 由 上 至 下 掃 描 影 像, 以 此 方 法 找 出 邊 緣 線 圖 42, 輸 入 的 影 像 在 經 過 與 這 組 運 算 子 計 算 之 後 會 得 到 一 組 水 平 分 52

量 與 垂 直 分 量, 再 經 由 求 得 梯 度, 圖 43 為 經 過 Sobel 邊 緣 偵 測 法 之 後 的 結 果 圖 (a) 水 平 方 向 (b) 垂 直 方 向 圖 42 Sobel 運 算 子 (a) 為 原 始 影 像 (b) 為 Sobel 後 的 結 果 圖 43 Sobel 邊 緣 偵 測 的 結 果 3.3.2 特 徵 抽 取 --- 極 座 標 [27] 極 座 標 (Polar Coordinate) 是 以 向 右 的 水 平 線 為 基 準, 該 點 與 原 點 所 成 的 直 線 距 離 r, 及 與 該 線 與 基 準 線 的 角 度 θ 來 表 示 該 點 的 座 標 為 求 得 影 像 的 極 座 標, 就 必 須 先 求 出 手 部 的 外 圍 輪 廓 及 重 心 座 標 由 Sobel 邊 緣 偵 測 法 對 影 像 的 每 一 個 像 素 點 作 處 理 後, 可 得 到 此 影 像 的 邊 緣 圖, 即 為 手 勢 的 邊 緣 特 徵 在 3.2.5 節 所 提 到 相 連 區 域 法 主 要 53

的 功 能 在 於 取 得 較 為 完 整 的 手 部 區 域, 並 且 在 掃 描 的 同 時 將 每 個 相 同 標 記 值 的 點 的 坐 標 累 加 起 來, 再 除 以 面 積 即 可 得 到 重 心 我 們 以 重 心 坐 標 為 極 點 P, 再 取 一 條 由 極 點 P 出 發 之 半 線 (Half-Line) 稱 為 極 軸 (Polar axis) 通 常 極 軸 是 由 極 點 P 指 向 右 方 的 一 條 水 平 線, 恰 巧 對 應 於 直 角 座 標 中 之 正 X 軸 (positive X-axis) 並 使 影 像 邊 緣 的 極 點 O 與 極 點 P 連 成 一 線, 令 r 為 P 至 極 點 O 之 距 離, 若 P=O 則 用 (0,θ ) 來 表 示 P θ 則 為 起 始 於 極 軸 夾 角 於 直 線 之 角 度,(r,θ ) 便 稱 為 點 O 之 極 座 標 (Polar Coordinates), 而 θ 可 為 任 何 值 如 圖 44 所 示 : 圖 44 極 座 標 [27] 在 經 過 Sobel 偵 測 後 會 得 到 影 像 的 邊 緣 輪 廓, 而 輪 廓 的 點 有 很 多 個, 包 含 手 指 之 間 的 縫 隙 也 會 被 留 下, 但 整 個 手 部 的 範 圍 不 會 超 過 360 度, 因 此 偵 測 到 的 每 個 點 還 會 先 求 出 極 座 標 的 角 度, 然 後 同 角 度 只 會 留 下 最 遠 的 距 離 這 樣 就 可 得 到 外 圍 輪 廓 的 360 個 極 座 標, 即 影 像 中 的 特 徵 點 (feature points) 54

我 們 先 以 迴 圈 來 掃 描, 從 左 上 角 的 座 標 (0,0) 開 始, 由 左 至 右, 從 上 到 下 的 方 式, 一 列 一 列 地 去 掃 過 圖 檔, 當 判 斷 有 黑 點 的 時 侯, 就 可 以 求 得 ( ) i y i x, 的 座 標, 然 後 再 跟 重 心 座 標 ( ) x, 作 距 離 運 算 p y p 而 我 們 是 採 用 歐 氏 距 離 演 算 法 (Euclidean Distance) 來 計 算 各 手 部 輪 廓 各 點 與 重 心 點 距 離, 如 下 列 公 式 所 示 : R 2 2 ( P, O) = ( xp xi ) + ( y p yi ) (12) R: 重 心 座 標 與 輪 廓 點 座 標 之 直 線 距 離 P ( x p, y p ): 即 重 心 座 標 O ( x i, y i ): 即 手 勢 所 取 得 之 邊 緣 點 計 算 手 的 重 心 點 到 每 個 手 部 輪 廓 點 的 距 離 之 後, 我 們 再 去 以 下 列 公 式 來 求 出 每 個 線 段 與 水 平 的 角 度 Oi( y) ( ) = Y p θ i tan 1 (13) Oi x X p 其 中 的 O ix 為 下 一 個 輪 廓 點 座 標, tan 1 為 反 正 切 值, 是 以 (y/x) 求 出 極 座 標 的 角 度 在 程 式 部 分, 是 利 用 atan2 (double x, double y)[28] 這 個 函 式 去 取 得 二 個 變 數 ( x i, y i ) 的 反 正 切 值, 這 類 似 去 計 算 x/y 的 反 正 切 值, 但 此 函 式 能 使 用 參 數 x,y 的 正 負 號 來 決 定 其 結 果 所 在 的 象 限 因 此, 此 函 式 傳 回 的 結 果 ( θ i ) 會 落 在 正 負 的 圓 周 率 (π) 之 間 在 三 角 函 數 中, 55

tanθ 有 四 種 特 殊 的 角 度 分 別 是 0 0 90 0 180 0 270 0, 其 值 在 0 0 180 0 時 為 0,90 0 270 0 則 為 無 意 義 而 atan2(0,0) 在 BCB 裡 算 出 來 的 不 會 是 0 度, 而 是 會 跳 出 一 個 DOMAIN Error 的 例 外, 所 以 把 可 以 把 atan2(0,0) 當 成 判 斷 0 度 的 條 件 至 於 其 它 的 特 殊 角 度 的 計 算 方 式, 我 們 則 是 利 用 前 一 個 角 度 i 1 θ 跟 後 一 個 角 度 θ i+ 1 相 加 後 再 除 以 二 來 當 作 特 殊 角 度 θ i 的 值 算 出 角 度 之 後, 根 據 角 度 與 距 離 的 關 係, 保 留 住 最 遠 的 距 離, 這 樣 便 可 得 到 360 個 極 點 即 為 手 部 邊 緣 的 輪 廓 點 我 們 亦 可 以 得 到 一 個 直 角 座 標 的 曲 線 圖, 橫 軸 代 表 角 度, 由 左 到 右 為 0 到 359 度, 縱 軸 代 表 手 部 重 心 到 手 部 輪 廓 點 的 距 離, 其 最 高 的 峰 值 代 表 著 我 們 所 取 得 的 極 座 標 如 圖 45 所 示 : 3.3.3 特 徵 正 規 化 圖 45 已 取 得 手 勢 各 維 度 的 極 座 標 在 訓 練 資 料 庫 或 辨 識 前, 我 們 必 須 先 取 得 特 徵, 而 正 確 的 取 得 特 徵 56

能 降 低 在 辨 識 比 對 時 產 生 的 誤 判 影 像 在 經 由 前 處 理 將 手 部 部 分 的 資 訊 留 下, 去 除 雜 訊 及 不 需 要 的 資 訊, 並 修 補 手 部 的 像 素 點 使 我 們 取 得 較 完 整 的 手 部 形 狀, 接 著 才 能 從 中 取 得 有 效 的 特 徵 經 由 3.3.2 特 徵 抽 取 --- 極 座 標 的 處 理 取 得 了 從 0 到 359 度 的 極 座 標, 將 此 存 放 在 一 個 長 度 為 360 維 度 的 一 維 陣 列 中, 以 角 度 作 為 其 索 引 值, 重 心 座 標 與 輪 廓 點 座 標 之 直 線 距 離 為 元 素 內 容, 以 便 做 接 下 來 的 處 理 步 驟 由 於 為 了 讓 使 用 者 在 操 作 本 系 統 時 能 容 易 上 手, 在 拍 攝 影 像 時, 並 未 定 義 手 部 在 畫 面 中 應 佔 的 比 例 大 小 及 手 勢 的 角 度 ; 而 每 個 人 手 部 的 形 狀 大 小 都 不 一 致, 在 3.3.2 特 徵 抽 取 --- 極 座 標 所 求 得 的 重 心 點 到 外 圍 輪 廓 點 的 最 遠 距 離 也 不 一 定 是 相 同 的, 比 對 時 所 用 的 特 徵 必 須 公 平 地 在 同 樣 的 基 礎 條 件 上, 為 此 則 需 解 決 圖 形 放 大 或 縮 小 旋 轉 等 問 題, 所 以 首 先 先 對 一 維 陣 列 所 存 的 距 離 值 作 數 值 的 正 規 化, 使 其 範 圍 落 在 0~100 間, 公 式 如 下 : his[ i] his[ i] 100 MaxD = (14) his [i] : 存 放 特 徵 的 一 維 陣 列 MaxD: 重 心 座 標 與 輪 廓 點 座 標 之 最 遠 距 離 接 著 再 對 一 維 陣 列 做 平 滑 化 的 處 理, 以 彌 補 數 值 正 規 化 後 所 產 生 的 57

些 微 誤 差, 到 目 前 已 解 決 了 多 數 影 像 中 放 大 或 縮 小 的 問 題, 最 後 角 度 旋 轉 的 問 題, 我 們 使 用 爬 山 式 序 列 表 示 法 (Mountain Climbing Sequence (MCS))[29] 此 法 主 要 是 算 出 此 360 維 中, 在 給 予 不 同 權 重 後, 所 得 之 最 小 累 計 數, 並 將 該 序 列 平 移 至 原 點, 此 種 表 示 法 能 輕 易 克 服 旋 轉 的 問 題 圖 46 數 值 的 正 規 化 之 後 的 結 果 圖 47 為 圖 46 移 位 後 的 結 果 58

3.4 手 勢 辨 識 於 上 一 章 節 作 完 特 徵 值 的 正 規 化 處 理 之 後, 其 取 得 的 影 像 特 徵 值 與 資 料 庫 所 建 好 的 已 是 1:1 的 大 小 比 例 了 我 們 會 針 對 本 系 統 所 建 立 的 三 種 手 勢 圖 30 中 的 綠 色 手 勢, 去 作 一 維 陣 列 的 特 徵 運 算 本 節 我 們 是 採 用 距 離 度 量 來 計 算 原 影 像 及 使 用 者 所 比 的 手 勢 之 間 的 差 異 性 距 離 度 量 (Distance measure) 乃 是 所 有 辨 識 系 統 上 最 基 本 的 一 環, 在 眾 多 的 距 離 度 量 公 式 中, 最 傳 統 的 度 量 法 稱 之 為 歐 幾 里 得 距 離 (Euclidean distance), 就 是 所 謂 的 歐 氏 距 離, 亦 稱 為 個 體 差 距 平 方 和 而 本 系 統 的 辨 識 方 式 便 是 利 用 歐 氏 距 離 去 作 運 算, 計 算 重 心 距 離 公 式 如 下 359 D = (15) i = 0 ( d i d i ' ) D : 原 影 像 與 欲 辨 識 之 影 像 的 差 異 值 2 d i : 欲 辨 識 之 影 像 極 座 標 的 特 徵 值 d i ' : 原 影 像 極 座 標 的 特 徵 值 我 們 將 上 一 節 所 得 到 的 特 徵 值, 與 資 料 庫 裡 的 手 勢 影 像 的 特 徵 平 均 值 去 做 相 減 的 動 作, 並 分 別 對 三 個 手 勢 平 方 開 根 號 的 方 式 所 得 到 的 值 會 是 個 正 數 值 而 數 值 D 越 小, 就 代 表 此 影 像 越 符 合 資 料 庫 其 中 的 一 個 手 勢 圖, 然 後 本 系 統 便 會 針 對 所 辨 識 的 結 果 來 執 行 該 手 勢 所 代 表 的 動 作 59

3.5 播 放 簡 報 [30] 系 統 中 放 置 一 個 PowerPointPresentation 元 件 [31], 就 可 以 透 過 C++Builder 來 操 控 PowerPoint 之 後 透 過 程 式 碼 的 處 理 便 可 以 使 PowerPoint 做 換 頁 的 動 作 當 使 用 者 按 下 播 放 鍵 時, 此 時 PowerPoint 簡 報 就 會 藉 由 攝 影 機 所 辨 識 到 的 手 勢, 也 就 是 辨 識 手 勢 的 形 狀, 判 斷 系 統 該 送 出 什 麼 動 作 指 令 給 PowerPoint 簡 報, 然 後 簡 報 依 指 令 動 作, 如 此 一 直 重 覆, 直 到 簡 報 播 放 結 束 60

第 肆 章 系 統 流 程 4.1 環 境 設 定 本 論 文 之 硬 體 規 格 採 用 羅 技 QuickCan Pro for Notebooks 之 WebCam 進 行 拍 攝, 電 腦 執 行 硬 體 規 格 為 CPU U7300@1.30GHz, 記 憶 體 4G DDR3 RAM, 測 試 影 像 為 96*96 的 解 析 度 640*480 像 素 的 bmp 影 像 並 製 作 一 組 紅 綠 雙 面 手 套 在 軟 體 部 分 作 業 系 統 的 軟 體 為 Microsoft Windows XP, 所 使 用 的 程 式 語 言 是 以 C++ Builder 6.0 來 開 發 操 作 表 1 為 系 統 的 開 發 硬 體 環 境 與 系 統 的 參 數 訓 練 用 的 手 勢 影 像 共 有 3 組 資 料, 每 一 組 資 料 當 中 均 含 有 3 種 手 勢, 測 試 影 像 共 有 3 小 組 9 張 影 像, 分 別 是 用 自 製 的 綠 色 及 紅 色 手 套 來 拍 攝 表 1 系 統 開 發 環 境 表 CPU RAM 攝 影 機 規 格 U7300@1.30GHz DDR3 4.00GB 羅 技 QuickCan Pro for Notebooks 系 統 實 作 軟 體 Microsoft Windows XP 61

4.2 系 統 流 程 此 節 將 針 對 本 系 統 的 流 程 做 一 個 簡 單 的 介 紹, 將 會 說 明 本 系 統 的 介 面 以 及 如 何 操 作 此 系 統, 所 需 要 的 圖 像 及 畫 面, 都 會 在 本 節 一 一 呈 現 A. 系 統 介 面 : 此 為 本 系 統 的 主 要 介 面, 也 是 圖 像 呈 現 的 地 方, 以 下 我 們 分 為 A 和 B 兩 部 分 做 說 明 如 圖 48 圖 48 系 統 介 面 1. A 部 分 : 為 攝 影 機 所 接 收 的 畫 面, 也 就 是 視 訊 畫 面 的 部 分,WebCam 拍 攝 時 應 距 離 手 套 約 200 公 分, 電 腦 會 將 使 用 者 所 比 的 手 勢 以 每 0.5 秒 一 張 的 速 度 去 做 拍 攝 的 動 作, 並 去 讀 取 其 手 勢 的 圖 像, 而 決 定 要 下 一 頁 結 束 上 一 頁 或 是 回 到 第 一 頁 62

2. B 部 分 : 這 個 框 裡 面 的 四 個 圖 像, 正 是 本 系 統 所 需 用 到 的 手 勢 影 像, 以 及 我 們 會 用 到 的 按 鈕, 每 個 按 鈕 上 都 有 說 明 其 用 途, 以 方 便 操 作 在 此 有 四 個 手 勢, 如 圖 49 由 於 本 系 統 在 顏 色 偵 測 方 面 是 取 綠 色 及 紅 色, 所 以 要 比 手 勢 時, 必 需 先 戴 上 我 們 自 製 的 手 套, 由 此 手 套 去 比 出 所 需 要 的 手 勢, 讓 系 統 來 做 辨 識 的 動 作, 另 外 要 特 別 注 意 的 是 在 拍 攝 畫 面 中 除 了 手 套 之 外 不 能 出 現 紅 色 或 綠 色 1 下 一 頁 2 上 一 頁 3 回 到 第 一 頁 4 結 束 圖 49 系 統 使 用 的 手 勢 圖 B. 選 擇 簡 報 檔 PPT: 在 此, 我 們 會 點 選 B 部 份 的 開 啟 簡 報 按 鈕, 並 選 取 需 要 的 簡 報 檔 如 圖 50 63

圖 50 開 啟 簡 報 後 出 現 畫 面 C. 播 放 的 畫 面 : 在 這 個 部 分 我 們 將 會 開 始 撥 放 使 用 者 所 選 取 的 簡 報 檔, 並 停 留 在 簡 報 的 第 一 頁, 如 圖 51 圖 51 此 為 開 啟 簡 報 檔 後 出 現 的 畫 面 D. 手 勢 辨 識 播 放 簡 報 過 程 : 在 這 裡, 當 使 用 者 要 往 下 一 頁 進 行 講 解 時, 就 會 比 拳 頭 的 手 勢, 如 圖 49 的 1, 代 表 下 一 頁, 此 時 簡 報 就 會 跳 到 64

第 二 頁, 如 圖 52 及 圖 53 圖 52 此 為 拳 頭 手 勢 圖 53 此 為 辨 識 完 手 勢 所 在 的 頁 面 假 設 簡 報 播 放 至 第 十 頁, 因 授 課 內 容 必 須 回 到 上 一 頁 時, 這 個 時 候 就 比 一 級 棒 的 手 勢, 如 圖 49 的 2, 待 系 統 辨 識 完 後, 就 會 將 頁 面 回 到 上 一 頁 如 圖 54 及 圖 55 65

圖 54 此 為 一 級 棒 的 手 勢 圖 55 此 為 辨 識 後 成 功 之 畫 面 接 著 上 一 個 假 設, 如 果 畫 面 停 在 第 十 二 頁, 而 老 師 的 內 容 卻 在 第 一 頁 時, 是 不 是 要 一 直 比 著 手 勢 呢? 此 時 就 對 著 鏡 頭 比 五 的 手 勢, 如 圖 49 的 3, 畫 面 將 跳 回 第 一 頁 如 圖 56 及 圖 57 66

圖 56 此 為 五 的 手 勢 圖 57 此 為 回 到 第 一 頁 的 畫 面 E. 回 到 程 式 介 面 : 當 簡 報 結 束, 也 就 是 讀 到 紅 色 手 套 的 時 候, 如 圖 49 的 4, 就 會 回 到 程 式 的 原 始 畫 面, 可 再 做 下 一 個 選 取 簡 報 的 動 作 如 圖 58 及 圖 59 如 此 就 完 成 了 一 次 完 整 的 簡 報 檔 播 放 動 作 67

圖 58 此 為 結 束 手 勢 圖 59 此 為 結 束 後 的 原 始 畫 面 68

第 伍 章 結 論 本 專 題 主 要 是 透 過 手 勢 辨 識 的 方 式 來 操 作 簡 報 的 上 下 頁 切 換 停 止 回 到 第 一 頁 流 程, 以 省 去 使 用 者 移 動 滑 鼠 或 需 走 動 的 麻 煩 一 般 的 影 像 辨 識 主 要 是 以 膚 色 偵 測 為 判 斷 手 部 區 域, 而 本 系 統 則 採 用 綠 紅 雙 色 的 手 套 來 區 隔 手 勢 及 影 像 背 景, 以 提 高 影 像 的 辨 識 率 在 影 像 前 處 理 的 部 份, 雖 然 已 將 大 部 分 的 雜 訊 除 去, 但 仍 無 法 判 斷 主 要 的 區 域, 所 以 利 用 相 連 區 域 法 (Connected Component) 的 方 式, 透 過 8 鄰 居 連 接 的 偵 測, 得 到 一 個 完 整 的 手 部 區 域 後, 接 著 我 們 再 取 極 座 標 的 角 度 與 距 離 作 為 手 識 辨 識 的 特 徵 由 於 每 次 拍 攝 到 的 影 像 距 離 及 角 度 會 導 致 偵 測 到 的 手 勢 大 小 及 方 向 略 有 不 同, 而 無 法 進 行 的 有 效 辨 識, 因 此, 本 系 統 利 用 爬 山 式 序 列 表 示 法 (Mountain Climbing Sequence(MCS)) 及 大 小 正 規 化 兩 種 技 術, 以 解 決 旋 轉 及 放 大 縮 小 等 問 題 在 辨 識 的 部 分, 我 們 使 用 歐 式 距 離 (Euclidean Distance) 將 已 經 正 規 化 後 的 特 徵 值 與 系 統 中 內 建 好 的 資 料 庫 作 比 對 的 動 作, 當 所 得 到 的 值 若 愈 小, 便 代 表 所 辨 識 的 影 像 越 符 合 資 料 庫 中 的 某 一 個 手 勢 圖, 系 統 會 依 其 手 勢 的 指 令 然 後 執 行 該 相 對 的 簡 報 反 應 此 專 題 困 難 的 地 方 在 於 顏 色 偵 測 和 系 統 處 理 時 間, 這 兩 個 地 方 將 會 影 響 到 辨 識 的 結 果 在 顏 色 辨 識 時, 若 是 無 法 將 有 效 的 影 像 69

留 下 並 取 出 手 部 區 域, 而 後 的 系 統 處 理 將 會 得 到 錯 誤 的 辨 識 結 果, 而 造 成 電 腦 資 源 的 浪 費, 與 增 加 系 統 處 理 時 間, 在 系 統 處 理 時 間 方 面, 為 了 能 即 時 反 應 在 簡 報 播 放 上, 必 須 將 系 統 處 理 時 間 縮 短 至 下 一 個 拍 攝 時 間 點 前, 但 為 了 能 正 確 的 辨 識, 每 個 處 理 步 驟 都 是 不 可 或 缺 的, 所 以 選 用 計 算 時 間 花 費 較 短 的 演 算 法, 是 一 項 重 要 的 課 題 因 此 我 們 捨 棄 效 果 較 好 的 Canny 而 選 擇 速 度 較 快 的 Sobel 來 做 影 像 處 理, 都 是 為 了 將 系 統 處 理 時 間 降 到 合 理 的 範 圍, 以 達 到 即 時 性 本 專 題 主 要 的 應 用 在 於 即 時 手 勢 辨 識 方 面, 未 來 除 了 可 以 播 放 簡 報 外, 更 可 以 進 一 步 在 簡 報 上 劃 記 重 點, 也 適 用 於 如 機 器 人 遙 控 即 時 操 控 家 電 的 開 關 病 患 緊 急 求 救 系 統, 更 進 階 的 應 用 在 於 即 時 手 語 辨 識 系 統 70

參 考 文 獻 [1] Ping Zhang, Dennis Galletta, Na Li, Heshan Sun, HUMAN-COMPUTER INTERACTION, in Introduction, pp.1 [2] 唐 國 豪, 人 機 互 動, 科 技 發 展 第 368 期, 逢 甲 大 學 工 業 工 程 系, pp.18, 民 國 92 年 8 月 [3] 王 立 洋, 蔡 維 哲, 基 於 膚 色 的 任 意 角 度 手 勢 辨 識, 國 立 南 台 科 技 大 學 電 子 工 程 學 系 論 文,pp.1, 民 國 97 年 [4] Wii 介 紹 - 楊 國 棟, http://www2.nuk.edu.tw/lib/e-news/20071101/3-3.htm, 國 立 高 雄 大 學 圖 書 資 訊 館 通 訊 第 14 期 [5] 鍾 國 亮, 影 像 處 理 與 電 腦 視 覺, 台 灣 台 北 東 華 書 局, 民 國 95 年 3 月 三 版 [6] 徐 健 峰, 賴 皇 志, IP CAM 即 時 人 流 計 數, 大 同 大 學 資 訊 工 程 學 系 專 題 報 告, pp.6, 民 國 96 年 12 月 [7] 黃 建 邦, 彩 色 視 覺 技 術 於 多 人 人 臉 辨 識 上 的 應 用, 崑 山 科 技 大 71

學 電 機 工 程 系 碩 士 論 文,pp.1, 民 國 94 年 7 月 [8] HSI to RGB 的 轉 換 公 式, http://delphi.ktop.com.tw/board.php?cid=168&fid=921&tid=5 7705,Delphi K. Top 討 論 區 [9] 陳 佳 源, 結 合 平 移 距 離 與 傅 立 葉 特 徵 之 手 勢 辨 識 系 統, 中 原 大 學 資 訊 工 程 學 系 碩 士 學 位 論 文,pp.18, 民 國 96 年 7 月 [10] 林 景 騰, 應 用 時 間 序 列 雷 達 影 像 於 水 線 萃 取 之 研 究, 國 立 中 央 大 學 太 空 科 學 研 究 所 碩 士 論 文,pp.40, 民 國 96 年 6 月 [11] 王 瑋 群, 智 慧 型 人 性 化 家 電 人 機 介 面, 國 立 中 央 大 學 資 訊 工 程 學 系 碩 士 論 文,pp.56, 民 國 98 年 6 月 [12] 洪 兆 欣, 以 軌 跡 辨 識 為 基 礎 之 手 勢 辨 識 系 統, 國 立 中 央 大 學 資 訊 工 程 研 究 所 碩 士 論 文,pp.17, 民 國 95 年 7 月 [13] 電 腦 互 動 技 術 實 驗 課 程 設 計 與 教 學 手 冊, 銘 傳 大 學 資 訊 工 程 學 系 - 教 育 部 95 年 度 教 學 卓 越 計 畫, 民 國 96 年 4 月 [14] 陳 治 宇, 虛 擬 滑 鼠 : 以 視 覺 為 基 礎 之 手 勢 辨 識, 國 立 中 山 大 學 72

資 訊 工 程 學 系 碩 士 論 文, 民 國 92 年 6 月 [15] 吳 怡 明, 手 勢 辨 識 應 用 於 遙 控 音 樂 播 放 系 統, 國 立 台 灣 科 技 大 學 電 機 工 程 系 碩 士 學 位 論 文, 民 國 98 年 1 月 [16] Webcam 影 像 擷 取, http://delphi.ktop.com.tw/board.php?cid=168&fid=921&tid=62 758,Delphi K. Top 討 論 區 [17] BCB- 開 啟 文 字 檔, http://steven1103.blogspot.com/2009/03/bcb.html [18] 施 博 銘 呂 柏 緯 林 鼎 軒 張 寄 園, 室 內 環 境 人 臉 偵 測, 致 理 技 術 學 院 資 訊 網 路 技 術 系 實 務 專 題 報 告,pp.11, 民 國 96 年 12 月 [19] 蔡 博 智, 影 像 追 蹤 方 法 應 用 在 監 控 系 統 之 研 究, 中 原 大 學 機 械 工 程 學 系 碩 士 論 文, 民 國 91 年 7 月 [20] 廖 士 頤, 軟 式 切 換 濾 波 器 於 影 像 雜 訊 消 除 之 研 究, 成 功 大 學 電 機 工 程 學 系 碩 士 論 文,pp.23, 民 國 95 年 7 月 [21] 關 於 中 值 濾 波 器, 73

http://www.programmer-club.com.tw/showsametitlen/cb/16665. html, 程 式 設 計 俱 樂 部 [22] 沈 珀 楷, 探 討 圖 像 在 空 間 域 和 頻 域 之 技 術, 南 台 灣 科 技 大 學 資 訊 工 程 系 碩 士 作 業, 民 國 98 年 12 月 [23] 型 態 學 ( 侵 蝕 與 膨 脹 ) 詳 細 的 方 程 式 介 紹, http://delphi.ktop.com.tw/board.php?cid=168&fid=921&tid=44 322,Delphi K. Top 討 論 區 [24] 陳 繼 棠, 結 合 膚 色 區 域 分 割 與 主 要 成 份 分 析 於 多 人 臉 部 辨 識, 國 立 臺 灣 海 洋 大 學 機 械 與 機 電 工 程 學 系 碩 士 學 位 論 文,pp.18, 民 國 95 年 7 月 [25] 張 家 榮, 使 用 等 高 集 合 法 對 目 標 移 動 物 追 蹤 之 研 究, 元 智 大 學 電 機 工 程 研 究 所 碩 士 論 文,pp.30-32, 民 國 90 年 7 月 [26] 林 展 緯, 以 全 對 焦 影 像 合 成 技 術 修 正 失 焦 顯 微 鏡 影 像, 中 原 大 學 電 機 工 程 學 系 碩 士 學 位 論 文,pp.3-6 3-7, 民 國 94 年 6 月 [27] 向 量 與 極 座 標 - 極 座 標, 74

http://www.math.isu.edu.tw/calculus/cllang/lecture/ 極 座 標.htm, 義 守 大 學 應 用 數 學 系 [28] math 數 學 函 式 庫, http://www.php5.idv.tw/modules.php?mod=books&act=show&shid =367,PHP5 網 管 實 驗 室 [29] 高 楊 達, 以 內 容 為 基 礎 之 影 像 查 詢 研 究, 淡 江 大 學 資 訊 工 程 學 系 博 士 班 學 位 論 文, 民 國 95 年 [30] BCB 可 自 動 播 放 投 影 片 的 函 式 TPowerPointPresentation 範 例, http://delphi.ktop.com.tw/board.php?cid=168&fid=921&tid=61 763,Delphi K. Top 討 論 區 [31] BCB 的 TpowerPointPresentation 控 制 元 件, http://www.delphi2007.net/delphiblog/html/delphi_200822515 573015334.html,delphi2007.net 教 程 網 75