doc

Transcription

1 朝 陽 科 技 大 學 資 訊 與 通 訊 系 碩 士 論 文 具 加 速 度 特 徵 值 之 模 糊 手 勢 識 別 系 統 An Acceleration Feature Based Fuzzy Gesture Recognition System 指 導 教 授 : 朱 鴻 棋 博 士 研 究 生 : 黃 聖 智 中 華 民 國 102 年 7 月 26 日

2 朝 陽 科 技 大 學 資 訊 與 通 訊 系 Department of Information and Communication Engineering Chaoyang University of Technology 碩 士 論 文 Thesis for the Degree of Master 具 加 速 度 特 徵 值 之 模 糊 手 勢 識 別 系 統 An Acceleration Feature Based Fuzzy Gesture Recognition System 指 導 教 授 : 朱 鴻 棋 博 士 (Hung-Chi Chu) 研 究 生 : 黃 聖 智 (Sheng-Chih Huang) 中 華 民 國 102 年 7 月 26 日 July 26, 2013

3 中 文 摘 要 隨 著 微 機 電 系 統 技 術 的 演 進, 使 得 各 式 各 樣 的 感 測 元 件 被 快 速 地 發 展 出 來 感 測 元 件 被 運 用 在 環 境 監 控 居 家 照 護 工 廠 自 動 化 及 行 動 應 用 等 方 面 其 中 加 速 規 感 測 元 件 可 取 得 加 速 度 資 訊 且 已 被 廣 泛 應 用 在 行 動 裝 置 中 以 開 發 各 式 應 用 軟 體 以 加 速 度 資 訊 作 為 手 勢 動 作 識 別 的 演 算 法 已 被 提 出 來, 相 關 研 究 包 含 主 成 分 分 析 類 神 經 網 路 支 持 向 量 機 及 動 態 時 間 校 正 等 方 法 而 上 述 的 演 算 法 都 需 要 經 過 測 試 樣 本 的 訓 練 及 校 正 因 此, 本 文 提 出 一 個 加 速 度 特 徵 值 演 算 法 來 識 別 使 用 者 的 手 勢 動 作 為 解 決 行 動 裝 置 的 運 算 限 制, 本 文 所 提 之 手 勢 識 別 應 用 系 統 將 使 用 智 慧 型 手 機 無 線 網 路 技 術 與 模 糊 分 類 來 達 成 直 覺 式 操 作 的 目 的 實 驗 結 果 顯 示 本 文 所 提 之 方 法 可 判 斷 出 簡 單 的 動 作, 如 向 左 傾 斜 翻 轉 搖 晃 和 Z 字 形 等 動 作, 且 具 高 之 動 作 識 別 準 確 率 關 鍵 字 : 手 勢 識 別 加 速 規 模 糊 規 則 庫 I

4 Abstract With the evolution of Micro Electro Mechanical Systems (MEMS) technology which makes a variety of sensors to be quickly developed. The sensing element is used in environmental monitoring, home care, factory automation, and mobile applications. Accelerometer sensing element can be used to obtain acceleration information, and has been widely used in smart mobile devices to develop all kinds of application software. Some gesture recognition algorithms to deal with acceleration information have been proposed. Recently, gesture recognition techniques include Principal Component Analysis, Artificial Neural Network, Support Vector Machine and Dynamic Time Warping methods. These methods usually utilize testing samples for system training and refinement. This paper proposed an acceleration feature based algorithm to identify the user's gestures. In order to reduce the computational limitations, the proposed gesture recognition system utilize sever to dead with the gesture recognition process via wireless network and to achieve the goal of the intuitive control via high gesture recognition accuracy. Experiment results show that the proposed method can identify for the left tilt, flip, shaking, and Z-shaped gesture action with high recognition accuracy Keywords:gesture recognition, accelerometer, fuzzy rule. II

5 誌 謝 在 研 究 所 生 活 即 將 告 一 段 落, 能 夠 完 成 這 份 研 究, 首 要 感 謝 指 導 教 授, 朱 鴻 棋 教 授, 在 研 究 過 程 中 的 教 導 與 勉 勵, 讓 我 在 遇 到 困 難 時, 能 夠 持 之 以 恆 地 持 續 下 去, 也 讓 我 的 論 文 寫 作 能 夠 有 系 統 有 效 率 地 逐 步 完 成 口 試 期 間, 承 蒙 張 林 煌 教 授 李 宗 翰 教 授 廖 俊 鑑 教 授 能 在 百 忙 之 中 撥 冗 指 導, 對 於 學 生 這 兩 年 的 研 究 成 果 之 肯 定 與 鼓 勵, 並 且 在 論 文 口 試 上 的 細 心 指 教 並 提 供 寶 貴 的 意 見, 讓 此 碩 士 論 文 的 內 容 更 完 善, 在 此 致 上 最 深 的 謝 意 同 時 要 感 謝 學 長, 仕 龍 孟 宏 信 誼 元 欽 衛 聰 與 瑋 泰, 在 研 究 上 的 協 助 與 指 教, 讓 我 獲 益 良 多, 及 共 同 打 拼 的 研 究 夥 伴, 心 雨 聖 竺 與 承 緯, 謝 謝 你 們 的 扶 持 與 協 助, 還 要 感 謝 學 弟, 楊 浩 峻 榮 孟 賢 明 凱 政 峯 彥 吉, 給 予 我 關 懷 與 鼓 勵, 在 此 致 上 深 深 的 感 謝 最 後, 要 感 謝 我 的 父 母 及 弟 弟, 因 為 有 你 們 的 支 持 與 鼓 勵, 讓 我 可 以 無 憂 無 慮 的 順 利 完 成 學 業, 在 此, 謹 將 此 文 獻 給 為 我 付 出 一 輩 子 青 春 和 血 汗 的 父 母 黃 聖 智 謹 誌 於 中 華 民 國 102 年 七 月 III

6 目 錄 中 文 摘 要... I Abstract... II 誌 謝... III 目 錄... IV 表 目 錄... VII 圖 目 錄... VIII 第 一 章 緒 論 前 言 研 究 動 機 與 目 的 論 文 架 構... 4 第 二 章 文 獻 探 討 加 速 規 感 測 元 件 介 紹 加 速 規 運 用 於 手 勢 識 別 之 相 關 研 究 手 勢 識 別 運 算 相 關 研 究 主 成 分 分 析 類 神 經 網 路 支 持 向 量 機 (Support Vector Machine, SVM) 動 態 時 間 校 正 IV

7 2.4 模 糊 理 論 模 糊 集 合 (Fuzzy Set) 模 糊 歸 屬 函 數 模 糊 運 算 Android 作 業 系 統 介 紹 系 統 架 構 生 命 週 期 第 三 章 手 勢 識 別 系 統 架 構 與 設 計 系 統 架 構 手 勢 識 別 演 算 法 手 勢 識 別 演 算 法 特 徵 值 計 算 模 糊 規 則 制 定 開 發 環 境 硬 體 軟 體 第 四 章 實 驗 結 果 與 分 析 實 驗 設 備 實 驗 結 果 V

8 第 五 章 結 論 與 未 來 工 作 結 論 及 未 來 工 作 參 考 文 獻 VI

9 表 目 錄 表 2-1 Activity 定 義 生 命 週 期 的 7 種 方 法 表 4-1 設 備 表 4-2 手 勢 識 別 結 果 表 4-3 HTC New One 識 別 結 果 表 4-4 ASUS MEMO Pad 識 別 結 果 VII

10 圖 目 錄 圖 2-1 Wii 內 部 結 構... 8 圖 2-2 光 學 感 應 條... 9 圖 2-3 主 成 分 分 析 圖 2-4 類 神 經 網 路 架 構 圖 圖 2-5 支 持 向 量 機 示 意 圖 圖 2-6 動 態 時 間 校 正 示 意 圖 圖 2-7 三 角 形 歸 屬 函 數 圖 2-8 梯 形 歸 屬 函 數 圖 2-9 高 斯 形 歸 屬 函 數 圖 2-10 單 值 歸 屬 函 數 圖 2-11 Android 系 統 架 構 圖 圖 2-12 Activity 生 命 週 期 示 意 圖 圖 3-1 系 統 架 構 圖 圖 3-2 手 勢 識 別 演 算 法 流 程 圖 圖 3-3 模 糊 推 論 基 本 架 構 圖 3-4 x 軸 y 軸 和 z 軸 加 速 度 特 徵 值 之 對 應 歸 屬 函 數 圖 3-5 G 輸 出 對 應 歸 屬 函 數 VIII

11 圖 3-6 推 論 引 擎 示 意 圖 圖 3-7 解 模 糊 化 示 意 圖 圖 3-8 模 糊 分 類 器 模 擬 圖 3-9 手 勢 動 作 四 在 x 軸 上 之 正 規 化 加 速 度 值 圖 3-10 手 勢 動 作 四 在 x 軸 加 速 度 特 徵 圖 3-11 手 勢 動 作 圖 3-12 手 勢 動 作 1 在 x 軸 加 速 度 特 徵 圖 3-13 手 勢 動 作 1 在 y 軸 加 速 度 特 徵 圖 3-14 手 勢 動 作 1 在 z 軸 加 速 度 特 徵 圖 3-15 手 勢 動 作 2 在 x 軸 加 速 度 特 徵 圖 3-16 手 勢 動 作 2 在 y 軸 加 速 度 特 徵 圖 3-17 手 勢 動 作 2 在 z 軸 加 速 度 特 徵 圖 3-18 手 勢 動 作 3 在 x 軸 加 速 度 特 徵 圖 3-19 手 勢 動 作 3 在 y 軸 加 速 度 特 徵 圖 3-20 手 勢 動 作 3 在 z 軸 加 速 度 特 徵 圖 3-21 手 勢 動 作 4 在 x 軸 加 速 度 特 徵 圖 3-22 手 勢 動 作 4 在 y 軸 加 速 度 特 徵 圖 3-23 手 勢 動 作 4 在 z 軸 加 速 度 特 徵 圖 4-1 SKY Vega A820L IX

12 圖 4-2 HTC New One 圖 4-3 ASUS MEMO Pad 圖 4-4 手 勢 動 作 1 在 z 軸 加 速 度 特 徵 ( 使 用 HTC New One) 圖 4-5 手 勢 動 作 2 在 y 軸 加 速 度 特 徵 ( 使 用 HTC New One) 圖 4-6 手 勢 動 作 3 在 y 軸 加 速 度 特 徵 ( 使 用 HTC New One) 圖 4-7 手 勢 動 作 4 在 z 軸 加 速 度 特 徵 ( 使 用 HTC New One) 圖 4-8 手 勢 動 作 1 在 y 軸 加 速 度 特 徵 ( 使 用 ASUS MEMO Pad) 65 圖 4-9 手 勢 動 作 2 在 y 軸 加 速 度 特 徵 ( 使 用 ASUS MEMO Pad) 66 圖 4-10 手 勢 動 作 3 在 z 軸 加 速 度 特 徵 ( 使 用 ASUS MEMO Pad) 圖 4-11 手 勢 動 作 4 在 y 軸 加 速 度 特 徵 ( 使 用 ASUS MEMO Pad) X

13 第 一 章 緒 論 1.1 前 言 近 年 來, 由 於 任 天 堂 遊 戲 主 機 Wii 的 體 感 操 控 及 微 軟 所 Xbox 360 的 kinect 體 感 套 件 的 出 現, 造 成 體 感 遊 戲 的 流 行, 玩 家 只 需 要 透 過 Wii 搖 桿 或 者 是 kinect 鏡 頭 就 能 使 玩 家 如 身 歷 其 境 於 遊 戲 中, 例 如 棒 球 體 感 遊 戲 只 要 做 出 揮 棒 動 作, 就 能 操 作 遊 戲 中 的 打 擊 者 去 擊 球, 操 作 非 常 直 覺 而 研 究 人 員 也 因 為 體 感 套 件 的 出 現, 注 意 到 手 勢 識 別 應 用 在 生 活 中, 使 得 手 勢 識 別 成 為 重 要 的 研 究 議 題 然 而, 目 前 的 手 勢 識 別 研 究 裡, 都 需 要 使 用 特 定 的 裝 置, 如 Wii 搖 桿 或 者 是 研 究 人 員 自 製 的 裝 置 來 擷 取 加 速 度 值, 造 成 手 勢 識 別 因 為 特 定 的 裝 置, 導 致 在 使 用 上 受 到 限 制, 且 使 用 不 便 此 外, 傳 統 的 手 勢 識 別 系 統 是 透 過 三 軸 加 速 規 取 得 之 加 速 度 值, 經 由 歐 基 里 德 距 離 (Euclidean Distance) 以 獲 得 加 速 規 的 總 位 移 距 離, 最 後 藉 由 三 軸 加 速 度 值 與 總 位 移 距 離 來 做 為 手 勢 識 別 軌 跡 的 條 件, 其 手 勢 軌 跡 將 因 誤 差 累 積 而 導 致 識 別 錯 誤 或 失 敗 因 此, 為 了 讓 使 用 者 能 方 便 又 能 直 覺 式 操 作 的 手 勢 識 別 系 統, 本 研 究 使 用 智 慧 型 手 機 來 擷 取 加 速 度 值 由 於 智 慧 型 手 機 已 普 遍 內 嵌 加 速 度 感 測 元 件, 且 融 入 人 們 的 日 常 生 活 中, 故 本 系 統 將 具 有 不 需 特 定 1

14 裝 置 的 方 便 性 另 外, 利 用 本 研 究 設 計 的 模 糊 手 勢 識 別 系 統, 來 識 別 手 勢 動 作 在 模 糊 手 識 別 系 統 主 要 是 運 用 其 加 速 度 值 與 加 速 度 統 計 量 來 轉 換 成 手 勢 動 作 之 加 速 度 特 徵 ; 並 依 此 制 定 模 糊 規 則 和 模 糊 推 論 機 制 以 識 別 其 手 勢 動 作, 並 提 供 高 識 別 準 確 率 之 簡 易 手 勢 識 別 系 統 1.2 研 究 動 機 與 目 的 隨 著 資 通 訊 技 術 及 微 機 電 製 程 的 進 步, 使 得 電 子 消 費 產 品 的 體 積 與 重 量 逐 漸 減 小, 讓 電 子 消 費 產 品 增 加 其 方 便 性 和 攜 帶 性 也 讓 感 測 元 件 的 體 積 小 且 種 類 多 樣 化, 如 感 光 溫 度 濕 度 壓 力 紅 外 線 加 速 規 磁 力 計 和 陀 螺 儀 等 感 測 元 件, 一 般 在 感 測 元 件 所 收 集 到 的 資 料, 經 過 分 析 運 算 來 取 得 重 要 的 資 訊, 再 透 過 這 些 資 訊 整 理 分 析 與 處 理 形 成 一 個 感 測 應 用 系 統, 例 如 工 廠 自 動 化 居 家 及 醫 療 照 護 和 環 境 監 控 等 方 面 目 前 在 各 種 感 測 元 件 中 又 以 加 速 規 感 測 器 的 應 用 研 究 較 為 熱 門, 一 般 動 作 識 別 中 主 要 是 透 過 加 速 規 (Accelerometer) 擷 取 其 加 速 度 值, 將 擷 取 到 的 數 值 並 加 以 分 析 及 整 理 後, 可 將 其 應 用 在 酒 駕 檢 測 [1] 揮 棒 協 調 檢 測 [2] 手 勢 識 別 [3] 跌 倒 偵 測 [4] 及 手 語 轉 換 [5] 等 領 域 手 勢 應 用 控 制 運 用 智 慧 型 手 機 內 建 的 感 測 器, 擷 取 到 動 作 的 加 速 度 值, 並 藉 此 作 為 動 作 識 別, 且 將 其 對 應 到 使 用 者 自 行 設 定 的 功 能, 如 體 感 門 禁 系 統 [6] 體 感 簡 報 系 統 [7] 手 勢 互 動 應 用 [8] 等 2

15 行 動 裝 置 由 於 行 動 通 訊 及 網 路 頻 寬 的 提 升, 使 得 搭 載 感 測 器 的 行 動 裝 置 漸 漸 融 入 人 們 日 常 生 活 中, 目 前 行 動 裝 置 分 為 三 大 類, 分 別 為 1. 攜 帶 型 遊 樂 器 2. 智 慧 型 手 機 和 3. 平 板 電 腦, 其 中 又 以 智 慧 型 手 機 的 發 展 最 為 快 速, 且 具 備 的 功 能 越 來 越 多, 目 前 的 智 慧 型 手 機 (Smart Phone) 內 建 的 感 測 器 包 括 陀 螺 儀 重 力 感 測 器 (G-Sensor) 觸 控 感 測 器 (Touch-Sensor) 及 光 感 測 器 等 感 測 器, 而 目 前 智 慧 型 手 機 的 作 業 系 統 主 要 可 分 為 Android Windows Phone 8 ios 6 等 三 大 類 而 根 據 國 際 數 據 資 訊 (International Data Corporation, IDC) 2012 年 12 月 的 資 料 顯 示 Android 系 統 的 全 球 市 占 率 高 達 68.3%, 且 系 統 平 台 具 有 以 下 三 項 優 點 : (1) 開 放 式 作 業 系 統 : 使 用 者 能 夠 根 據 自 己 需 求 添 加 功 能 或 修 改 作 業 系 統, 且 作 業 系 統 為 公 開 原 始 碼 不 需 要 任 何 授 權 即 可 自 行 更 改 (2) 第 二 項 為 軟 體 開 發 自 由 度 高 : 任 何 使 用 者 皆 可 以 設 計 此 作 業 系 統 的 應 用 程 式 且 透 過 Google play Market 服 務 來 分 享 或 販 售 應 用 程 式 (3) 第 三 項 為 整 合 Google 服 務 : 可 將 Gmail 和 Google map 等 雲 端 服 務 整 合 在 作 業 系 統 當 中 上 述 優 點 讓 使 用 者 能 自 行 開 發 所 需 要 的 應 用 程 式 但 是 由 於 智 慧 3

16 型 手 機 運 用 在 手 勢 識 別 控 制 應 用 上 仍 有 所 限 制, 例 如 手 機 計 算 能 力 的 限 制 和 電 池 電 量 消 耗 等 問 題 此 外, 目 前 大 多 數 辨 識 手 勢 軌 跡 的 方 法 是 透 過 加 速 規 擷 取 的 三 軸 加 速 度 變 化 值, 計 算 其 總 位 移 距 離 來 當 作 手 勢 軌 跡, 利 用 此 條 件 來 辨 識 手 勢 軌 跡 準 確 率 不 高, 造 成 識 別 手 勢 軌 跡 誤 判 或 失 敗 的 機 率 增 加 [3] 因 此, 本 論 文 提 出 一 種 利 用 模 糊 規 則 庫 之 分 類 方 法 來 識 別 手 勢, 我 們 藉 由 統 計 動 作 中 的 加 速 度 量 來 作 為 動 作 特 徵 值 並 搭 配 模 糊 規 則 庫 與 模 糊 推 論 機 制 以 進 行 手 勢 動 作 的 識 別 且 本 研 究 將 設 計 以 手 機 裝 置 為 主 之 手 勢 動 作 識 別 系 統, 除 具 高 手 勢 動 作 之 成 功 識 別 率 外 也 具 備 方 法 簡 單 之 優 勢 1.3 論 文 架 構 本 論 文 分 為 五 個 章 節, 分 別 簡 介 如 下 : 第 一 章 節 : 說 明 手 勢 識 別 系 統 的 研 究 動 機 與 目 的 第 二 章 節 : 描 述 加 速 度 感 測 器 相 關 應 用 手 勢 識 別 相 關 分 析 方 法 模 糊 理 論 介 紹 與 相 關 文 獻 之 探 討 第 三 章 節 : 說 明 系 統 架 構 與 設 計, 以 及 運 用 移 動 平 均 濾 波 器 與 統 計 量 來 擷 取 加 速 度 特 徵, 透 過 模 糊 推 論 來 提 升 手 勢 識 別 之 準 確 率 4

17 第 四 章 節 : 將 介 紹 本 論 文 使 用 之 模 糊 規 則 庫, 並 透 過 不 同 的 行 動 裝 進 行 實 驗 與 結 果 分 析 並 驗 證 本 研 究 之 準 確 率 與 可 行 性 第 五 章 節 : 說 明 本 研 究 之 結 論 與 未 來 方 向 5

18 第 二 章 文 獻 探 討 近 年 來, 對 於 手 勢 識 別 已 有 許 多 相 關 的 研 究 [9, 10] 目 前 在 手 勢 識 別 中 大 多 結 合 各 式 感 測 元 件 之 資 訊 以 設 計 適 當 之 手 勢 識 別 方 法, 其 中 加 速 規 感 測 器 一 直 是 手 勢 辨 識 主 要 的 感 測 元 件 之 一 因 此, 在 本 章 節 將 介 紹 加 速 規 感 測 元 件 與 相 關 研 究 目 前 手 勢 識 別 相 關 演 算 法 的 研 究 模 糊 理 論 技 術 簡 介 及 Android 作 業 系 統 架 構 說 明 2.1 加 速 規 感 測 元 件 介 紹 在 各 式 感 測 元 件 中 之 用 於 手 勢 動 作 識 別 上 主 要 包 含 有 加 速 規 與 陀 螺 儀 等 其 中 加 速 規 又 可 稱 為 重 力 感 測 器 (G-Sensor), 主 要 提 供 位 移 與 速 度 的 資 訊 ; 陀 螺 儀 則 是 提 供 方 位 角 (Heading) 資 訊 而 本 論 文 研 究 著 重 於 重 力 感 測 器 的 測 技 術 與 應 用 在 固 態 微 機 電 製 程 的 重 力 感 測 器 具 有 體 積 小 低 耗 電 低 單 價 與 高 自 主 性 等 優 點 一 顆 三 軸 重 力 感 應 器 可 以 同 時 偵 測 x y z 三 個 軸 向 的 運 動, 其 屬 於 自 主 性 元 件, 不 需 要 依 靠 外 部 輔 助 資 訊 就 能 計 算 加 速 度 值 在 [11] 中 詳 細 說 明 重 力 感 測 元 件 的 運 作 原 理, 而 重 力 感 測 元 件 常 應 用 於 位 移 推 算 與 物 件 追 蹤, 重 力 感 測 元 件 主 要 是 根 據 牛 頓 第 二 運 動 定 律 來 設 計, 其 中 加 速 度 是 指 物 體 速 度 對 時 間 的 變 化 率, 而 速 度 則 是 6

19 該 物 體 的 位 置 對 時 間 的 變 化 率 換 言 之, 以 數 學 方 式 表 示 速 度 就 是 位 置 對 時 間 的 微 分, 加 速 度 則 是 速 度 對 時 間 的 微 分 若 假 設 初 始 速 度 為 零 時, 牛 頓 第 二 運 動 定 律 可 表 示 : 其 中 為 加 速 度, 為 速 度 變 化 量, 為 時 間 變 化 量, 為 位 移 量 故 由 公 式 (2-1) 與 (2-2) 推 得 : 當 得 知 某 物 體 的 加 速 度 資 訊 時, 便 可 利 用 連 續 兩 次 積 分 將 加 速 度 的 資 訊 轉 換 成 位 移 (Displacement) 資 訊, 其 轉 換 公 式 如 下 : - 根 據 公 式 (2-5), 可 分 別 計 算 出 x 軸 y 軸 與 z 軸 的 位 移 量, 藉 此 以 進 一 步 計 算 出 位 移 資 訊 2.2 加 速 規 運 用 於 手 勢 識 別 之 相 關 研 究 早 期 的 手 勢 識 別 大 多 以 Wii 遙 控 器 (Wii Remote)[8, 11, 12] 研 究 較 多, 因 為 具 感 測 功 能 的 Wii 遙 控 器 是 較 搭 載 重 力 感 測 器 的 智 慧 型 手 機 早 被 發 表 出 來 導 致 研 究 人 員 大 量 使 用 Wii 遙 控 器 來 作 為 研 究 的 工 7

20 具 而 Wii 遙 控 器 為 任 天 堂 遊 戲 主 機 Wii 的 主 要 控 制 器, 其 硬 體 裝 置 如 圖 2-1 所 示 在 Wii 遙 控 器 體 感 原 理 主 要 分 為 兩 項 功 能, 分 別 為 動 作 感 應 與 指 向 定 位 ( 圖 2-2 所 示 ) 在 動 作 感 應 功 能 為 偵 測 三 維 空 間 中 的 移 動 及 旋 轉, 主 要 是 透 過 Wii 搖 桿 內 建 的 ADXL330 晶 片 來 收 集 x 軸 y 軸 與 z 軸 等 三 軸 加 速 度 變 化 值 來 判 斷 傾 斜 度 與 移 動 方 向, 在 指 向 定 位 主 要 是 透 過 紅 外 線 感 應 來 追 蹤 定 位 座 標, 其 運 作 方 式 是 由 光 學 感 應 條 內 的 LED 發 射 紅 外 線, 藉 由 在 Wii 遙 控 器 前 端 的 紅 外 線 COMS 感 測 器 來 接 收 光 學 感 應 條 所 發 射 的 紅 外 線 光 點 來 判 斷 光 學 感 應 條 與 遙 控 器 之 間 的 位 置 與 距 離, 就 如 同 光 線 槍 或 滑 鼠 一 般 可 以 控 制 螢 幕 上 的 游 標 因 此, 結 合 動 作 感 應 與 指 向 定 位 可 以 達 成 所 謂 的 體 感 操 作 圖 2-1 Wii 搖 桿 內 部 結 構 [11] 8

21 圖 2-2 光 學 感 應 條 ( 圖 來 自 03/11/wii-reopen-it-record/) 而 在 文 獻 [8] 利 用 Wii 遙 控 器 中 的 光 學 感 應 條 及 自 製 的 一 塊 擁 有 100 顆 LED 的 電 路 板 來 達 到 手 勢 識 別 的 應 用, 藉 由 兩 手 互 動, 可 以 達 到 瀏 覽 圖 片 口 頭 報 告 及 電 子 書 閱 讀 等 功 能 但 此 方 法 無 法 方 便 的 在 任 何 地 方 使 用, 因 為 Wii 遙 控 器 及 電 路 板 無 法 隨 身 攜 帶, 導 致 其 應 用 只 能 於 固 定 在 特 定 的 地 方 才 能 使 用 近 幾 年, 智 慧 型 手 機 漸 漸 融 入 人 們 的 日 常 生 活 中, 研 究 人 員 就 將 手 勢 識 別 轉 移 到 智 慧 型 手 機 中, 而 智 慧 型 手 機 的 應 用 也 越 來 越 廣 泛 在 [3] 中, 提 出 一 種 直 覺 式 使 用 者 介 面 系 統 藉 由 智 慧 型 手 機 中 的 重 力 感 測 器 紀 錄 手 勢 動 作 的 x 軸 y 軸 和 z 軸 加 速 度 變 化 值, 透 過 設 計 的 演 算 法 並 以 牛 頓 運 動 定 律 中 藉 由 加 速 度 變 化 量, 以 雙 積 分 取 得 每 個 時 間 位 移 距 離, 分 別 在 x 軸 y 軸 和 z 軸 做 運 算, 獲 得 各 軸 位 移 距 離 後 以 三 角 函 數 取 得 x 軸 y 軸 及 z 軸 夾 角 角 度 θ, 綜 合 位 移 距 離 及 θ 後 將 資 料 儲 存 在 資 料 庫 中 做 為 判 斷 相 同 手 勢 時 的 條 件, 此 方 法 的 優 點 是 提 升 了 手 勢 識 別 的 準 確 率 但 9

22 是 其 缺 點 是 手 勢 識 別 之 計 算 量 較 大 且 當 時 的 硬 體 設 備 容 易 受 到 地 心 引 力 的 影 響 導 致 z 軸 數 值 變 化, 使 得 手 勢 識 別 的 誤 判 率 提 升 而 在 [4] 中 提 出 以 智 慧 型 手 機 來 監 測 是 否 有 跌 倒, 利 用 智 慧 型 手 機 內 嵌 的 重 力 感 測 器 來 擷 取 加 速 度, 若 擷 取 到 的 加 速 度 值 符 合 [4] 中 所 提 出 之 條 件 狀 況, 其 系 統 就 會 判 斷 為 跌 倒, 並 判 別 是 否 能 起 身, 若 無 法 起 身 就 會 發 送 警 告 給 其 家 人 或 朋 友, 最 後 此 系 統 搭 配 Google map 可 使 得 外 出 跌 倒 時 能 快 速 知 道 其 跌 倒 的 位 置, 在 第 一 時 間 能 給 予 救 援 由 於 智 慧 型 手 機 的 製 造 廠 商 很 多, 導 致 感 測 器 嵌 入 的 位 置 也 不 同, 有 研 究 人 員 提 出 重 力 感 測 器 位 置 不 同 是 否 會 影 響 其 加 速 度 的 數 值, 在 [10] 中, 介 紹 了 四 種 行 動 裝 置, 在 這 四 種 行 動 裝 置 中 也 嵌 入 的 重 力 感 測 器, 但 是 其 嵌 入 位 置 都 不 相 同, 其 中 有 兩 種 行 動 裝 置 為 同 一 家 製 造 商, 但 嵌 入 的 感 測 器 位 置 也 不 同, 因 此 假 設 各 家 手 機 所 擷 取 到 的 加 速 度 值 會 因 為 位 置 的 不 同 而 不 一 樣, 於 是 提 出 了 一 個 方 法 來 測 量 感 測 器 放 置 在 哪 個 位 置 可 以 測 得 最 佳 的 加 速 度 值, 也 提 出 了 多 種 感 測 器 嵌 入 在 同 一 商 品 當 中, 並 實 驗 各 種 不 同 手 勢 動 作 是 否 也 會 影 響 加 速 度 的 值, [10] 利 用 自 製 的 電 路 板, 安 裝 重 力 感 測 器 及 陀 螺 儀, 來 進 行 感 測 器 位 置 的 實 驗, 實 驗 中 發 現 感 測 器 放 置 的 地 方 以 手 握 住 的 位 置 較 佳 在 手 勢 數 量 的 實 驗 中 作 者 使 用 了 支 持 向 量 機 (Support Vector Machine, 簡 稱 SVM) 來 擷 取 特 徵 值 並 運 用 樣 本 內 (Intra-subject) 及 樣 本 間 10

23 (Inter-subject) 這 兩 種 方 法 來 分 析 擷 取 到 的 特 徵 值, 並 在 這 兩 種 分 析 方 法 中 使 用 K 次 交 叉 驗 證 (K-fold cross-validation) 來 訓 練 手 勢 特 徵 值 之 間 的 準 確 率, 而 K 次 交 叉 驗 證 是 將 初 始 採 樣 的 資 料 分 割 成 K 個 子 樣 本, 留 下 一 個 子 樣 本 作 為 驗 證 模 型 的 數 據, 剩 下 的 K-1 個 樣 本 用 來 訓 練, 重 複 K 次 後 會 得 到 一 個 估 測, 最 後 發 現 手 勢 較 為 相 近 的 容 易 被 誤 判 由 於 智 慧 型 手 機 的 計 算 能 力 受 到 限 制, 為 了 使 得 手 勢 識 別 的 準 確 率 提 升 及 誤 判 率 下 降, 並 藉 由 無 線 網 路 技 術, 來 做 更 複 雜 識 別 演 算 法 以 提 升 識 別 的 準 確 率 因 此, 將 在 下 一 節 介 紹 手 勢 識 別 運 算 的 相 關 研 究 2.3 手 勢 識 別 運 算 相 關 研 究 手 勢 辨 識 的 運 算 在 各 個 領 域 上 已 有 相 當 多 的 研 究, 其 相 關 研 究 方 法 主 要 可 分 為 主 成 分 分 析 [13] 類 神 經 網 路 [9, 14, 15] 支 持 向 量 機 [10, 16] 與 動 態 時 間 校 正 [17] 等 方 法 在 上 述 的 各 個 方 法 中, 其 目 的 主 要 是 藉 由 複 雜 的 運 算 來 增 加 其 手 勢 識 別 的 準 確 率 主 成 分 分 析 在 統 計 分 析 中, 主 成 分 分 析 (Principal Component Analysis, PCA) 是 一 種 分 析 簡 化 數 據 集 的 技 術 主 成 分 分 析 經 常 用 減 少 數 據 集 的 維 11

24 度, 同 時 保 持 數 據 集 的 對 變 異 數 貢 獻 最 大 的 特 徵 這 是 通 過 保 留 低 維 度 主 成 分, 忽 略 高 維 度 主 成 分 這 樣 低 維 度 成 分 往 往 能 夠 保 留 住 數 據 的 最 重 要 方 面 主 成 分 分 析 由 Karl Pearson 於 1901 年 發 表 [18], 用 於 分 析 數 據 及 建 立 數 理 模 型 其 方 法 主 要 是 通 過 對 共 同 變 異 數 矩 陣 進 行 特 徵 分 解, 以 得 出 數 據 的 主 成 分 ( 特 徵 向 量 ) 與 數 據 的 特 徵 值 主 成 分 分 析 是 最 簡 單 的 以 特 徵 數 量 分 析 多 元 統 計 分 布 的 說 法 其 結 果 可 以 瞭 解 原 數 據 中 的 變 異 數 在 哪 一 個 方 向 上 的 數 據 值 的 影 響 最 大 就 是 說, 主 成 分 分 析 提 供 了 一 種 降 低 數 據 維 度 的 有 效 方 法 如 果 分 析 者 在 原 數 據 中 除 掉 最 小 的 特 徵 值 所 對 應 的 成 分, 那 麼 所 得 的 低 維 度 數 據 必 定 是 最 優 化 的 當 數 據 複 雜 度 高 時 則 最 為 適 用 主 成 分 分 析 主 成 分 分 析 的 概 念 是 假 設 有 一 組 多 元 數 據 集, 在 一 個 多 維 空 間 中 找 出 一 條 軸 線, 使 得 所 有 的 多 維 向 量 能 夠 在 這 條 軸 線 上 產 生 一 個 投 影 點, 並 使 相 鄰 的 投 影 點 彼 此 擁 有 最 大 的 變 異 數 12

25 圖 2-3 主 成 分 分 析 以 圖 2-3 為 例, 顯 示 主 成 分 分 析 是 透 過 一 個 正 交 化 線 性 轉 換, 把 數 據 變 換 到 一 個 新 的 座 標 系 統 中, 使 得 任 何 數 據 投 影 的 第 一 大 變 異 數 在 第 一 個 座 標 上 ( 稱 為 第 一 主 成 分 ), 第 二 大 變 異 數 在 第 二 個 座 標 ( 第 二 主 成 分 ) 上, 以 次 類 推 當 第 一 主 成 分 不 足 以 代 表 變 異 數 時, 主 成 分 分 析 會 以 相 同 原 則 產 生 第 二 主 成 分 第 三 主 成 分 第 N 主 成 分, 直 到 新 的 變 數 間 的 變 異 能 夠 涵 蓋 大 部 分 原 變 數 間 的 變 異 類 神 經 網 路 類 神 經 網 路 (Artificial Neural Network, ANN) 是 一 種 模 仿 生 物 神 經 網 路 的 結 構 和 功 能 的 數 學 模 型 或 計 算 模 型 神 經 網 路 由 大 量 的 人 工 神 13

26 經 元 連 結 進 行 計 算 大 多 數 情 況 下 人 工 神 經 網 路 能 在 外 界 信 息 的 基 礎 上 改 變 內 結 構, 是 一 種 自 適 應 系 統 現 代 神 經 網 路 是 一 種 非 線 性 統 計 性 數 據 建 模 工 具, 常 用 來 對 輸 入 和 輸 出 間 複 雜 的 關 係 進 行 建 模 的 模 式 [19] 一 般 類 神 經 網 路 分 為 三 層, 包 括 輸 入 層 隱 藏 層 及 輸 出 層, 其 定 義 簡 介 如 下 ( 如 圖 2-4 所 示 )[20]: (1) 輸 入 層 (Input Layer): 層 是 由 多 個 節 點 所 組 成, 使 網 路 內 節 點 的 連 結 可 以 簡 化 是 為 層 與 層 之 間 的 連 結 輸 速 層 在 網 路 架 構 中 為 接 受 資 料 並 輸 入 訊 息 之 一 方, 通 常 以 一 層 表 示, 其 處 理 單 元 數 目 如 圖 2-4 中 之 X 1 X Ni 是 輸 入 內 容 而 定, 用 以 表 現 網 路 的 輸 入 變 數 (2) 輸 出 層 (Output Layer): 在 網 路 架 構 中 為 提 供 資 料 輸 出 之 一 方, 通 常 以 一 層 表 示, 其 處 理 單 元 數 目 如 圖 2-4 中 Y 1 Y No 視 輸 出 的 內 容 而 定, 用 以 表 現 網 路 的 輸 出 變 數 (3) 隱 藏 層 (Hidden Layer): 介 於 輸 入 層 與 輸 出 層 之 間, 使 用 非 線 性 轉 換 函 數, 其 層 內 之 節 點 數 圖 2-4 中 H 1 H Nh 並 無 標 準 方 法 可 以 決 定, 通 常 需 以 試 驗 方 式 來 決 定 其 最 佳 數 目, 並 提 供 神 經 網 路 處 理 單 元 間 的 交 互 作 用 與 問 題 的 內 在 14

27 架 構 的 能 力 其 中 W 為 i 神 經 元 X i, H i 或 H i, Y i 之 連 結 權 重 值 H 1 X 1 W X1H1 W H1Y1 Y 1 W X2H2 W H2Y2 X Ni 輸 入 層 W XiHi H Nh W HiYi Y No 輸 出 層 隱 藏 層 圖 2-4 類 神 經 網 路 架 構 圖 支 持 向 量 機 (Support Vector Machine, SVM) 支 持 向 量 機 [10, 16] 簡 單 說 法 是 定 義 出 最 佳 分 類 超 平 面, 並 把 尋 找 最 佳 分 類 超 平 面 的 演 算 法 總 結 為 一 個 求 解 二 次 規 劃 (Quadratic Programming) 的 問 題, 二 次 規 劃 是 指 如 果 一 個 向 量 點 x i 滿 足 約 束 條 件, 則 此 二 次 規 劃 問 題 就 有 一 個 全 局 最 小 值 (Global Minimum) x i SVM 主 要 重 點 可 分 為 兩 點 : (1) 支 持 向 量 機 是 針 對 線 性 可 分 情 況 進 行 分 析, 對 於 線 性 不 可 分 的 情 況, 利 用 非 線 性 核 心 函 數, 將 低 維 度 輸 入 空 間 線 性 不 可 分 得 樣 本, 15

28 轉 換 到 高 維 度 甚 至 無 窮 維 度 的 特 徵 空 間 中, 使 其 變 為 線 性 可 分, 然 後 在 高 維 度 特 徵 空 間 中 採 用 線 性 核 函 數, 對 樣 本 的 非 線 性 特 徵 進 行 線 性 分 析 (2) 它 在 特 徵 空 間 中 建 構 一 個 最 佳 分 類 超 平 面 (Optimal Separate Hyper-plane, OSH), 使 得 分 類 問 題 得 到 最 佳 化 上 述 主 要 是 將 不 同 類 別 分 開, 利 用 最 佳 分 類 超 平 面, 以 圖 2-5 為 例, 利 用 一 條 線 能 夠 將 白 點 ( 類 別 1) 和 黑 點 ( 類 別 2) 分 開, 且 其 線 的 距 離 能 距 離 兩 邊 集 合 的 邊 界 (Margin) 越 大 越 好, 這 樣 就 能 明 確 的 分 類 類 別 2 類 別 1 Margin 圖 2-5 支 持 向 量 機 示 意 圖 16

29 2.3.4 動 態 時 間 校 正 動 態 時 間 校 正 (Dynamic Time Warping, DTW) [21] 主 要 是 針 對 兩 個 n 維 空 間 中 的 向 量 找 出 向 量 與 向 量 之 間 的 最 短 距 離 運 用 動 態 時 間 校 正 可 以 有 效 地 將 搜 尋 比 對 的 時 間 大 幅 降 低 一 般 而 言, 對 於 兩 個 n 維 空 間 中 的 向 量 x 和 y, 它 們 之 間 的 距 離 可 以 定 義 為 兩 點 之 間 的 直 線 距 離 而 在 手 勢 動 作 中 主 要 是 計 算 並 尋 找 新 輸 入 動 作 量 化 後 的 時 間 序 列 資 料 與 預 先 設 定 的 動 作 的 時 間 序 列 資 料, 在 同 一 時 間 點 時 的 最 佳 對 應 值, 如 圖 2-6 所 示 其 中 x 軸 為 使 用 者 新 手 勢 動 作,y 軸 為 預 先 的 手 勢 動 作, 其 中 i 為 兩 個 手 勢 動 作 所 對 應 時 間 點, 藉 由 這 樣 找 出 最 佳 對 應 值 的 誤 差 大 小 作 為 辨 識 手 勢 是 否 相 同 的 條 件 17

30 time Preset Gesture i i time New Gesture 圖 2-6 動 態 時 間 校 正 綜 合 上 述 之 說 明, 主 成 分 分 析 類 神 經 網 路 與 支 持 向 量 機 等 方 法 都 需 要 大 量 數 據 去 訓 練 其 手 勢 動 作 的 特 徵, 進 而 達 到 動 作 識 別 而 動 態 時 間 校 正 則 需 要 找 尋 在 同 樣 時 間 點 時 的 最 佳 對 應 關 係 的 誤 差 大 小 作 為 其 手 勢 識 別 的 條 件, 使 其 辨 識 率 無 法 提 升 因 此, 本 研 究 提 出 一 個 以 加 速 度 特 徵 值 並 搭 配 模 糊 推 論 來 辨 識 使 用 者 的 手 勢 動 作, 達 到 直 覺 化 的 操 控 目 的 2.4 模 糊 理 論 模 糊 理 論 是 美 國 加 州 大 學 柏 克 萊 分 校 的 盧 菲 特 澤 德 (Lotfi A. 18

31 Zadeh) 教 授 於 1965 年 在 種 子 論 文 模 糊 集 合 (Fuzzy Sets) 中 提 出 的 理 論 他 認 為 古 典 控 制 理 論 過 於 強 調 精 確 以 至 於 無 法 掌 控 複 雜 的 系 統, 而 使 用 模 糊 集 合 或 連 續 歸 屬 函 數 (Membership Function) 的 概 念 來 控 制 隨 著 研 究 人 員 致 力 研 究 模 糊 理 論, 在 70 年 代 澤 德 與 其 他 學 者 陸 續 提 出 模 糊 演 算 法 概 念 模 糊 決 策 與 模 糊 順 序 在 1973 年, 澤 德 發 表 一 篇 論 文 介 紹 語 意 變 數 概 念 並 且 提 出 使 用 模 糊 若 - 則 規 則 (Fuzzy If-Then Rule) 將 人 類 知 識 公 式 化, 建 立 起 模 糊 控 制 的 基 礎 在 1978 年 出 現 第 一 個 模 糊 控 制 器 驗 證 模 糊 理 論 的 可 行 性 [22] 模 糊 集 合 (Fuzzy Set) 在 古 典 集 合 (Classical Set) 中, 其 定 義 集 合 的 方 式 有 列 舉 法 規 則 法 和 歸 屬 法 而 歸 屬 法 定 義 集 合 A 採 用 0-1 歸 數 函 數, 以 μ A (x) 表 示, 如 下 μ 集 合 A 在 數 學 上 等 效 於 它 的 歸 屬 函 數 μ A (x), 一 般 來 說 知 道 μ A (x) 等 於 知 道 A 本 身 而 古 典 集 合 的 歸 屬 函 數 值 域 非 0 即 1, 也 就 是 明 確 集 合 (Crisp Set) 但 是 模 糊 集 合 (Fuzzy Set) 是 允 許 歸 屬 函 數 在 區 間 [0,1] 取 任 意 數 值, 但 是 歸 屬 函 數 本 身 並 不 模 糊, 是 有 精 確 的 數 學 函 數 假 設 U 為 論 域 或 宇 集, 包 含 所 有 可 能 關 聯 的 元 素 模 糊 集 合 A 的 -cut 是 明 確 集 合 A, 包 含 U 中 所 有 的 元 素 但 在 A 中 歸 屬 值 大 於 或 19

32 等 於, 其 定 義 為 μ 而 模 糊 集 合 的 運 算, 以 相 同 論 域 U 中 的 A 與 B 相 等 若 且 唯 若 μ A (x ) = μ B (x), 對 所 有 x U B 包 含 A 表 示 A B 若 且 唯 若 μ A (x) μ B (x), 對 所 有 x U 在 U 中,A 的 補 集 為 模 糊 集 合 Ā, 其 歸 屬 函 數 定 義 為 μ Ā μ A 與 B 在 U 中 的 聯 集 為 模 糊 集 合 以 表 示 A B, 其 歸 屬 函 數 定 義 為 μ μ μ A 與 B 在 U 中 的 聯 集 為 模 糊 集 合 以 表 示, 其 歸 屬 函 數 定 義 為 μ μ μ 模 糊 歸 屬 函 數 模 糊 理 論 是 用 值 域 在 區 間 [0,1] 的 歸 屬 函 數 來 表 示 論 域 U 上 模 糊 集 合 一 般 常 見 的 模 糊 歸 屬 函 數 有 三 角 形 梯 形 高 斯 與 單 值 等 歸 屬 函 數 (1) 三 角 形 歸 屬 函 數, 如 圖 2-7 所 示 20

33 μ A (x ) 1 0 k m r x 圖 2-7 三 角 形 歸 屬 函 數 三 角 形 歸 屬 函 數 的 數 學 表 示 式 為 μ (2) 梯 形 歸 屬 函 數, 如 圖 2-8 所 示 μ A (x ) 1 0 k a b r x 圖 2-8 梯 形 歸 屬 函 數 21

34 梯 形 歸 屬 函 數 的 數 學 表 示 式 為 μ (3) 高 斯 形 歸 屬 函 數, 其 中 m 是 高 斯 函 數 的 平 均 值, 此 會 影 響 函 數 圖 形 的 中 心 點 ;σ 為 高 斯 函 數 的 標 準 差, 此 會 影 響 函 數 圖 形 的 寬 度, 如 圖 2-9 所 示 μ A (x ) 1 σ 0 m 圖 2-9 高 斯 形 歸 屬 函 數 x 高 斯 型 歸 屬 函 數 的 數 學 表 示 式 為 μ σ 22

35 (4) 單 值 歸 屬 函 數, 如 圖 2-10 所 示 μ A (x ) 1 0 m 圖 2-10 單 值 歸 屬 函 數 x 單 值 歸 屬 函 數 的 數 學 表 示 式 為 μ 模 糊 運 算 在 模 糊 集 合 的 運 算 也 有 很 多 種, 包 含 明 確 集 合 本 來 就 有 的 運 算, 如 模 糊 聯 集 (Union) 模 糊 交 集 (Intersection) 和 模 糊 補 集 (Complement) 等 標 準 運 算, 以 及 混 合 運 算 : 最 大 - 最 小 合 成 運 算 (Max-Min Operation) 最 大 乘 積 合 成 運 算 (Max Product Operation) 最 大 邊 界 合 成 運 算 (Max Bounded Product Operation) 與 最 大 激 烈 積 合 成 運 算 (Max Drastic Product Operation), 其 分 別 公 式 定 義 為 : 23

36 (1) 最 大 - 最 小 合 成 運 算 μ μ μ (2) 最 大 乘 積 合 成 運 算 μ μ μ (3) 最 大 邊 界 合 成 運 算 μ μ μ (4) 最 大 激 烈 積 合 成 運 算 μ μ μ 2.5 Android 作 業 系 統 介 紹 Android 是 由 Android 之 父 之 稱 的 安 迪 魯 賓 (Andy Rubin) 開 發 製 作, 並 於 2005 年 被 Google 收 購 Android 是 一 種 以 Linux 核 心 為 基 礎 的 開 放 原 始 碼 作 業 系 統 平 台, 目 前 與 Windows Phone 8 與 ios 等 並 列 智 慧 型 手 機 之 主 要 作 業 系 統 2007 年 11 月 Google 與 84 家 硬 體 製 造 商 軟 體 開 發 商 及 電 信 營 運 商, 聯 合 組 成 開 放 手 持 裝 置 聯 盟 (Open Handset Alliance, OHA), 發 布 名 為 Android 的 手 機 作 業 系 統 [23, 24] Android 所 發 表 的 Android 軟 體 開 發 套 件 (Software Development Kit, SDK), 提 供 必 要 的 應 用 程 式 開 發 介 面 (Application Programming Interface, API) 與 開 發 工 具, 提 供 程 式 開 發 人 員 以 Java 語 言 來 開 發 在 24

37 Android 平 台 上 的 應 用 軟 體 系 統 架 構 在 Android 系 統 架 構 主 要 分 為 上 下 兩 層, 上 層 是 使 用 Java 撰 寫 的 應 用 程 式, 下 層 是 使 用 C 語 言 撰 寫 而 成 的 系 統 程 式 在 Java 應 用 程 式 層 又 可 分 為 應 用 程 式 (Applications) 及 應 用 程 式 框 架 (Application Framework),C 語 言 系 統 層 又 可 分 為 系 統 函 式 庫 (Libraries) 與 Linux 核 心 (Linux Kernel), 其 系 統 架 構 如 圖 2-11[25] 所 示 25

38 APPLICATIONS ( 應 用 程 式 ) Home Contacts Phone Browser... Java 撰 寫 的 應 用 層 APPLICATION FRAMEWORK ( 應 用 程 式 框 架 ) Activity Manager Window Manager Content Providers View System Package Manager Telephony Manager Resource Manager Location Manager Notification Manager LIBRARIES ( 函 式 庫 ) ANDROID RUNTIME Surface Manager Media Framework SQLite Core Libraries C 語 言 撰 寫 的 系 統 層 OpenGL FreeType WebKit SGL SSL libc Dalvik Virtual Machine LINUX KERNEL (LINUX 核 心 ) Display Driver Camera Driver Flash Memory Driver Binder (IPC) Driver Keypad Driver Wi-Fi Driver Audio Driver Power Management 圖 2-11 Android 系 統 架 構 [25] (1) 應 用 程 式 (Applications) 在 Android SDK 所 使 用 的 手 機 模 擬 及 實 體 手 機 中, 都 有 一 系 列 以 Java 撰 寫 的 核 心 應 用 程 式, 包 含 電 子 郵 件 程 式 簡 訊 程 式 地 圖 日 曆 等 應 用 程 式 (2) 應 用 程 式 框 架 (Application Framework) 26

39 Android 為 減 少 程 式 開 發 人 員 撰 寫 應 用 程 式 的 時 間, 並 加 快 應 用 程 式 開 發 的 速 度, 因 此 在 應 用 程 式 與 系 統 內 部 環 境 之 間 加 入 了 應 用 程 式 框 架 應 用 程 式 開 發 人 員 能 夠 透 過 Java 程 式, 呼 叫 應 用 程 式 框 架 所 提 供 的 應 用 程 式 介 面 (API), 來 實 作 函 式 庫 等 更 低 層 的 功 能 (3) 函 式 庫 (Libraries) Android SDK 中 包 含 了 一 組 使 用 C/C++ 函 式 庫 的 系 統 元 件, 應 用 程 式 開 發 人 員 可 以 透 過 應 用 程 式 框 架 使 用 這 些 函 式 庫 (4) Linux 核 心 (Linux Kernel) 是 Android 最 底 層, 也 是 最 重 要 的 部 分, 其 中 又 可 分 為 Android 執 行 環 境 (Android Runtime) 及 Linux 核 心 在 Android 執 行 環 境 是 以 自 行 研 發 的 Android Runtime 執 行 程 式, 而 不 是 Java Runtime 來 執 行 Linux 核 心 為 硬 體 與 軟 體 架 構 之 間 的 抽 象 層 (Abstraction Layer), 並 作 為 相 互 溝 通 的 橋 樑 生 命 週 期 在 程 式 開 發 人 員 所 撰 寫 的 應 用 程 式, 稱 為 Activity 而 Activity 是 一 個 可 以 讓 使 用 者 與 行 動 裝 置 溝 通 的 人 機 介 面 從 Activity 人 機 介 面 的 產 生 到 使 用 者 操 作, 在 延 伸 至 整 個 Activity 結 束, 共 會 經 歷 7 個 階 段 而 這 7 個 階 段 就 是 Activity 的 7 個 生 命 週 期 Android 系 統 為 27

40 了 方 便 程 式 開 發 者 能 輕 易 的 指 定 每 個 階 段 要 執 行 什 麼 程 式, 而 建 立 Activity 類 別, 並 在 其 內 定 義 與 生 命 周 期 有 關 的 7 種 方 法, 如 表 2-1 所 示 表 2-1 Activity 定 義 生 命 週 期 的 7 種 方 法 方 法 說 明 可 否 移 除 程 序 下 一 個 階 段 oncreate() Activity 第 一 次 被 建 立, 會 呼 叫 此 方 法 否 onstart() onstart() Activity 畫 面 準 備 呈 現 時 呼 叫 此 方 法 否 onresume() onresume() Activity 將 要 與 使 用 者 互 動 之 前 呼 叫 此 方 法 否 onpause() Activity 畫 面 要 被 其 他 onpause() Activity 畫 面 取 代 時, 也 就 是 其 他 Activity 將 要 與 使 用 者 互 動 會 呼 是 onstop() onresume() 叫 此 方 法 onstop() Activity 畫 面 被 取 代 時, 呼 叫 此 方 法 是 ondestroy() onrestart() Activity 從 onstop() 狀 onrestart() 態 要 回 復 到 onstart() 狀 態 時 呼 叫 此 方 法 否 onstart() ondestroy() Activity 準 備 結 束 之 前 會 呼 叫 此 方 法 是 已 是 最 後 階 段, 無 下 一 個 階 段 另 外, 為 了 兼 顧 應 用 程 式 的 正 常 執 行 與 記 憶 體 的 有 效 利 用, Android 有 一 套 程 序 管 理 模 式, 其 中 最 重 要 的 部 分 就 是 前 述 Activity 生 命 週 期 的 管 理 依 照 表 2-1 繪 出 Activity 生 命 週 期 示 意 圖, 如 圖 2-12 所 示 28

41 Activity starts oncreate() User navigates back to your Activity onstart() onstart() Process is killed onresume() Activity running New Activity is started Your Activity comes to the foreground Other applications need memory onpause() Your Activity is no longer visible Your Activity comes to the foreground onstop() ondestroy() Activity is shut down 圖 2-12 Activity 生 命 週 期 示 意 圖 [26] 29

42 第 三 章 手 勢 識 別 系 統 架 構 與 設 計 本 研 究 以 運 用 加 速 度 感 測 元 件 取 得 的 手 勢 動 作 的 加 速 度 取 樣 值, 透 過 訊 號 處 理 以 將 其 加 速 度 經 過 平 均 濾 波 器 與 正 規 化 後, 藉 由 統 計 手 勢 動 作 中 的 加 速 度 累 積 值 作 為 此 動 作 之 特 徵 值, 並 以 此 設 計 手 勢 動 作 之 模 糊 規 則 庫 以 識 別 手 勢 動 作 而 本 文 的 特 徵 值 為 一 個 動 作 加 速 度 統 計 量 來 辨 識 出 手 勢 的 動 作 舉 例 來 說, 在 辨 識 正 方 形 的 手 勢 動 作 時, 在 做 此 動 作 的 過 程 中 會 有 不 同 的 加 速 度 值, 藉 由 統 計 其 加 速 度 值, 分 析 後 會 發 現 其 動 作 特 徵, 此 加 速 度 統 計 量 就 是 我 們 所 提 到 的 特 徵 值, 藉 由 這 些 特 徵 值 來 判 斷 出 特 定 的 手 勢, 進 而 達 到 手 勢 控 之 制 應 用 3.1 系 統 架 構 使 用 者 使 用 具 加 速 度 感 測 元 件 之 智 慧 型 手 機, 而 在 後 端 伺 服 器 具 有 手 勢 動 作 資 料 庫 及 手 勢 識 別 演 算 法 手 勢 動 作 資 料 庫 主 要 是 儲 存 各 種 手 勢 動 作 資 訊 在 手 勢 識 別 演 算 法 中, 主 要 是 計 算 使 用 者 傳 來 之 手 勢 動 作 的 加 速 度 值, 據 此 進 行 手 勢 動 作 之 分 類 當 使 用 者 透 過 智 慧 型 手 機 進 行 手 勢 動 作 後, 其 手 勢 動 作 的 加 速 度 值 將 透 過 Wi-Fi 或 3G 行 動 網 路 傳 送 到 後 端 伺 服 器, 後 端 伺 服 器 藉 由 手 勢 辨 別 演 算 法 來 計 算 與 分 析, 並 且 透 過 分 類 器 判 斷 出 手 勢 動 作 最 後 將 手 勢 動 作 識 別 的 結 果 30

43 回 傳 給 使 用 者, 並 顯 示 於 其 智 慧 型 手 機 螢 幕 上 整 個 手 勢 動 作 識 別 之 系 統 架 構, 如 圖 3-1 所 示 Wireless(Wi-fi /3G) Internet Wired User Gesture Recognitoin Sever 圖 3-1 系 統 架 構 圖 3.2 手 勢 識 別 演 算 法 手 勢 識 別 演 算 法 為 本 研 究 的 主 要 的 部 分, 本 研 究 提 出 運 用 模 糊 推 論 來 辨 識 手 勢 動 作, 在 本 章 節 將 介 紹 所 提 出 之 手 勢 識 別 演 算 法 手 勢 識 別 演 算 法 在 本 研 究 中 所 提 出 手 勢 識 別 演 算 法, 對 於 動 作 識 別 上 可 分 為 三 個 步 驟, 分 別 為 資 訊 擷 取 訊 號 處 理 和 動 作 識 別 在 資 訊 擷 取 主 要 是 使 用 智 慧 型 手 機 來 擷 取 加 速 度 值, 訊 號 處 理 平 均 濾 波 器 及 正 規 化, 在 動 作 識 別 主 要 是 用 模 糊 推 論 來 識 別 手 勢 動 作, 其 上 述 步 驟 詳 細 內 容 將 在 後 面 描 述 圖 3-2 為 其 手 勢 識 別 演 算 法 流 程 圖 31

44 Message Step 1 Capture Information Step 2 Signal Preprocessing Sever Data Base User Accelerometer Value Signal Preprocessing Gesture Recognition Algorithm Step 3 Motion Recognition Gesture Recognition Success Fail Gestures corresponding to the control function 圖 3-2 手 勢 識 別 演 算 法 流 程 圖 手 勢 是 識 別 演 算 法 步 驟 : Step1. 擷 取 資 訊 : 主 要 目 的 是 記 錄 使 用 者 其 手 勢 動 作 分 別 在 x 軸 y 軸 及 z 軸 的 原 始 加 速 度 值, 並 以 每 隔 200ms 來 取 樣 手 勢 動 作 Step2. 訊 號 處 理 : 主 要 分 為 雜 訊 濾 波 和 正 規 化 兩 部 份, 在 雜 訊 濾 32

45 波 方 面 主 要 將 擷 取 到 的 原 始 加 速 度 的 數 據 作 濾 波, 本 研 究 使 用 移 動 平 均 濾 波 (Moving Average Filter), 消 除 高 頻 雜 訊, 移 動 平 均 濾 波 公 式 如 下 : 其 中 [n] 為 i 軸 在 濾 波 過 後 的 加 速 度 數 據, [n] 為 i 軸 的 原 始 加 速 度 值 數 據,M 為 濾 波 範 圍, 本 研 究 使 用 M = 2 而 i 分 別 為 x y 及 z 三 軸,k 為 其 位 移 在 正 規 化 (Normalization) 方 面, 主 要 是 將 濾 波 後 的 加 速 度 數 據 與 加 速 度 統 計 數 量 正 規 化 運 算 處 理, 正 規 化 公 式 如 下 : 而 為 i 軸 正 規 化 後 的 輸 出, 為 i 軸 加 速 度 值, 為 i 軸 最 大 加 速 度 值, 為 i 軸 最 小 加 速 度 值, 在 本 論 文 中, 而 i 分 別 為 x y 及 z 軸 Step3. 動 作 識 別 : 為 手 勢 識 別 演 算 法 中 最 主 要 部 份, 將 擷 取 之 加 速 度 值 計 算 其 特 徵 值, 詳 如 3.3 節, 並 利 用 模 糊 推 論 (Fuzzy Inference): 在 手 勢 識 別 演 算 法 中, 以 模 糊 推 論, 來 進 行 手 勢 動 作 的 分 類 在 一 般 模 糊 推 論 中, 主 要 有 四 個 部 份, 33

46 分 別 為 模 糊 化 推 論 引 擎 模 糊 規 則 庫 和 解 模 糊 化, 如 圖 3-3 所 示 在 模 糊 化 : 主 要 是 設 定 其 輸 入 和 輸 出 的 歸 屬 函 數, 如 圖 3-4 和 圖 3-5 所 示 模 糊 規 則 庫 : 主 要 根 據 本 研 究 所 提 特 徵 值 來 定 義 其 手 勢 動 作 的 規 則, 詳 如 3.4 節 推 論 引 擎 : 在 一 般 推 論 引 擎 中 主 要 分 為 Mandani 和 Sugeno, 在 Mandani 推 論 主 要 是 整 合 連 續 變 化 的 函 數 找 到 二 維 形 狀 的 質 心, 而 Sugeno 推 論 主 要 使 用 一 個 單 態 函 數 作 為 規 則 其 輸 出 歸 屬 函 數, 本 論 文 使 用 Mandani 推 論, 在 推 論 中 主 要 是 將 模 糊 化 及 模 糊 規 則 庫, 藉 由 最 大 最 小 合 成 運 算 ( 本 文 使 用 公 式 2-10), 計 算 出 其 輸 出 歸 屬 函 數 的 程 度 值, 如 圖 3-6 所 示 最 後, 解 模 糊 化 : 主 要 透 過 最 大 值 平 均 (Middle of Maxima Defuzzification) 來 計 算 其 輸 出 歸 屬 函 數 的 程 度 值, 進 而 得 到 明 確 的 結 果, 如 圖 3-7 所 示, 最 大 值 平 均 在 多 個 程 度 值 中 選 擇 最 大 的 作 為 結 果 而 本 研 究 使 用 加 速 度 統 計 量 的 特 徵 值 與 其 加 速 度 值, 透 過 x 軸 y 軸 及 z 軸 的 加 速 度 值 來 決 定 其 特 徵 值 並 設 定 模 糊 規 則 作 為 模 糊 推 論 的 規 則 庫, 就 可 以 分 類 出 手 勢 動 作 圖 3-8 為 模 糊 控 制 模 擬 器 以 下 為 模 糊 推 論 所 定 義 之 規 則 庫 : 34

47 Rule1:If (A x 4 is M) and (A x 8 is L) and (A y 7 is L) and (A y 8 is M) and (A z 7 is L) and (A z 8 is M) then (G is Gesture1) Rule2:If (A x 4 is H) and (A y 5 is H) and (A z 1 is M) and (A z 9 is L) then (G is Gesture2) Rule3:If (A x 3 is L) and (A x 4 is L) and (A x 5 is M) and (A y 5 is L) and (A y 6 is L) and (A y 7 is M) and (A z 8 is H) then (G is Gesture3) Rule4:If (A x 4 is L) and (A x 5 is L) and (A x 6 is L) and (A y 9 is M) and (A z 5 is L) and (A z 6 is M) and (A z 7 is L) then (G is Gesture4) A x i 表 示 為 x 軸 加 速 度 特 徵 值 所 對 應 之 歸 屬 函 數 程 度 值, 並 將 其 畫 分 為 L=Low M=Medium H=High 而 i 分 別 代 表 為 加 速 度, 而 本 論 文 以 阿 拉 伯 數 字 1~9 來 代 表 A y i 表 示 為 y 軸 加 速 度 特 徵 值 其 所 對 應 之 歸 屬 函 數 程 度 值, 並 將 其 畫 分 為 L=Low M=Medium H=High 而 i 分 別 代 表 為 加 速 度, 而 本 論 文 以 阿 拉 伯 數 字 1~9 來 代 表 A z i 表 示 為 z 軸 加 速 特 徵 值 其 所 對 應 之 歸 屬 函 數 程 度 值, 並 將 其 畫 分 為 L=Low M=Medium H=High 而 i 分 別 代 表 為 加 速 度, 而 本 論 文 以 阿 拉 伯 數 字 1~9 來 代 表 G 表 示 為 輸 出 的 歸 屬 函 數 並 將 其 畫 分 Gesture 1( 傾 斜 ) Gesture 2( 翻 轉 ) Gesture 3( 搖 擺 ) Gesture 4(Z 字 形 ) 35

48 在 模 糊 規 則 的 規 則 定 義 方 式, 將 在 下 ㄧ 章 節 詳 細 說 明 模 糊 規 則 庫 輸 入 輸 出 模 糊 化 推 論 引 擎 解 模 糊 化 圖 3-3 模 糊 推 論 基 本 架 構 μ A (x ) 1 L M H Acceleration Feature 圖 3-4 x 軸 y 軸 和 z 軸 加 速 度 特 徵 值 之 對 應 歸 屬 函 數 36

49 μ A (G) 1 Gesture 1 Gesture 2 Gesture 3 Gesture Gesture 圖 3-5 G 輸 出 對 應 歸 屬 函 數 x 1 is b 1 x 2 is b 2 最 大 最 小 合 成 G W 1 W 2 0 x 1 0 x 2 0 g 圖 3-6 推 論 引 擎 示 意 圖 37

50 G 1 0 g 圖 3-7 解 模 糊 化 示 意 圖 圖 3-8 模 糊 控 制 模 擬 器 38

51 故 本 研 究 以 智 慧 型 手 機 擷 取 使 用 者 肢 體 動 作 時 之 加 速 度 值, 透 過 所 提 之 動 作 識 別 演 算 法, 其 包 含 資 訊 擷 取 訊 號 處 理 及 模 糊 推 論 等 方 式, 達 成 手 勢 識 別 之 目 的 3.3 特 徵 值 計 算 在 此 章 節 中, 將 介 紹 特 徵 值 的 取 得 方 式 首 先, 將 原 始 加 速 度 值 分 別 針 對 x y z 3 軸 經 過 平 均 濾 波 與 正 規 化 處 理 後, 可 得 到 新 的 三 軸 加 速 度 值, 在 此 將 稱 為 正 規 化 加 速 度 值 以 如 手 勢 動 作 四 為 例, 其 x 軸 的 正 規 化 加 速 度 值, 依 動 作 取 樣 時 間 可 得 到 此 一 數 列 為 [0.5, 0.53, 0.59, 0.60, 0.49, 0.32, 0.29, 0.44, 0.58, 0.65, 0.67, 0.53, 0.42]( 共 13 個 ), 如 圖 3-9 所 示,x 軸 為 動 作 取 樣 之 順 序,y 軸 為 正 規 化 之 加 速 度 值 39

52 圖 3-9 手 勢 動 作 四 在 x 軸 上 之 正 規 化 加 速 度 值 最 後 將 得 到 的 正 規 化 加 速 度 值 將 其 分 成 11 類 包 含 (0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1), 並 計 算 每 類 正 規 化 加 速 度 值 之 數 量 以 上 述 x 軸 的 正 規 化 加 速 度 值 經 分 類 與 計 算 其 數 量 後, 就 能 得 到 其 x 軸 加 速 度 特 徵 值, 如 圖 3-10 所 示 為 手 勢 動 作 四 在 x 軸 加 速 度 特 徵 值 40

53 圖 3-10 手 勢 動 作 四 在 x 軸 加 速 度 特 徵 藉 由 上 述 方 法 分 別 針 對 x y z 軸 之 加 速 度 計 算 其 正 規 化 加 速 度 值, 並 取 得 各 手 勢 動 作 之 x 軸 y 軸 及 z 軸 加 速 度 特 徵 值 3.4 模 糊 規 則 制 定 在 本 章 節 中, 將 介 紹 本 論 文 的 模 糊 規 則 如 何 制 定, 而 在 本 論 文 中 加 速 度 特 徵 值 若 小 於 0.1 因 其 值 不 顯 著 無 法 有 效 作 為 手 勢 動 作 判 斷 之 依 據, 故 將 其 特 徵 值 小 於 0.1 均 予 以 濾 除 如 圖 3-11 為 本 研 究 之 手 勢 動 作, 其 編 號 1 為 向 左 傾 斜, 編 號 2 為 正 面 翻 轉 至 反 面, 編 號 3 為 由 右 向 左 搖 擺 兩 次, 編 號 4 為 由 左 到 右 畫 Z 字 型 41

54 Positive 45 1 Positive Negative Positive 2 Positive 圖 3-11 手 勢 動 作 圖 3-12 為 手 勢 動 作 1 在 x 軸 所 統 計 的 加 速 度 特 徵 值, 這 顯 示 在 手 勢 動 作 1 在 x 軸 的 加 速 特 徵, 進 而 定 義 其 規 則, 動 作 1 在 x 軸 上 可 以 看 得 出 來 在 0.4 及 0.8 有 其 加 速 度 特 徵, 故 將 0.4 及 0.8 的 特 徵 值 定 義 於 其 模 糊 規 則, 由 於 其 數 量 介 於 0~0.58 和 0~0.38, 設 其 歸 屬 函 數 為 M 和 L, 故 依 此 設 定 A x 4 is M and A x 8 is L 的 規 則 42

55 圖 3-12 手 勢 動 作 1 在 x 軸 加 速 度 特 徵 圖 3-13 為 手 勢 動 作 1 在 y 軸 所 統 計 的 加 速 度 特 徵 值, 這 顯 示 在 手 勢 動 作 1 在 y 軸 的 加 速 特 徵, 進 而 定 義 其 規 則, 動 作 1 在 y 軸 上 可 以 看 得 出 來 在 0.7 及 0.8 有 其 加 速 度 特 徵, 故 將 0.7 及 0.8 的 特 徵 值 定 義 為 其 模 糊 規 則, 由 於 其 數 量 介 於 0~0.3 和 0~0.6, 設 其 加 速 度 特 徵 在 0.7 的 歸 屬 函 數 為 L, 加 速 度 特 徵 在 0.8 的 歸 屬 函 數 為 M, 故 依 此 設 定 到 A y 7 is L and A y 8 is M 的 規 則 43

56 圖 3-13 手 勢 動 作 1 在 y 軸 加 速 度 特 徵 圖 3-14 為 手 勢 動 作 1 在 z 軸 所 統 計 的 加 速 度 特 徵 值, 這 顯 示 在 手 勢 動 作 1 在 z 軸 的 加 速 特 徵, 進 而 定 義 其 規 則, 動 作 1 在 z 軸 上 可 以 看 得 出 來 在 0.7 和 0.8 有 其 加 速 度 特 徵, 故 將 0.7 及 0.8 的 特 徵 值 定 義 為 其 模 糊 規 則, 由 於 其 數 量 介 於 0~0.3 和 0~0.6, 設 其 加 速 度 特 徵 在 0.7 的 歸 屬 函 數 為 L,0.8 的 歸 屬 函 數 為 M, 故 依 此 設 定 A z 7 is L and A z 8 is M 的 規 則 44

57 圖 3-14 手 勢 動 作 1 在 z 軸 加 速 度 特 徵 故 綜 合 手 勢 動 作 1 在 x y z 軸 之 特 徵 值, 便 可 定 義 出 Rule 1 為 If (A x 4 is M) and (A x 8 is L) and (A y 7 is L) and (A y 8 is M) and (A z 7 is L) and (A z 8 is M) then (G is Gesture1) 圖 3-15 為 手 勢 動 作 2 在 x 軸 所 統 計 的 加 速 度 特 徵 值, 這 顯 示 在 手 勢 動 作 2 在 x 軸 的 加 速 特 徵, 進 而 定 義 其 規 則, 動 作 2 在 x 軸 上 可 以 看 得 出 來 在 0.4 有 其 加 速 度 特 徵, 故 將 0.4 的 特 徵 值 定 義 為 其 模 糊 規 則, 由 於 其 數 量 介 於 0~0.75, 設 其 加 速 度 特 徵 在 0.4 的 歸 屬 函 數 為 H, 故 依 此 設 定 A x 4 is H 的 規 則 45

58 圖 3-15 手 勢 動 作 2 在 x 軸 加 速 度 特 徵 圖 3-16 為 手 勢 動 作 2 在 y 軸 所 統 計 的 加 速 度 特 徵 值, 這 顯 示 在 手 勢 動 作 2 在 y 軸 的 加 速 特 徵, 進 而 定 義 其 規 則, 動 作 2 在 y 軸 上 可 以 看 得 出 來 在 0.5 有 其 加 速 度 特 徵, 故 將 0.5 的 特 徵 值 定 義 為 其 模 糊 規 則, 由 於 其 數 量 介 於 和 0~0.85, 設 其 加 速 度 特 徵 在 0.5 的 歸 屬 函 數 為 H, 故 依 此 設 定 A y 5 is H 的 規 則 46

59 圖 3-16 手 勢 動 作 2 在 y 軸 加 速 度 特 徵 圖 3-17 為 手 勢 動 作 2 在 z 軸 所 統 計 的 加 速 度 特 徵 值, 這 顯 示 在 手 勢 動 作 2 在 z 軸 的 加 速 特 徵, 進 而 定 義 其 規 則, 動 作 2 在 z 軸 上 可 以 看 得 出 來 在 0.1 和 0.9 有 其 加 速 度 特 徵, 故 將 0.1 及 0.9 的 特 徵 值 定 義 為 其 模 糊 規 則, 由 於 其 數 量 介 於 0~0.5 和 0~0.35, 設 其 加 速 度 特 徵 在 0.1 的 歸 屬 函 數 為 M, 加 速 度 特 徵 在 0.9 的 歸 屬 函 數 為 L, 故 依 此 設 定 A z 1 is M and A z 9 is L 的 規 則 47

60 圖 3-17 手 勢 動 作 2 在 z 軸 加 速 度 特 徵 故 綜 合 手 勢 動 作 2 在 x y z 軸 之 特 徵 值, 便 可 定 義 出 Rule 2 為 If (A x 4 is H) and (A y 5 is H) and (A z 1 is M) and (A z 9 is L) then (G is Gesture2) 圖 3-18 為 手 勢 動 作 3 在 x 軸 所 統 計 的 加 速 度 特 徵 值, 這 顯 示 在 手 勢 動 作 3 在 x 軸 的 加 速 特 徵, 進 而 定 義 其 規 則, 動 作 3 在 x 軸 上 可 以 看 得 出 來 在 和 0.6 有 其 加 速 度 特 徵, 故 將 及 0.6 的 特 徵 值 定 義 為 其 模 糊 規 則, 由 於 其 數 量 介 於 0~0.17 0~0.26 0~0.45 和 0~0.09, 設 其 加 速 度 特 徵 在 0.3 的 歸 屬 函 數 為 L,0.4 的 歸 屬 函 數 為 L,0.5 的 歸 屬 函 數 為 M, 故 依 此 設 定 A x 3 is L and A x 4 is L and A x 5 is M 的 規 則 48

61 圖 3-18 手 勢 動 作 3 在 x 軸 加 速 度 特 徵 圖 3-19 為 手 勢 動 作 3 在 y 軸 所 統 計 的 加 速 度 特 徵 值, 這 顯 示 在 手 勢 動 作 3 在 y 軸 的 加 速 特 徵, 進 而 定 義 其 規 則, 動 作 3 在 y 軸 上 可 以 看 得 出 來 在 和 0.7 有 其 加 速 度 特 徵, 故 將 及 0.7 的 特 徵 值 定 義 為 其 模 糊 規 則, 由 於 其 數 量 介 於 0~0.1 0~0.4 和 0~0.5, 設 其 加 速 度 特 徵 在 0.5 的 歸 屬 函 數 為 L,0.6 的 歸 屬 函 數 為 L,0.7 的 歸 屬 函 數 為 M, 故 依 此 設 定 A y 5 is L and A y 6 is L and A y 7 is M 的 規 則 49

62 圖 3-19 手 勢 動 作 3 在 y 軸 加 速 度 特 徵 圖 3-20 為 手 勢 動 作 3 在 z 軸 所 統 計 的 加 速 度 特 徵 值, 這 顯 示 在 手 勢 動 作 3 在 z 軸 的 加 速 特 徵, 進 而 定 義 其 規 則, 動 作 3 在 z 軸 上 可 以 看 得 出 來 在 0.8 有 其 加 速 度 特 徵, 故 將 0.8 的 特 徵 值 定 義 為 其 模 糊 規 則, 由 於 其 數 量 介 於 0~0.8, 設 其 加 速 度 特 徵 在 0.8 的 歸 屬 函 數 為 H, 故 依 此 設 定 A z 8 is H 的 規 則 50

63 圖 3-20 手 勢 動 作 3 在 z 軸 加 速 度 特 徵 故 綜 合 手 勢 動 作 3 在 x y z 軸 之 特 徵 值, 便 可 定 義 出 Rule 3 為 If (A x 3 is L) and (A x 4 is L) and (A x 5 is M) and (A y 5 is L) and (A y 6 is L) and (A y 7 is M) and (A z 8 is H) then (G is Gesture3) 圖 3-21 為 手 勢 動 作 4 在 x 軸 所 統 計 的 加 速 度 特 徵 值, 這 顯 示 在 手 勢 動 作 4 在 x 軸 的 加 速 特 徵, 進 而 定 義 其 規 則, 動 作 4 在 x 軸 上 可 以 看 得 出 來 在 和 0.6 有 其 加 速 度 特 徵, 故 將 及 0.6 的 特 徵 值 定 義 為 其 模 糊 規 則, 由 於 其 數 量 介 於 0~0.21 0~0.36 和 0~0.27, 設 其 加 速 度 特 徵 在 0.4 的 歸 屬 函 數 為 L,0.5 的 歸 屬 函 數 為 L, 0.6 的 歸 屬 函 數 為 L, 故 依 此 設 定 A x 4 is L and A x 5 is L and A x 6 is L 的 規 則 51

64 圖 3-21 手 勢 動 作 4 在 x 軸 加 速 度 特 徵 圖 3-22 為 手 勢 動 作 4 在 y 軸 所 統 計 的 加 速 度 特 徵 值, 這 顯 示 在 手 勢 動 作 4 在 y 軸 的 加 速 特 徵, 進 而 定 義 其 規 則, 動 作 4 在 y 軸 上 可 以 看 得 出 來 在 0.9 有 其 加 速 度 特 徵, 故 將 0.9 的 特 徵 值 定 義 為 其 模 糊 規 則, 由 於 其 數 量 介 於 0~0.71, 設 其 加 速 度 特 徵 在 0.9 的 歸 屬 函 數 為 M, 故 依 此 設 定 A y 9 is M 的 規 則 52

65 圖 3-22 手 勢 動 作 4 在 y 軸 加 速 度 特 徵 圖 3-23 為 手 勢 動 作 4 在 z 軸 所 統 計 的 加 速 度 特 徵 值, 這 顯 示 在 手 勢 動 作 4 在 z 軸 的 加 速 特 徵, 進 而 定 義 其 規 則, 動 作 4 在 z 軸 上 可 以 看 得 出 來 在 和 0.7 有 其 加 速 度 特 徵, 故 將 及 0.7 的 特 徵 值 定 義 為 其 模 糊 規 則, 由 於 其 數 量 介 於 0~0.29 0~0.5 和 0~0.14, 設 其 加 速 度 特 徵 在 0.5 的 歸 屬 函 數 為 L,0.6 的 歸 屬 函 數 為 M,0.7 的 歸 屬 函 數 為 L, 故 依 此 設 定 A z 5 is L and A z 6 is M and A z 7 is L 的 規 則 53

66 圖 3-23 手 勢 動 作 4 在 z 軸 加 速 度 特 徵 故 綜 合 手 勢 動 作 4 在 x y z 軸 之 特 徵 值, 便 可 定 義 出 Rule 4 為 If (A x 4 is L) and (A x 5 is L) and (A x 6 is L) and (A y 9 is M) and (A z 5 is L) and (A z 6 is M) and (A z 7 is L) then (G is Gesture4) 藉 由 上 述 的 制 定 方 法, 可 以 得 到 其 手 勢 動 作 之 模 糊 規 則, 並 識 別 其 手 勢 動 作 若 使 用 者 要 增 加 新 的 手 勢 動 作 時, 只 需 將 新 的 手 勢 動 作 做 上 數 次, 得 到 其 加 速 度 特 徵, 並 制 定 其 模 糊 規 則 就 能 識 別 新 的 手 勢 動 作 3.5 開 發 環 境 本 章 節 將 說 明 本 研 究 使 用 的 硬 規 格 與 軟 體 版 本 54

67 3.5.1 硬 體 Sever: 作 業 系 統 : Microsoft Windows 7 32Bits 中 央 處 理 器 :Intel Core TM i5200 記 憶 體 :DDR3 4GB 顯 示 卡 :Intel HD Graphics 1000(GT1) 行 動 裝 置 : 智 慧 型 手 機 : Android 平 台 SKY Vega A820L HTC New ONE 平 板 :Android 平 台 ASUS ME172V 軟 體 Eclipse V3.6.1: 使 用 於 Sever 端, 為 跨 平 台 整 合 式 開 發 環 境, 將 Android 作 業 系 統 掛 載 上 去, 就 可 以 撰 寫 Android 程 式 碼 Android SDK r12 for Windows: 使 用 於 Sever 端, 為 掛 載 在 Eclipse 的 Android 作 業 系 統 套 件, 其 包 含 了 Android 程 式 中 所 需 資 源, 向 是 程 式 庫 除 錯 工 具 和 手 機 模 擬 器 等 MATLAB 7.9.0: 使 用 於 Sever 端, 為 運 用 其 內 建 的 模 糊 規 則 55

68 模 擬 器, 作 為 本 論 文 中 的 手 勢 識 別 系 統 分 類 手 勢 的 工 具 56

69 第 四 章 實 驗 結 果 與 分 析 4.1 實 驗 設 備 本 研 究 使 用 實 驗 設 備 如 表 4-1 所 示 由 於 在 [10] 中 有 提 過 在 不 同 的 廠 牌 的 行 動 裝 置, 其 擷 取 的 加 速 度 也 會 不 一 樣, 但 文 獻 中 發 現 重 力 感 測 器 在 握 住 的 地 方 最 佳 本 實 驗 中 使 用 不 同 的 行 動 裝 置 來 測 量 因 此, 使 用 三 台 不 同 的 行 動 裝 置, 分 別 為 SKY Vega A820L ( 如 圖 4-1) HTC New One ( 如 圖 4-2) 和 ASUS MEMO Pad ( 如 圖 4-3) 來 擷 取 使 用 者 手 勢 動 作 表 4-1 實 驗 設 備 規 格 設 備 SKY Vega A820L HTC New One ASUS MEMO pad 作 業 系 統 Android OS 2.3 Android OS Android OS 螢 幕 大 小 4.3 吋 4.7 吋 7 吋 G-Sensor ADXL345: 檢 測 BMA250: 檢 測 範 MC-3210: 檢 測 範 感 測 器 型 範 圍 :±2g;±4g; 圍 :±2g;±4g; 圍 :±2g;±4g; 號 ±8g ±8g ±8g 57

70 圖 4-1 SKY Vega A820L 圖 4-2 HTC New One 58

71 圖 4-3 ASUS MEMO Pad 4.2 實 驗 結 果 在 本 實 驗 中 將 使 用 Matlab 軟 體 進 行 模 糊 手 勢 動 作 識 別 演 算 法 之 開 發, 並 以 此 呈 現 手 勢 動 作 特 徵 值 藉 由 特 徵 值 來 進 行 實 驗 分 析 在 實 驗 中 假 設 四 種 手 勢 動 作 測 試 系 統 能 否 正 確 辨 識 藉 由 3.4 節 的 模 糊 規 則 制 定, 並 透 過 模 糊 推 論 分 類 出 不 同 的 手 勢 動 作 由 表 4-2 是 由 SKY Vega A820L 的 智 慧 型 手 機 所 做 手 勢 動 作 經 過 100 次 測 試 的 手 勢 識 別 結 果 其 中, 欄 為 模 糊 推 論 之 手 勢 分 類, 列 為 測 試 之 手 勢 動 作 在 結 果 顯 示 其 平 均 準 確 率 為 91.5%, 手 勢 動 作 4 59

72 其 準 確 率 為 88% 略 低 於 其 他 三 個 手 勢 識 別 準 確 率, 主 要 是 其 動 作 較 大, 故 在 x 軸 和 z 軸 的 加 速 度 特 徵 略 有 波 動, 因 而 產 生 少 部 分 的 動 作 誤 判 表 4-2 手 勢 識 別 結 果 Times Test Gesture Fuzzy Inference 無 法 識 別 準 確 率 94% 92% 92% 88% 為 驗 證 本 系 統 在 不 同 行 動 裝 置 上, 也 能 維 持 一 定 的 識 別 準 確 率, 故 另 外 再 使 用 HTC New One 來 測 試 手 勢 識 別 演 算 法, 表 4-3 為 經 過 100 次 測 試 的 手 勢 識 別 結 果, 其 平 均 識 別 準 確 率 為 88.75% 60

73 表 4-3 HTC New One 識 別 結 果 Times Test Gesture Fuzzy Inference 無 法 識 別 準 確 率 90% 90% 85% 90% 結 果 顯 示 其 平 均 準 確 率 為 88.75%, 手 勢 動 作 1 在 識 別 時 其 z 軸 的 加 速 度 特 徵 在 0.8, 其 特 徵 會 不 穩 定 ( 如 圖 4-4), 使 得 其 不 能 對 應 其 歸 屬 函 數, 在 手 勢 動 作 2 主 要 是 其 y 軸 的 加 速 度 特 徵 值 在 0.5 時, 其 特 徵 會 不 穩 定 ( 如 圖 4-5), 在 手 勢 動 作 3 主 要 是 其 y 軸 的 加 速 度 特 徵 值 在 0.6 時, 其 特 徵 值 會 不 穩 定 ( 如 圖 4-6), 導 致 無 對 應 歸 屬 函 數, 動 作 手 勢 4 主 要 是 其 z 軸 的 加 速 度 特 徵 值 在 0.5 時, 其 特 徵 值 會 不 穩 定 ( 如 圖 4-7), 61

74 圖 4-4 手 勢 動 作 1 在 z 軸 加 速 度 特 徵 ( 使 用 HTC New One) 圖 4-5 手 勢 動 作 2 在 y 軸 加 速 度 特 徵 ( 使 用 HTC New One) 62

75 圖 4-6 手 勢 動 作 3 在 y 軸 加 速 度 特 徵 ( 使 用 HTC New One) 圖 4-7 手 勢 動 作 4 在 z 軸 加 速 度 特 徵 ( 使 用 HTC New One) 63

76 在 表 4-4 為 ASUS MEMO Pad 來 測 試 手 勢 識 別 演 算 法, 經 過 100 次 測 試 的 手 勢 識 別 結 果, 其 平 均 識 別 準 確 率 為 67.5% 表 4-4 ASUS MEMO Pad 識 別 結 果 Times Test Gesture Fuzzy Inference 無 法 識 別 準 確 率 75% 50% 70% 75% 藉 由 表 4-4 結 果 發 現 其 手 勢 平 均 準 確 率 為 67.5%, 主 要 是 因 為 ASUS MEMO Pad 其 螢 幕 為 7 吋, 使 得 使 用 者 在 做 手 勢 動 作 無 法 一 次 完 成, 會 出 現 停 頓 或 中 斷 的 狀 況, 導 致 其 加 速 度 值 異 常 在 動 作 手 勢 1 中 主 要 是 y 軸 的 加 速 度 特 徵 在 0.7 和 0.8 時, 其 加 速 度 特 徵 不 穩 定, 無 法 達 到 對 應 歸 屬 函 數 ( 如 圖 4-8), 動 作 手 勢 2 中 主 要 是 y 軸 的 加 速 度 特 徵 在 0.6 時, 其 加 速 度 特 徵 值 不 穩 定, 使 得 無 法 達 到 對 應 歸 屬 函 數 ( 如 圖 4-9), 動 作 手 勢 3 中 主 要 是 z 軸 的 加 速 度 特 徵 在 0.8 時, 其 加 速 度 特 徵 值 不 穩 定, 無 法 達 到 對 應 歸 屬 函 數 ( 如 圖 4-10), 動 作 手 勢 4 中 主 要 是 y 軸 的 加 速 度 特 徵 在 0.9 時, 其 加 速 度 特 徵 值 不 穩 定, 無 法 64

77 達 到 對 應 歸 屬 函 數 ( 如 圖 4-11) 圖 4-8 手 勢 動 作 1 在 y 軸 加 速 度 特 徵 ( 使 用 ASUS MEMO Pad) 65

78 圖 4-9 手 勢 動 作 2 在 y 軸 加 速 度 特 徵 ( 使 用 ASUS MEMO Pad) 圖 4-10 手 勢 動 作 3 在 z 軸 加 速 度 特 徵 ( 使 用 ASUS MEMO Pad) 66

79 圖 4-11 手 勢 動 作 4 在 y 軸 加 速 度 特 徵 ( 使 用 ASUS MEMO Pad) 67

80 第 五 章 結 論 與 未 來 工 作 5.1 結 論 及 未 來 工 作 由 上 述 實 驗 結 果 得 知, 本 研 究 所 提 出 的 具 加 速 度 特 徵 值 之 模 糊 手 勢 識 別 系 統, 能 夠 辨 識 使 用 者 手 勢 動 作 而 在 實 驗 中 假 設 的 四 種 動 作 經 實 驗 後, 其 結 果 在 SKY Vega A820L 行 動 裝 置 對 於 動 作 4 識 別 準 確 率 略 低 ( 僅 88%), 但 整 體 平 均 準 確 率 為 91.5% 主 要 是 在 動 作 4 的 特 徵 值 在 x 軸 和 z 軸 上 較 不 明 顯, 因 而 產 生 少 部 分 的 動 作 誤 判 而 在 HTC New One 行 動 裝 置 對 於 動 作 3 識 別 準 確 率 略 低 ( 僅 85%), 但 整 體 平 均 準 確 率 為 88.75% 因 為 其 動 作 3 的 特 徵 值 在 y 軸 上 加 速 度 值 不 穩 定, 故 識 別 錯 誤 最 後 在 ASUS MEMO Pad 行 動 裝 置 對 於 動 作 1 動 作 2 動 作 3 和 動 作 4 的 識 別 準 確 率 都 不 高, 由 於 [10] 得 知 重 力 感 測 器 在 手 握 住 的 地 方 其 加 速 度 值 最 佳, 由 於 ASUS MEMO Pad 為 七 吋 平 板 不 容 易 以 手 握 住 ( 其 重 力 感 測 器 位 置 較 手 持 行 動 裝 置 遠 ), 所 以 在 做 手 勢 動 作 時 其 加 速 度 值 擷 取 不 穩 定, 導 致 其 特 徵 值 較 不 符 合 藉 由 結 果 發 現 本 系 統 能 在 不 同 的 行 動 裝 置 其 屬 於 易 於 手 持 進 行 動 作 之 裝 置 上 使 用 由 於 本 研 究 所 提 出 使 用 模 糊 規 則 庫 來 識 別 手 勢 的 方 法, 其 識 別 程 序 較 為 簡 單 且 當 使 用 者 要 自 行 增 加 手 勢 動 作, 只 要 將 其 增 加 的 手 勢 68

81 動 作 加 速 度 值 擷 取 數 次, 分 析 其 特 徵 值 後, 便 可 在 模 糊 規 則 庫 中 定 義 其 特 徵 值 之 x 軸 y 軸 和 z 軸, 在 各 加 速 度 的 歸 屬 函 數, 還 有 在 輸 出 G 中 增 加 新 的 歸 屬 函 數, 及 其 使 用 之 識 別, 就 可 以 完 成 新 的 手 勢 動 作, 故 顯 示 本 系 統 之 擴 充 性 與 通 用 性 在 未 來 工 作 中 讓 使 用 者 能 達 到 手 勢 應 用 控 制, 當 使 用 者 設 定 其 手 勢 動 作 所 對 應 之 功 能, 經 過 伺 服 器 運 算 後, 將 其 結 果 傳 回, 若 手 勢 動 作 識 別 成 功 時 使 用 者 就 能 開 啟 其 對 應 功 能, 如 開 門 控 制 家 電 等 應 用 69

82 參 考 文 獻 [1] J. P. Dai, J. Teng, X. Bai, Z. Shen and D. Xuan M b l P n Ba d D unk D v ng D c n th conference on international Pervasive computing technologies for Healthcare, pp. 1-8, Mar , [2] H. G a mzad and R. Jafa C d na n Analysis of Human Movements With Body Sensor Networks: A Signal Processing M d l Evalua Ba ball S ng IEEE on Sensors Journal, Vol. 11, No. 3, pp , Mar [3] H. C. Chu and Y. C. C ng D gn and Impl m n a n f an Intuitive Gesture Recognition System Using a Hand- ld D v c International Conference in Electrics, Communication and Automatic Control, pp , Jun , [4] T. D. Bui and L. T. Nguyen, R c gn z ng P ures in Vietnamese Sign Language With MEMS Accelerometers, IEEE Sensors Journal, Vol. 7, No. 5, pp , May [5] Y. W. Bai, S. C. Wu and C. L. Tsai, D gn and Impl m n a n f a Fall Monitor System by Using a 3-Axis Accelerometer in a Smart Phone, IEEE Transactions on Consumer Electronics, Vol. 58, No. 4, pp , Nov [6] H. C. Chu, C. A. Hsu, Y. Z. Zhang and F. J. Hsieh, Gesture Admission Control System International Conference on Advanced Information Technologies (AIT 2010), Apr , [7] H. C. Chu, Z. F. Yang and C. C. Chou, Design and Implementation of Gesture Admision Contorl System Using Hand-held Device International Conference on Advanced Information Technologies (AIT 2012), Apr , [8] J. Lin, H. Nishino, T. Kagawa and K. U um ya A m d f 70

83 two-handed gesture interactions with applications based on commodity devices, Computers & Mathematics with Applications, pp , Vol. 63, No. 2, [9] R. Xu, S. Zhou and W. J. Li, MEMS Acc l m Ba d Nonspecific-User Hand Gesture Recognition, IEEE Sensors Journal, Vol. 12, No. 5, May [10] K. Murao, T. Terada, Y. Ai and R. Matsukura, Evalua ng Gesture Recognition by Multiple-Sensor-Containing Mobile Devices, th Annual International Symposium on Wearable Computers (ISWC), pp.55-58, Jun , [11] P. W. Chen, K. S. Ou and K. S. C n IR Ind L cal za n and Wireless Transmission for Motion Control in Smart Building Appl ca n ba d n W m T c n l gy Proceedings of SICE Annual Conference, pp , Aug , [12] T. Schlömer, B. Poppinga, N. Henze and S. Boll, G u Recognition with a Wii Controller, Proceedings of the 2nd international conference on Tangible and embedded interaction pp , Feb , [13] T. Marasovic and V. Papic, Acc l m -Based Gesture Classification Using Principal Component Analysis, th International Conference on Software, Telecommunications and Computer Networks (SoftCOM), pp.1-5, Sep , [14] J. S. Wang and F. C. Chuang, An Acc l m -Based Digital Pen With a Trajectory Recognition Algorithm for Handwritten Digit and Gesture Recognition, IEEE Transactions on Industrial Electronics, Vol.59, No. 7, pp , Jul [15] D. F. Specht, Neural Networks, Neural Networks, Vol. 3. pp , [16] C. Doukas and I. Maglogiannis, Advanc d Pa n Eld Fall Detection based on Movement and Sound Data, Second 71

84 International Conference on Pervasive Computing Technologies for Healthcare, pp , Jan. 30-Feb. 1, [17] A. Akl, F. Chen and S. Valaee, A N v l Acc l m -Based Gesture Recognition System, IEEE Transactions on Signal Processing, Vol. 59, No. 12, pp , Dec [18] I. T. Jolliffe, Principal Component Analysis, 2002, XXIX, ISBN [19] 王 進 德, 類 神 經 神 經 網 路 與 模 糊 控 制 理 論 入 門 與 應 用, 全 華 圖 書 股 份 有 限 公 司,2008,ISBN [20] S. H yk n N u al N k -A C mp n v f unda n Prentice Hall, 2000, ISBN [21] C. S. Myers, and L. R. Rab n A c mpa a v udy f v al dynamic time- a p ng alg m f c nn c d d c gn n. The Bell System Technical Journal, Vol. 60, No. 7, pp , Sep [22] L. X. Wang 著, 汪 惠 健 譯, 模 糊 理 論 與 應 用, 臺 灣 培 生 教 育 出 版 公 司,2006 [23] Open Handset Alliance, http: // [24] 維 基 百 科 -Android, [25] Android Developers, [26] 黃 彬 華, Android 2.X 手 機 程 式 開 發 教 戰 手 冊, 碁 峰 資 訊 股 份 72

85 有 限 公 司, 2011,ISBN