<4D F736F F D20B4BCBC7AABACBFFBB55EBCD6C3D0BFEBC3D1A4CEBCBDA9F1A874B2CE E646F6378>

Transcription

1 逢 甲 大 學 資 訊 工 程 學 系 專 題 研 究 報 告 智 慧 型 鋼 琴 樂 譜 辨 識 及 播 放 系 統 指 導 教 授 : 張 貴 忠 老 師 學 生 : 陳 姵 菁 D 蔡 湘 瑩 D 林 彬 笠 D 康 乃 人 D 中 華 民 國 一 百 零 二 年 五 月

2 誌 謝 很 榮 幸 能 邀 請 到 張 貴 忠 老 師 擔 任 指 導 老 師, 感 謝 老 師 在 專 題 製 作 期 間 領 導 我 們 一 步 步 的 完 成 專 題, 適 時 的 給 予 研 究 方 向 和 意 見, 並 且 每 次 和 老 師 討 論 的 過 程 中 都 能 激 發 出 更 多 的 想 法 也 很 感 謝 老 師 鼓 勵 我 們 參 加 校 外 的 比 賽, 讓 我 們 獲 得 更 多 的 經 驗 和 知 識 i

3 摘 要 本 研 究 主 要 為 將 影 像 辨 識 技 術 應 用 至 生 活 與 學 習 上, 將 嘗 試 去 辨 識 生 活 中 常 見 的 圖 片 類 型, 例 如 琴 譜 的 辨 識, 並 結 合 智 慧 型 手 機 的 應 用, 希 望 能 設 計 出 一 個 簡 單 的 琴 譜 辯 識 與 即 時 播 放 學 習 系 統 研 究 中 利 用 Android 手 機 搭 配 相 機 鏡 頭 實 現 影 像 辨 識 系 統 針 對 拍 攝 所 得 之 影 像 中 的 樂 譜 做 辨 識, 播 放 辨 識 出 來 的 音 符 音 效, 並 顯 示 其 對 照 的 琴 鍵 位 置, 此 系 統 具 備 了 只 要 有 一 本 樂 譜, 隨 時 隨 地 皆 可 欣 賞 動 人 的 旋 律, 並 且 可 針 對 學 習 鋼 琴 的 初 學 者 進 行 鍵 盤 位 置 與 相 對 時 間 的 即 時 呈 現, 以 達 到 學 習 鋼 琴 的 效 果 和 隨 處 可 學 習 鋼 琴 的 效 益 關 鍵 詞 : 影 像 處 理 琴 譜 辨 識 Android ii

4 目 錄 誌 謝... i 摘 要... ii 目 錄... iii 圖 目 錄... v 表 目 錄... vii 第 一 章 緒 論 研 究 動 機 研 究 目 標 工 作 分 配 及 甘 特 圖... 1 第 二 章 系 統 開 發 平 台 Eclipse 簡 介 歷 史 架 構 Android 簡 介 架 構 HTC 簡 介... 6 第 三 章 文 獻 回 顧 與 探 討 BMP 檔 案 格 式 均 值 濾 波 和 中 值 濾 波 比 較 辨 識 方 法 系 統 效 能 剖 析 Java Native Interface... 8 第 四 章 研 究 方 法 及 步 驟 系 統 架 構 系 統 流 程 前 置 處 理 均 值 濾 波 圖 片 切 割 段 落 切 割 分 節 切 割 高 低 音 五 線 位 置 音 符 與 速 度 辨 識 音 符 切 割 iii

5 4.5.2 不 連 續 音 符 辨 識 連 續 音 符 辨 識 音 符 速 度 辨 識 播 放 方 式 其 他 辨 識 方 法 OpenCV 訓 練 器 比 較 效 能 剖 析 第 五 章 實 作 結 果 系 統 介 面 功 能 介 紹 第 六 章 結 論 遭 遇 問 題 未 來 展 望 第 七 章 心 得 參 考 文 獻 iv

6 圖 目 錄 圖 1.1 甘 特 圖... 2 圖 2.1 Android 系 統 架 構 圖... 5 圖 3.1 3X3 像 素 矩 陣... 7 圖 4.1 系 統 架 構 圖... 9 圖 4.2 使 用 流 程 示 意 圖... 9 圖 4.3 辨 識 樂 譜 流 程 圖 圖 4.4 3X3 均 值 濾 波 圖 4.5 以 Red 為 例 的 相 對 位 置 程 式 碼 圖 4.6 未 經 過 二 值 化 的 圖 片 圖 4.7 經 過 二 值 化 的 圖 片 圖 4.8 二 值 化 門 檻 程 式 碼 圖 4.9 段 落 分 割 程 式 碼 圖 4.10 段 落 分 割 示 意 圖 圖 4.11 小 節 分 割 示 意 圖 圖 4.12 連 續 音 符 圖 4.13 樂 譜 前 段 位 置 圖 4.14 高 低 音 分 割 示 意 圖 圖 4.15 不 連 續 性 音 符 圖 4.16 連 續 性 音 符 圖 4.17 不 連 續 音 符 的 兩 種 狀 況 圖 4.18 連 續 音 符 的 兩 種 狀 況 圖 4.19 音 符 速 度 辨 識 示 意 圖 圖 4.20 控 制 時 間 暫 停 程 式 碼 圖 4.21 haartraining 訓 練 完 成 圖 4.22 traincascade 訓 練 完 成 圖 5.1 進 入 系 統 初 始 畫 面 圖 5.2 未 選 擇 樂 譜 警 告 圖 5.3 選 取 樂 譜 後 圖 5.4 進 入 撥 放 器 的 畫 面 圖 5.5 按 下 撥 放 按 鈕 後 圖 6.1 歪 斜 的 照 片 圖 6.2 微 調 後 的 照 片 圖 6.3 3*4 切 割 區 塊 示 意 圖 圖 6.4 修 改 過 後 的 門 檻 值 v

7 圖 6.5 音 符 Do 的 正 樣 本 圖 6.6 音 符 Mi vi

8 表 目 錄 表 1.1 工 作 分 配 表... 1 表 4.1 opencv_haartraining 與 opencv_traincascade 比 較 vii

9 第 一 章 緒 論 1.1 研 究 動 機 隨 著 科 技 日 新 月 異 的 進 步, 手 機 已 經 從 傳 統 型 只 能 講 電 話 的 手 機, 漸 漸 附 加 更 多 智 慧 型 感 測 元 件 的 智 慧 型 手 機, 可 以 執 行 更 多 種 類 的 智 慧 型 應 用 程 式 除 了 小 遊 戲 之 外 也 有 很 多 具 有 學 習 意 義 的 應 用 程 式 因 為 手 機 攜 帶 方 便, 現 在 的 人 幾 乎 都 不 離 身, 加 上 可 以 上 網 等 等 的 功 能, 所 以 手 機 的 應 用 程 式 開 發 市 場 就 變 的 很 大, 因 此 想 設 計 一 個 具 有 教 學 意 義 的 程 式 而 且 現 在 音 樂 幾 乎 已 經 離 不 開 我 們 的 生 活 了, 很 多 人 會 喜 歡 聽 音 樂 做 事, 因 為 音 樂 深 入 我 們 的 生 活, 漸 漸 地 有 些 人 不 再 滿 足 於 聆 聽, 反 而 想 要 自 行 創 造 音 樂, 在 環 境 上 的 影 響 和 許 可, 父 母 會 願 意 花 錢 讓 小 孩 學 習 才 藝, 而 在 樂 器 的 選 擇 上, 鋼 琴 會 是 大 部 分 人 的 選 擇 因 此 藉 由 此 專 題 設 計 出 一 個 結 合 手 機 和 音 樂 的 系 統, 讓 使 用 者 能 隨 時 隨 地 享 受 音 樂, 並 藉 由 手 機 的 普 及 性, 利 用 此 應 用 程 式 自 我 學 習, 達 到 即 時 又 省 錢 的 效 果 1.2 研 究 目 標 結 合 手 機 的 方 便 性 和 時 效 性, 如 果 看 見 某 一 張 樂 譜, 想 知 道 曲 子 彈 奏 出 來 的 效 果 和 旋 律, 只 要 拍 攝 下 樂 譜 或 是 開 啟 掃 瞄 之 樂 譜 檔 案 之 後, 系 統 會 立 刻 進 行 音 符 之 辨 識, 就 可 以 使 用 此 工 具, 播 放 出 該 首 曲 子, 馬 上 就 可 以 享 受 音 樂 的 陶 冶 此 外 提 供 人 性 化 介 面, 擁 有 模 擬 的 琴 鍵, 在 播 放 樂 譜 的 同 時, 顯 示 出 彈 奏 時 琴 鍵 的 相 對 位 置, 提 供 一 個 智 慧 型 鋼 琴 鍵 盤 彈 奏 之 輔 助 教 學 功 能, 讓 想 學 習 如 何 彈 奏 琴 譜 的 使 用 者 能 用 便 利 和 簡 單 的 方 式 學 習 假 設 有 一 個 初 學 者 想 購 買 琴 譜, 對 音 樂 的 敏 感 度 還 不 夠, 在 選 購 琴 譜 時 無 法 用 樂 譜 就 想 像 出 其 旋 律, 此 時 利 用 鋼 琴 樂 譜 辨 識 及 播 放 系 統, 就 可 以 立 即 播 放 出 音 樂, 讓 使 用 者 能 馬 上 知 道 曲 子 是 不 是 他 所 喜 歡 的 風 格 和 這 個 樂 譜 彈 奏 的 難 易 度 是 否 符 合 自 己 的 需 求, 可 以 避 免 發 生 買 到 不 適 合 自 己 的 琴 譜, 藉 由 這 個 工 具, 提 供 更 方 便 和 完 善 的 功 能 來 辨 識 及 播 放 樂 譜 1.3 工 作 分 配 及 甘 特 圖 表 1.1 工 作 分 配 表 工 作 項 目 系 統 程 式 撰 寫 研 究 opencv 訓 練 器 最 佳 化 系 統 程 式 工 作 分 配 陳 姵 菁 蔡 湘 瑩 康 乃 人 林 彬 笠 1

10 圖 1.1 甘 特 圖 2

11 第 二 章 系 統 開 發 平 台 2.1 Eclipse 簡 介 Eclipse 是 著 名 的 跨 平 台 開 源 整 合 式 開 發 環 境 (IDE) 最 初 主 要 用 來 Java 語 言 開 發, 目 前 亦 有 人 透 過 外 掛 模 組 使 其 作 為 C++ Python PHP 等 其 他 語 言 的 開 發 工 具 Eclipse 的 本 身 只 是 一 個 框 架 平 台, 但 是 眾 多 外 掛 模 組 的 支 援, 使 得 Eclipse 擁 有 較 佳 的 靈 活 性 許 多 軟 體 開 發 商 以 Eclipse 為 框 架 開 發 自 己 的 IDE 歷 史 Eclipse 最 初 是 由 IBM 公 司 開 發 的 替 代 商 業 軟 體 Visual Age for Java 的 下 一 代 IDE 開 發 環 境 2001 年 11 月 貢 獻 給 開 源 社 群, 現 在 它 由 非 營 利 軟 體 供 應 商 聯 盟 Eclipse 基 金 會 (Eclipse Foundation) 管 理 2003 年,Eclipse 3.0 選 擇 OSGi 服 務 平 台 規 範 為 執 行 時 架 構 2007 年 6 月, 穩 定 版 3.3 發 行 2008 年 6 月 發 行 代 號 為 Ganymede 的 3.4 版 2009 年 6 月 發 行 代 號 為 Galileo 的 3.5 版 2010 年 6 月 發 行 代 號 為 Helios 的 3.6 版 架 構 Eclipse 的 基 礎 是 富 客 戶 機 平 台 ( 即 RCP) RCP 包 括 下 列 元 件 : 核 心 平 台 ( 啟 動 Eclipse, 執 行 外 掛 模 組 ) OSGi( 標 準 集 束 框 架 ) SWT( 可 移 植 構 件 工 具 包 ) JFace( 檔 案 緩 衝, 文 字 處 理, 文 字 編 輯 器 ) Eclipse 工 作 台 ( 即 Workbench, 包 含 檢 視 (views) 編 輯 器 (editors) 視 角 (perspectives) 和 精 靈 (wizards)) Eclipse 採 用 的 技 術 是 IBM 公 司 開 發 的 (SWT), 這 是 一 種 基 於 Java 的 窗 口 元 件, 類 似 Java 本 身 提 供 的 AWT 和 Swing 窗 口 元 件 ; 不 過 IBM 聲 稱 SWT 比 其 他 Java 窗 口 元 件 更 有 效 率 Eclipse 的 使 用 者 介 面 還 使 用 了 GUI 中 間 層 JFace, 從 而 簡 化 了 基 於 SWT 的 應 用 程 式 的 構 建 Eclipse 的 外 掛 模 組 機 制 是 輕 型 軟 體 元 件 化 架 構 在 富 客 戶 機 平 台 上,Eclipse 使 用 外 掛 模 組 來 提 供 所 有 的 附 加 功 能, 例 如 支 援 Java 以 外 的 其 他 語 言 已 有 的 3

12 分 離 的 外 掛 模 組 已 經 能 夠 支 援 C/C++(CDT) PHP Perl Ruby,Python telnet 和 資 料 庫 開 發 外 掛 模 組 架 構 能 夠 支 援 將 任 意 的 擴 充 功 能 加 入 到 現 有 環 境 中, 例 如 配 置 管 理, 而 決 不 僅 僅 限 於 支 援 各 種 程 式 語 言 Eclipse 的 設 計 思 想 是 : 一 切 皆 外 掛 模 組 Eclipse 核 心 很 小, 其 它 所 有 功 能 都 以 外 掛 模 組 的 形 式 附 加 於 Eclipse 核 心 之 上 Eclipse 基 本 核 心 包 括 : 圖 形 API (SWT/Jface),Java 開 發 環 境 外 掛 模 組 (JDT), 外 掛 模 組 開 發 環 境 (PDE) 等 2.2 Android 簡 介 Android 是 一 個 以 Linux 為 基 礎 的 半 開 放 原 始 碼 作 業 系 統, 主 要 用 於 行 動 設 備, 由 Google 成 立 的 Open Handset Alliance(OHA, 開 放 手 機 聯 盟 ) 持 續 領 導 與 開 發 中 Android 系 統 最 初 由 安 迪 魯 賓 (Andy Rubin) 開 發 製 作, 最 初 主 要 支 援 手 機, 於 2005 年 8 月 被 美 國 科 技 企 業 Google 收 購 2007 年 11 月,Google 與 84 家 硬 體 製 造 商 軟 體 開 發 商 及 電 信 營 運 商 成 立 開 放 手 持 設 備 聯 盟 來 共 同 研 發 改 良 Android 系 統, 隨 後,Google 以 Apache 免 費 開 源 許 可 證 的 授 權 方 式, 發 布 了 Android 的 源 代 碼 讓 生 產 商 推 出 搭 載 Android 的 智 慧 型 手 機,Android 作 業 系 統 後 來 更 逐 漸 拓 展 到 平 板 電 腦 及 其 他 領 域 上 2010 年 末 數 據 顯 示, 僅 正 式 推 出 兩 年 的 Android 作 業 系 統 在 市 場 佔 有 率 上 已 經 超 越 稱 霸 逾 十 年 的 諾 基 亞 Symbian 系 統, 成 為 全 球 第 一 大 智 慧 型 手 機 作 業 系 統 4

13 2.2.2 架 構 圖 2.1 Android 系 統 架 構 圖 Application( 應 用 程 式 ) 在 Android SDK( 軟 體 開 發 套 件 ) 所 用 的 手 機 模 擬 器 及 未 來 實 體 的 手 機 中, 都 會 有 一 系 列 以 Java 語 言 撰 寫 的 核 心 應 用 程 式, 包 含 電 子 郵 件 程 式 簡 訊 程 式 日 曆 地 圖 瀏 覽 器 聯 絡 人 與 其 它 應 用 程 式 讓 使 用 者 一 開 始 就 可 以 使 用 這 些 基 本 的 功 能 來 操 作 應 用 手 機 Application Framework ( 應 用 程 式 架 構 ) 在 Android SDK( 軟 體 開 發 套 件 ), 也 定 義 了 能 讓 開 發 者 可 以 完 整 使 用 與 核 心 應 用 程 式 相 同 的 應 用 程 式 標 準 介 面 (API), 應 用 程 式 架 構 是 為 了 要 簡 化 元 件 的 重 新 利 用 而 設 計 的, 應 用 程 式 可 以 發 佈 功 能 並 為 其 它 應 用 程 式 所 使 用, 但 是, 要 受 限 於 應 用 程 式 架 構 的 安 全 限 制, 使 用 者 也 用 同 樣 的 機 制 用 來 新 增 置 換 元 件 Libraries ( 函 式 庫 ) 在 Android SDK( 軟 體 開 發 套 件 ) 包 含 一 組 系 統 元 件, 可 以 讓 開 發 者 呼 叫 來 使 用, 而 這 一 組 系 統 元 件 使 用 的 是 C/C++ 的 函 式 庫, 開 發 者 可 以 透 過 應 用 程 式 架 構 使 用 這 些 功 能 Android Runtime 在 Android SDK( 軟 體 開 發 套 件 ) 的 Android Runtime 分 成 二 個 重 要 的 元 件 來 執 行 系 統, 雖 然 Android 是 用 Java 來 開 發 撰 寫 應 用 程 式, 但 卻 不 使 用 Java Runtime 來 執 行 Java 程 式, 而 是 自 行 研 發 Android Runtime 來 執 行 程 式 這 二 個 重 要 元 件 分 別 是 Core Libraries( 核 心 函 式 庫 ), 另 一 個 是 Dalvik Virtual 5

14 Machine(Dalvik 虛 擬 機 器 ) Linux Kernel(Linux 核 心 ) 在 Android SDK( 軟 體 開 發 套 件 ) 的 作 業 系 統 是 用 Linux, 其 版 本 為 2.6 版 而 所 提 供 的 核 心 系 統 服 務, 如 下 所 述 : A. 安 全 性 (Security) B. 記 憶 體 管 理 (Memory Management) C. 行 程 管 理 (Process Management) D. 網 路 堆 疊 (Network Stack) E. 驅 動 程 式 模 型 (Driver Model) 包 含 下 述 這 些 常 規 的 驅 動 程 式 : (1) Display Driver (2) Keypad Driver (3) Camera Driver (4) WiFi Driver (5) Flash Memory Driver (6) Audio Driver (7) Binder(IPC) Driver (8) Power Management 2.3 HTC 簡 介 宏 達 國 際 電 子 股 份 有 限 公 司 ( 簡 稱 : 宏 達 電 ; 英 文 譯 名 :HTC Corporation; 英 文 簡 寫 :HTC) 是 臺 灣 一 家 智 慧 型 手 機 與 平 板 電 腦 自 有 品 牌 製 造 商, 為 威 盛 電 子 轉 投 資 的 公 司, 成 立 於 1997 年 5 月 15 日 宏 達 電 是 開 放 手 機 聯 盟 的 創 始 成 員 之 一, 現 由 王 雪 紅 擔 任 董 事 長 周 永 明 擔 任 總 經 理 暨 執 行 長 卓 火 土 擔 任 董 事 暨 宏 達 基 金 會 董 事 長 2008 年 6 月, 公 司 正 式 英 文 名 稱 自 High Tech Computer Corporation 更 名 為 HTC Corporation 2009 年 10 月 宏 達 電 公 司 宣 佈 推 出 以 新 的 品 牌 定 位 Quietly Brilliant( 品 牌 標 語 ) 宏 達 電 早 期 專 註 於 代 工 業 務,2002 年 開 始 生 產 全 球 第 一 台 搭 載 微 軟 Smartphone 2002 平 台 的 智 慧 型 手 機, 一 度 擁 有 Windows Mobile 智 慧 型 手 機 80% 市 場 2006 年 6 月 開 始 推 出 自 創 品 牌 的 智 慧 型 手 機, 由 代 工 廠 轉 型 為 自 有 品 牌 公 司 在 2011 年 發 展 迅 速, 成 為 全 球 知 名 手 機 生 產 商 現 HTC 系 列 手 機 以 搭 載 Android 系 統 和 Windows Phone 系 統 最 為 普 遍 2012 年,HTC 在 世 界 手 機 市 場 以 1.8% 的 市 佔 率 位 列 第 10 6

15 第 三 章 文 獻 回 顧 與 探 討 3.1 BMP 檔 案 格 式 BMP 是 Bit Mapped 的 縮 寫, 是 Microsoft 公 司 為 了 Windows 自 行 發 展 的 一 種 影 像 檔 格 式, 因 為 在 Windowss 環 境 中, 畫 面 的 捲 動 視 窗 開 啟 及 恢 復, 均 是 在 繪 圖 模 式 之 下 運 作, 因 此 所 選 擇 的 圖 形 檔 格 式 必 須 能 應 付 高 速 度 的 作 業 需 求, 不 能 有 太 多 的 計 算 過 程, 因 此 真 實 的 將 螢 幕 內 容 一 點 一 點 地 儲 存 在 檔 案 內, 避 免 解 壓 縮 時 浪 費 時 間, 因 此 有 了 BMP 的 誕 生 [1] BMP 文 件 通 常 是 不 壓 縮 的, 所 以 它 們 通 常 比 同 一 幅 圖 像 的 壓 縮 圖 像 文 件 格 式 要 大 很 多 但 也 因 為 不 壓 縮 的 關 係, 包 含 較 多 的 圖 片 訊 息, 所 以 BMP 的 檔 案 較 其 他 檔 案 格 式 完 整 些, 也 較 適 合 用 來 影 像 辨 識, 通 常 包 含 以 下 區 塊 : 點 陣 圖 文 件 頭 : 儲 存 點 陣 圖 文 件 的 總 體 訊 息, 只 在 讀 取 文 件 時 使 用 點 陣 圖 訊 息 : 儲 存 點 陣 圖 圖 像 的 詳 細 訊 息, 接 在 點 陣 圖 文 件 頭 之 後 調 色 板 : 儲 存 所 用 顏 色 的 定 義 點 陣 圖 數 據 : 儲 存 像 素 的 實 際 圖 像 點 陣 圖 頭 的 14 個 位 元 再 加 上 點 陣 圖 信 息 的 40 個 位 元, 合 起 來 總 共 為 54 個 位 元, 而 這 54 個 位 元 在 BMP 檔 案 中 稱 之 為 文 件 頭, 也 是 檔 案 開 啟 後 會 最 先 讀 到 的 54 個 位 元 點 陣 圖 數 據 是 一 個 一 個 像 素 表 示 圖 像, 而 且 像 素 是 由 下 而 上, 由 左 而 右 讀 取 紀 錄 儲 存 的, 故 在 BMP 圖 片 檔 案 中 的 起 始 點 是 圖 片 的 左 下 角, 所 以 在 讀 取 時 需 要 從 左 下 角 開 始 讀 取 [2] 3.2 均 值 濾 波 和 中 值 濾 波 比 較 在 圖 像 中 多 多 少 少 都 會 有 一 些 雜 訊, 可 能 是 光 線 或 是 機 器 造 成 的 雜 訊, 因 此 在 處 理 圖 片 前 都 會 進 行 一 些 處 理 來 降 低 雜 訊 的 影 響 以 下 探 討 兩 種 濾 波 方 式 : 1. 中 值 濾 波 : 一 種 非 線 性 的 數 字 濾 波 器 技 術, 即 檢 查 輸 入 訊 號 中 的 採 樣 並 判 斷 是 否 能 代 表 訊 號, 使 用 奇 數 個 採 樣, 依 序 排 列, 選 取 中 間 值 作 為 輸 出, 覆 蓋 原 本 的 採 樣 中 值 濾 波 對 於 斑 點 噪 聲 和 椒 鹽 噪 聲 來 說 特 別 有 效 [3], 以 3X3 的 矩 陣 為 例 : 圖 X3 像 素 矩 陣 7

16 將 各 個 像 速 依 大 小 順 序 排 列 : 得 到 中 間 值 為 45, 取 代 (5) 位 置 的 像 素 值 2. 均 值 濾 波 : 均 值 濾 波 器 是 一 種 線 性 濾 波 器, 可 用 來 平 滑 影 像 將 每 一 個 像 素 所 有 鄰 近 的 灰 階 值 加 總 起 來, 再 以 平 均 值 取 代 該 像 素 之 灰 階 值 [4] 拍 攝 影 像 造 成 的 噪 音 比 較 像 是 高 斯 噪 音, 故 後 來 選 用 均 值 濾 波 來 去 除 雜 訊 3.3 辨 識 方 法 之 前 想 利 用 樣 本 訓 練 器 運 用 OpenCV 來 訓 練 樣 本,OpenCV 的 全 名 是 Open Source Computer Vision Library, 是 一 個 跨 平 台 的 計 算 機 視 覺 庫, 可 以 用 來 開 發 圖 像 處 理 計 算 機 視 覺 以 及 模 式 識 別 等 程 序, 而 OpenCV 是 由 一 系 列 C 函 數 和 少 量 C++ 類 構 成, 實 現 了 圖 像 處 理 和 電 腦 視 覺 方 面 的 演 算 法 [5] OpenCV 裡 面 提 供 了 許 多 影 像 處 理 有 關 的 函 式, 有 些 是 可 以 直 接 拿 來 用 的, 加 上 OpenCV 的 Code 有 最 佳 化 過, 處 理 的 速 度 很 快, 所 以 在 辨 識 影 像 上 可 以 省 去 很 多 時 間 [6] 其 中 步 驟 大 致 上 分 為 : 樣 本 的 創 建 訓 練 器 分 類 利 用 訓 練 好 的 分 類 器 進 行 目 標 測 試 訓 練 樣 本 分 為 正 例 樣 本 和 反 例 樣 本, 其 中 正 例 樣 本 是 指 待 檢 目 標 樣 本, 反 例 樣 本 指 其 它 任 意 圖 片 樣 本 創 建 之 後, 接 下 來 要 訓 練 分 類 器, 這 個 過 程 是 由 haartraining 程 序 來 實 現 的 最 後 則 是 用 利 用 訓 練 好 的 分 類 器 進 行 目 標 檢 測 [7] 利 用 OpenCV 樣 本 訓 練 器 來 做 辨 識 比 起 其 他 利 用 音 符 的 特 徵 來 做 辨 識 來 的 快 速 和 方 便, 辨 識 的 結 果 也 更 精 準 3.4 系 統 效 能 剖 析 原 先 想 利 用 linux 系 統 底 下 的 剖 析 工 具 Oprofile 來 對 整 個 系 統 做 效 能 的 分 析, 但 後 來 發 現 Oprofile 只 能 針 對 kernel 或 者 是 C 語 言 來 做 剖 析, 所 以 對 於 本 系 統 的 Android application 並 沒 有 幫 助, 於 是 之 後 決 定 利 用 Eclipse 裡 面 的 DDMS 來 對 於 本 系 統 對 於 效 能 去 做 分 析 3.5 Java Native Interface JNI 允 許 Java 透 過 JVM 可 以 去 呼 叫 其 他 程 式 語 言 的 function 或 者 是 libraries 來 達 到 更 好 的 效 率, 抑 或 者 可 以 被 其 他 語 言 所 呼 叫 來 使 撰 寫 程 式 更 方 便, 而 本 系 統 主 要 則 是 利 用 JNI 去 呼 叫 C 語 言 來 幫 忙 做 系 統 中 計 算 的 部 分, 其 主 要 流 程 則 為 ( 以 C 語 言 為 例 ), 首 先 先 要 撰 寫 Java 的 程 式 碼, 再 來 編 譯 此 程 式, 之 後 建 立 C 的 標 頭 檔, 再 來 撰 寫 C 的 程 式 本 體, 之 後 從 C 建 立 一 個 分 享 的 目 錄 檔, 最 後 則 是 執 行 程 式 因 為 C 語 言 在 某 些 運 算 上 面 會 比 Java 或 Android 來 得 快 一 點, 所 以 透 過 JNI 呼 叫, 可 以 將 一 些 複 雜 的 運 算 丟 過 去 給 C 語 言 做 處 理, 最 後 再 把 結 果 丟 回 去, 這 樣 一 來 便 能 使 此 系 統 的 效 能 提 升 8

17 第 四 章 研 究 方 法 及 步 驟 4.1 系 統 架 構 整 個 系 統 大 致 分 為 五 個 部 分, 如 下 圖 4.1: 圖 4.1 系 統 架 構 圖 4.2 系 統 流 程 使 用 應 用 程 式 的 流 程 大 致 上 為 開 啟 掃 描 的 樂 譜 檔 案 或 是 相 機 拍 攝 的 樂 譜 檔 案, 進 入 撥 放 器 之 後 開 始 辨 識 琴 譜 的 音 符, 即 可 撥 放 琴 譜, 提 供 給 鋼 琴 初 學 者 學 習 和 愛 樂 者 欣 賞 音 樂 圖 4.2 使 用 流 程 示 意 圖 開 啟 檔 案 後 進 入 撥 放 器 的 介 面 之 前, 會 先 處 理 樂 譜 主 要 分 成 三 大 部 分, 先 將 圖 片 前 置 處 理 ( 均 值 濾 波 灰 階 二 值 化 ) 增 加 辨 識 的 準 確 度, 再 來 將 整 張 樂 譜 9

18 切 割, 切 割 出 一 個 一 個 的 音 符, 最 後 辨 識 音 符 的 音 階 和 速 度 圖 4.3 辨 識 樂 譜 流 程 圖 4.3 前 置 處 理 均 值 濾 波 因 為 是 利 用 樂 譜 黑 色 像 素 來 處 理 圖 片, 因 此 有 雜 訊 會 對 結 果 造 成 影 響 而 從 相 機 拍 攝 的 樂 譜 可 能 會 因 為 光 線 或 機 器 的 因 素 造 成 雜 訊, 所 以 先 經 過 均 值 濾 波 來 去 除 雜 訊 圖 X3 均 值 濾 波 如 圖 4.4 以 3X3 矩 陣 做 運 算, 想 要 修 改 位 置 (5) 的 像 素 值, 需 將 九 宮 格 內 鄰 近 的 八 個 像 素 相 加 平 均, 得 到 的 新 值 即 為 (i,j) 的 新 像 素 值 在 做 運 算 時, 先 將 整 個 bmp 存 進 一 維 陣 列 中, 在 依 相 對 位 置 做 運 算, 如 圖

19 圖 4.5 以 Redd 為 例 的 相 對 位 置 程 式 碼 灰 階 樂 譜 雖 然 只 有 黑 色 和 白 色 的 部 分, 但 是 仍 然 是 彩 色 的 圖 片, 因 此 須 先 將 樂 譜 進 行 灰 階 的 轉 換, 而 經 過 灰 階 的 轉 換 過 後 的 圖,RGB 三 色 會 是 相 同 的, 如 此 一 來 便 有 利 之 後 進 行 二 值 化 以 及 判 斷 的 過 程, 否 則 可 能 影 響 到 二 值 化 的 結 果 進 而 影 響 後 面 的 判 斷 灰 階 公 式 如 下 : Gray 值 = R 值 * G 值 * B 值 * 二 值 化 在 辨 識 的 過 程 中, 希 望 圖 片 的 複 雜 度 越 低 越 好, 降 低 辨 識 的 困 難 度, 希 望 圖 片 的 像 素 能 呈 現 純 粹 的 黑 色 和 白 色, 但 灰 階 後 的 圖 片 並 非 以 純 粹 的 黑 白 呈 現, 故 需 經 過 二 值 化 的 過 程 圖 4.6 未 經 過 二 值 化 的 圖 片 圖 4.7 經 過 二 值 化 的 圖 片 在 二 值 化 時 需 要 找 出 一 個 門 檻 值, 將 大 於 門 檻 值 的 像 素 值 轉 換 成 255, 而 低 於 門 檻 值 的 像 素 轉 換 成 0, 圖 4.8 為 門 檻 值 選 取 程 式 碼 : 11

20 圖 4.8 二 值 化 門 檻 程 式 碼 圖 4.8 選 取 門 檻 值 的 方 法 是 先 將 圖 片 中 所 有 的 像 素 累 加 找 出 並 找 出 累 加 過 後 各 像 素 的 平 均 值 Tn, 然 後 以 此 平 均 值 作 區 隔, 將 高 於 平 均 值 Tn 的 像 素 值 累 加, 並 算 出 此 累 加 的 平 均 值, 以 及 低 於 平 均 值 Tn 的 像 素 值 累 加, 也 算 出 此 累 加 平 均 值, 將 這 兩 個 平 均 值 再 做 一 次 平 均, 並 設 定 為 新 的 平 均 值, 直 到 平 均 值 不 改 變, 則 將 此 平 均 值 設 定 為 此 二 值 化 的 門 檻 值 4.4 圖 片 切 割 段 落 切 割 通 常 樂 譜 會 分 為 高 音 譜 和 低 音 譜, 首 先 將 一 組 一 組 的 高 低 音 譜 各 作 為 一 個 區 塊 切 割 出 來, 如 圖 4.9 判 斷 區 塊 的 方 式 為, 先 由 Y 方 向 開 始 往 下 搜 尋, 再 依 X 座 標 換 到 下 一 行 Y 方 向 重 頭 繼 續 搜 尋 像 素 值, 依 此 類 推 搜 尋 到 出 現 第 一 個 黑 色 像 素 值 此 像 素 值 的 Y 座 標 即 為 第 一 個 段 落 的 開 始 點, 再 沿 著 開 始 點 的 Y 座 標 往 下 搜 尋, 直 到 Y 座 標 不 再 出 現 黑 色 像 素 值, 最 後 一 個 像 素 值 即 為 第 一 個 段 落 的 結 束 點, 不 斷 重 複 此 步 驟, 找 出 每 一 個 段 落 的 開 始 點 和 結 束 點, 以 圖 4.10 為 例, 就 可 以 切 割 出 四 個 段 落 區 塊 12

21 圖 4.9 段 落 分 割 程 式 碼 在 找 出 所 有 段 落 的 開 始 點 和 結 束 點 後, 理 論 上 切 割 出 的 所 有 段 落 是 要 進 行 其 他 步 驟 的 區 塊, 但 是 實 際 會 有 一 些 非 音 符 的 段 落 而 被 切 割 為 一 個 區 塊, 例 如 像 樂 譜 的 曲 名 等, 因 此 加 上 而 外 的 判 斷, 去 除 非 音 符 的 段 落 將 找 到 的 段 落 X 方 向 的 像 素 值 加 總, 如 果 段 落 中 有 一 個 X 方 向 像 素 值 總 和 大 於 段 落 寬 度 的 1/3, 則 此 段 落 為 正 確 的 音 符 段 落, 反 之 若 段 落 中 沒 有 出 現 任 何 大 於 1/3 寬 度 的 總 和, 則 此 段 落 判 斷 為 非 正 確 音 符 段 落 由 於 在 樂 譜 上 不 管 是 高 音 譜 還 是 低 音 譜 只 要 有 五 線 譜 的 地 方, 其 黑 色 像 素 值 總 和 會 相 當 接 近 寬 度, 但 在 切 割 之 前 會 有 前 置 處 理, 可 能 會 造 成 有 些 線 段 不 完 整, 所 以 將 判 斷 的 門 檻 值 設 為 寬 度 的 1/3, 故 只 要 在 五 線 譜 和 所 以 符 號 相 連 的 X 方 向 像 素 總 和 出 現 一 次 大 於 1/3 寬 度 即 可 13

22 圖 4.10 段 落 分 割 示 意 圖 分 節 切 割 結 束 判 斷 正 確 的 段 落 之 後, 再 來 要 將 每 一 的 段 落 中 的 小 節 線 找 出 來 進 行 分 割 一 開 始 會 先 選 擇 一 個 段 落, 重 頭 沿 著 此 段 落 的 Y 座 標 方 向 開 始 掃 描, 將 Y 方 向 所 搜 尋 到 的 黑 色 像 素 值 加 總, 若 總 和 超 過 段 落 高 度 的 2/3, 則 此 線 段 為 段 落 中 的 第 一 小 節 線, 將 第 一 小 節 線 的 開 始 點 和 結 束 點 記 錄 下 來, 計 算 出 第 一 小 節 線 的 長 度, 之 後 用 來 判 斷 其 他 小 節 線 找 到 第 一 小 節 線 之 後, 繼 續 沿 著 Y 方 向 搜 尋 黑 色 像 素 並 加 總, 根 據 前 面 紀 錄 的 第 一 小 節 線 長 度, 判 斷 之 後 累 加 的 總 和 是 否 大 於 7/10 的 第 一 小 節 線 長 度, 大 於 則 為 小 節 線, 並 記 錄 下 來 14

23 圖 4.11 小 節 分 割 示 意 圖 一 開 始 是 將 Y 方 向 的 像 素 值 加 總, 判 斷 其 總 和 超 過 一 個 門 檻 值 時, 就 視 為 小 節 線, 這 樣 在 實 際 操 作 上 會 產 生 問 題, 例 如 樂 譜 中 的 高 低 音 若 同 時 出 現 長 線 段 的 音 符 時, 此 情 況 很 有 可 能 會 判 斷 為 小 節 線, 所 以 改 變 方 法 判 斷 小 節 線 因 為 第 一 條 小 節 線 出 現 的 位 置 通 常 前 後 沒 有 其 他 音 符 或 是 符 號 的 干 擾, 故 以 第 一 小 節 線 為 基 準, 作 為 判 斷 的 門 檻, 而 且 在 高 低 音 之 間 有 一 段 空 白, 在 此 空 間 出 現 黑 色 像 素 的 機 率 不 高, 所 以 能 夠 降 低 誤 判 的 機 率 雖 然 降 低 了 誤 判 的 情 況, 但 是 還 是 可 能 會 有 誤 判, 故 又 增 加 一 個 判 斷 條 件, 從 圖 4.11 中 可 觀 察 出 每 一 小 節 線 之 間 都 有 一 段 距 離, 因 此 不 會 出 現 兩 條 很 相 近 的 小 節 線, 所 以 找 到 每 一 個 小 節 線 時 都 會 紀 錄 小 節 線 的 開 始 點 和 結 束 點, 再 往 後 判 斷 節 線 的 時 候, 根 據 之 前 紀 錄 的 小 節 線 判 斷 是 否 與 其 距 離 過 近, 若 過 近 則 不 會 紀 錄 其 小 節 線 的 位 置 高 低 音 五 線 位 置 剛 開 始 因 為 五 線 譜 佔 了 整 個 寬 度 的 大 部 分 空 間, 故 切 割 五 線 的 方 法 是 將 X 方 向 的 黑 色 像 素 加 總, 大 於 一 個 門 檻 寬 度 比 例, 就 判 斷 為 五 線 譜 中 的 一 條 線, 但 是 在 一 開 始 的 圖 片 前 置 處 理 中, 可 能 會 造 成 線 段 不 完 整 的 情 況, 而 且 如 果 有 許 多 的 連 續 音 符 存 在, 如 圖 4.12, 音 符 的 符 號 可 能 會 被 判 斷 為 五 線 譜, 使 判 斷 產 生 錯 誤, 所 以 選 擇 另 一 種 判 斷 方 式 圖 4.12 連 續 音 符 15

24 在 每 一 個 段 落 第 一 個 小 節 線 後 的 位 置 都 會 有 一 段 是 沒 有 任 何 符 號 的 地 方, 如 圖 4.13, 所 以 利 用 這 段 空 間 來 判 斷 五 線 譜 的 位 置 以 第 一 小 節 線 的 位 置 往 後 一 點, 由 Y 座 標 方 向 往 下 掃 描, 只 要 碰 到 黑 色 像 素, 其 黑 色 像 素 的 位 置 就 是 五 線 譜 的 位 置, 在 高 低 音 譜 的 部 分 都 會 各 有 五 線 譜 存 在 圖 4.13 樂 譜 前 段 位 置 紀 錄 時, 先 紀 錄 前 五 條 五 線 譜 的 位 置, 其 即 為 高 音 譜 的 五 線 譜 ; 而 後 面 五 條 五 線 譜 位 置, 即 為 低 音 譜 的 五 線 譜 之 後 會 需 要 判 斷 音 符 的 特 徵 值, 而 五 線 譜 的 黑 色 像 素 會 影 響 判 斷, 故 根 據 紀 錄 的 五 線 譜 位 置, 將 是 五 線 譜 的 地 方 都 視 為 白 色 像 素, 就 不 會 影 響 音 符 的 特 徵 判 斷 4.5 音 符 與 速 度 辨 識 音 符 切 割 首 先, 會 遇 到 的 一 個 問 題 是 怎 麼 判 斷 一 個 音 符 位 置 的 開 始 到 結 束, 因 為 每 張 樂 譜 中 音 符 出 現 的 位 置 不 一 樣, 所 以 如 何 區 別 每 個 音 符 的 位 置, 將 是 我 們 需 要 先 解 決 的 難 題 每 個 段 落 都 有 高 低 音 譜 兩 個 部 份, 採 用 將 高 低 音 譜 分 開 判 斷 的 方 式 來 判 斷 音 符 位 置, 而 段 落 高 度 的 中 間 值 為 區 隔 高 低 音 譜 的 標 準, 圖 4.14 中 間 的 線 即 為 切 割 位 置 圖 4.14 高 低 音 分 割 示 意 圖 然 後 將 則 段 落 開 頭 的 高 低 音 譜 記 號 切 除, 接 著 開 始 搜 尋 音 符 位 置, 高 音 部 分 起 始 點 是 段 落 起 始 點, 終 止 點 是 段 落 中 間 值, 低 音 部 分 起 始 點 是 段 落 中 間 值, 終 止 點 是 段 落 終 止 點 由 上 而 下 搜 尋, 遇 到 黑 色 像 素 時, 先 判 斷 該 位 置 是 否 為 五 線 16

25 譜 位 置, 若 是, 則 將 此 黑 色 像 素 視 為 白 色 像 素, 若 不 是, 則 將 此 位 置 定 義 為 音 符 的 開 始 位 置, 找 出 音 符 的 開 始 位 置 後, 繼 續 向 右 搜 尋 黑 色 像 素, 若 搜 尋 到 白 色 像 素, 則 停 止 搜 尋, 並 將 此 位 置 定 義 為 音 符 的 終 點 位 置, 再 重 複 上 述 步 驟 搜 尋 下 一 個 音 符 若 由 上 而 下 搜 尋 完 起 始 點 終 止 點 都 沒 有 出 現 黑 色 像 素, 則 持 續 往 右 移 動, 重 複 上 述 的 搜 尋 步 驟, 找 出 整 張 樂 譜 的 音 符 位 置 搜 尋 完 音 符 位 置 後, 可 能 會 搜 尋 到 兩 種 不 同 的 音 符 種 類, 一 個 種 類 是 只 有 單 一 音 符, 先 將 此 音 符 稱 為 不 連 續 音 符, 如 圖 4.15 而 另 一 個 種 類 是 多 個 音 符 組 成 的 音 符, 將 其 稱 為 連 續 音 符, 如 圖 4.16 根 據 不 同 的 種 類 再 進 行 音 符 的 辨 識 圖 4.15 不 連 續 性 音 符 不 連 續 音 符 辨 識 圖 4.16 連 續 性 音 符 不 連 續 音 符 中, 可 能 會 出 現 兩 種 狀 況, 如 圖 4.17 圖 4.17 不 連 續 音 符 的 兩 種 狀 況 在 這 兩 種 狀 況 中 我 們 可 以 觀 察 出 一 些 規 則, 像 是 音 符 會 以 一 條 線 為 主, 分 成 左 右 兩 邊, 在 線 左 邊 的 音 符 特 徵 碼 會 在 下 方, 而 線 在 右 邊 的 音 符 特 徵 碼 在 上 方 所 以 判 斷 的 時 候, 需 要 先 找 出 關 鍵 的 那 條 線, 從 圖 中 可 以 知 道, 從 上 而 下, 17

26 那 條 線 的 黑 色 像 素 最 多, 因 此 只 要 找 出 黑 色 像 素 最 多 的 地 方, 就 知 道 這 條 線 的 位 置 由 圖 也 可 知, 音 符 位 於 右 邊 的 時 候, 線 的 位 置 為 此 音 符 的 開 始 點, 所 以 用 現 的 位 置 與 音 符 開 始 位 置 做 比 較, 若 不 超 過 3 個 像 素, 則 判 斷 音 符 在 右 邊, 再 以 線 的 位 置 往 右 一 小 段, 就 可 以 由 上 往 下 找 出 特 徵 碼 的 位 置, 而 超 過 3 個 像 素 的 則 判 斷 音 符 在 左 邊, 以 線 的 位 置 往 左 一 小 段, 就 可 以 由 上 往 下 找 出 特 徵 碼 的 位 置 連 續 音 符 辨 識 連 續 音 符 經 過 切 割 後, 也 會 出 現 兩 種 狀 況, 如 圖 4.18 圖 4.18 連 續 音 符 的 兩 種 狀 況 在 連 續 性 音 符 中, 比 起 不 連 續 性 的 音 符, 複 雜 度 更 高, 因 為 在 連 續 音 符 中, 我 們 只 知 道 此 連 續 性 音 符 的 開 始 點 與 結 束 點, 無 法 知 道 裡 面 包 含 幾 個 音 符, 也 無 法 知 道 音 符 的 位 置 但 是 觀 察 過 後 發 現, 起 始 點 的 位 置 也 是 的 一 個 音 符 的 開 始 位 置, 經 過 不 斷 測 試 發 現 在 開 始 點 忘 後 9 個 像 素 可 以 區 個 一 個 音 符 出 來, 所 以 先 將 距 離 起 始 點 9 個 像 素 的 位 置 視 為 的 一 個 音 符 的 終 止 點, 再 運 用 判 斷 非 連 續 音 符 的 方 式, 判 斷 出 現 的 位 置 以 及 音 符 的 特 徵 碼 左 右 邊, 這 樣 就 可 以 判 斷 出 的 一 個 音 符 的 位 置 了, 接 下 來 的 問 題 就 在 怎 麼 判 斷 下 一 個 音 符 位 置 從 圖 4.18 中 可 以 觀 察 到 每 個 音 符 中 間 連 續 的 橫 槓 上 黑 色 像 素 值 是 一 樣 的, 因 此 我 們 可 以 設 定 一 個 音 符 結 束 點 往 後 一 個 像 素 的 位 置, 記 錄 其 黑 色 像 素 總 值, 接 著 往 右 邊 開 始 搜 尋, 記 錄 每 一 行 累 加 的 黑 色 像 素, 如 果 有 大 於 記 錄 的 總 值, 則 判 斷 為 下 一 個 音 符 的 開 始 點, 接 著 再 依 照 出 現 第 一 個 音 符 位 置 的 方 法 進 行 特 徵 值 的 判 斷, 重 複 上 述 步 驟, 直 到 切 割 完 此 連 續 性 音 符 為 止 音 符 速 度 辨 識 找 出 每 個 音 符 與 小 節 線 的 位 置, 先 算 出 每 個 小 節 的 長 度, 而 第 一 小 節 須 把 高 低 音 譜 記 號 切 除 利 用 小 節 線 的 位 置 去 判 斷 音 符 是 否 在 此 小 節 內, 若 音 符 在 在 此 小 節 內, 則 算 出 此 音 符 與 下 個 音 符 間 的 距 離 占 整 個 小 節 的 百 分 比, 而 最 後 一 個 音 符 則 是 算 音 符 與 小 節 線 的 距 離 占 整 個 小 節 的 百 分 比 ; 若 音 符 不 在 此 小 節 內, 則 找 下 一 條 小 節 線 再 做 運 算, 得 到 的 百 分 比 即 表 示 為 此 音 符 的 速 度 18

27 圖 4.19 音 符 速 度 辨 識 示 意 圖 播 放 方 式 整 體 撥 放 速 度 從 慢 到 快 分 成 5 個 階 段, 每 個 階 段 有 一 個 撥 放 速 度, 配 合 音 符 速 度 算 出 最 後 的 撥 放 速 度 利 用 判 斷 出 的 音 符 以 及 音 符 速 度 來 撥 放 樂 譜, 並 顯 示 相 對 應 的 琴 鍵 位 置, 撥 放 時 用 時 間 暫 停 來 區 隔 音 效, 才 不 會 使 音 效 一 次 太 快 速 的 播 放 完 畢, 無 法 正 確 撥 放 圖 4.20 控 制 時 間 暫 停 程 式 碼 19

28 4.6 其 他 辨 識 方 法 OpenCV 訓 練 器 比 較 opencv_traincascade 是 一 個 較 新 的 程 序, 使 用 OpenCV 2.x API 以 C++ 編 寫 haartraining 和 traincascading 這 二 者 主 要 的 區 別 是 opencv_traincascade 支 持 Haar [Viola2001] 和 LBP [Liao2007] (Local Binary Patterns) 兩 種 特 徵, 並 易 於 增 加 其 他 的 特 徵 與 Haar 特 徵 相 比,LBP 特 徵 是 整 數 特 徵, 因 此 訓 練 和 檢 測 過 程 都 會 比 Haar 特 徵 快 幾 倍 LBP 和 Haar 特 徵 用 於 檢 測 的 準 確 率, 是 依 賴 訓 練 過 程 中 的 訓 練 數 據 的 質 量 和 訓 練 參 數 訓 練 一 個 與 基 於 Haar 特 徵 同 樣 準 確 度 的 LBP 的 分 類 器 是 可 能 的 [7] 我 們 可 以 透 過 下 列 的 表 4.1 看 到 兩 個 訓 練 器 有 什 麼 不 一 樣 的 參 數 設 定 表 4.1 opencv_haartraining 與 opencv_traincascade 比 較 opencv_haartraining.exe opencv_traincascade.exe -data O O -vec O O -bg O O -npos O O -nneg O O -nstages O O -mem O X -sym O X -nonsym O X -minhitrate O O -maxfalsealarm O O -weighttrimming O O -mode O X -precalcvalbufsize X O -precalcidxbufsize X O -maxdepth X O -maxweakcount X O -w O O -h O O -featuretype X O -baseformatsave X O 此 外 我 們 可 以 從 圖 4.21 跟 圖 4.22 中 發 現 兩 種 訓 練 器 所 以 訓 練 來 的 資 料 有 些 許 的 不 同 20

29 圖 4.21 haartraining 訓 練 完 成 圖 4.22 traincascade 訓 練 完 成 4.7 效 能 剖 析 一 開 始 先 利 用 兩 指 令 Debug.startmethodTracing( file_name ) 以 及 Debug.stopmethodTracing() 來 將 欲 剖 析 的 method 給 包 住, 最 後 執 行 程 式, 之 後 就 可 以 在 DDMS 的 介 面 裡 面 找 到 所 分 析 出 來 的.trace 檔, 因 此 就 可 以 發 現 那 些 方 法 花 的 時 間 比 較 多, 之 後 再 透 過 JNI 來 將 較 花 費 時 間 的 method 丟 過 去 C 語 言 做 運 算, 再 將 結 果 丟 回 系 統, 因 此 就 可 以 使 得 整 個 系 統 所 花 費 的 時 間 縮 短 許 多 21

30 第 五 章 實 作 結 果 5.1 系 統 介 面 如 下 圖 5.1 為 一 開 始 進 入 系 統 的 畫 面 : 圖 5.1 進 入 系 統 初 始 畫 面 22

31 圖 5.2 未 選 擇 樂 譜 警 告 圖 5.1 為 挑 選 樂 譜 時, 按 下 按 鈕 " 拍 攝 照 片 " 讓 使 用 者 挑 選 現 有 的 相 機 程 式, 進 行 拍 攝 樂 譜, 拍 攝 完 畢 的 樂 譜 會 存 進 手 機 的 記 憶 體 內, 再 跳 回 圖 5.1 的 畫 面 按 下 按 鈕 " 挑 選 照 片 " 會 打 開 手 機 儲 存 相 片 的 位 置, 此 時 可 以 選 擇 想 要 撥 放 的 樂 譜, 像 是 之 前 掃 描 好 的 樂 譜 檔 案 或 是 剛 剛 拍 攝 完 畢 的 樂 譜 檔 案, 如 果 未 先 選 擇 樂 譜 就 進 入 播 放 器, 會 跳 出 錯 誤 視 窗, 如 圖

32 圖 5.3 選 取 樂 譜 後 選 擇 完 樂 譜 後, 樂 譜 會 顯 示 在 畫 面 上, 如 圖 5.3, 使 用 者 可 以 檢 查 是 否 正 確 選 取 想 要 辨 識 的 樂 譜, 按 下 撥 放 器 按 鈕 進 入 撥 放 器 如 果 想 要 離 開 應 用 程 式 按 下 離 開 按 鈕 即 可 跳 出 應 用 程 式 5.2 功 能 介 紹 進 入 撥 放 器 的 介 面 如 圖 5.4, 此 時 選 取 完 的 樂 譜 會 顯 示 在 畫 面 上, 讓 使 用 者 在 邊 聽 音 樂 時 能 對 應 樂 譜 24

33 圖 5.4 進 入 撥 放 器 的 畫 面 此 時 整 體 的 撥 放 速 度 預 設 為 3, 即 為 正 常 速 度 整 體 的 撥 放 速 度 從 1 到 5, 按 下 + 和 - 按 鈕 來 調 整, 數 字 越 大 速 度 越 快, 反 之 數 度 越 小 速 度 越 慢, 使 用 者 可 以 依 照 學 習 的 速 度 來 變 換 撥 放 速 度, 在 撥 放 樂 譜 期 間 也 能 變 換 速 度, 方 便 使 用 者 學 習 25

34 圖 5.5 按 下 撥 放 按 鈕 後 按 下 " 撥 放 " 按 鈕 會 開 始 撥 放 樂 譜, 此 時 下 面 的 模 擬 琴 鍵 會 對 應 音 符 顯 示 琴 鍵 位 置, 如 圖 5. 5 所 示, 讓 使 用 者 能 邊 看 模 擬 琴 鍵 邊 實 際 彈 奏 鋼 琴, 達 到 自 我 學 習 的 效 果 在 撥 放 期 間 按 下 " 停 止 " 按 鈕 會 停 止 撥 放 樂 譜, 模 擬 琴 鍵 也 會 回 到 一 開 始 的 畫 面, 即 圖 5.4 的 畫 面, 再 按 下 撥 放 按 鈕 時, 會 重 頭 開 始 撥 放 樂 譜, 琴 鍵 也 會 重 新 顯 示 在 撥 放 期 間 按 下 " 暫 停 " 按 鈕 會 暫 停 撥 放 樂 譜, 模 擬 琴 鍵 會 停 在 目 前 撥 放 到 的 琴 鍵 上, 再 按 下 撥 放 按 鈕 時, 樂 譜 會 接 續 之 前 撥 放 到 的 音 繼 續 撥 放, 琴 鍵 也 會 接 著 顯 示 如 果 按 下 " 重 新 挑 選 照 片 " 的 按 鈕, 會 停 止 撥 放 樂 譜, 並 跳 回 圖 5.1 的 畫 面, 回 到 初 始 介 面, 讓 使 用 者 重 新 選 取 樂 譜 26

35 第 六 章 結 論 6.1 遭 遇 問 題 目 前 系 統 只 能 處 理 掃 描 的 樂 譜 檔 案, 因 為 照 片 會 產 生 許 多 不 同 的 狀 況, 例 如 光 線 雜 訊 照 片 歪 斜, 所 以 嘗 試 了 幾 種 方 法 來 解 決 問 題 : 水 平 調 整 相 片 角 度 : 因 為 拍 照 時 不 可 能 完 全 的 方 正, 所 以 利 用 現 有 的 手 機 應 用 程 式 將 照 片 做 微 調, 如 圖 6.1 和 6.2, 還 利 用 相 機 的 特 殊 效 果 調 整 光 線, 來 去 除 光 線 造 成 的 雜 訊 圖 6.1 歪 斜 的 照 片 27

36 圖 6.22 微 調 後 的 照 片 修 改 門 檻 值 : 拍 攝 的 過 程 會 有 較 多 的 雜 訊, 每 個 區 塊 的 雜 訊 數 量 又 不 盡 相 同, 所 以 將 照 片 切 成 12 個 區 塊 再 找 動 態 的 門 檻 值, 切 割 概 念 如 圖 6.3, 其 二 值 化 後 的 照 片 結 果 如 圖 6.4, 使 圖 片 更 清 晰 圖 6.3 3* *4 切 割 區 塊 示 意 圖 28

37 圖 6.4 修 改 過 後 的 門 檻 值 綜 合 以 上 的 方 法, 仍 無 法 成 功 辨 識 出 照 片 的 檔 案, 因 此 還 在 尋 找 無 法 辨 識 的 原 因, 而 掃 描 檔 案 都 能 順 利 的 辨 識 出 音 符 因 為 音 符 的 種 類 很 多, 要 全 部 都 判 斷 出 來 有 難 度, 所 以 之 前 想 利 用 OpenCV 的 樣 本 訓 練 器, 把 音 符 的 特 徵 進 行 分 類 器 訓 練, 建 一 個 資 料 庫 將 每 一 種 的 音 符 特 徵 都 先 存 取 下 來, 拍 攝 下 來 的 樂 譜 就 能 直 接 判 斷, 但 是 在 訓 練 的 過 程 中 遇 到 了 很 多 問 題, 像 是 正 樣 本 採 用 一 個 單 音 Do 如 圖 6.5, 來 訓 練, 但 是 訓 練 器 所 圈 出 來 會 像 是 Mi 的 音 如 圖 6.6, 因 為 也 是 跟 Do 一 樣 有 一 條 線 在 音 符 上, 所 以 訓 練 器 沒 有 辦 法 很 明 顯 的 區 分 出 每 一 種 音 階 的 音 符, 由 於 錯 誤 率 過 高, 所 以 改 用 另 外 一 種 方 法 來 辨 識 樂 譜 就 是 利 用 圖 形 上 的 黑 白 界 線 把 琴 譜 切 割, 先 分 行 在 分 段 落, 段 落 切 割 出 來 後 再 判 斷 五 線 譜 的 位 置, 把 五 線 譜 相 對 位 置 存 取 下 來, 然 後 切 割 小 節, 最 後 利 用 音 符 的 特 徵 來 判 斷 是 什 麼 音 符 29

38 圖 6.5 音 符 Do 的 正 樣 本 圖 6.6 音 符 Mi OpenCV 的 技 術 雖 然 日 趨 完 整, 但 是 可 能 在 辨 識 像 樂 譜 這 種 簡 單 的 圖 形 上 比 較 無 法 區 分, 但 是 也 有 人 成 功 利 用 OpenCV 訓 練 出 辨 識 車 體 的 訓 練 器 後 來 利 用 的 方 法 可 能 比 較 土 法 煉 鋼, 但 有 成 功 辨 識 出 基 本 的 音 符 和 音 符 速 度 6.2 未 來 展 望 以 下 為 之 後 希 望 增 加 的 功 能 : 1. 希 望 未 來 能 加 入 處 理 照 片 檔 案 的 功 能, 讓 系 統 更 加 完 整 2. 將 辨 識 的 音 樂 另 存 為 個 人 旋 律 或 是 設 定 成 來 電 鈴 聲 3. 可 以 將 樂 譜 以 雲 端 方 式 分 享 教 學 資 源 30

39 第 七 章 心 得 陳 姵 菁 : 一 開 始 老 師 希 望 我 們 利 用 OpenCV 來 辨 識 樂 譜, 因 為 是 第 一 次 接 觸 到 訓 練 器, 剛 開 始 還 不 是 很 清 楚 訓 練 器 的 概 念 是 什 麼, 從 網 路 上 慢 慢 地 尋 找 相 關 文 獻 或 是 製 作 方 法, 才 比 較 了 解 訓 練 器 的 使 用 方 法 在 學 習 OpenCV 得 過 程 中, 碰 到 了 很 多 的 問 題, 像 是 樣 本 的 大 小 設 定, 之 後 雖 然 有 成 功 訓 練 出 訓 練 器, 但 是 成 效 一 直 不 佳, 所 以 最 後 改 回 原 本 土 法 煉 鋼 的 方 法, 依 黑 色 像 素 辨 識 音 符 回 到 原 本 的 辨 識 方 法 後, 將 系 統 架 置 Android 開 發 平 台 能 立 即 的 看 到 成 果, 就 覺 得 有 趣 多 了 而 在 快 完 成 專 題 時 老 師 鼓 勵 我 們 去 參 加 校 外 的 比 賽 或 是 研 討 會 等, 獲 得 不 錯 的 成 績, 也 讓 我 學 習 到 不 一 樣 的 經 驗, 像 是 如 何 製 作 投 影 片 吸 引 評 審 的 青 睞 ; 或 是 面 對 評 審 老 師 們 如 何 去 解 說 自 己 的 專 題 因 此 非 常 感 謝 老 師 鼓 勵 我 們 參 加 比 賽, 和 帶 領 我 們 完 成 專 題 在 製 作 專 題 的 過 程 中 我 學 習 到 非 常 多 的 東 西, 每 一 次 和 老 師 開 會 和 老 師 討 論 問 題, 老 師 給 的 意 見 都 會 覺 得 自 己 怎 麼 都 沒 有 想 到, 除 了 專 業 的 知 識 之 後 還 讓 我 學 到 許 多 技 巧 另 外 專 題 製 作 不 外 乎 要 訓 練 我 們 團 隊 合 作 能 力, 學 習 如 何 和 別 人 溝 通, 一 開 始 我 的 想 法 常 常 和 組 員 們 不 同, 也 常 常 的 誤 會 對 方 的 意 思, 但 經 過 無 數 次 的 溝 通 討 論, 讓 我 慢 慢 的 學 習 不 同 的 說 法 去 表 達, 思 考 別 人 的 話 語, 非 常 感 謝 組 員 們 包 容 我 之 前 表 達 不 好 而 造 成 的 誤 解, 讓 我 在 組 員 們 身 上 學 習 到 很 多 不 同 的 想 法 和 經 驗 蔡 湘 瑩 : 專 題 是 大 學 四 年 以 來 最 大 的 程 式, 從 訂 定 專 題 題 目 到 程 式 撰 寫, 再 到 最 後 的 成 果, 每 一 步 都 是 經 過 和 組 員 不 斷 的 討 論 才 有 的 結 晶, 過 程 中 遇 到 不 少 問 題, 也 發 現 了 原 來 自 己 學 的 東 西 這 麼 少, 每 次 的 錯 誤 都 需 要 花 費 更 多 的 時 間 去 思 考, 也 需 要 更 多 時 間 去 找 各 方 面 的 資 料, 一 面 翻 書 一 面 上 網, 在 一 次 又 一 次 的 錯 誤 中 學 習 與 進 步 在 整 個 製 作 過 程 中, 除 了 學 習 到 Android 撰 寫 程 式 的 方 法 外, 也 學 習 到 一 些 除 錯, 的 技 巧, 而 我 覺 得 最 難 的 是 在 除 錯 的 部 分, 因 為 要 先 跳 脫 自 己 的 思 考 邏 輯 重 新 再 思 考 一 次, 這 樣 才 會 知 道 自 己 錯 在 哪, 找 出 錯 誤 並 修 正 後 可 能 又 會 影 響 到 其 他 部 分 的 數 值, 所 以 有 時 候 一 個 小 部 份 就 用 了 好 幾 種 方 法 寫 過, 也 可 能 影 響 到 整 個 設 計 的 架 構, 需 要 重 新 設 計, 最 後 經 過 不 斷 的 修 改 才 得 到 想 要 的 結 果 處 理 照 片 的 部 分, 我 們 試 過 好 多 方 法, 但 是 因 為 照 片 的 影 響 因 素 太 多, 包 括 光 線 照 片 的 角 度 問 題 等, 都 影 響 到 辨 識 的 準 確 度, 雖 然 最 後 我 們 沒 有 找 出 可 以 完 整 辨 識 照 片 的 方 法, 但 是 在 過 程 中 又 多 學 到 一 些 影 像 辨 識 的 技 巧, 希 望 在 未 來 可 以 繼 續 在 這 方 面 做 努 力, 因 為 這 將 會 幫 助 很 多 鋼 琴 學 習 者 利 用 簡 單 的 手 機 應 用 31

40 程 式, 就 可 以 自 己 學 習 彈 奏 一 篇 樂 譜 林 彬 笠 : 專 題, 大 概 是 我 大 學 四 年 的 生 涯 中, 我 覺 得 最 具 有 挑 戰 性 的 科 目, 在 這 幾 個 學 期 也 學 到 了 許 多 東 西, 從 一 開 始 的 Linux 系 統 編 譯 核 心, 到 後 來 的 Oprofile, 接 著 到 Android 的 DDMS, 到 現 在 的 JNI 每 一 種 東 西 對 我 來 說 都 是 全 新 的, 即 使 有 聽 過, 但 卻 連 碰 都 沒 有 碰 過 全 部 都 從 頭 開 始 學 習 雖 然 花 費 的 時 間 比 較 長, 但 是 卻 可 以 讓 自 己 對 於 這 些 方 面 的 知 識 更 加 的 熟 悉 當 然, 問 題 的 解 決 能 力 也 是 我 在 專 題 這 門 課 程 裡 面 學 到 的 重 要 技 能, 遇 到 問 題 的 當 下 當 然 是 先 看 看 網 路 上 是 否 有 人 遭 遇 同 樣 的 問 題, 並 且 自 己 嘗 試 著 解 決 問 題, 如 果 再 解 決 不 了, 就 會 問 問 系 上 的 學 長 姊 又 或 者 是 老 師 的 研 究 生, 看 看 是 否 有 可 能 的 解 決 方 式, 如 果 最 後 還 是 解 決 不 了, 只 好 將 問 題 留 至 與 老 師 Meeting 時 再 加 以 討 論, 也 謝 謝 老 師 時 常 給 了 我 一 些 適 當 的 建 議 還 有 方 向, 讓 我 所 遇 到 的 問 題 大 致 上 都 可 以 順 利 解 決 康 乃 人 : 在 這 幾 個 學 期 的 專 題 研 究 中 我 學 到 了 很 多 東 西, 不 只 是 在 課 業 知 識 方 面 學 到 很 多 東 西, 在 尋 找 問 題 解 決 問 題 時 間 分 配 的 方 面 也 學 了 不 少 一 開 始 做 專 題 時 我 遇 到 了 很 多 很 多 的 問 題, 老 師 希 望 我 們 可 以 學 習 自 己 去 上 網 GOOGLE 找 出 解 決 問 題 的 辦 法 而 剛 開 始 我 在 上 網 尋 找 解 決 的 辦 法 時 並 沒 有 很 得 心 應 手, 明 明 找 了 很 多 的 網 站 卻 都 沒 有 明 確 解 決 問 題 的 方 法, 有 一 段 時 間 跟 老 師 MEETING 時 都 會 卡 在 幾 個 問 題 沒 有 辦 法 解 決 而 拖 慢 專 題 的 進 度 在 那 段 時 間 老 師 會 提 醒 我 要 加 強 解 決 問 題 的 能 力, 後 來 我 有 多 問 同 學 跟 學 長 如 何 找 到 解 決 問 題 的 方 法, 久 了 就 慢 慢 知 道 解 決 問 題 的 方 向 在 哪 裡 其 實 自 己 是 不 太 會 規 劃 時 間 的, 常 常 已 經 知 道 哪 一 天 要 交 作 業 卻 會 拖 到 最 後 一 天 的 Deadline 才 繳 交 有 時 候 還 會 拖 超 過 時 間, 就 是 因 為 自 己 不 夠 有 自 治 力 去 督 促 自 己 在 Deadline 之 前 完 成 該 做 的 事 情, 但 是 開 始 做 專 題 後 有 一 些 壓 力 會 去 督 促 自 己 去 把 負 責 的 部 分 做 好, 去 調 配 自 己 的 時 間 32

41 參 考 文 獻 [1] BMP(BMP 檔 案 格 式 ): [2] 維 基 百 科 -BMP 簡 介 : [3] 維 基 百 科 - 中 值 濾 波 簡 介 : %B3%A2 [4] 半 導 體 及 光 電 / 課 程 教 材 : [5] OpenCV 中 文 網 站 : [6] 陳 彥 廷, OpenCV 自 學 手 冊,2006 [7] OpenCV 訓 練 分 類 器 - 利 用 OpenCV 的 自 帶 的 目 標 檢 測 框 架 的 訓 練 自 己 的 目 標 檢 測 器 : [8] 周 蔓 君 張 貴 忠 教 授 指 導, 鋼 琴 樂 譜 辨 識 以 及 播 放 系 統, 逢 甲 大 學 資 訊 工 程 學 系,2011 [9] 維 基 百 科 -Eclipse 簡 介 : [10] 維 基 百 科 -Android 簡 介 : [11] 維 基 百 科 -HTC 簡 介 : [12] Android 系 統 架 構 : 33